Journal of Korea Technology Innovation Society (기술혁신학회지)

Korea Technology Innovation Society (한국기술혁신학회)
권호 표지

Practical Analysis of Developed Bibliometric Indicators for Evaluation of National R&D Programs - Case Study of World Class University Program -

국가연구개발사업 계량평가 도입 효용성에 대한 실증적 분석- 세계수준의 연구중심대학(WCU)육성사업을 중심으로 -

  • Received : 2010.05.28
  • Accepted : 2010.09.17
  • Published : 2010.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recently diversity of research field is emphasized all over the world. Nations with advanced programs in research field keep developing new R&D programs for interdisciplinary studies. These new research atmospheres need objective validity in evaluation process. Peer review is recognized as a best evaluation method for national research and development programs. However, peer review system has restrictive boundary because of its subjectivity of the reviewer. Scientometrics has been developed as an alternative system to peer review. But the effectiveness of quantitative indicators which also has qualitative aspect is rarely analyzed in real program evaluation. In this study, we suggest distribution of marks of peer review and newly developed quantitative review through analyzing deviations between two different reviews in real national R&D program evaluation. Moreover, we could have significant correlation between two review systems in the same case study.

전 세계적으로 융복합 지향적 연구활동이 강화됨에 띠라 연구분야의 다양성과 새로운 연구분야의 개척은 물론 국가간 협력을 통한 연구가 활발히 진행되고 있다. 이러한 새로운 형태의 연구가 계속 발굴되고 있는데 반해 그 연구를 정확히 평가하고 객관적으로 검증하는 방법에는 한계가 있는 현실이다. 동료평가(peer Review)만으로는 정확한 연구과제 평가가 제한적이라는 인식이 확대되고 있으나 이를 보완할 객관적인 평가방법의 제사는 아직 실증적으로 검증되지 못하고 있다. 따라서 본 논문에서는 최근 새롭게 추진된 국가연구개발사업에 동료평가와 신규 계량지표에 의한 평가를 적용하여 그 결과의 반영비율 및 상관도를 측정하였다. 그 결과 계량지표의 적용이 실증적으로 유의미한 결과를 갖는 것으로 분석되었다.

Keywords

References

  1. 김원 (1995), "SCI에 의존하는 한국의 정보통신 분야 연구실적평가의 문제점 및 해결책", 정보과학회지, 17(5): 61-64
  2. 여운동.이우형.이상필 (2007), "과학계량학을 이용한 연구활동 평가 : OLED 사례분석", 기술혁신학회지, 10(2): 230-254
  3. 연경남.이성종.이종현.송충한 (2005), "연구계획서 평가시 정량지표 도입의 타당성에 관한 분석", 기술혁신학회지, 8(1): 261-276
  4. 이한진 외 (2004), 과학재단 연구과제의 질적 수준 분석, 한국과학재단
  5. 정진완.문수복.민상렬.이재용.최진영 (2004), "SCI:과연 정보과학 분야에서도 유효한 연구업적 평가척도인가", 정보과학회지, 22(8): 70-76
  6. 허정은.김해도.최태진.김성백.조영돈.김인호 (2006), "Nature, Science, Cell지에 게재된 한국인 과학자의 논문현황 분석", 기술혁신학회지, 9(3):558-577
  7. 허정은.김해도.조영돈.조석민.조순로 (2008), "국가연구개발사업의 과학적 성과분석을 위한 새로운 계량지표 개발에 관한 연구", 기술혁신학회지, 11(3): 376-399
  8. COSEPUP(Committee on Science, Engineering, and Public Policy, USA), (1999), Evaluating Federal Research Programs: Research and the Government Performance and the Results Act, Washington D.C.
  9. Cole. F. J and Eales. N. B (1917), "The history of comparative anatomy. Part 1: A statistical analysis of the literature. Sci. Progr." (London), 44
  10. E. Harding (2002), "Peer Review", Parliamentary Office of Science and Technology Postnote, 182: 1-4
  11. Hurt, C. D (1985), "Identification of important authors in science : a coparison of two methods of identification", Information Processing & Management, 21:177-186 https://doi.org/10.1016/0306-4573(85)90103-7
  12. J. E. Hirsch (2005), "An index to quantify an individual's scientific research output", PNAS, 102(46):16569-16572
  13. Jeong Dong Youl (1990), "Values and Future Research Issues in Bibliometrics", 도서관학, 19: 243-261
  14. Kostoff, Ronald N.(1995), "Federal Research Impact Assessment: Axioms, Approaches, Applications", Scientometrics, 34:163-205 https://doi.org/10.1007/BF02020420
  15. L. Miles Raisig (1962), "Statistical Bibliography in the Health Sciences", Bull Med Libr Assoc, 50(3): 450-461
  16. Leo Egghe (2006), "Theory and practise of the g-index", Scientometrics, 69:131-152 https://doi.org/10.1007/s11192-006-0144-7
  17. Marshakova-Shaikevich, I. (1996), "The Standard Impact Factor as an Evaluatiohn Tool of Science and Scientific Journals", Scientometric, 25: 283-290
  18. Prichard. A. (1969), "Statistical bibliography or bibliometrics", Journal of documentation, 358-359
  19. Pudovkin A. I. and Garfield, E. (2004), "Rank-Normalized Impact factor: A Way to Compare Journal Performance Across Subject Categories", Proceedings of the 67th ASIS&T Annual Meeting, 41: 507-515.
  20. Sen, B. K (1992), "Normalized Impact Factor", Journal of Documentation, 48:318-329 https://doi.org/10.1108/eb026901
  21. Velho, L and Krige, J. (1984), "Publication and citation practiecs of Brazilian agricultural scientists", Social Studies of Science, 14:45-62 https://doi.org/10.1177/030631284014001004