Journal of the Korean Society for information Management (정보관리학회지)

Korean Society for Information Management (한국정보관리학회)
권호 표지
DOI QR코드

DOI QR Code

Improving the Perfectionism Index to Identify Influential Journals versus Mass Producers

완벽주의 지수 PI의 개량을 통한 유력 학술지와 대량생산 학술지의 구분

  • 이재윤 (명지대학교 문헌정보학과)
  • Received : 2019.05.20
  • Accepted : 2019.06.24
  • Published : 2019.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

The Perfectionism Index (PI) is an indicator that is recently proposed to distinguish influential researchers from mass producers. In this study, Near Perfectionism Index (NPI), an improved indicator of Perfectionism Index, can be a solution to the problem of PI that indiscriminately gives a penalty to all low-cited papers regardless of publishing time or other issues. NPI improved the method to give a penalty to tail complement area considering the citation distribution curve. It prevents the improvement of the h-index from adversely affecting the researcher's influence indicator. This study uses NPI to evaluate information and library science journals in Web of Science database. It successfully distinguishes between influential journals and mass producers unlike journal h-index or average citation frequency which could not differentiate influentials from mass producers.

최근 제안된 완벽주의 지수 PI는 연구자를 유력자와 대량생산자로 구분하는 지표이다. 이 연구에서는 PI를 개량한 새로운 지표인 준완벽주의 지수 NPI를 제안하였다. NPI는 특히 발행시기 등을 고려하지 않고 저인용논문에 무조건 획일적인 기준으로 패널티를 부과하던 PI의 방식을 개선하는 보완 지수이다. NPI에서는 꼬리 보상 영역에 인용빈도 곡선을 고려하면서 패널티를 부과함으로써, h-지수의 향상이 오히려 영향력 지표에 불리하게 작용하는 것을 방지한다. 이렇게 개발된 NPI를 Web of Science 문헌정보학 관련 분야 학술지에 시험 적용해본 결과 h-지수와 평균 인용횟수로는 불가능했던, 유력 학술지와 대량생산 학술지의 구분을 성공적으로 수행할 수 있었다.

Keywords

JBGRBQ_2019_v36n2_201_f0002.png 이미지

<그림 1> 가상 연구자 A의 논문별 인용횟수 그래프에서 h-코어 영역, 초과 영역, 꼬리 영역, 꼬리 보완 패널티 영역 구분

JBGRBQ_2019_v36n2_201_f0003.png 이미지

<그림 2> 가상 연구자 A의 4번째와 5번째 순위 논문의 인용횟수가 증가하여 h-지수가 4에서 5로 상승하였을 경우의 각 영역의 변화

JBGRBQ_2019_v36n2_201_f0004.png 이미지

<그림 3> 준완벽주의 지수 NPI를 산출하기 위한 h-코어 영역, 초과 영역, 꼬리 영역, 꼬리 보완 경사 패널티 영역 구분

JBGRBQ_2019_v36n2_201_f0005.png 이미지

<그림 4> 가상 연구자 A의 4번째와 5번째 순위 논문의 인용횟수가 증가하여 h-지수가 4에서 5로 상승하였을 경우(A1)에 각 영역이 PI와 NPI 산출에 기여하는 정도

JBGRBQ_2019_v36n2_201_f0006.png 이미지

<그림 5> 인용 지수 산출을 위한 논문의 발행년도 범위와 인용년도 범위 설정 방식

JBGRBQ_2019_v36n2_201_f0007.png 이미지

<그림 6> MIS Quarterly의 2014년, 2015년 발행 논문의 2016년까지 누적 인용횟수

JBGRBQ_2019_v36n2_201_f0008.png 이미지

<그림 7> SSCR의 h-core(작은 사각형)와 MISQ의 h-코어(큰 사각형) 비교

JBGRBQ_2019_v36n2_201_f0009.png 이미지

<그림 8> SSCR과 MISQ의 PI와 NPI 산출 시 패널티 영역 비교

JBGRBQ_2019_v36n2_201_f0010.png 이미지

<그림 9> 다년 출판 누적 인용 측정 방식에서 출판 기간이 2년인 경우와 3년인 경우의 WoS 문헌정보학 분야 20종 학술지의 각 지수값 분포 비교

<표 1> 가상 연구자 A의 4번재와 5번째 순위 논문의 인용횟수가 증가하여 h-지수가 4에서 5로 상승하였을 경우(A1)의 변화

JBGRBQ_2019_v36n2_201_t0001.png 이미지

<표 2> WoS 문헌정보학 분야 학술지 20종의 2014년, 2015년 발행 논문이 2016년에 인용된 횟수로 산출한 지수

JBGRBQ_2019_v36n2_201_t0002.png 이미지

<표 3> WoS 문헌정보학 분야 학술지 20종의 2015~2015년 발행 논문이 2016년까지 인용된 누적 횟수로 산출한 지수(PI 값 내림차순 정렬)

JBGRBQ_2019_v36n2_201_t0003.png 이미지

<표 4> WoS 문헌정보학 분야 학술지 20종의 2013~2015년 발행 논문이 2016년까지 인용된 누적 횟수로 산출한 지수

JBGRBQ_2019_v36n2_201_t0004.png 이미지

References

  1. Kim, Pan-Jun, & Lee, Jae Yun (2010). A study on journal impact measurement with hirsch-type indices. Journal of the Korean Society for Information Management, 27(1), 269-287. http://doi.org/10.3743/KOSIM.2010.27.1.269
  2. Min, Yoonkyung, & Cha, Mikyeong (2017). A study on the open access policy of scholarly journals publishing research papers funded by Korean government. Journal of the Korean Society for Information Management, 34(1), 155-176. http://doi.org/10.3743/KOSIM.2017.34.1.155
  3. Park, Ji-Yeon, Kim, Jung-Eun, & Min, Yoon-Kyung (2010). A study on the evaluation methods of research institution: Based on the h-index and its variants. Journal of the Korean Society for Information Management, 27(1), 249-267. http://doi.org/10.3743/KOSIM.2010.27.1.249
  4. Yu, So-Young, Lee, Jae Yun, Chung, EunKyung, & Lee, Boram (2015). A review of declarations on appropriate research evaluation for exploring their applications to research evaluation system of Korea. Journal of the Korean Society for Information Management, 32(4), 249-272. http://doi.org/10.3743/KOSIM.2015.32.4.249
  5. Lee, Jae Yun (2018). Developing new journal citation indicators including immediate citation frequencies in the published year. Journal of the Korean Society for Library and Information Science, 52(4), 71-90. https://doi.org/10.4275/KSLIS.2018.52.4.071
  6. Baum, J. A. C. (2011). Free-riding on power laws: Questioning the validity of the impact factor as a measure of research quality in organization studies. Organization, 18(4), 449-466. https://doi.org/10.1177/1350508411403531
  7. Bjork, B. (2015). Have the "mega-journals" reached the limits to growth? PeerJ, 3, e981. http://doi.org/10.7717/peerj.981
  8. Braun, T., Glanzel, W., & Schubert, A. (2006). A hirsch-type index for journals. Scientometrics, 69(1), 169-173. http://doi.org/10.1007/s11192-006-0147-4
  9. Brzezinski, M. (2015). Power laws in citation distributions: Evidence from scopus. Scientometrics, 103(1), 213-228. https://doi.org/10.1007/s11192-014-1524-z
  10. Cole, S., & Cole, J. R. (1967). Scientific output and recognition: Study in operation of reward system in science. American Sociological Review, 32(3), 377-390. http://doi.org/10.2307/2091085
  11. Costas, R., & Bordons, M. (2008). Is g-index better than h-index? An exploratory study at the individual level. Scientometrics, 77(2), 267-288. http://doi.org/10.1007/s11192-007-1997-0
  12. Donner, P. (2018). Effect of publication month on citation impact. Journal of Informetrics, 12(1), 330-343. https://doi.org/10.1016/j.joi.2018.01.012
  13. Harzing, A.-W., & van der Wal, R. (2009). A google scholar h-index for journals: An alternative metric to measure journal impact in economics and business. Journal of the American Society for Information Science and Technology, 60(1), 41-46. http://doi.org/10.1002/asi.20953
  14. Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569-16572. http://doi.org/10.1073/pnas.0507655102
  15. Ingwersen, P., Larsen, B., Rousseau, R., & Russell, J. (2001). The publication-citation matrix and its derived quantities. Chinese Science Bulletin, 46(6), 524-528. https://doi.org/10.1007/bf03187274
  16. PLOS ONE (n.d.) PLOS ONE journal information. Retrieved from https://journals.plos.org/plosone/s/journal-information
  17. Redner, S. (1998). How popular is your paper? An empirical study of the citation distribution. The European Physical Journal B, 4(2), 131-134. http://doi.org/10.1007/s100510050359
  18. Rosenberg, M. S. (2014). A biologist's guide to impact factors. PeerJ Preprints 2:e477v1. Retrieved from https://peerj.com/preprints/477/
  19. Sidiropoulos, A., Katsaros, D., & Manolopoulos, Y. (2015). Ranking and identifying influential scientists versus mass producers by the perfectionism index. Scientometrics, 103(1), 1-31. http://doi.org/10.1007/s11192-014-1515-0
  20. Spezi, V., Wakeling, S., Pinfield, S., Creaser, C., Fry, J., & Willett, P. (2017). Open-access mega-journals: The future of scholarly communication or academic dumping ground? A review. Journal of Documentation, 73(2), 263-283. http://doi.org/10.1108/JD-06-2016-0082
  21. van Raan, A.F.J. (2004). Sleeping beauties in science. Scientometrics, 59(3), 467-472. https://doi.org/10.1023/B:SCIE.0000018543.82441.f1
  22. Ye, F. Y., & Rousseau, R. (2010). Probing the h-core: An investigation of the tail-core ratio for rank distributions. Scientometrics, 84(2), 431-439. http://doi.org/10.1007/s11192-009-0099-6