Abstract
The discriminating power of journal evaluation criteria of Korean medical journals were measured. The study used the data of 76 medical journals, collected in the "Korean Medical Journal Evaluation" process conducted by the Korean Association of Medical Journal Editors (KAMJE) between 1997 and 1999. For each evaluation criterion, the distribution of the individual score vs the total score of a journal received was plotted and their correlations were analyzed. It is found that the evaluation criteria with a high discriminating power are the ones associated with the peer review system and the journal editing. The evaluation criteria with a low discriminating power are the journal frequency and how often a chief editor is changed. Some evaluation criteria such as "Journal holding rates of medical libraries" and "year-end index" need modifications in the evaluation methods. Other evaluation criteria such as "Journal self-citation rate","SCI citation rate" and "SCI impact factor" need to modify the score ranges. It is recommended that the new evaluation criteria such as "citation rate by Korean medical journals" and "Access availability of the journal information through major Korean medical abstract databases" should be added.formation through major Korean medical abstract databases" should be added.dded.
본 연구에서는 대한의학학술지편집인협의회가 1997년부터 1999년 사이에 평가한 76종의 국내 의학학술지가 받은 총 33개 평가항목의 각 항목별 평가점수와 총평점의 분포, 그리고 이들의 상관관계를 분석하여 각 평가지표의 변별력을 측정하였다. 한국 의학학술지의 대표적인(변별력이 높은) 평가지표는 투고논문의 상호심사와 관련된 평가항목과, 학술지가 일정한 형식으로 일관성 있게 잘 만들어지고 있는지를 평가하는 항목으로 판명되었다. 논문상호심사제도(peer review system)가 학술지의 질관리에 있어서 매우 중요하다는 것은 주지의 사실이다. 학술지의 철저한 편집(quality of editorial work)과 출판품질 관리(production quality)가 학술지 평가의 좋은 척도가 될 수 있다는 것은 학술지 평가사업의 경제성과 효율성의 측면에서 매우 고무적인 일이다. 편집인 교체빈도나 연간 발행회수 등은 변별력이 거의 없는 평가지표로 나타났다. 평가대상 학술지가 우리나라 의학도서관에 비치되어 있는 정도나 권말색인 작성여부 등 변별력이 낮은 평가항목의 변별력을 높이기 위해서는 평가방법의 개선이 필요하며, 자체학술지 인용비율, SCI 인용빈도나 영향력지표 등의 평가항목은 평가배점 구간의 조정이 필요한 것으로 나타났다. SCI에서의 인용과 국제 데이터베이스 등재여부만이 아니라, 국내 학술지가 인용하는 빈도나 영향력지표, 국내에서 구축되고 있는 의학관련 데이터베이스 등재 여부, 레코드 입력율 등의 새로운 평가지표 개발이 필요하다.
