Journal of The Korean Association For Science Education (한국과학교육학회지)

The Korean Association for Science Education (한국과학교육학회)
권호 표지

A Relative Effectiveness of Item Types for Estimating Science Ability in TIMSS-R

문항 유형에 따른 과학 능력 추정의 효율성 비교

  • 박정 (한국교육과정평가원) ;
  • 홍미영 (한국교육과정평가원)
  • Published : 2002.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, performance assessment that makes growing use of free response items in a large scale assessment has been emphasized. This study is an empirical examination of the effectiveness of free response items in comparison with multiple choice items. Using the information function in Item Response Theory (IRT) framework, item information of free response items and multiple-choice items from the Third International Mathematics and Science Study-Repeat (TlMSS-R) were obtained. Test information of the whole science area as well as each area of science contents was computed. On average, free response items yielded more information than multiple choice items, especially in earth science, physics, chemistry, and life science. This study also showed that free response items were appropriate for students in high science ability. Also, free response items estimated students' science ability more accurately than multiple choice items with smaller number of free response items.

본 연구는 수행 평가 방식의 중요성이 대두됨에 따라 실지로 수행형 평가 문항이 전통적인 선다형 평가문항에 비해 어떤 학생들에게 어떻게 유용한지를 분석한 연구이다. 이를 위하여 제 3차 수학 과학 성취도 국제비교 반복 연구에 사용된 선다형과 수행형 평가문항들을 내용영역별로 분석하여, 수행형의 평가문항과 선다형의 평가문항의 효율성을 비교 분석하였다. 자료분석 결과 수행형의 문항이 선다형의 문항에 비하여 학생들의 능력을 더 정확하게 추정함으로써 효율성이 높은 것으로 나타났다. 특히 환경이나 과학의 본성 영역에 비하여 지구과학, 생물, 물리와 화학 영역에서 수행형의 문항이 선다형의 문항에 비하여 학생들의 능력을 더 정확하게 추정하고 있음을 보여주었다. 또한 선다형의 문항에 비하여 적은 수의 문항으로 학생들의 능력을 추정함에도 불구하고 추정오차가 적어, 적은 수의 수행형 문항으로도 학생들의 능력을 정확하게 추정할 수 있음을 시사하고 있다.

Keywords

References

  1. 김명숙, 황혜정, 최승현, 이명희, 강운선, 박선미, 김재춘, 박정, 설현수(1999). 국가수준 교육성취도 평가 연구 II: 사회 . 수학 영역 예비검사 문항개발 및 현장 적용 연구. 한국교육과정평가원. 연구보고 RRE 99-9-1
  2. 김성숙, 임찬빈, 이춘식, 유준희, 서동엽(1999). 제 3차 수학 . 과학 성취도 국제비교 연구 (TIMSS-R) 국내평가 결과 분석 연구. 한국교육과정평가원. 연구보고 RRE 99-7-1
  3. 박 정(2001a). 다분문항반응이론모형. 서울: 교육과학사
  4. 박 정(2001b). 문항반응이론을 활용한 수행형 평가문항 분석 방법. 교육학 연구. 39(2), 215-232
  5. 박 정, 홍미영, 김성숙, 전현정(2000). 제3차 수학 . 과학 성취도 국제비교 연구 (TIMSS-R) 국내평가결과 분석 연구 II. 한국교육과정평가원. 연구보고 RRE 2000-7
  6. 박 정, 홍미영, 나귀수, 김성숙(2001). 제3차 수학 . 과학 성취도 국제비교 연구 (TIMSS-R) 공개문항 분석 자료집. 한국교육과정평가원. 연구자료 ORM 2001-9
  7. 성태제(2000). 문항반응론의 이해와 적용. 교육과학사: 서울
  8. 이종성(1990, 번역). 문항반응이론과 적용. 대광문화사: 서울
  9. 홍미영(1995). 문제와 문제해결자의 특성이 화학 문제 해결에 미치는 영향. 서울대학교 박사학위논문
  10. Donoghue, J. R.(1994). An emprical examination of the IRT information of polytomously scored reading items under the GPCM. Journal of Educational Measurement, 31, 295-311 https://doi.org/10.1111/j.1745-3984.1994.tb00448.x
  11. Hambleton, R. K., & Swaminathan, H.(1985). Item Response Theory: Principles and applications. Boston. MA: Kluwer-Nijhoff
  12. Kane, M., & Mitchell, R.(1996). Implementing Performance Assessment. Lawrence Erlbaum Associates. Mahwah, New Jersey
  13. Linn, R. L.(1994). Performance assessment: policy promises and technical measurement standards. Educational Researchers, 23(9)
  14. Muraki, E.(1992). A generalized partial credit model: Application of an EM algorithm. Applied Psychological Measurement, 16, 159-176 https://doi.org/10.1177/014662169201600206
  15. Muraki, E., & Bock, R. D.(1998). PARSCALE: IRT based test scoring andl item analysis for graded open-ended exercises and performance tasks. Chicago, IL: Scientific Software