Abstract

The purpose of this study is to identify possible needs for system improvements and reflect them on the operation and development of the system as a result of the usability assessment of an information site in science and technology. For this study, a variety of data collection techniques, including search logs, interviews, and think-alouds, were used. The search log data was processed to quantify four evaluation aspects, which were the effectiveness, efficiency, satisfaction, and errors. The verbal data collected by think-alouds and post-interviews were used to identify possible needs of enhancement in a qualitative analysis. The comparison of the usability before and after the system enhancement revealed an increase of 15 points for effectiveness, 35 seconds decrease in efficiency, 5 points increase in satisfaction, and 1.1 errors decreased, implying an overall improvement of the usability of the current system.

본 연구의 목적은 과학기술정보사이트의 이용자 사용성 평가를 통해 시스템 개선사항을 도출하고 이를 시스템 운영 및 개발 과정에 반영시킴으로써 현 사이트에 대한 사용성 개선에 있다. 총 16명의 이용자에 대한 사용성 데이터를 수집하였다. 검색로그, 인터뷰, 씽크 어라우드 등 다수의 데이터 수집 테크닉들을 적용하였으며 연구자와 이용자 1:1 방식으로 이루어진 사용성 실험은 정해진 테스트 프로토콜에 의거하여 이루어졌다. 수집한 데이터는 정량적, 정성적 방법을 통하여 분석하였다. 검색로그 데이터는 효과성, 효율성, 만족도, 오류 등의 항목을 사용성평가 측정 기준에 따라 정량적으로 수치화한 후, 기술적 통계 분석을 하였다. 씽크 어라우드와 사후 인터뷰로부터 수집한 구두 데이터는 텍스트화한 후 정성적인 분석을 통해 개선시사점을 도출하였다. 시스템 개선 전과 후에 대한 사용성 수준을 비교해 보면 효과성이 15점 증가, 효율성이 35초 단축, 만족도가 5점 상승, 오류횟수가 1.1회 감소하는 등 시스템에 대한 사용성이 전반적으로 향상하였음을 알 수 있다.

Keywords

• Web Usability;
• National Science and Technology Information System;
• Search Logs;
• Think Alouds;
• User Study

• 웹사용성;
• 국가과학기술정보시스템;
• 검색로그;
• 씽크 어라우드;
• 이용자연구;