Journal of Korean Library and Information Science Society (한국도서관정보학회지)

Korean Library and Information Science Society (한국도서관정보학회)
권호 표지

Development of Web Credibility Evaluation Model Using AHP

AHP를 이용한 웹 사이트 신뢰성 평가 모델 개발

  • Published : 2008.12.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study tired to develop the web credibility evaluation model by calculating weighted values and sensitivities of indicators which presented on preceding researches using Analytic Hierarchy Process. "Expert Choice 2000" was used as the tool for analysing AHP. 25 experts are answered for this questionnaire who are selected by judgement sampling method, one of the non-probability sampling method. Also, sensitivity analyses was performed to graphically see how the alternatives change with respect to the importance of the indicators or sub-indicators. The main results are summarized as followings; i) importance analysis in first level factors: trust-worthiness(0,606), expertness(0.222), safety(0.173), ii) importance analysis in second level factors: trustfulness (0.519), reputation(0.087), usefulness (0.102), timeliness(0,093), competency(0.027), security(0.115), reliability(0,058). iii) some of the importance analysis in third level factors: the site provides comprehensive information that is attributed to a specific source(0.252), the site has articles that list citations and references(0.153), the site contains user opinions and reviews(0.072), etc. iv) sensitivity analyses showed that the importance of the indicators or sub-indicators are slightly changed with respect to the alternatives change.

본 연구에서는 선행 연구에서 제시된 웹정보의 신뢰성 평가 요인과 지표들을 바탕으로 계층적 분석방법(Analytic Hierarchy Process: AHP)을 이용하여 지표들의 가중치를 산출하고 민감도 분석을 통해 웹정보의 신뢰성을 평가하기 위한 모델을 개발하고자 하였다. AHP를 이용한 분석 도구로는 Expert Choice 2000을 사용하였으며, 평가지표의 가중치 산출을 위한 대상자는 비확률 표준추출방법(non-probability sampling) 중 판단표본추출방법(judgement sampling)을 사용하여 25명의 전문가로 구성된 설문대상자를 추출하였다. 한편 민감도 분석은 평가요인들의 가중치를 달리 했을 때 하위지표들의 글로벌 가중치에 대한 민감성을 분석한 것으로, 본 연구에서는 평가 영역의 가중치를 네 가지 경우로만 제한된 변화에 대해서 하위지표들의 글로벌 가중치와 우선순위의 변동을 살펴보았다. 분석결과 1차 지표 간의 상대적 중요도 분석에서는 진실성 요인의 중요도가 0.606으로 압도적으로 높게 나타났으며, 2차 지표에서는 콘덴트의 믿음성(0.857), 유용성(0.460), 시의성(0.417)이, 그리고 3차 지표에서는 '정보의 출처에 관한 정보 제공', '기사의 인용이나 참고문헌 제공', '이용자의 의견이나 리뷰제공' 등의 요인의 가중치가 높은 것으로 나타났다. 한편 영역별 가중치를 달리했을 때 AHP 결과와 민감도 분석의 결과에서 하위지표들의 가중치와 우선순위의 반전이 나타났지만, 안전성 요인의 가중치를 0.5로 상향조정한 민감도 분석 D를 제외하면 대체적으로 AHP 결과에서 글로벌 가중치의 우선순위가 높을수록 민감도 분석에서도 우선순위가 높아지는 경향을 발견할 수 있었다.

Keywords

References

  1. 김영기. '웹 사이트의 신뢰성 평가에 영향을 미치는 요인과 각 요인의 중요도에 관한 연구.' 한국문헌정보학회지, 제41권 제4호(2007.12), pp.93-111
  2. 김영기. '이용자들의 웹 사이트 신뢰성 평가 방법에 관한 연구.' 한국도서관.정보학회지, 제38권 제3호(2007. 9), pp.53-72
  3. 김영기. '지식트러스트 센터 (Knowledge Trust Center) 구축.' 최두진 등, 유비쿼터스 사회의 지식, 참여, 그리고 생활. 한국정보문화진흥원 연구보고서(06-18), 2006. pp.37-53
  4. Barker, Joe. 'Evaluating Web Pages: Techniques to Apply & Questions to Ask(UC Berkeley-Teaching Library Internet Workshops).' [cited 2008. 6. 19]
  5. Bell, Colleen. 'Critical Evaluation of Information Sources.' [cited 2008. 6. 19]
  6. Comsumer Reports WebWatch. [cited 2008. 11. 13]
  7. Comsumer Reports WebWatch. 'Consumer Reports WebWatch Guidelines for Hotel-Booking Sites.' [cited 2008. 11. 13]
  8. Comsumer Reports WebWatch. 'Consumer Reports WebWatch Guidelines for Independent Airline Ticket-Booking Sites.' [cited 2008. 11. 13]
  9. Cornsumer Reports WebWatch. 'Consumer Reports WebWatch Guidelines for Search Engine and Navigation Sites.' [cited 2008. 11. 13]
  10. Comsumer Reports WebWatch. 'Law and Disorder: Paid Listings Complicate Search for Quality Lawyers Online.' [cited 2008. 11. 13]
  11. e-Library, Iowa State University. 'Evaluating Information on the Web.' [cited 2008.11. 14]
  12. Expert Choice Korea. Expert Choice. [cited 2008. 6. 19]
  13. Fogg, B. J. & H. Tseng. 'The Elements of Computer Credibility.' Proceedings of ACM CHI 99 Conference on Human Factors in Computing Systems. vol.1, pp.80-87. New York: ACM Press, 1999. [cited 2008. 6. 19]
  14. Harris, Robert. 'Evaluating Internet Research Sources.' (Version Date: June 15, 2007) [cited 2008. 6. 19]
  15. Iowa State Univ. Library. 'Evaluating Information on the Web.' [cited 2008. 6. 19]
  16. New Mexico State University Library. 'The Good, the Bad, & the Ugly.' [cited 2008. 11. 13]
  17. Olin & Uris Library, Cornel University. 'Critically Analyzing Information Sources.' [cited 2008.11. 13]
  18. Phillips, M. Critical Evaluation of Resources [cited 2008. 6. 19]
  19. Princeton Survey Research Associates. A Matter of Trust - What Users Want From Web Sites. 2002. (accessed 2007. 7. 13)
  20. Schroeder, Ray. 'Evaluating Online Resources Notebook(meta-site on validating online resources.' [cited 2008. 6. 19]
  21. Self, C. S. 'Credibility.' In M. Salwen and D. Stacks Eds., An Integrated Approach to Communication Theory and Research. Mahway, NJ: Erlbaum, 1996
  22. Smith, Alastair. 'Evaluation of information sources(a part of the Information Quality WWW Virtual Library),' [cited 2008. 6. 19]
  23. Standler, Ronald B. 'Evaluating Credibility of Information on the Internet.' [cited 2008. 6. 19]
  24. Stanford Persuasive Technology Lab and Makovsky & Company(2002). 'Stanford-Makovsky Web Credibility Study - Investigating what makes Web sites credible today.' [cited 2008. 6. 19]
  25. Stanford Web Credibility Research. 'Stanford Web Credibility Research.' [cited 2008. 6. 19]
  26. The Sheridan Library, Johns Hopkins University. 'Evaluating Information Found on the Internet.' [cited 2008.11. 14]
  27. UC Berkeley University Library. 'Evaluating Web Pages: Techniques to Apply & Questions to Ask.' [cited 2008. 11. 13]
  28. University of Oregon Library. 'Critical Evaluation of Information Sources.' [cited 2008. 11. 13]
  29. Widener University. 'Evaluate Web Pages.' [cited 2008. 11. 13]