Journal of Information Management (정보관리연구)

Korea Institute of Science and Technology Information (한국과학기술정보연구원 과학기술정보센터)
권호 표지
DOI QR코드

DOI QR Code

A Study on Automatic Text Categorization of Web-Based Query Using Synonymy List

유사어 사전을 이용한 웹기반 질의문의 자동 범주화에 관한 연구

  • Nam, Young-Joon (Dept. of Library & Information Science, Chung-ang University) ;
  • Kim, Gyu-Hwan (Dept. of Library & Information Science, Chung-ang University)
  • Published : 2004.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this study, the way of the automatic text categorization on web-based query was implemented. X2 methods based on the Supported Vector Machine were used to test the efficiency of text categorization on queries. This test is carried out by the model using the Synonymy List. 713 synonyms were extracted manually from the tested documents. As the result of this test, the precision ratio and the recall ratio were decreased by -0.01% and by 8.53%, respectively whether the synonyms were assigned or not. It also shows that the Value of F1 Measure was increased by 4.58%. The standard deviation between the recall and precision ratio was improve by 18.39%.

본 연구에서는 웹기반 질의문을 자동 범주화하는 방안에 대해 조사하였다. 질의문 범주화에 대한 실험은 SVM-light를 사용하여 범주자질로써 유사어 사전을 부여하기 전과 후를 비교하였다. 유사어는 학습을 통해 수작업으로 대상문서에서 713개를 추출하였다. 전체적으로 유사어 부여전과 부여후의 결과는 6개 범주에서 정도율은 -0.01%로 거의 변화가 없었으며 재현율은 8.53%가 향상되었다. F1-Measure 값도 4.58%가 향상되었다. 특히 범주내 정도율과 재현율의 표준편차가 18.39%나 개선되어 적정한 검색효율을 확보할 수 있었다.

Keywords

References

  1. 고영중. 1999. "비지도학습을 기반으로 한 자동 문서 범주화". 석사학위논문, 서강대학교 대학원.
  2. 권호경. 1996. "자동색인을 위한 가중치 불용어 사전의 구축". 석사학위논문, 한양대학교 대학원.
  3. 김상범. 1999." 범주간의 관계를 통한 자동 문서 범주화의 개선". 석사학위논문, 고려대학교 대학원.
  4. 김재훈, 김준홍. 2000. 도합유사도를 이용한한국어 추출문서 요약." 한글 및 한국어정보처리 학술대회 발표논문집", 12:238-244.
  5. 김현희, 이용례. 1990. 문헌의 자동분류를 위한 판별 분류시스템 설계. "도서관학",18집: 129-155
  6. 남영준. 1995. "색인어 형태분석에 의한 한국어 자동색인기법연구". 박사학위논문,중앙대학교 대학원, 문헌정보학과.
  7. 노정순. 2004. OPAC에서 자동 열람을 위한계층 클러스터링 연구. "정보관리학회지", 24(1): 93-117.
  8. 노현아. 2003." 단어 빈도 가중치를 이용한 자동 문서 분류". 석사학위논문, 전남대학교 대학원.
  9. 박수현. 1999. 한국어 정보검색시스템에서 시소러스를 이용한 검색 효율 향상." 동서논문집", 동서대학교: 335-344.
  10. 양근우, 허순영. 2004. 문서범주화를 이용한지식관리시스템에서의 전문가 분류 자동화. "경영정보학연구", 14(2): 115-130.
  11. 유영순. 2002. "전자메일분류를 위한 전처리및 자질추출방법". 석사학위논문, 충남대학교 대학원.
  12. 윤용옥. 2003. "지지벡터 기계를 이용한 계층적 문서 분류". 석사학위논문, 포항공과대학 대학원.
  13. 이경찬. 2003. "용어가중치와 역범주 빈도에의한 자동 문서 범주화". 석사학위논문,국민대학교 대학원.
  14. 이지행, 조성배. 2000. 다중 신경망을 이용한한메일넷 질의 자동 분류 시스템." 한국정보과학회 봄 학술발표논문집(B)".
  15. 전미선, 박세영. 1991. 상호정보를 이용한 어의모호성 해소에 관한 연구. "제6회 한국및 한국어 정보처리학술발표논문집".
  16. 조광제, 김준태. 1997. 역카테고리 빈도에 의한계층적 분류체계에서의 문서의 자동 분류. "한국정보과학회 봄 학술발표논문집(B)".
  17. 한광록, 선복근. 2000. 인터넷 문서 자동 분류시스템 개발에 관한 연구. "정보처리학회논문지", 7(9): 267-275.
  18. 한승희. 2003. 용어 자동분류를 위한 퍼지 클러스터링 기법 분석. "제10회 한국정보관리학회 학술대회", 2003년 8월22-23일. [서울: 이화여자대학교].
  19. 홍진혁, 류종원, 조성배. 2001. 실세계의 FAQ메일 자동분류를 위한 문서 특징 추출방법의 성능 비교. "한국정보과학회 봄학술발표대회논문집(B)"
  20. Chapelle, O., P. Haffner, and V. Vapnik. 1990. “SVM for Histogram-Based Image Classification.”IEEE Trans. On Neural Networks. 10(5): 1055- 1065. https://doi.org/10.1109/72.788646
  21. Dumais, S.T., J. Platt, D. Heckerman and M. Sahami. 1998. “Inductive Learning Algorithems and Representations for Text Categorization.” Proceedings of ACM-CIKM98: 148-155.
  22. Joachims, T. 1998. “Text Categorization with support vector Machines : Learning with Many Relevant Feature.” Proc. In European Conference on Machine Learning. : 137-142.
  23. Luhn, H. P. 1958. “The Automatic Creation of Literature Abstracts.” IBMJRD, 2(2): 159-165.
  24. Salton, Gerard. 1989. Automatic Text Proceeding. Addison Wesley: 275-280.
  25. Salton, Gerard, Edward A. Fox, and Harry Wu. 1983. “ Extended Boolean Information Retrieval.” Communications of the ACM, 26(11): 1022-1036. https://doi.org/10.1145/182.358466
  26. Yang, Y. and J.O. Pedersen. 1997. “A Comparative Study on Feature Selection in Text Categorization.” Proc. Of the 14th International conference on Machine ICML-97: 412-429.