Achieving Retrieval Effectiveness by Category Classification of Words Occurring in Web Documents

웹 문서 내 출현 어휘의 범주 분류에 의한 검색 효율성 연구

Kim, Yun-Sik;Ra, Dong-Yul
김윤식;나동열

  • Published : 2005.10.31

Abstract

The conventional information retrieval methods are based upon either measuring similarity by string comparison of search keys or searching subject categories formed with classifying documents to subject categories. These retrieval methods have the advantage of being simple to use, fast in retrieval, and able to retrieve large amount of information. However, there arise problems such as ambiguity of search keys and retrieval of large number of garbage documents. This paper proposes a method of re-evaluating retrieval effectiveness by assigning weights to subject categories in which words occur by making use of semantic analysis of those words used for search keys. It is necessary to decide the subject category of documents by exploiting semantic class features of the words matching the search keys with the help of their lexical information in the dictionary. It is suggested to utilize co-occurring words and extend the key words by semantic interpretation of simple search keys.

기존 일반적 정보 검색은 검색키에 의한 문자열 비교 검색에 의한 유사도 측정 방법과 문서의 의미 범주별 분류에 의한 주제별 검색이 주를 이루었다. 이러한 검색 방법은 사용법이 간편하고 검색 속도가 빠르며 많은 정보가 검색되는 장점이 있으나 검색키의 중의성 문제, 쓰레기 문서의 대량 검출 등 많은 문제점이 발생한다. 본 연구에서는 검색키로 사용되는 어휘의 의미 분석을 이용하여 어휘가 출현하는 주제 분야별 가중치를 부여하여 검색 효율성 제고 방안을 제시하였다. 검색키와 일치하는 문서 내에 포함된 어휘들을 사전 정보를 이용하여 의미 분류 속성으로 문서의 주제별 범주를 판단하기 위해 단순 검색키의 의미 해석에 의한 키 확장, 출현 단어간 공기관계 등을 활용한다.

Keywords