Comments Classification System using Topic Signature

Topic Signature를 이용한 댓글 분류 시스템

  • 배민영 (창원대학교 컴퓨터공학과) ;
  • 차정원 (창원대학교 컴퓨터공학과)
  • Published : 2008.12.15

Abstract

In this work, we describe comments classification system using topic signature. Topic signature is widely used for selecting feature in document classification and summarization. Comments are short and have so many word spacing errors, special characters. We firstly convert comments into 7-gram. We consider the 7-gram as sentence. We convert the 7-gram into 3-gram. We consider the 3-gram as word. We select key feature using topic signature and classify new inputs by the Naive Bayesian method. From the result of experiments, we can see that the proposed method is outstanding over the previous methods.

본 논문에서는 토픽 시그너처(Topic Signature)를 이용하여 댓글을 분류하는 시스템에 대해서 설명한다. 토픽 시그너처는 자질을 선택하는 방법으로 문서요약이나 문서분류에서 사용하는 방법이다. 댓글은 문장의 길이가 짧고 띄어쓰기가 거의 없으며 특수문자들이 많은 특성을 가지고 있다. 따라서 우리는 댓글을 7개의 음절로 나누고 이를 다시 Tri-gram으로 나누어 분류의 기본단위로 본다. 이 Tri-gram을 토픽 시그너처를 이용한 학습 단위로 사용하고, 학습한 자질을 베이지안(Bayesian) 모델을 사용하여 분류한다. 다양한 방법의 모델과 비교 실험을 통하여 구현한 시스템의 성능이 기존의 방법보다 상승되었음을 실험 결과를 통해 알 수 있었다.

Keywords

References

  1. comment and trackback spam statistics, http://akismet.com/stats/
  2. MIT Spam Conference 2007. http://www.spamconference.org/
  3. Bo Pang, Lillian Lee and Shivakumar Vaithyanathan. Thumbs up? Sentiment Classification using Machine Learning Techniques. EMNLP. pp.79-86. 2002
  4. Soo-Min Kim and Eduard Hovy. Automatic Detection of Opinion Bearing Words and Sentences. IJCNLP. pp.61-66. 2005
  5. Soo-Min Kim and Eduard Hovy. Determining the Sentiment of Opinions. COLING. pp.1367-1373. 2004
  6. Ryan McDonald, Kerry Hannan, Tyler Neylon, Mike Wells and Jeff Reynar. Structured Models for Fine-to-Coarse Sentiment Analysis. EMNLP - CoNLL. pp.432-439. 2007
  7. Spam in blogs, Wikipedia. http://en.wikipedia.org/ wiki/Spam_in_blogs
  8. Movable Type Black Filter, with content filtering http://www.jayallen.org/projects/mt-blacklist/
  9. Mishne G., D. Carmel. Blocking Blog Spam with Language Model Disagreement. 1st International Workshop on Adversarial Information Retrieval on the Web. pp.1-6. 2005
  10. Preventing comment spam using "nofollow" tag (2005). http://googleblog.blogspot.com/2005/01/preventing-comment-spam.html
  11. 전희원, 임해창. 본문과 덧글의 동시출현 자질을 이용한 역 카이 제곱 기반 블로그 덧글 스팸 필터 시스템. 한글 및 한국어 정보처리 학술대회 19th. pp.122-127. 2007
  12. 김묘실, 강승식. SVM을 이용한 악성 댓글 판별 시스템의 설계 및 구현. 한글 및 한국어 정보처리 학술대회 18th. pp.285-289. 2006
  13. Chin-Yew Lin and Eduard Hovy. The Automated Acquisition of Topic Signatures for Text Summarization. COLING 18th. pp.495-500. 2000