Comparative Study of Machine learning Techniques for Spammer Detection in Social Bookmarking Systems

소셜 복마킹 시스템의 스패머 탐지를 위한 기계학습 기술의 성능 비교

  • Published : 2009.05.15

Abstract

Social bookmarking systems are a typical web 2.0 service based on folksonomy, providing the platform for storing and sharing bookmarking information. Spammers in social bookmarking systems denote the users who abuse the system for their own interests in an improper way. They can make the entire resources in social bookmarking systems useless by posting lots of wrong information. Hence, it is important to detect spammers as early as possible and protect social bookmarking systems from their attack. In this paper, we applied a diverse set of machine learning approaches, i.e., decision tables, decision trees (ID3), $na{\ddot{i}}ve$ Bayes classifiers, TAN (tree-augment $na{\ddot{i}}ve$ Bayes) classifiers, and artificial neural networks to this task. In our experiments, $na{\ddot{i}}ve$ Bayes classifiers performed significantly better than other methods with respect to the AUC (area under the ROC curve) score as veil as the model building time. Plausible explanations for this result are as follows. First, $na{\ddot{i}}ve$> Bayes classifiers art known to usually perform better than decision trees in terms of the AUC score. Second, the spammer detection problem in our experiments is likely to be linearly separable.

소결 북마킹(social bookmarking) 시스템은 사용자가 북마크를 저장하고 공유할 수 있는 플랫폼을 제공하는 웹 기반(web-based) 시스템으로 폭소노미(folksonomy)를 이용한 대표적인 웹2.0 서비스이다. 소셜 북마킹 시스템에서의 스패머(spammer)란 자신들의 이익을 위해서 시스템을 고의적으로 악용하는 사람을 말한다. 스패머는 많은 양의 잘못된 정보를 시스템에 포스팅(posting)하기 때문에 전체 소셜 북마킹 시스템의 리소스(resource)를 쓸모없게 만들어 버린다. 따라서, 스패머를 빠른 시간 안에 탐지하고 그들의 접근을 차단하는 것은 시스템의 붕괴를 방지하기 위해 중요하다. 본 논문에서는 사용자가 사용한 태그에 대한 데이터를 추출하여, 사용자가 스패머 인지 아닌지를 예측하는 모델을 기계학습의 다양한 방법을 적용하여 생성한 후 그 성능을 비교해 보았다. 구체적으로, 결정테이블 (decision table, DT), 결정트리(decision tree, ID3), 나이브 베이즈 분류기($na{\ddot{i}}ve$ Bayes classifier), TAN(tree-augmented $na{\ddot{i}}ve$ Bayes) 분류기, 인공신경망(artificial neural network)의 방법을 비교하였다. 그 결과 AUC(area under the ROC curve)와 모델 생성시간을 고려하였을 때 나이브 베이즈 분류기가 가장 만족할 만한 성능을 보였다. 나이브 베이즈 분류기의 분류 결과가 가장 좋았던 이유는 성능을 비교하는 데 사용된 AUC가 결정트리 계열의 방법(ID3 등)보다 나이브 베이즈 분류기에서 일반적으로 높게 나오는 경향이 있다는 것과, 스패머 탐지 문제가 선형으로 분리 가능한 경우(lineally separable)와 유사할 가능성이 높기 때문으로 여겨진다.

Keywords

References

  1. Heymann, P., Koutrika, G., and Garcia-Molina, H., Can social bookmarking improve web search?, Proceedings of the First ACM International Conference on Web Search and Data mining, 2008
  2. Mathes, A., Folksonomies - cooperative classification and communication through shared metadata, unpublished paper, http://www.adam-mathes.com/academic/computermediatedcommunication/folksonomies.html, 2004
  3. Hotho, A., Jaschke, R., Schmitz, C., and Stumme, G., BibSonomy: a social bookmark and publication sharing system, Proceedings of the Conceptual Structures Tool Interoperability Workshop at the 14th International Conference on Conceptual Structures, pp. 87-102, 2006
  4. Hotho, A., Jaschke, R., Schmitz, C., and Stumme, G., Information retrieval in folksonomies: search and ranking, Proceedings of the Third European Semantic Web Conference, pp. 411-426, 2006
  5. Cover, T.M. and Thomas, J.A., Elements of Information Theory, Wiley-Interscience, 1991
  6. Fawcett, T., An introduction to ROC analysis, Pattern Recognition Letters, Vol.27, pp. 861-874, 2006 https://doi.org/10.1016/j.patrec.2005.10.010
  7. Mitchel, T.M., Machine Learning, McGraw_Hill, 1997
  8. Huang, J., Lu, J., and Ling, C.X., Comparing na$\ddot{i}$ve Bayes, decision trees, and SVM with AUC and accuracy, Proceedings of the Third IEEE International Conference on Data Mining, pp. 553-556, 2003
  9. Ling, C.X. and Zhang, H., The representational power of discrete Bayesian networks, Journal of Machine Learning Research, Vol.3., No.Dec., pp. 709-721, 2002