The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Intelligent Web Crawler for Supporting Big Data Analysis Services

빅데이터 분석 서비스 지원을 위한 지능형 웹 크롤러

  • 서동민 (한국과학기술정보연구원 소프트웨어연구센터 컴퓨터지능연구실) ;
  • 정한민 (한국과학기술정보연구원 소프트웨어연구센터 컴퓨터지능연구실)
  • Received : 2013.11.25
  • Accepted : 2013.11.28
  • Published : 2013.12.28
Download PDF
⟨ Previous Next ⟩

Abstract

Data types used for big-data analysis are very widely, such as news, blog, SNS, papers, patents, sensed data, and etc. Particularly, the utilization of web documents offering reliable data in real time is increasing gradually. And web crawlers that collect web documents automatically have grown in importance because big-data is being used in many different fields and web data are growing exponentially every year. However, existing web crawlers can't collect whole web documents in a web site because existing web crawlers collect web documents with only URLs included in web documents collected in some web sites. Also, existing web crawlers can collect web documents collected by other web crawlers already because information about web documents collected in each web crawler isn't efficiently managed between web crawlers. Therefore, this paper proposed a distributed web crawler. To resolve the problems of existing web crawler, the proposed web crawler collects web documents by RSS of each web site and Google search API. And the web crawler provides fast crawling performance by a client-server model based on RMI and NIO that minimize network traffic. Furthermore, the web crawler extracts core content from a web document by a keyword similarity comparison on tags included in a web documents. Finally, to verify the superiority of our web crawler, we compare our web crawler with existing web crawlers in various experiments.

빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 문서의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서 웹 문서를 자동으로 수집하는 웹 크롤러의 중요성이 더욱 커지고 있다. 하지만, 기존 크롤러들은 일부 사이트에서 수집된 웹 문서에 포함된 URL만을 기반으로 웹 문서를 수집하기 때문에 사이트 전체 웹 문서를 수집할 수 없는 문제를 가진다. 또한, 수집된 웹 문서에 대한 정보를 효율적으로 관리하지 못하기 때문에 중복된 웹 문서를 수집하는 문제를 가진다. 그래서 본 논문에서는 웹 사이트의 RSS와 Google Search API를 통해 기존 웹 크롤러의 문제를 해결하고 RMI와 NIO을 활용해 서버와 클라이언트간 네트워크 연결을 최소화해 빠른 크롤링 기능을 제공하는 분산형 웹 크롤러를 제안한다. 또한, 제안하는 웹 크롤러는 웹 문서를 구성하는 태그들에 대한 키워드 유사도 비교를 통해, 분석에 활용되는 중요 콘텐츠만을 자동 추출하는 기능을 제공한다. 마지막으로, 기존 웹 크롤러와 제안하는 크롤러의 성능 평가 결과를 통해 제안하는 웹 크롤러의 우수성을 입증한다.

Keywords

References

  1. 성원경, 이상환, 정한민, 박경석, 이승우, 김선태, 황미녕, 조민희, 과학기술 빅데이터 추진과제 발굴 및 활용 극대화를 위한 추진전략 마련 기획연구, 교육과학기술부, 2013.
  2. 김정숙, "빅 데이터 활용과 관련기술 고찰", 한국콘텐츠학회논문지, 제10권, 제1호, pp.34-40, 2012.
  3. http://www.1000genomes.org
  4. http://www.smartinsight.co.kr
  5. http://www.energy.gov
  6. M. K. Lee, S. W. Lee, J. Y. Kim, D. M. Seo, P. K. Ki, H. M. Jung, J. H. Lee, T. H. Kim, H. K. Koo, and W. K. Sung, "InSciTe Advanced: Strategic Decision-Making Support Service based on Technology Opportunity Discovery Model," J. of Information An International Interdiscipli- nary, Vol.16, No.1(B), pp.639-698, 2013.
  7. 이진희, 김태홍, 이승우, 김평, 이미경, 서동민, 김진형, 정한민, "정보 가치 향상을 위한 정보 분석 기술의 테크놀로지 인텔리전스 적용", 정보과학회논문지 : 컴퓨팅의 실제 및 레터, 제18권, 제2호, pp.153-157, 2012.
  8. http://en.wikipedia.org/wiki/Web_crawler
  9. 김영광, 이원구, 윤화묵, 신성호, 이민호, "웹 자원 아카이빙을 위한 웹 크롤러 연구 개발", 한국콘텐츠학회논문지, 제11권, 제9호, pp.9-16, 2011. https://doi.org/10.5392/JKCA.2011.11.9.009
  10. J. H. Cho and H. G. Molina, "Parallel Crawlers," In Proc. of International World Wide Web Confe- rence, pp.124-135, 2002.
  11. http://en.wikipedia.org/wiki/RSS
  12. https://developers.google.com/custom-search
  13. J. H. Cho, H. G. Molina, and L. Page, "Efficient Crawling through URL Ordering," J. of Computer Networks and ISDN Systems, Vol.30, pp.161-171, 1998. https://doi.org/10.1016/S0169-7552(98)00108-1
  14. A. Heydon and M. Najork, "Mercator: A Scalable Extensible Web Crawler," In Proc. of International World Wide Web Conference, pp.219-229, 1999.
  15. 김진일, 권유진, 김성렬, 박근수, "그래프 탐색 기법을 이용한 효율적인 웹 크롤링 알고리즘", 한국정보과학회 가을학술발표논문집, 제35권, 제2호, pp.299-300, 2008.
  16. D. Cai, S. Yu, J. R. Wen, and W. Y. Ma, "VIPS: a Vision-based Page Segmentation Algorithm," Microsoft Technical Report, 2003.
  17. 송문원, 김우승, 김명원, "텍스트 블록 주변의 문맥을 이용한 HTML 문서 본문 추출", 정보과학회논문지 : 소프트웨어 및 응용, 제40권, 제3호, pp.155-163, 2013.
  18. C. Kohlschutter, P. Fankhauser, and W. Nejdl, "Boilerplate Detection using Shallow Text Features," In Proc. of ACM International Conference on Web Search and Data Mining, pp.441-450, 2010.
  19. 방승준, 안진호, "소켓 및 RMI 기반 자바 메시지 전달 시스템의 구현 및 성능평가", 한국 인터넷정보학회지, 제8권, 제5호, pp.11-20, 2007.
  20. http://www.cnet.com
  21. http://www.infoworld.com
  22. http://www.computerworld.com

Cited by

  1. Construction of LOK(Linked Open Knowledge) System for Advancement of Domestic Agricultural Industry vol.14, pp.9, 2014, https://doi.org/10.5392/JKCA.2014.14.09.428
  2. Development of Network Analysis and Visualization System for KEGG Pathways vol.7, pp.3, 2015, https://doi.org/10.3390/sym7031275
  3. Analysis of fire-accident factors using big-data analysis method for construction areas pp.1976-3808, 2017, https://doi.org/10.1007/s12205-017-0767-7