Journal of KIISE:Databases (한국정보과학회논문지:데이타베이스)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

A News Video Mining based on Multi-modal Approach and Text Mining

멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝

  • 이한성 (한국전자통신연구원 휴먼인식기술연구팀) ;
  • 임영희 (고려대학교 세종캠퍼스 컴퓨터정보학과) ;
  • 유재학 (고려대학교 세종캠퍼스 컴퓨터정보학과) ;
  • 오승근 (고려대학교 전산학과) ;
  • 박대희 (고려대학교 세종캠퍼스 컴퓨터정보학과)
  • Received : 2009.11.12
  • Accepted : 2010.04.28
  • Published : 2010.06.15
Download PDF
⟨ Previous Next ⟩

Abstract

With rapid growth of information and computer communication technologies, the numbers of digital documents including multimedia data have been recently exploded. In particular, news video database and news video mining have became the subject of extensive research, to develop effective and efficient tools for manipulation and analysis of news videos, because of their information richness. However, many research focus on browsing, retrieval and summarization of news videos. Up to date, it is a relatively early state to discover and to analyse the plentiful latent semantic knowledge from news videos. In this paper, we propose the news video mining system based on multi-modal approach and text mining, which uses the visual-textual information of news video clips and their scripts. The proposed system systematically constructs a taxonomy of news video stories in automatic manner with hierarchical clustering algorithm which is one of text mining methods. Then, it multilaterally analyzes the topics of news video stories by means of time-cluster trend graph, weighted cluster growth index, and network analysis. To clarify the validity of our approach, we analyzed the news videos on "The Second Summit of South and North Korea in 2007".

정보 통신기술이 발전함에 따라 멀티미디어 데이터를 포함하는 디지털 기록물의 양은 기하급수적으로 증가하고 있다. 특히 뉴스 비디오는 시대상을 반영하는 풍부한 정보를 내포하고 있으므로, 이를 효과적으로 관리하고 분석하기 위한 뉴스 비디오 데이터베이스 및 뉴스 비디오 마이닝은 광범위하게 연구되어왔다. 그러나 현재까지의 뉴스 비디오 관련 연구들은 뉴스 기사에 대한 브라우징, 검색, 요약에 치중되어 있으며, 뉴스 비디오에 내재되어 있는 풍부한 잠재적 지식을 탐사하는 고수준의 의미 분석 단계에는 이르지 못하고 있다. 본 논문에서는 뉴스 비디오 클립과 스크립트를 동시에 이용하는, 멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 시스템을 제안한다. 제안된 시스템은 텍스트 마이닝의 군집분석을 통해 뉴스 기사들을 자동 분류하고, 분류 결과에 대해 기간별 군집 추이그래프, 군집성장도 분석 및 네트워크 분석을 수행함으로써, 뉴스 비디오의 기사별 주제와 관련한 다각적 분석을 수행한다. 제안된 시스템의 타당성 검증을 위하여 "2007년 제2차 남북 정상회담" 관련 뉴스 비디오를 대상으로 뉴스 비디오 분석을 수행하였다.

Keywords

References

  1. H. Lee, Y. Im, D. Park, S. Lee, "News Video Shot Boundary Detection using Singular Value Decomposition and Incremental Clustering," Journal of KIISE: Software and Applications, vol.36, no.2, pp.169-177, Feb. 2009. (in Korean)
  2. H. Lee, J. Yu, Y. Im, J. Gil, D. Park, "A Unified Scheme of Shot Boundary Detection and Anchor Shot Detection in News Video Story Parsing," Multimed Tools Appl., 2010. DOI 10.1007/s11042-010-0462-x (online published)
  3. Z. Cernekova, I. Pitas, C. Nikou, "Information Theory-Based Shot Cut/Fade Detection and Video Summarization," IEEE Trans. Circuits Syst. Video Technol., vol.16, no.1, pp.82-91, 2006. https://doi.org/10.1109/TCSVT.2005.856896
  4. X. Luan, Y. Xie, L. Wu, J. Wen, S. Lao, "AnchorClu: An anchorperson shot detection method based on clustering," Proc. of Int. Conf. on Parallel and Distributed Computing, Appl. and Technol., pp.840-844, 2005.
  5. X. Gao, J. Li, B. Yang, "A Graph-Theoretical Clustering based Anchorperson Shot Detection for News Video Indexing," Proc. of Int. Conf. on Computational Intelligence and Multimedia Appl., pp.108-113, 2003.
  6. H. Lee, Y. Im, J. Park, D. Park, "A New Anchor Shot Detection System for News Video Indexing," Journal of KIIS, vol.18, no.1, pp.133-138, Feb. 2008.
  7. C. Ko, W. Xie, "News Video Segmentation and Categorization Techniques for Content-Demand Browsing," Proc. of Cong. on Image and Sig. Proc., vol.2, pp.530-534, 2008.
  8. Y. Fang, X. Zhai, J. Fan, "News Video Story Segmentation," Proc. of Int. Conf. on Multimedia Modeling, pp.397-400, 2006.
  9. H. Lee, A Data Cube System for The Semantic Analysis of News Video, Ph.D. Dissertation, Korea University, Korea, December 2007.
  10. I. Ide, H. Mo, N. Katayama, S. Satoh, "Topic Threading for Structuring a Large-scale News Video Archive," Proc. of Int. Conf. on Image and Video Retrieval, LNCS, vol.3115, pp.123-131, 2004.
  11. X. Wu, C.-W. Ngo, Q. Li, "Threading and Autodocumenting News Videos: a promising solution to rapidly browse news topics," IEEE Sig. Proc. Magazine, vol.23, issue. 2, pp.59-68, 2006.
  12. J. Kim, H. Chang, Y. Kim, K. Kang, M. Kim, J. Kim, H. Kim, "Multimodal Approach for Summarizing and Indexing News Video," ETRI Journal, vol.24, no.1, pp.1-11, Feb. 2002. https://doi.org/10.4218/etrij.02.0102.0101
  13. J. Shen, D. Tao, X. Li, "Modality Mixture Projections for Semantic Video Event Detection," IEEE Trans. Circuits Syst. Video Technol., vol.18, no.11, Nov. 2008.
  14. J. Lee, J. Moon, H. Kim, "Examining the Intellectual Structure of Records Management & Archival Science in Korea with Text Mining," Journal of Korean Society for Library and Information Science, vol.41, no.1, pp.345-369, 2007. (in Korean) https://doi.org/10.4275/KSLIS.2007.41.1.345
  15. L. Egghe, "Expansion of the field of informetrics: the second special issue," Information Processing and Management, vol.42, no.6, pp.1405-1407, 2006. https://doi.org/10.1016/j.ipm.2006.02.004
  16. P. Losiewicz, D. Oard, R. Kostoff, "Textual data mining to support science and technology management," Journal of Intelligent Information Systems, vol.15, no.2, pp.99-119, 2000. https://doi.org/10.1023/A:1008777222412
  17. P. Glenisson, W. Glanzel, O. Persson, "Combining Full-text Analysis and Bibliometric indicators," Scientometrics, vol.63, no.1, pp.163-180, 2005. https://doi.org/10.1007/s11192-005-0208-0
  18. J. Han, M. Kamber, Data Mining: Concepts and Techniques, Morgan Kaufmann Publishers, 2nd edn, pp.408-418, 2007.
  19. R. W. Schvaneveldt, Pathfinder Associative Networks: Studies in Knowledge Organization, Norwood, NJ: Ablex, 1990.
  20. C. Chen, "Generalized Similarity Analysis and Pathfinder Network Scaling," Interacting with Computers, vol.10, no.2, pp.107-128, 1998. https://doi.org/10.1016/S0953-5438(98)00015-0