Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Hierarchical Keyframe Selection from Video Shots using Region, Motion and Fuzzy Set Theory

비디오 셧으로부터 영역, 모션 및 퍼지 이론을 이용한 계층적 대표 프레임 선택

  • 강행봉 (가톨릭대학교 컴퓨터전자공학부)
  • Published : 2000.05.15
Download PDF
⟨ Previous Next ⟩

Abstract

For content-based video indexing and retrieval, it is necessary to segment video data into video shots and then select key frames or representative frames for each shot. However, it is very difficult to select key frames automatically because the task of selecting meaningful frames is quite subjective. In this paper, we propose a new approach in selecting key frames based on visual contents such as region information and their temporal variations in the shot. First of all, we classify video shots into panning shots, zooming shots, tilting shots or no camera motion shots by detecting camera motion information in video shots. Then, in each category, we apply appropriate fuzzy rules to select key frames based on meaningful content in frame. Finally, we control the number of key frames in the selection process by adjusting the degree of detail in representing video shots.

내용 기반의 비디오 인덱싱 및 검색을 위해서는 비디오 데이타를 셧(shot)으로 분할하고, 또 각 셧을 나타내는 대표 프레임을 선택하는 것이 필요하다. 하지만, 대표 프레임을 선택하는 것은 주관적이어서 일관되게 자동적으로 대표 프레임을 선택하는 것은 쉬운 문제가 아니다. 본 논문에서는 각 프레임에서의 영역을 바탕으로한 컨텐트 정보 및 시간 축 상의 변화를 이용하여 계층적으로 대표 프레임을 선택하는 방법을 제안한다. 먼저, 비디오 셧에서 카메라 모션을 검출하여 이에 따라 비디오 셧을 분류한다. 다음, 분류된 비디오 셧에 컨텐트의 중요도를 계산하기 위한 퍼지 규칙을 적용하여 대표 프레임을 선택한다. 끝으로, 선택되는 대표 프레임의 수는 브라우징 상세도(detailness)에 따라 계층적으로 선택되게끔 한다.

Keywords

References

  1. W. Grosky, R. Jain and R. Mehrotra, The Handbook of Multimedia Information Management, Prentice Hall, 1997
  2. B. Furht, S. Smoliar and Zhang, Video and Image Processing in Multimedia Systems, Kluwer Academic Publishers,1995
  3. M. Cascia, E. Ardizzone, 'JACOB: Just A Content-Based Query System for Video Databases,' Proc. ICASSP '96, pp. 1216-1219, 1996 https://doi.org/10.1109/ICASSP.1996.543585
  4. W. Wolf, 'Key Frame Selection by Motion Analysis,' Proc. ICASSP '.96, pp, 1228-1231, 1996
  5. H. Zhang, J. Wu, D. Zhong and S. Smoliar, 'An Integrated System for Content-based Video Retrieval and Browsing,' Pattern Recognition, 30(4), pp. 643-658, 1997 https://doi.org/10.1016/S0031-3203(96)00109-4
  6. R. L. Lagendijk, A. Hanjalic, M. Ceccarelli, M. Coletic, and E. Person, 'Visual Search in a SMASH System,' ICIP '96, pp.671-674, 1996 https://doi.org/10.1109/ICIP.1996.560584
  7. X. Sun, M. Kankanhali, Y. Xhu, J. Wu, 'Content-Based Representative Frame Extraction for Digital Video,' Proc. IEEE Multimedia System'98, pp.190-193, 1998 https://doi.org/10.1109/MMCS.1998.693638
  8. B. D. Lucas. T. Kanade, 'An Iterative Technique of Image Registration and Its Application to Stereo,' Proc. IJACI, pp. 674-679, 1981
  9. M. Pardas and P. Salembier, '3D Morphological Segmentation and Motion Estimation for Image Sequences,' Signal Processing, Vol. 38, pp. 31-43. 1994 https://doi.org/10.1016/0165-1684(94)90055-8
  10. L. Vincent and P. Sollie. 'Watersheds in Digital Spaces: An Efficient Algorithms based on Immersion Simulation,' IEEE Trans. Pattern and Mach. Intell., Vol. 13, No.6, pp. 583-598, June 1991 https://doi.org/10.1109/34.87344
  11. J. Jang, C. Sun and E. Mizutani, Neuro-Fuzzy and Soft Computing, Prentice Hall, 1997
  12. S. Katz, Shot by Shot, 1998
  13. 강행봉, '영역 흐름 및 칼라 정보를 이용한 MPEG 데이터의 내용 기반 셧 경계 검출', 정보과학회논문지, 제 27권 4호, 2000