Spatio-temporal Mode Selection Methods of Fast H.264 Using Multiple Reference Frames

다중 참조 영상을 이용한 고속 H.264의 움직임 예측 모드 선택 기법

  • 권재현 (동국대학교 정보통신공학과) ;
  • 강민정 (동국대학교 정보통신공학과) ;
  • 류철 (동국대학교 정보통신공학과)
  • Published : 2008.03.31

Abstract

H.264 provides a good coding efficiency compared with existing video coding standards, H.263, MPEG-4, based on the use of multiple reference frame for variable block size motion estimation, quarter-pixel motion estimation and compensation, $4{\times}4$ integer DCT, rate-distortion optimization, and etc. However, many modules used to increase its performance also require H.264 to have increased complexity so that fast algorithms are to be implemented as practical approach. In this paper, among many approaches, fast mode decision algorithm by skipping variable block size motion estimation and spatial-predictive coding, which occupies most encoder complexity, is proposed. This approach takes advantages of temporal and spatial properties of fast mode selection techniques. Experimental results demonstrate that the proposed approach can save encoding time up to 65% compared with the H.264 standard while maintaining the visual perspectives.

ITU-T와 MPEG에 의해 최근 표준화가 완성된 H.264는 가변 블록 크기 움직임 예측, 다중 참조 영상, 1/4화소단위 움직임 예측 및 보상, $4{\times}4$ 정수 단위 DCT, 비트율-왜곡 최적화(Rate-Distortion Optimization)등의 새로운 부호화 기술로 H.263, MPEG-4 등 기존 비디오 표준에 비해 더 좋은 부호화 효율을 제공하고 있다. 그러나 새로운 부호화 기술들은 H.264의 전반적인 복잡도를 심화시키는 주된 요인이므로, H.264의 실제 응용을 용이하게 하기 위해서는 이러한 기술에 대한 고속 알고리즘이 요구된다. 제안하는 방식은 부호화기의 복잡도에서 가장 큰 비중을 차지하는 가변 블록 크기 움직임 예측 부호화에서 부호화 모드를 효율적으로 생략함으로써 모드 결정을 빠르게 수행하는 고속 모드 결정법으로, 참조 영상의 수를 줄이는 방법과 예측 모드를 생략하는 방법으로 구분될 수 있다. 참조 영상의 수를 줄이는 방법의 경우 상위 $16{\times}16$ 매크로블록에서 최소의 SAD를 갖는 참조 영상을 선택하여 $16{\times}8$$8{\times}16$ 모드의 움직임을 예측하고, 이 중 다시 최적의 참조 영상을 선택하여 하위 모드의 움직임을 예측한다. 예측 모드를 생략하는 방법에서는 매크로블록의 가로와 세로 세분화 방향성을 이용하여 만약 $16{\times}16$ 모드가 선택될 경우, $8{\times}8$$4{\times}4$ 하위 모드만 수행하고, $16{\times}8$ 모드가 선택되면 $8{\times}4$, $8{\times}16$ 모드가 선택되면 $4{\times}8$ 모드에서만 움직임 예측을 수행할 수 있다. 실험 결과 모든 참조 영상을 사용하는 방식에 비해 평균 65%가량 속도가 향상된 반면 영상의 화질은 H.264 표준 및 기존 방식과 유사함을 PSNR을 통하여 증명한다.

Keywords

References

  1. Draft ITU-R Rec. and FDIS of Joint Video Spec. (H.264 | ISO/IEC 14496-10 AVC), JVT-G050r1, Geneva, 23-27 May, 2003
  2. Iain Richardson, 'H.264 and MPEG-4 video compression,' Wiley, 2003
  3. K. P. Lim, S. Wu, D. J. Wu, S. Rahardja, X. Lin, F. Pan, Z. G. Li, 'Fast INTER Mode Selection,' Joint Video Team(JVT) of ISO/IEC MPEG&ITU-T VCEG, Doc JVT-1020 Sep., 2003
  4. Feng PAN, Xiao LIN, Rahardja SUSANTO, Keng Pang LIM, Zheng Guo LI, Ge Nan FENG, Da Jun WU, and Si WU, 'Fast Mode Decision for Intra Prediction,' JVT of ISO/IEC MPEG&ITU-T VCEG, 7th Meeting: Pattaya II, Thailand, 7-14 March, 2003
  5. C. W. Ting, L. M. Pc, C. H. Cheung, 'Center-biased frame selection algorithms for fast multi-frame motion estimation in H.264,' Proc. Int. Conf. Neural Networks and Signal Procession, Vol.2, pp.1258-1261, Dec., 2003
  6. D. Wu, F. Pan, K. P. Lim, S. Wu, Z. G. Li, X. Lin, S. Rahardja, and C. C. Ko, 'Fast Intermode Decision in H.264/AVC Video Coding,' IEEE Transactions on Circuits and systems for Video Technology, Vol.15, No. 6, July, 2005
  7. 김재훈, 홍민철, '동영상 부호화의 움직임 추정 및 보상을 위한 고속 다중 참조 프레임선택 기법,' 한국통신학회 추계종합학술발표회 논문집, 7C-267, 2005
  8. 이정호, 조익환, 정동석, '다중 참조 영상의 적응적 선택 및 선택적 인트라 모드를 이용한 H.264/AVC의 고속 모드 결정 방법,' 한국통신학회논문지 06-3 Vol.31, No.3c
  9. JM 9.8, Reference Software of JVT