Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

3D conversion of 2D video using depth layer partition

Depth layer partition을 이용한 2D 동영상의 3D 변환 기법

  • Kim, Su-Dong (Electronic Engineering Dept. Kwangwoon University) ;
  • Yoo, Ji-Sang (Electronic Engineering Dept. Kwangwoon University)
  • Received : 2010.09.10
  • Accepted : 2010.12.20
  • Published : 2011.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a 3D conversion algorithm of 2D video using depth layer partition method. In the proposed algorithm, we first set frame groups using cut detection algorithm. Each divided frame groups will reduce the possibility of error propagation in the process of motion estimation. Depth image generation is the core technique in 2D/3D conversion algorithm. Therefore, we use two depth map generation algorithms. In the first, segmentation and motion information are used, and in the other, edge directional histogram is used. After applying depth layer partition algorithm which separates objects(foreground) and the background from the original image, the extracted two depth maps are properly merged. Through experiments, we verify that the proposed algorithm generates reliable depth map and good conversion results.

본 논문에서는 depth layer partition을 이용한 2D 동영상의 자동 3D 변환 기법을 제안한다. 제안하는 기법에서는 먼저 2D 동영상의 장면 전환점을 검출하여 각각의 프레임 그룹을 설정하여 움직임 연산 과정에서의 오류 확산을 방지하여 깊이맵(depth map) 생성과 정에서 오차를 줄여준다. 깊이정보는 두 가지 방법으로 생성되는데 하나는 영역 분할과 움직임 정보를 이용하여 깊이맵을 추출하는 것이고 다른 하나는 에지 방향성 히스토그램(edge directional histogram)을 이용하는 방법이다. 제안하는 기법에서는 객체와 배경을 분리하는 depth layer partition 과정을 수행한 후 생성된 두 개의 깊이맵을 원 영상에 최적이 되도록 병합하게 된다. 제안된 기법으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있다는 것을 다양한 실험 결과를 통해 알 수 있다.

Keywords

References

  1. Ross, J., "Stereopsis by binocular delay," Nature, vol. 248, pp. 354-364, 1974. https://doi.org/10.1038/248354a0
  2. T. Okino and et. al, "New television with 2D/3D image conversion techniques," Proceedings of SPIE, vol. 2653, pp. 96-103, 1995.
  3. Y. matsumoto, H. Terasaki, K. Sugimoto and T. Arakawa, "Conversion system of monocular image sequence to stereo using motion parallax," Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems, vol. 3012, pp. 108-115, May 1997.
  4. 홍호기, 백윤기, 이승현, 김동욱, 유지상, "2D H.264 동영상의3D 입체변환", 한국통신학회논문지, 제31권제12C호, pp. 1208-1215, 2006년12월.
  5. D. F. McAllister, Stereo computer graphics and other true 3D technologies, Princeton, NJ:Princrton Univercity Press, 1993.
  6. S. Battiato, S. Curti, M. LaCascia, E. Scordato, M. Tortora, "Depth-Map Generation by Image Classification," Proceedings of SPIE Electronic Imaging 2004, Three-Dimensional Image Capture and Applications VI, vol. 5302, pp 95-104, San Jose, California, USA, Jan. 2004.
  7. C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV," Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, pp. 93-104, San jose, CA, USA, Jan. 2004.
  8. Man-Bae Kim, Mun-Sup Song, Do-Kyoon Kim, Kwang-Chul Choi, "Stereoscopic conversion of monoscopic video by the transformation of vertical-to-horizontal disparity," Proceedings of SPIE, vol. 3295, pp. 65-75, 1998. https://doi.org/10.1117/12.307194
  9. 백윤기, 최미남, 박세환, 유지상, "2차원 동영상으로부터 다시점 동영상 생성 기법," 한국통신학회논문지, 제33권제1호, pp. 53-61, 2008년1월.
  10. 김지홍, 유지상, "에지 방향성 히스토그램을 이용한 2차원 동영상의 3차원 입체변환기법," 한국통신학회제34권제8호, pp. 782-789, 2009년8월.
  11. 노정진, 문영호, 유지상, "자기상관과 에지 히스토그램을 이용한 동영상 전환점 검출," 한국통신학회, 제29권제9C호, pp. 1269-1278, 2004년 9월.
  12. 김수동, 안재우, 서영호, 김동욱, 유지상, "영역 분할과 움직임 정보를 이용한 깊이맵 생성 기법," 한국방송공학회하계학술대회, 제주도, 2010년7월.
  13. Y. Wang, J. Ostermann, Y. Zhang, Video processing and communication, Prentice Hall, 2002.
  14. Y. Fisher, Fractal Image Compression: Theory & Application, Springer, 1995.
  15. KuK-Jin Yoon, In-So Kweon, "Moving Object Segmentation with Accurate Boundary Using Color and Motion," in Workshop on Image Processing and Image Understanding, pp. 150-155, 2000.
  16. Lenny Lipton, "Stereo-vision formats for video and computer graphics," Proceedings of SPIE, vol. 3012, pp. 239-244, 1997. https://doi.org/10.1117/12.274462
  17. "Methodology for subjective assessment of the quality of television picture," ITU-R Recommendation BT.500-11.

Cited by

  1. Applying differential techniques for 2D/3D video conversion to the objects grouped by depth information vol.13, pp.3, 2012, https://doi.org/10.5762/KAIS.2012.13.3.1302
  2. Generating a Stereoscopic Image from a Monoscopic Camera vol.17, pp.1, 2012, https://doi.org/10.5909/JEB.2012.17.1.17