The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

Low-Resolution Depth Map Upsampling Method Using Depth-Discontinuity Information

깊이 불연속 정보를 이용한 저해상도 깊이 영상의 업샘플링 방법

  • 강윤석 (광주과학기술원 정보통신공학부, 영상통신연구실) ;
  • 호요성 (광주과학기술원 정보통신공학부, 영상통신연구실)
  • Received : 2013.06.30
  • Accepted : 2013.08.26
  • Published : 2013.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

When we generate 3D video that provides immersive and realistic feeling to users, depth information of the scene is essential. Since the resolution of the depth map captured by a depth sensor is lower than of the color image, we need to upsample the low-resolution depth map for high-resolution 3D video generation. In this paper, we propose a depth upsampling method using depth-discontinuity information. Using the high-resolution color image and the low-resolution depth map, we detect depth-discontinuity regions. Then, we define an energy function for the depth map upsampling and optimize it using the belief propagation method. Experimental results show that the proposed method outperforms other depth upsampling methods in terms of the bad pixel rate.

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

Keywords

References

  1. C. Fehn, R. Barre, and S. Pastoor, "Interactive 3DTV - concepts and key technologies," Proc. IEEE, vol. 94, no. 3, pp. 524-538, Mar. 2006. https://doi.org/10.1109/JPROC.2006.870688
  2. C. Fehn, "Depth-image-based rendering (DIBR), compression, and transmission for a new approach on 3D-TV," Proc. SPIE Stereoscopic Displays Virtual Reality Syst., vol. 5921, pp. 93-104, May 2004.
  3. A. Smolic and P. Kauff, "Interactive 3-D video representation and coding technologies," Proc. IEEE, vol. 93, no. 1, pp. 99-110, Jan. 2005.
  4. J. Sun, N. N. Zheng, and H. Y. Shum, "Stereo matching using belief propagation," IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 5, pp. 787-800, July 2003. https://doi.org/10.1109/TPAMI.2003.1206509
  5. Y. S. Kang and Y. S. Ho, "Generation of high-resolution disparity map using multiple cameras and low-resolution depth camera," in Proc. KICS 2012 Fall Conf., pp. 287-288, Seoul, Korea, Nov. 2012.
  6. J. Kopf, M. Cohen, D. Lischinski, and M. Uyttendaele, "Joint bilateral up-sampling," ACM Trans. Graphics, vol. 26, no. 3, pp. 1-5, Aug. 2007.
  7. D. Chan, H. Buisman, C. Theobalt, and S. Thrun, "A noise-aware filter for real-time depth upsampling," in Proc. ECCV Workshop Multi-camera Multi-modal Sensor Fusion Algorithms Applicat., pp. 1-12, Marseille, France, Oct. 2008.
  8. J. Diebel and S. Thrun, "An application of markov random fields to range sensing," Advances in Neural Inform. Process. Syst., vol. 18, pp. 291-298, Dec. 2006.