The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

Improved Polynomial Model for Multi-View Image Color Correction

다시점 영상 색상 보정을 위한 개선된 다항식 모델

  • 정재일 (광주과학기술원 정보통신공학부, 영상통신연구실) ;
  • 호요성 (광주과학기술원 정보통신공학부, 영상통신연구실)
  • Received : 2013.07.01
  • Accepted : 2013.08.26
  • Published : 2013.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

Even though a multi-view camera system is able to capture multiple images at different viewpoints, the color distributions of captured multi-view images can be inconsistent. This problem decreases the quality of multi-view images and the performance of post-image processes. In this paper, we propose an improved polynomial model for effectively correcting the color inconsistency problem. This algorithm is fully automatic without any pre-process and considers occlusion regions of the multi-view image. We use the 5th order polynomial model to define a relative mapping curve between reference and source views. Sometimes the estimated curve is seriously distorted if the dynamic range of extracted correspondences is quite low. Therefore we additionally estimate the first order polynomial model for the bottom and top regions of the dynamic range. Afterwards, colors of the source view are modified via these models. The proposed algorithm shows the good subjective results and has better objective quality than the conventional color correction algorithms.

여러 대의 카메라를 이용하여 영상을 획득하는 다시점 카메라 시스템에서 각 시점의 색상이 서로 다르게 촬영되는 문제가 발생한다. 본 논문에서는 이런 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 제안한다. 특징점 기반 대응점 추출 알고리즘을 이용하여 기준 시점과 다른 시점 간의 색상 대응 관계를 획득하고, 이를 이용하여 상대적인 매핑 곡선을 계산한다. 이때 비선형적인 관계를 반영하기 위해서 5차 다항 모델을 이용한다. 추출된 대응점의 동적 영역이 좁을 경우에 매핑 곡선의 정확도가 떨어지게 되는데, 이를 보완하기 위해서 매핑 곡선의 양 끝 부분을 1차 다항 모델을 이용하여 다시 추정한다. 이렇게 유추된 모델을 이용하여 색상을 보정하면, 추출된 대응점의 동적 영역에 강인하게 색상 불일치 문제를 해결할 수 있다. 제안한 방법은 색상 차트 촬영과 같은 전처리 과정이 필요하지 않기 때문에, 기존에 촬영된 다시점 영상에도 적용할 수 있다는 장점을 갖는다. 다양한 실험을 통해 제안한 알고리즘이 다른 최신의 알고리즘보다 보정 효과가 우수함을 확인했고, 객관적 평가에서도 우수한 성능을 보였다.

Keywords

References

  1. M. Levoy and P. Hanrahan, "Light field rendering," in Proc. ACM SIGGRAPH, pp. 33-42, New Orleans, U.S.A., Aug. 1996.
  2. A. Smolic, K. Mueller, P. Merkle, C. Fehn, P. Kauff, P. Eisert, and T. Wiegand, "3D video and free viewpoint video - technologies, applications and MPEG standards," in Proc. IEEE Int. Conf. Multimedia Expo, pp. 2161-2164, Toronto, Canada, July 2006.
  3. A. Smolic and D. McCutchen, "3DAV exploration of video-based rendering technology in MPEG," IEEE Trans. Circuits Syst. Video Technol., vol. 14, no. 3, pp. 348-356, Mar. 2004. https://doi.org/10.1109/TCSVT.2004.823395
  4. A. Ilie and G. Welch, "Ensuring color consistency across multiple cameras," in Proc. IEEE Int. Conf. Computer Vision (ICCV 2005), vol. 2, pp. 1268-1275, Beijing, China, Oct. 2005.
  5. N. Joshi, B. Wilburn, V. Vaish, M. Levoy, and M. Horowitz, Automatic color calibration for large camera arrays, UCSD CSE TR CS2005-0821, May 2005.
  6. U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-based prefiltering for luminance and chrominance compensation of multiview video," IEEE Trans. Circuits Syst. Video Technol., vol. 18, no. 9, pp. 1258-1267, Sep. 2008. https://doi.org/10.1109/TCSVT.2008.926997
  7. K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview video coding using view interpolation and color correction," IEEE Trans. Circuits Syst. Video Technol., vol. 17, no. 11, pp. 1436-1449, Nov. 2007. https://doi.org/10.1109/TCSVT.2007.903802
  8. J. Jung and Y. Ho, "Color correction algorithm based on camera characteristics for multi- view video coding," Signal, Image, Video Process., DOI:10.1007/s11760-012-0341-1, pp. 1-12, May 2012.
  9. D. Lowe, "Distinctive image features from scale-invariant keypoints," Int. J. Comput. Vision, vol. 60, no. 2, pp. 91-110, Jan. 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  10. J. Wolberg, Data Analysis Using the Method of Least Squares: Extracting the Most Information from Experiments, Springer, 2005.
  11. E. Reinhard, M. Adhikhmin, B. Gooch, and P. Shirley, "Color transfer between images," IEEE Comput. Graph. Appl, vol. 25, no. 5, pp. 34-41, Sep./Oct. 2001.