Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Color and Illumination Compensation Algorithm for 360 VR Panorama Image

360 VR 기반 파노라마 영상 구성을 위한 칼라 및 밝기 보상 알고리즘

  • Nam, Da-yoon (Sejong University, Dept. of Electrical Engineering) ;
  • Han, Jong-Ki (Sejong University, Dept. of Electrical Engineering)
  • 남다윤 (세종대학교 전자정보통신공학과) ;
  • 한종기 (세종대학교 전자정보통신공학과)
  • Received : 2018.09.11
  • Accepted : 2018.11.17
  • Published : 2019.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

Techniques related to 360 VR service have been developed to improve the quality of the stitched image and video, where illumination compensation scheme is one of the important tools. Among the conventional illumination compensation algorithms, Gain-based compensation and Block Gain-based compensation algorithms have shown the outstanding performances in the process of making panorama picture. However, those are ineffective in the 360 VR service, because the disparity between illuminations of the multiple pictures in 360 VR is much more than that in making the panorama picture. In addition, the number of the pictures to be stitched in 360 VR system is more than that in the conventional panorama image system. Thus, we propose a preprocessing tool to enhance the illumination compensation algorithm so that the method reduces the degradation in the stitched picture of 360 VR systems. The proposed algorithm consists of 'color compensation' and 'illumination compensation'. The simulation results show that the proposed technique improve the conventional techniques without additional complexity.

360 VR 기반 파노라마 영상을 제작하는 과정에서 인접한 장면을 촬영한 영상들일 지라도 촬영 각도 및 조명의 위치에 따라 영상들 간에 밝기 변화가 크고 색상값에서도 큰 차이가 발생한다. 이런 영상들을 스티칭하여 360 VR 영상을 만들면, 제작된 파노라마 영상의 품질이 저하되기 때문에 밝기 보상 기법을 전처리 과정으로 사용해야 한다. 기존의 밝기 보상 기법들은 밝기 차이가 적은 경우 또는 적은 장수의 영상들을 스티칭하는 경우에 적용되도록 설계되었기 때문에, 360 VR 서비스용 스티칭 기법에서처럼 스티칭되는 영상의 개수가 많고, 영상들 간의 밝기 차이가 클 경우에는 성능 저하가 발생하는 것으로 알려졌다. 본 논문에서는 기존의 밝기 보상 기법이 급격한 밝기 차이가 발생하는 360 VR 서비스에서도 효과적으로 이용될 수 있도록 추가의 '색상 보정' 및 '밝기 보정' 단계를 전처리 과정으로 사용함으로써, 복잡도 증가는 최소화하면서 360 VR 영상 합성의 성능을 향상시키는 것을 목표로 한다. 본 논문에서는 다양한 환경에서 촬영된 실험 영상들을 이용해서, 제안하는 기술이 기존 기술들의 성능을 향상시킬 수 있음을 보이고 있다.

Keywords

BSGHC3_2019_v24n1_3_f0001.png 이미지

그림 1. 360 VR 영상 합성 개념도 Fig. 1. Concept of the 360 VR image composition system

BSGHC3_2019_v24n1_3_f0002.png 이미지

그림 2. 360 VR 영상 합성 과정 Fig. 2. Flowchart of the 360 VR image composition algorithm

BSGHC3_2019_v24n1_3_f0003.png 이미지

그림 3. Gain-based 노출 보상 Fig. 3. Gain-based illuminance compensation

BSGHC3_2019_v24n1_3_f0004.png 이미지

그림 4. Block gain-based 노출 보상 Fig. 4. Block gain-based illuminance compensation

BSGHC3_2019_v24n1_3_f0005.png 이미지

그림 5. Gain-based 노출보상과 Block Gain-based 노출보상의 성능 비교 Fig. 5. Comparison between Gain-based compensation and Block Gain-based compensation algorithms. (a) Stitching without illumination compensation, (b) Stitched image with Gain-based illumination compensation algorithm, (c) Stitched image with Block Gain-based illumination compensation algorithm

BSGHC3_2019_v24n1_3_f0007.png 이미지

그림 6. 장애물(손)의 유무에 따른 밝기 변화 Fig. 6. Change of brightness according to obstacle (hand)

BSGHC3_2019_v24n1_3_f0008.png 이미지

그림 7. 카메라 촬영 방향에 따른 영상들 비교 Fig. 7. Pictures according to the direction of the camera

BSGHC3_2019_v24n1_3_f0009.png 이미지

그림 8. 제안하는 알고리즘의 구성도 Fig. 8. The flowchart of the proposed algorithm

BSGHC3_2019_v24n1_3_f0010.png 이미지

그림 9. 다양한 노출보상 알고리즘들을 이용한 스티칭 영상 Fig. 9. The stitched images resulted from the various compensation algorithms

BSGHC3_2019_v24n1_3_f0011.png 이미지

그림 10. 그림 11의 입력 영상 Fig. 10. Input images for Fig 11

BSGHC3_2019_v24n1_3_f0012.png 이미지

그림 11. 다른 색상의 입력 이미지들을 이용해서 스티칭한 영상들 Fig. 11. The stitched images resulted from the various compensation algorithms with input images having the different colors, (a) The image stitched by Gain-based compensation, (b) The image stitched by Block Gain-based compensation, (c) The image stitched by the proposed

BSGHC3_2019_v24n1_3_f0013.png 이미지

그림 12. 다른 색상의 입력 이미지들을 이용해서 스티칭한 영상들 (복도) Fig. 12. The stitched images (hallway) resulted from the various compensation algorithms with input images having the different colors, (a) The image stitched by Gain-based compensation, (b) The image stitched by Block Gain-based compensation, (c) The image stitched by the proposed compensatoin algorithm

BSGHC3_2019_v24n1_3_f0015.png 이미지

그림 13. 그림 14의 입력 영상 Fig. 13. Input images for Fig 14

BSGHC3_2019_v24n1_3_f0016.png 이미지

그림 14. 급격하게 밝기가 변하는 입력 영상을 스티칭한 결과 Fig. 14. The stitched images resulted from the various compensation algorithms with input images having the different brightness, (a) The image stitched by Gain-based compensation, (b) The image stitched by Block Gain-based compensation, (c) The image stitched by the proposed compensatoin algorithm

BSGHC3_2019_v24n1_3_f0017.png 이미지

그림 15. 밝기와 색상 보정이 모두 필요한 영상의 스티칭 결과 Fig. 15. The stitched images resulted from the various compensation algorithms with input images having the different brightness and color, (a) The image stitched by no compensation, (b) The image stitched by only color compensation, (c) The image stitched by only brightness compensation, (d)The image stitched by the proposed compensatoin algorithm

BSGHC3_2019_v24n1_3_f0018.png 이미지

그림 16. 수평의 360도 파노라마 Fig. 16. Horizontality 360 degree panorama

BSGHC3_2019_v24n1_3_f0019.png 이미지

그림 17. 밝기와 색상이 유사한 영상들의 스티칭 영상들 Fig. 17. The stitched images resulted from the various compensation algorithms with input images having the similar colors and brightness

표 1. 비슷한 사진들의 평균 밝기값 및 삼원색 구성 비율 비교 Table 1. Comparison of the averaged brightness and three primary colors in similar pictures

BSGHC3_2019_v24n1_3_t0001.png 이미지

표 2. 기존 노출보상 기법들과 제안하는 노출보상 기법의 실행시간 비교 Table 2. Comparison between run times of Gain-based compensation, Block Gain-based compensation, and the proposed compensation al-gorithms

BSGHC3_2019_v24n1_3_t0002.png 이미지

표 3. Fig 11의 0번째 영상과 4번째 영상의 오버랩 영역의 평균 밝기와 색상 비율 비교 Table 3. Comparison of the averaged brightness and three primary colors in the overlap region between image0 and image4 of Fig 11

BSGHC3_2019_v24n1_3_t0003.png 이미지

References

  1. Wei Xu, "Panoramic Video Stitching," Computer Science Graduate Theses & Dissertations. 47, 2012.
  2. Jinwoong Jung, Joon-Young Lee, Byungmoon Kim, and Seungyong Lee, "Upright adjustment of 360 spherical panoramas," 2017 IEEE Virtual Reality, pp 251-252, 2017.
  3. Myeongah Cho , Junsik Kim, and Kyuheon Kim, "Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method," Journal of Broadcast Engineering, Vol. 23, No. 2, pp 235-245, March 2018. https://doi.org/10.5909/JBE.2018.23.2.235
  4. David G. Lowe, "Distinctive Image Features from Scale-Invariant Key points," International Journal of Computer Vision, Vol 60, No 2, pp 91-110, November 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  5. Kaili Chen and Meiling Wang, "Image stitching algorithm research based on OpenCV," Proceedings of the 33rd Chinese Control Conference, pp. 7292-7297, 2014.
  6. Matthew Brown and David G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, 2007. https://doi.org/10.1007/s11263-006-0002-3
  7. Wei Xu and Jane Mulligan, "Performance Evaluation of Color Correction Approaches for Automatic Multi-view Image and Video Stitching," 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 263-270, 2010.
  8. Meer Sadeq Billah and Ahn Heejune, "Stitching Method of Videos Recorded by Multiple Handheld Cameras," Journal of the Korea Industrial Information Systems Research, Vol. 22, No. 3, pp.27-38, June 2017. https://doi.org/10.9723/jksiis.2017.22.2.027
  9. Heung-Yeung Shum and Richard Szeliski, Panoramic vision, Springer-Verlag New York, Secaucus NJ USA, pp.227-268, 2001.
  10. Benoit Payette, "Color Space Converter: R'G'B' to Y'CrCb", XAPP 637(v1.0), September 2002.