Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Seam Finding Algorithm using the Brightness Difference Between Pictures in 360 VR

360 VR을 구성하는 영상들 간 밝기 차이를 이용한 seam finding 알고리즘

  • Nam, Da-yoon (Sejong University, Dept. of Electrical Engineering) ;
  • Han, Jong-Ki (Sejong University, Dept. of Electrical Engineering)
  • 남다윤 (세종대학교 전자정보통신공학과) ;
  • 한종기 (세종대학교 전자정보통신공학과)
  • Received : 2018.09.12
  • Accepted : 2018.10.29
  • Published : 2018.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

Seam finding algorithm is one of the most important techniques to construct the high quality 360 VR image. We found that some degradations, such as ghost effect, are generated when the conventional seam finding algorithms (for examples, Voronoi algorithm, Dynamic Programming algorithm, Graph Cut algorithm) are applied, because those make the inefficient masks which cross the body of main objects. In this paper, we proposed an advanced seam finding algorithm providing the efficient masks which go through background region, instead of the body of objects. Simulation results show that the proposed algorithm outperforms the conventional techniques in the viewpoint of the quality of the stitched image.

360 VR 영상을 구성하는 과정에서 합성되는 영상들 사이의 경계(seam)를 정확하고 효율적으로 추출하는 것은 스티칭된 영상의 화질에 매우 중요한 영향을 끼친다. 기존의 seam finding 기술들인 보로노이(Voronoi) 알고리즘, dynamic programming, graph cut 방법들은 시차(view disparity)가 존재하거나 이동하는 물체가 존재하는 상황에서는 ghost와 같은 왜곡을 발생시킨다. 본 논문에서는 기존 알고리즘들과 달리 물체를 가로지르지 않고, 물체를 피해 배경을 가로질러 접합선을 추출하는 '밝기 대비를 이용한 마스크 추출 방법'을 제안하였다. 이때, 배경과 물체와의 밝기차이를 이용하여, 물체의 형상을 따라 이어지는 접합선을 추출했다. 본 논문의 실험 결과를 통해, 제안하는 기술을 사용하면 왜곡을 감소시키는 위치에서 접합선이 생성되고, 스티칭된 영상의 화질이 개선되는 것을 확인하였다.

Keywords

BSGHC3_2018_v23n6_896_f0001.png 이미지

그림 1. 복수개 영상들의 합성 과정 Fig. 1. Flowchart of the image stitching algorithm

BSGHC3_2018_v23n6_896_f0002.png 이미지

그림 2. 스티칭되기 전에 Warping된 사진들 Fig. 2. Warped images for the stitching process

BSGHC3_2018_v23n6_896_f0003.png 이미지

그림 3. Warping된 사진들을 stitching하기 위한 Mask들 Fig. 3. Masks for stitching the warped pictures

BSGHC3_2018_v23n6_896_f0004.png 이미지

그림 4. 마스크 사용한 경우와 사용하지 않은 경우들의 스티칭된 이미지들 비교 Fig. 4. Comparison between the stitched images using mask and no mask

BSGHC3_2018_v23n6_896_f0005.png 이미지

그림 5. 보로노이 알고리즘의 과정 Fig. 5. Process of Voronoi algorithm

BSGHC3_2018_v23n6_896_f0006.png 이미지

그림 6. 다이나믹 프로그래밍 알고리즘의 과정 Fig. 6. Process of Dynamic programming algorithm

BSGHC3_2018_v23n6_896_f0007.png 이미지

그림 7. 기존 seam finder 알고리즘들을 적용하여 스티칭된 사진들 (블렌딩 과정은 사용하지 않음) Fig. 7. The stitched pictures by using the conventional seam finder algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

BSGHC3_2018_v23n6_896_f0008.png 이미지

그림 8. 시차에 의한 스티칭 에러 Fig. 8. Stitching error resulted from Parallax

BSGHC3_2018_v23n6_896_f0009.png 이미지

그림 9. 피사체의 움직임에 의한 스티칭 에러 Fig. 9. Stitching error resulted from moving objects

BSGHC3_2018_v23n6_896_f0010.png 이미지

그림 10. 제안 방법의 알고리즘 Fig. 10. Algorithm of the proposed seam finder

BSGHC3_2018_v23n6_896_f0011.png 이미지

그림 11. 밝기 대비를 이용한 마스크 추출 Fig. 11. Mask extraction by using the difference of brightness

BSGHC3_2018_v23n6_896_f0012.png 이미지

그림 12. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 12. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

BSGHC3_2018_v23n6_896_f0013.png 이미지

그림 13. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 13. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

BSGHC3_2018_v23n6_896_f0014.png 이미지

그림 14. 블렌딩 과정을 적용하는 조건에서 다양한 Seam finder들을 이용하여 스티칭된 영상들의 비교 Fig. 14. The images stitched by using a variety of seam finding algorithms, where the blending process is applied

BSGHC3_2018_v23n6_896_f0015.png 이미지

그림 15. 배경과 물체의 구분이 명확하지 않는 영상들의 스티칭 결과 Fig. 15. The stitched image when there is no clear division between background and objects

BSGHC3_2018_v23n6_896_f0016.png 이미지

그림 12. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 12. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

BSGHC3_2018_v23n6_896_f0017.png 이미지

그림 13. Seam finder들의 성능을 비교하기 위해 블렌딩 과정을 사용하지 않고 스티칭된 영상들의 비교 Fig. 13. The images stitched by using a variety of seam finding algorithms, where the blending process is not applied to compare the performances of the seam finder algorithms

References

  1. Matthew Brown and David G. Lowe, "Automatic Panoramic Image Stitching using Invariant Features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, 2007 https://doi.org/10.1007/s11263-006-0002-3
  2. R. Szeliski, "Image Alignment and Stitching: A Tutorial," Foundations and Trends in Computer Graphics and Vision, Vol 2, Issue 1, January 2004.
  3. Burt, P. J. and Adelson, E. H. "A multiresolution spline with applications to image mosaics," ACM Transactions on Graphics, Vol. 2, No. 4, pp.217-236, October 1983 https://doi.org/10.1145/245.247
  4. Patrick Perez, Michel Gangnet and Andrew Blake, "Poisson Image Editing," ACM Transactions on Graphics, Vol 22, Issue 3, pp. 313-318, July 2003 https://doi.org/10.1145/882262.882269
  5. Matthew Uyttendaele, Ashley Eden and Richard Szeliski, "Eliminating Ghosting and Exposure Artifacts in Image Mosaics," 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol 2, pp. 509-516, 2001
  6. Jun Pan, Mi Wang, Deren Li, and Jonathan Li, "Automatic Generation of Seamline Network Using Area Voronoi Diagrams With Overlap," IEEE Transactions on Geoscience and Remote Sensing , Vol. 47, Issue. 6, pp 1737-1744, April 2009 https://doi.org/10.1109/TGRS.2008.2009880
  7. Shai Avidan and Ariel Shamir, "Seam Carving for Content-Aware Image Resizing," ACM Transactions on Graphics, Vol. 26, Issue. 3, No 10, pp.1-10, July 2007
  8. Yuri Y. Boykov and Marie-Pierre Jolly, "Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images," International Conference on Computer Vision, Vol. 1, pp.105-112, July 2001
  9. Alexei A. Efros and William T. Freeman, "Image quilting for texture synthesis and transfer," Proceedings of ACM SIGGRAPH 2001, pp.341-346, 2001
  10. Myeongah Cho, Junsik Kim, and Kyuheon Kim, "Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method," Journal of Broadcast Engineering, Vol. 23, No. 2, pp 235- 245, March 2018 https://doi.org/10.5909/JBE.2018.23.2.235
  11. David G. Lowe, "Distinctive Image Features from Scale-Invariant Key-points," International Journal of Computer Vision, Vol. 60, No. 2, pp.91-110, November 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  12. Won-Jun Moon, Young-Ho Seo, and Dong-Wook Kim, "Parameter Analysis for Time Reduction in Extracting SIFT Keypoints in the Aspect of Image Stitching," Journal of Broadcast Engineering Vol. 23, No. 4, pp 559 -573, July 2018 https://doi.org/10.5909/JBE.2018.23.4.559
  13. Herbert Bay, Andreas Ess, Tinne Tuytelaars and Luc Van Gool, "Speeded-Up Robust Features (SURF)," Computer Vision and Image Understanding, Vol. 10, Issue 3, pp.346-359, 2008
  14. E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "Orb: An efficient alternative to sift or surf," International conference on computer vision, Vol. 1, pp. 2564-2571, November 2011
  15. Siyoung Park, Jongho Kim, and Jisang Yoo, "Fast Stitching Algorithm by using Feature Tracking," Journal of Broadcast Engineering, Vol. 20, No. 5, pp 728-737, September 2015 https://doi.org/10.5909/JBE.2015.20.5.728
  16. Martin A. Fischler and Robert C. Bolles , "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, Vol. 24, No. 6, pp.381-395, June 1981 https://doi.org/10.1145/358669.358692
  17. Heung-Yeung Shum and Richard Szeliski, "Construction of Panoramic Image Mosaics with Global and Local Alignment," International Journal of Computer Vision, Vol. 36, pp.953-956, 1998
  18. R. Gonzalez and R. Woods, Digital Image Processing, Addison-Wesley , pp 512-550, 1992