DOI QR코드

DOI QR Code

Efficient Homography Estimation for Panoramic Image Generation

효율적인 호모그래피 추정을 통한 파노라마 영상 생성

  • Seo, Sangwon (Graduate School of Advanced Imaging Science, Multimedia, and Film Chung-Ang University) ;
  • Joeng, Soowoong (Graduate School of Advanced Imaging Science, Multimedia, and Film Chung-Ang University) ;
  • Han, Yunsang (Graduate School of Advanced Imaging Science, Multimedia, and Film Chung-Ang University) ;
  • Choi, Jongsoo (Graduate School of Advanced Imaging Science, Multimedia, and Film Chung-Ang University) ;
  • Lee, Sangkeun (Graduate School of Advanced Imaging Science, Multimedia, and Film Chung-Ang University)
  • 서상원 (중앙대학교 첨단영상대학원 영상학과) ;
  • 정수웅 (중앙대학교 첨단영상대학원 영상학과) ;
  • 한윤상 (중앙대학교 첨단영상대학원 영상학과) ;
  • 최종수 (중앙대학교 첨단영상대학원 영상학과) ;
  • 이상근 (중앙대학교 첨단영상대학원 영상학과)
  • Received : 2013.03.21
  • Published : 2013.08.15

Abstract

An efficient homography estimation method for large sized images is proposed. Estimating an accurate homography is one of the most important parts in image stitching processes. Since hardwares have been advanced, it has been passible to take higher resolution images. However, computational cost for estimating homography has been also increased. Specifically, when too many features exist in the images, it requires lots of computations to estimate a correct homography. Furthermore, there is a high probability of obtaining an incorrect homography. Therefore, we propose a numerical method to extract the appropriate correspondences from several down-scaled images to estimate and compensate the homography numerically for restoring an original homography. Also, if there is an unbalance in color tone between the reference and the target images, we make them balanced by using local information of the overlapped regions. Experimental results show that proposed method is three times faster in 3.2 mega pixel images, five times faster in 8mega pixel images than the conventional approach. Therefore, we believe that the proposed method can be a useful tool to efficiently estimate a homography.

본 논문에서는 고해상도 영상에서 호모그래피를 효율적으로 추정하는 방법을 제안하였다. 호모그래피를 정확하게 추정하는 것은 영상 정합 기술에서 가장 중요한 부분이다. 하드웨어의 급속한 발전으로 고해상도 영상을 쉽게 취득 할 수 있게 되었지만, 데이터의 크기가 증가함에 따라 정확한 일치관계를 추정하는데 많은 계산량이 요구되었다. 또한, 고해상도의 영상에서 확률적으로 부정확한 호모그래피가 추정되는 문제가 발생하였다. 따라서 우리는 원 영상을 각 스케일별로 다운 샘플링한 다수의 영상을 생성하여 각 다운 샘플링된 영상에 해당하는 호모그래피를 추정한 후 투영 오차가 가장 작은 것을 선택하여 원 영상에 적용할 수 있게 보정할 수 있는 방법을 제안하였다. 또한, 영상을 정합하는 과정에서 기준 영상과 대상 영상의 색상 톤의 차이가 큰 경우에는 중첩영역의 지역 정보만을 이용하여 기준 영상과 대상 영상의 색상 톤을 일치시키는 방법을 제안하였다. 실험 결과 기존의 방법보다 3.2M 픽셀의 해상도 영상에서 약 3배, 8M 픽셀의 해상도 영상에서 약 5배 이상 빠른 결과를 얻을 수 있음을 확인하였다. 이는 입력 영상의 해상도가 커질수록 제안한 방법의 효과가 더 커진다는 것을 보여준다.

Keywords

References

  1. R. Szeliski, Image Alignment and Stitching: A Tutorial, Handbook of Mathematical Models in Computer Vision, Springer, 2005.
  2. D. Lowe, "Distinctive image features from scales-invariant keypoints," International Journal of Computer Vision, vol.60, no.2, pp. 91-110, November 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  3. M. Fischler and R. Bolles, "Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography," Communication of the ACM, Vol. 24, No. 6, pp. 381-395, June 1981. https://doi.org/10.1145/358669.358692
  4. O. Chum and J. Matas, 'Randomized RANSAC with Td,d test,' Proc. of the British Machine Vision Conference, pp. 448-457, London, UK, September 2002.
  5. O. Chum and J. Matas, "Matching with PROSAC - progressive sample consensus," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 220-226, San Diego, CA, June 2005.
  6. S. Y. Ye, A. Y. Jeon, G. R. Jeon, and K. G. Nam, "EMSAC 알고리듬을 이용한 대응점 추출에 관한 연구," 전자공학회 논문지-SP, 제44권, 제4호, 44-50쪽, 2007.
  7. R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision. Cambridge university Press 2nd edition, 2004.
  8. M. Brown and D. Lowe, "Recognising Panorama," International Conference on Computer Vision, Vol. 2, pp. 1218-1225, October 2003.
  9. M. Brown and D. Lowe, "Invariant Features from Interest Point Groups," British Machine Vision Conference, pp. 656-665, September 2002.
  10. M. Brown and D. Lowe, "Automatic panorama image stitching using invariant features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, August 2007. https://doi.org/10.1007/s11263-006-0002-3
  11. S. H. Lee and M. Y. Kim, "다중 카메라 기반 대 영역 고해상도 영상획득 시스템과 실시간 영상 정합 알고리즘," 전자공학회 논문지-SC, 제49권, 제4 호, 10-16쪽, 2012.
  12. Y. H. Kim and S. K. Lee, "A Simple and Effective Image Color Balancing for HD-to-UHD Conversion," International Conference on Electronics Information and Communication, January 2013.
  13. E. Vincent and R. Laganiere, "Detecting planar homographies in an image pair," Image and Signal Processing and Analysis, pp. 182-187, June 2001.
  14. G. H. Golub and C. F. Van Loan, Matrix Computation. JHU Press, 1996.
  15. T. H. Cormen, C. E. Leiserson, R. L. Rivest and C. Stein, Introduction to Algorithms, Prentice Hall India, 2002.
  16. Y. S. Han, S. H. Lee, J. S. Choi, and S. K. Lee, "A simple and efficient color recovering system for content sharing website," IEEE Transaction on Consumer Electronics, Vol. 56, No. 2, pp. 863-869, May 2010. https://doi.org/10.1109/TCE.2010.5506013
  17. S. H. Lee and J. S. Choi, "Design and Implementation of Color Correction System for Images Captured by Digital Camera," IEEE Transactions on Consumer Electronics, Vol. 54, No. 2, pp. 268-276, May 2008. https://doi.org/10.1109/TCE.2008.4560085

Cited by

  1. Matching Points Filtering Applied Panorama Image Processing Using SURF and RANSAC Algorithm vol.51, pp.4, 2014, https://doi.org/10.5573/ieie.2014.51.4.144