KSCE Journal of Civil and Environmental Engineering Research (대한토목학회논문집)

Korean Society of Civil Engeneers (대한토목학회)
권호 표지

3D Panoramic Mosaiciking in 3D Image Image Mosaicking for Far-range Urban Area Visualization

원거리 도심지 가시화를 위한 3D 영상 모자이크에서 3D 파노라믹 모자이크

Chon, Jae-Choon
전재춘

  • Published : 2005.07.31

⟨ Previous Next ⟩

Abstract

3D image mosaicking is useful for 3D visualization of the roadside scene of urban area by projecting 2D images to the 3D planes. When a sequence of images are filmed from a side-looking video camera passing long distance areas, the ghost effect in which same objects appear repeatively occurs. To suppress such ghost effect, the long distance range areas are detected by using the distance between the image frame and the 3D coordinate of tracked optical flows. The ghost effects are suppressed by projecting the part of image frames onto 3D multiple planes utilizing vectors passing the focal point of frames and a virtual focal point. The virtual focal point is calculated by utilizing the first and last frames of the long distance range areas. We demonstrate an algorithm that creates efficient 3D panoramic mosaics without the ghost effect at the long distance area.

3차원 영상 모자이크 방법은 도심지의 도로를 따라 움직이는 카메라로부터 취득된 영상을 3차원 다중 투영평면에 투영하여 도심지를 입체적으로 가시화하기 위한 것이다. 카메라가 교차로와 같은 원거리 가시 지점을 통과할 때, 취득된 영상에 대해 3차원 영상 모자이크 방법을 적용 하면, 모자이크 된 영상에서 동일한 대상물의 영상이 반복하여 나타난다. 이 현상을 환영현상(ghost effect)이라고하는데, 이 환영현상을 줄이기 위해서 원거리 대상물이 있는 곳의 영상 프레임을 찾고, 이 곳에 나타나는 환영현상을 효과적으로 제거하는 알고리즘을 제안하였다. 제안한 알고리즘은 3차원 공간에서 계산된 가상의 초점과 영상 프레임의 초점을 지나는 벡터를 이용하여 영상 프레임들을 3차원 다중평면에 투영 하는 것이다. 이를 위한 가상 초점은 원거리 대상물이 보이기 시작하는 영상 프레임과 원거리 대상물이 사라지기 시작하는 영상 프레임을 이용하여 계산된다. 본 논문에서는 원거리 대상물 지역에 제안한 방법을 적용 했을때, 환영현상이 효과적으로 제거될 수 있음을 실험적으로 보였다.

Keywords

References

  1. 전재춘, 서용철(2004) 3차원 다중기선을 이용한 비데오 영상 모자이크 기술, 원격탐사학회지, Vol. 20, No. 2, pp. 125- 137
  2. 전재춘, 서용철, 김형석(2004) 동적계획법과 적응 비용 변환을 이용한 영상 모자이크의 seam-line결정, 한국지리정보학회지, 7권, 2호, pp.16-28
  3. 전재춘(2005) 가변 분해능을 가진 2차원 히스토그램을 이용한 강건한 광류, 한국측량학회지, 2005년 3월호
  4. Adelson, E. H. and Bergen, J. R. (1985) Spatiotemporal energy models for the perception of motion, Journal of Optical Society of America, A, Vol. 2, No. 2, pp. 284-299 https://doi.org/10.1364/JOSAA.2.000284
  5. Farzin Mokhatarian and Riku Suomela (1998) Robust Image Corner Detection Through Curvature Scale Space, IEEE Tr. on PAMI, VOL. 12
  6. Fruh, C. and Zakhor, A. (2002.) Data processing algorithms for generating textured 3D building façade meshes from laser scans and camera images. Proc. of 3D Data Processing, Visualization and Transmission 2002, Padua, Italy
  7. Haralick, R. M. et al. (1988) Pose estimation from corresponding point data, IEEE Tr. SMC, 19(6):pp.1426-1446
  8. Harris, G. (1987) Determination of Ego-Motion From Matched Points, Proc. Alvey Vision Conf., Cambridge UK
  9. Hartley, R. I. (1997) In defense of the eight-point algorithm, IEEE Tr. on PAMI, Vol. 19, No. 6, pp.580-593 https://doi.org/10.1109/34.601246
  10. Horn, B.K.P. and Schunck, B. G. (1981) Determining Optical Flow, Artificial Intelligence, pp 185-203
  11. Kearney, J. K., Thompson, W. B., and Boley, D. L. (1987) Optical flow estimation: An error analysis of Gradient-based methods with local optimization, IEEE Tr. on PAMI, Vol.9, No. 2, pp. 229-244
  12. Kitchen, L. and Rosenfeld, A. (1982) Gray Level Corner Detection, Pattern Recognition Letters, pp. 95-102
  13. Longuet-Higgins, H. C. (1984) The visual ambiguity of a moving plane. Proc. R. Soc. London B 223
  14. Pollefeys, M., Koch, R., Vergauwen, M., and Van Gool, L. (2000) Automated reconstruction of 3D scenes from sequences of images. ISPRS Journal Of Photogrammetry And Remote Sensing (55) 4, pp. 251-267 https://doi.org/10.1016/S0924-2716(00)00023-X
  15. Rousseeuw, P. J. (1984) Least median of squares regression. Journal of American Statistics Association, Vol. 79, pp. 871–880
  16. Sato, T., Kanbara, M., and Yokoya, N. 2002. Dense 3D reconstruction of an outdoor scene by hundreds-baseline stereo using a hand-held video camera. In IJCV,47 (1/2/3), pp. 119-129 https://doi.org/10.1023/A:1014537706773
  17. Smith, S. M. and Brady, J. M. (1995) Real-Time Motion Segmentation and Shape Tracking, , IEEE Tr. on PAMI, Vol. 17, No. 8
  18. Smith, S. M. and Brady, J. M. (1997) SUSAN - a new approach to low level image processing. In IJCV, 23(1), pp. 45-78 https://doi.org/10.1023/A:1007963824710
  19. Web addresses for visualization projects in cities, http:// www.casa.ucl.ac.uk
  20. Zhao, H. and Shibasaki, R. (2003) A vehicle-borne urban 3D acquisition system using single-row laser range scanners. IEEE Tr. on SMC Part B: Cybernetics, 33(4)
  21. Zheng, Z. and Wang, X. (1992) A general solution of a closed-form space resection. PE&RS, 58(3), pp.327-338