DOI QR코드

DOI QR Code

A Study on Point Cloud Generation Method from UAV Image Using Incremental Bundle Adjustment and Stereo Image Matching Technique

Incremental Bundle Adjustment와 스테레오 영상 정합 기법을 적용한 무인항공기 영상에서의 포인트 클라우드 생성방안 연구

  • Rhee, Sooahm (Image Engineering Research Center, 3DLabs Co., Ltd.) ;
  • Hwang, Yunhyuk (Image Engineering Research Center, 3DLabs Co., Ltd.) ;
  • Kim, Soohyeon (Image Engineering Research Center, 3DLabs Co., Ltd.)
  • 이수암 ((주)쓰리디랩스 영상공학연구소) ;
  • 황윤혁 ((주)쓰리디랩스 영상공학연구소) ;
  • 김수현 ((주)쓰리디랩스 영상공학연구소)
  • Received : 2018.11.09
  • Accepted : 2018.11.26
  • Published : 2018.12.31

Abstract

Utilization and demand of UAV (unmanned aerial vehicle) for the generation of 3D city model are increasing. In this study, we performed an experiment to adjustment position/orientation of UAV with incomplete attitude information and to extract point cloud data. In order to correct the attitude of the UAV, the rotation angle was calculated by using the continuous position information of UAV movements. Based on this, the corrected position/orientation information was obtained by applying IBA (Incremental Bundle Adjustment) based on photogrammetry. Each pair was transformed into an epipolar image, and the MDR (Multi-Dimensional Relaxation) technique was applied to obtain high precision DSM. Each extracted pair is aggregated and output in the form of a single point cloud or DSM. Using the DJI inspire1 and Phantom4 images, we can confirm that the point cloud can be extracted which expresses the railing of the building clearly. In the future, research will be conducted on improving the matching performance and establishing sensor models of oblique images. After that, we will continue the image processing technology for the generation of the 3D city model through the study of the extraction of 3D cloud It should be developed.

3차원 도시모델의 생성을 위한 무인항공기의 활용 및 수요가 증가하고 있다. 본 연구에서는 3D 도시 모델 생성의 선행 연구로 불완전한 자세에서 취득된 무인항공기의 위치/자세 정보를 보정하여 포인트 클라우드를 추출하는 연구를 수행했다. 포인트 클라우드의 추출을 위해서는 정밀한 센서모델의 수립이 선행되어야 한다. 이에 무인항공기의 위치/자세 보정을 위해 무인항공기 영상에 기록된 위치정보의 연속성을 이용하여 회전각을 산출하고, 이를 초기값으로 하는 사진 측량 기반의 IBA(Incremental Bundle Adjustment)를 적용하여 보정된 위치/자세 정보를 획득했다. 센서모델 정보를 통해 스테레오 페어 구성이 가능한 영상들을 자동으로 선별하고 페어간의 타이포인트 정보를 이용해 원본 영상을 에피폴라 영상으로 변환했으며, 변환된 에피폴라 스테레오 영상은 고속, 고정밀의 영상 정합기법인 MDR (Multi-Dimensional Relaxation)의 적용을 통해 포인트 클라우드를 추출했다. 각 페어에서 추출된 개별 포인트 클라우드는 집성 과정을 거쳐 하나의 포인트 클라우드 혹은 DSM의 최종 산출물 형태로 출력된다. 실험은 DJI社 무인항공기에서 취득된 연직 및 경사 촬영 영상을 사용했으며, 실험을 통해 건물의 난간, 벽면 등이 선명하게 표현되는 포인트 클라우드 추출이 가능함을 확인하였다. 향후에는 추출된 포인트 클라우드를 이용한 3차원 건물 추출 연구를 통해 3차원 도시모델의 생성을 위한 영상 처리기술을 계속 발전시켜나가야 할 것이다.

Keywords

1. 서론

최근 가상현실 및 증강현실 기술의 수요와 구축 기술의 발달로 3차원 건물과 같은 공간정보의 구축과 활용에 대한 수요가 점차 증가하고 있다. 우리나라는 브이월드(V-World), 서울시, 세종시, 대구시, 인천경제자유구역청 등에서 3차원 공간정보를 구축하여 서비스를 하고 있으며, 정부 각 부처에서도 3차원 공간정보를 이용한 서비스에 대한 관심을 보이고 있다. 제공되는 3차원 공간정보는 일반적으로 3차원 메시 모델로 구성되어 있으며, 메시 모델을 생성하기 위해서는 3차원 포인트 클라우드 정보가 필요하다. 정밀한 3차원 포인트 클라우드를 생성하기 위한 대표적인 방법으로, 항공 사진측량(aerial photogrammetry)을 이용한 구축이 있다. 항공촬영 영상의 경우, 카메라의 위치/자세 정보 및 색상정보의 취득이 가능하여 영상정합을 이용한 실감형 3차원 건물 및 도시 모델의 생성에 적합하다.

유인 항공기를 이용한 사진측량은 현재 국내외 지도제작 및 고정밀 공간정보의 제작에 주로 활용되고 있으나, 고가의 장비와 전문적인 인력의 투입이 필요하고 정보 갱신 주기가 길다는 단점이 있다. 이를 극복하기 위해 무인항공기를 이용한 사진측량을 활용하면, 상대적으로 소수 인력과 저비용으로 특정 지역의 국지적, 혹은 개별 건물의 3차원 고정밀 공간정보 획득을 기대할 수 있다(Remondino et al., 2011; Rhee et al., 2015). 무인항공기에서 취득한 데이터는 프레임 카메라에서 획득된 정보라는 점에서 유인 항공기에서 취득된 영상과 유사하나, 데이터 취득 시의 기체 자세가 불안정하여 취득된 위치/자세정보의 신뢰도가 낮다. 이를 보완하여 사용자가 신뢰할 만한 수준의 3차원 정보를 획득하기 위해서는 무인항공기의 정밀 센서모델 수립이 필요하다.SFM(Structure-From-Motion) 기법은 무인항공기 영상처리를 위한 대표적인 방법으로, 현재 무인항공기를 이용한 대부분의 상용 소프트웨어 및 오픈소스에 적용되고 있다(Snavely, 2011). 한편, 상용 소프트웨어를 사용하지 않고 자체적으로 무인항공기의 센서모델을 해석해 3차원 포인트 클라우드 및 모델을 생성하려는 시도 또한 계속되고 있다(Alidoost and Arefi, 2015; Gruen et al., 2013). 국내의 경우, 상용 소프트웨어를 이용해 무인항공기 데이터를 처리하여 정사영상 및 3차원 모델을 생성하는 연구는 최근까지 이루어지고 있으나(Lee and Lee, 2017), 무인항공기의 센서모델을 해석하여 이를 기반으로 포인트 클라우드나 3차원 모델을 추출하는 연구는 많이 수행되고 있지 않다.

Rhee et al.(2017)은 영상간의 밝기값 정보만을 사용하여 영상정렬을 수행하는 SFM 방식을 보완하여 공선방정식을 기반으로 무인항공기의 센서모델 보정이 가능한 IBA(Incremental Bundle Adjustment) 기법을 제안했고, 이를 통해 조정된 무인항공기 영상을 통해 입체도화가 가능한 수준의 센모델링이 능함을 보고했다. 이는 제안된 보정방법을 통하여 상용 소프트웨어보다 정밀한 수준의 3차원 포인트 클라우드나 DSM의 생성이 가능함을 의미한다. 이에 본 연구에서는 무인항공기의 위치/자세 정보를 보정하기 위해 IBA 기법을 적용하여 공선방정식 기반의 센서모델을 수립하고, 보정된 센서모델 정보로 조정된 영상에서 에피폴라 영상 기반의 다중 영상 정합기법을 적용하여 3차원 포인트 클라우드의 생성을 시도하고 그 결과를 보고한다.

2. 배경 이론

1) 무인항공기 센서모델링

무인항공기를 통해 취득된 다중 영상을 이용하여 영상 내 특정 객체의 3차원 정보를 추출하기 위해서는 영상 간 기하를 추정하여 정확한 위치를 결정하는 과정이 필요하다. 본 연구에서는 무인항공기를 통해 취득된 다중 영상을 이용해 센서모델링을 수행하기 위해서 IBA기법을 적용했다. 또한 연속 촬영된 영상의 위치정보를 이용하여 회전각을 먼저 추출한 후, 영상 정렬을 수행했다. 렌즈 왜곡 조정 등 보정작업을 거친 뒤, 다중 영상으로부터 포인트 클라우드 추출을 위한 영상 정합을 수행한다.

모니터링 및 매핑을 위해 사용되는 무인항공기는 취득 당시의 위치 및 자세정보를 함께 획득한다. 이들은 대부분 별도의 메타데이터로 획득되나, 최근 DJI社의촬영 전문 무인항공기와 같은 기기의 경우 취득된 영상내부에 위치 정보를 함께 포함하여 제공하고 있다. 이들 정보는 EXIF(Exchangeable image file format)에 포함되어 있다. 최신 무인항공기로 취득된 영상의 경우, 위치와 자세정보가 함께 포함되어 있기도 하나, 대부분의 영상에서는 위치 정보만 포함되어 있고, 이러한 경우에는 영상의 회전각을 알 수 없어 영상 정렬을 수행하는 과정에 어려움이 발생할 수 있다. 이를 보완하기 위해 영상의 위치정보를 이용하여 매핑용 회전각을 계산했으며, 처리방식은 Fig. 1과 같다(Rhee and Kim, 2018).

OGCSBN_2018_v34n6_1_941_f0001.png 이미지

Fig. 1. Principle of rotation angle estimation (a) before estimation and (b) after estimation (Rhee and Kim, 2018).

Fig. 1(a)는 회전각이 고려되지 않은 경우, Fig. 1(b)는 무인항공기의 위치를 기반으로 회전각(K)이 고려된 경우의 이미지 배치 예시이다. 무인항공기 개별 영상의 회전각은 각 영상의 위치에서 산출된 방향을 기반으로 추정되었다. 회전각 정보는 지상좌표계의 Z축을 기준으로 이미지의 회전각으로 표현되므로, 비행체가 바라보는 방향을 추정할 수 있다. 각도의 추정은 다음 수식 (1), (2)와 같다. 수식 (1), (2)는 각각 현재 무인항공기 위치 (X(t+1),Y(t+1))에서 바로 전 무인항공기의 위치(X(t), Y(t))의 차이를 계산하는 것을 의미하며, 이를 수식 ()의 아크탄젠트(arctan) 적용하여 회전각 K를 계산할 수 있다.

dX = X(t) - X(t+1)       (1)

dY = Y(t) – Y(t+1)       (2)

κ = arctan(\(\frac{d y}{d x}\))       (3)

IBA 기법은 취득된 영상 전체에 대한 보정을 수행하는 SFM과 달리, 사진측량 기반의 다중 프레임카메라 센서모델 보정 기법이다(Rhee et al., 2017). 이는 개별 사진 혹은 스테레오 페어 단위로 더욱 엄밀하게 무인항공기영상과 같은 프레임카메라의 센서모델링 수행을 목표로 한다. 이 방식은 각 영상에 사진의 초점거리 및 CCD의 픽셀크기, 주점 이동 거리 등과 같은 사진 내부표정요소를 포함하는 공선방정식을 적용하여 물리적 파라메터가 적용된 정확한 무인항공기의 센서모델링을 수립하므로 확장성 및 높은 정확도의 센서모델링을 기대할 수 있다.

회전각 산출 기법 및 IBA 기법을 통해 최종적으로 조정된 개별 영상 간의 위치/자세 정보의 획득이 가능하며, 이를 통해 높은 성능의 포인트 클라우드 추출을 기대할 수 있다.

2) 스테레오 영상 정합 기법

본 연구에서 포인트 클라우드의 생성을 위해 사용된기술은 MDR(Multi -Dimensional Relaxation) 정합 기법으로, 다중 윈도우를 이용한 반복 연산과 릴렉세이션 기법을 이용한 탐색 범위 설정기법을 적용하여 빠르고 정밀한 수준의 포인트 클라우드의 추출이 가능한 기법이다(Rhee and Kim, 2016).

다중 윈도우는 한 점에 대해 크기와 방향이 다른 여러 개의 탐색 윈도우를 설정하는 기법이다. 탐색 윈도우의 경우 영상 정합을 수행할 때 크기가 크면 정합 오차는 감소하지만 세부 표현이 어렵다. 반면, 윈도우의 크기가 작으면 세부 표현이 가능하지만 다수의 잡음이 발생할 수 있다. 다중 탐색 윈도우는 여러 크기의 윈도우를 하나의 타겟에 동시에 적용함으로 이러한 문제의 해결이 가능하다. 각각의 윈도우에서 계산된 유사도는 정확한 정합을 위한 정합점수로 설정이 되며, 정합 점수는 에피폴라 정합 기법에서는 에피폴라 라인별로, 객체공간기반 영상정합방식에서는 높이를 기준으로 하여 적용할 수 있다.

릴렉세이션 기법은 모든 후보에 대해 정합 확률을 계산하여 가장 확률이 높은 후보를 추출하는 과정의 반복을 통해서 영상 정합을 수행하는 방법으로, 에피폴라 스테레오 영상에 적용할 경우, 두 에피라 라인 조합에서 나올 수 있는 유사도를 산출하고, 그 가장 높은 유사도를 보이는 점을 선정하는 것으로 영상 정합을 수행한다. 아래의 Fig. 2는 에피폴라 라인 기반의 릴렉세이션 정합 기법의 개념을 나타낸 것이다.

OGCSBN_2018_v34n6_1_941_f0002.png 이미지

Fig. 2. Relaxation technique applied to MDR algorithm.

전통적인 릴렉세이션 기법은 정밀도가 높다는 장점이 있으나, 한 점의 정합을 수행하기 위해 많은 수의 유사도 계산을 반복해야 한다는 단점이 있다. 적용된 알고리즘은 높은 유사도를 가지는 대응점이 선정될 때, 그 대응점을 기준으로 탐색 제외 영역을 설정하는 방식이다. 최적의 정합점이 두 영상의 에피폴라 라인상에서 선정될 경우, 두 영상에서의 정합은 일정한 방향성을 가지게 된다. 이 때 정합 진행 방향에 해당되지 않는 영역을 연산 대상에서 제외시켜 불필요한 연산을 줄이고, 속도 및 정확도의 향상을 시도했다.

MDR 기법은 에피폴라 영상 기반의 정합기법으로, 정합 결과는 스테레오 에피폴라 각 영상의 시차맵(Disparity map)으로 출력된다. 이후 포인트 클라우드의 생성은 시차맵에서 구해지는 타이포인트 간의 Space intersection을 통해 이루어진다.

3. 연구 방법

1) 실험 데이터

실험은 LX 공간정보연구원에서 제공받은 무인항공기 영상을 사용했으며, 경기도 고양시 소재의 지역난방공사 건물이 포함된 주변 지역을 대상으로 수행했다(Fig. 3). 대상지역을 촬영한 무인항공기로, FC350 카메라모델이 부착되어 있는 DJI Inspire1과 FC220 카메라가 탑재된 Phantom4 기체를 사용했다. 영상 촬영은 100m 상공에서 수행했다. Inspire1에서 획득된 데이터는 35장의 연직촬영(Nadir) 영상이며(Fig. 4), Phantom4에서는 대상지역 건물에 대한 39장의 경사촬영(Oblique) 영상을 획득했다(Fig. 5). Phantom4의 경사촬영 영상은 건물의 옆면이 드러나도록 카메라를 기체 연직 아래 방향을 기준으로 20°의 경사를 주도록 설정하여 촬영했다. 각 영상의 내부표정 요소 정보 및 촬영 주요 정보는 Table 1,Table 2와 같다. 이때 렌즈왜곡 계수(K1, K2, K3)는 타이포인트 정보를 이용하여 직접 산출하여 적용했다.

OGCSBN_2018_v34n6_1_941_f0003.png 이미지

Fig. 3. The area of test dataset.

OGCSBN_2018_v34n6_1_941_f0004.png 이미지

Fig. 4. The UAV image (35 images, DJI inspire1).

OGCSBN_2018_v34n6_1_941_f0005.png 이미지

Fig. 5. The UAV image (39 images, DJI Phantom4).

Table 1. IO Parameters for test images (DJI Inspire1 + FC350)

OGCSBN_2018_v34n6_1_941_t0001.png 이미지

Table 2. IO Parameters for test images (DJI Phntom4 + FC220)

OGCSBN_2018_v34n6_1_941_t0002.png 이미지

2) 무인항공기 영상을 이용한 포인트 클라우드 생성

실험은 취득된 2종류의 데이터 셋에 공통적으로 적용되었으며, Fig. 6과 같은 순서로 진행했다.

OGCSBN_2018_v34n6_1_941_f0006.png 이미지

Fig. 6. Flow chart for generating point cloud from UAV image.

실험 데이터셋은 JPEG 포맷 영상이며, 영상에 포함되어 있는 EXIF 정보를 이용하여 영상에 포함된 경위도 및 고도(m) 위치정보를 추출했다. 개별 영상의 회전각을 추출하기 위해 경위도로 획득된 위치 정보를 UTM 좌표로 변환한 후, 영상간의 이동거리를 m 단위로 계산하여 회전각을 계산했다.

일반적으로 매핑을 위한 무인항공기 영상의 촬영은 진행 경로에 따라 방향을 전환해가며 촬영한다. 때문에 비행경로가 반대인 영상은 서로 180도 정도 차이가 나는 회전각 차이가 발생한다. 이를 고려할 경우 더욱 정확한 센서모델의 수립이 가능하나(Rhee and Kim,2018), 방향이 전환되는 순간에 촬영된 영상의 경우, 회전각의 추정이 올바르게 되지 않을 우려가 있다. 이를 보완하기 위해 대상 영상 촬영 전과 후에 취득된 영상의 이동량을 함께 고려하여 회전각 산출 오차를 최소화했다. 이 방식은 기체가 움직일 때, 동일한 경로상에서의 이동량은 일정하게 유지되고, 촬영 경로가 변경될 때에는 이동량이 동일 경로보다 증가하는 특성에서 고안된 방법이다. 특정 영상에서 설정된 임계 거리 이상의 이동이 발견되면 경로가 변경되었다고 판단했으며, 이 경우 대상 영상 바로 뒤에서 취득된 영상의 회전각을 적용했다. 이동 거리의 임계값은 25 m로 설정했으며, 이는 취득 데이터에서의 경험적인 수치로 결정했다. Fig. 7은 연속 촬영된 무인항공기 영상의 예시이며, Table 3은 원본 데이터와 회전각 추정 방식에 따른 회전각 산출 결과 차이를 나타낸다. Fig. 7의 13번 영상에서 방향전환이 있었으며, 이때의 이동량이 임계값 조건을 만족하여 14번 영상에서 산출된 회전각 정보가 13번 영상에 적용된 것을 확인할 수 있다.

OGCSBN_2018_v34n6_1_941_f0007.png 이미지

Fig. 7. UAV images acquired continuously.

Table 3. Results of rotation angle calculation according to moving distance

OGCSBN_2018_v34n6_1_941_t0003.png 이미지

회전각이 산출되면 영상간의 타이포인트 추출을 수행하고, 추출된 타이포인트를 이용하여 영상간의 위치/자세 정렬을 수행한다. 이때 사용되는 타이포인트는 높은 수준의 정확도를 가져야 하며, 영상의 회전을 고려한 이후 더욱 높은 신뢰성을 가지는 타이포인트의 추출이 가능하다. 본 실험에서는 자동 타이포인트의 추출을 위해 FAST(Features from Acelerated Segment Test)와 BRISK(Binary Robust Invariant Scalable Keyoints) 알고리즘(FAST-BRISK 알고리즘)을 사용했다(Ulusel et al., 2016). 타이포인트는 IBA를 수행하기 위한 기초 자료 및 렌즈 왜곡 계수를 추정하기 위한 데이터로 활용된다. 본 실험에 사용되는 무인항공기는 Z축에 대한 회전 요소에 비해 X, Y 축에 대한 회전 영향은 적다고 판단했으며, 영상은 지표면과 평행하게 취득된다는 것을 전제로 하여 X, Y 축 회전 요소는 각각 0(Degree)으로 설정하였다.

추정된 회전각이 포함된 자세정보와 영상의 위치 정보를 초기값으로 하여 IBA 기법을 적용한 센서모델링을 수행하였다. 본 연구에 적용된 IBA 기법은 다음과 같은 처리 순서로 적용된다.

1) 특징점 기반 정합 방법(FAST-BRISK 알고리즘)을 이용한 자동 타이포인트 추출을 수행한다.

2) 입력된 모든 영상 중 최적의 영상 페어를 선택한다. 이때 최적 영상 페어는 영상 간에 6점 이상의 타이포인트를 보유하고 있고, 기준 높이와 두 영상이 이루는 수렴각(convergence angle)이 특정 조건(5°이상, 45°이하)을 만족하는 영상조합으로 설정한다.

3) 삼중점(Triplet point)을 추출한다. 여기에서 삼중점은 2)에서 선택된 최적 영상 페어와 가장 많은 수의 타이포인트를 공유하는 다른 영상을 선택하여 삼중점들 간의 공간 교차 기법(Space intersection)을 통해 지상 좌표를 추출하고, 삼중점 조건을 만족하는 점들을 수집하여 삼중점 추출을 수행한다.

4) IBA 기법을 적용한다. 최적 영상 페어에서 삼중점 추출이 완료되면, 이들 영상을 기준으로 하여 새로운 영상 정보를 추가하고, 상대적인 위치/자세 보정작업을 수행한다.

5) 모든 이미지가 정렬되면 지상기준점이 입력된 경우, 블록 조정을 수행하여 모델 공간을 지상좌표 공간으로 조정한다.

IBA를 통해 추출된 최적 영상 페어 정보에 MDR을 이용한 스테레오 영상 정합을 수행하여 포인트 클라우드를 추출한다. 최종적으로 추출된 각 포인트 클라우드를 통합하여 대상지역의 3차원 정보를 획득한다.

영상에 포함된 EXIF 정보를 이용한 지상좌표의 추출 과정은 오픈소스를 이용했으며, IBA 기법을 포함한 센서모델링 및 영상 정합을 통한 포인트 클라우드 생성과정은 직접 제작한 코드를 이용하여 수행했다.

4. 실험 결과

IBA 기법을 적용한 센서모델링을 수행하여 추출된 영상 페어의 상호 신뢰도를 판단하기 위해서, 스테레오페어를 구성하고 타이포인트를 추출하여 영상 간의 Y시차를 산출해 보았다. Inspire1 영상의 경우, 33장의 영상에서 모델이 수립되었으며, 대상 영상에서 추출된 총 131719개의 타이포인트에서 평균 0.9511 픽셀의 Y-시차가 발생함을 확인했다. Phanto4 영상의 경우, 38개 영상 중 24개의 영상이 최적 페어 구성이 가능한 영상으로 판단되었으며, 대상 영상에서 추출된 총 26785개의 타이포인트에서 평 1.0648 픽셀의 Y-시차가 발생함을 확인했다. 이를 통해 1픽셀 이내로 높은 정확도의 센서모델의 수립이 되었음을 확인할 수 있었다.

영상의 정합에 적용되는 주요 파라메터로는 다중 정합 윈도우의 크기, 상관계수, 그리고 임계값이 있다. 포인트 클라우드 생성을 위한 상관계수 임계값은 0.5, 탐색 윈도우의 크기는 17×17, 15×15, 13×13, 11×11, 9×9, 7×7, 5×5를 각각 적용했다. 상관계수 임계값 및 탐색 윈도우의 크기는 육안 분석 시 홀의 발생을 최소화할 수 있는 수치를 데이터셋에 적용한 경험적 기법을 통해 산출되었다. 그 외에도 타이포인트가 구성된 경우, 타이포인트에서 취득된 지상점과 영상들 간의 수렴각이 있으며, 수렴각이 0이 될 경우 스테레오 기하가 성립되지 않으므로 최소 5도 이상이 되도록 설정하여 데이터를 생성했다.

에피폴라 영상 정합의 특성상 먼저 영상 페어를 구성하고, 에피폴라 영상의 시차맵을 구하는 것으로 영상 정합을 수행했다. Fig. 8은 스테레오 페어로 구성된 영상을 이용하여 생성된 에피폴라 영상과 좌우 영상 시차맵의 예시이다.

OGCSBN_2018_v34n6_1_941_f0008.png 이미지

Fig. 8. Extracted epipolar images and disparity map

Fig. 8(a)와 8(b)는 에피폴라 영상으로, 영상 내 각 객체들이 동일한 Y축 상에 존재하는 것을 확인할 수 있다. Fig. 8(c)와 8(d)는 각 에피폴라 영상에 대응되는 시차맵으로, 좌우 영상의 공통영역에서 생성되고, 건물과 같은 객체들은 지표면보다 더 높은 값 즉, 큰 시차를 가지고 있음을 확인할 수 있다.

에피폴라 영상에서 추출된 시차맵이 구성되면, 에피폴라 영상 상에서의 타이포인트들은 원본영상 좌표로 변환하는 과정을 통해 원본영상에서의 타이포인트 정보로의 변환이 가능하다. 이렇게 생성된 타이포인트들은 센서 모델식을 이용하여 Space intersection을 적용하면 포인트 클라우드로 변환된다. Fig. 9는 스테레오 페어에서 생성된 포인트 클라우드의 예시이다. 영상에 대응되는 영역의 3차원 정보가 추출된 것을 알 수 있으며, 건물의 경계 및 일부 벽면에 대한 정보도 추출된 것을 확인할 수 있다. 스테레오로 구성된 각각의 페어에서 생성된 포인트 클라우드들을 하나의 포인트 클라우드로 통합하면 대상 영역의 최종 산출물 제작이 가능하다.

OGCSBN_2018_v34n6_1_941_f0009.png 이미지

Fig. 9. Extracted point cloud and source image (Phantom4).

Fig. 10과 Fig. 11은 Inspire1 영상과 Phantom4 영상을 이용하여 생성된 통합 포인트 클라우드의 결과이다. 육안으로 분석 보면, 건물을 제외한 낮은 지형의 경사나 굴곡 등의 형태가 잘 드러나는 것을 확인할 수 있다. Fig. 10에서 건물의 경우 난간이나 지붕위의 구조물들이 일부 선명하게 나타나는 을 확인할 수 있으나, 텍스처 정보가 부족한 지붕면의 경우 실제 건물 높이보다 낮은 위치에 정합이 되는 현상을 발견하였다. 또한 각 영상 페어에서 생성된 포인트 정보를 융합하는 과정에서 약간의 이격과 홀이 발생하였다. 건물의 벽면 영역에서 많은 수의 포인트 클라우드가 추출되지 않은 것은 연직촬영 영상에서 건물의 측면 정보가 거의 존재하지 않았기 때문으로 보이나, 영상에서 인식 가능한 수준의 일부 벽면이 함께 추출되는 것을 확인했다.

OGCSBN_2018_v34n6_1_941_f0010.png 이미지

Fig. 10. The extracted point cloud with RGB value (Inspire1).

OGCSBN_2018_v34n6_1_941_f0011.png 이미지

Fig. 11. The extracted point cloud with RGB value (Phantom4).

Fig. 11의 Phantom4 영상에서 생성된 포인트 클라우드는 경사촬영 영상을 이용했기 때문에 Inspire1 영상에 비해 건물 벽면의 3차원 정보가 더 많이 추출되었다. 또한 Inspire1 영상에서 발견되었던 이격들이 상대적으로 드러나지 않았다. 이는 상대적으로 높은 영상 간 중첩률로 인해 중첩 영역에서 다수의 포인트 클라우드 정보가 추출된 것으로 분석된다.

Fig. 12는 Phantom4 영상을 상용 소프트웨어인 Pix4D Mapper로 처리한 결과이다. 건물 난간 부분과 같이 텍스처가 분명한 영역의 표현은 본 연구에서 개발한 기법에서 좀 더 선명하게 드러나는 것을 확인할 수 있었다. 그러나 상용 소프트웨어 처리 결과에서는 상대적으로 노이즈와 홀이 적었다. 이러한 결과를 고려하여 향후 생성된 포인트 클라우드에 필터링 및 영역 보간과 같은 후처리 기법들을 적용해야 할 것이다.

OGCSBN_2018_v34n6_1_941_f0012.png 이미지

Fig. 12. The extracted point cloud using Pix4D Mapper (Phantom4).

5. 결론 및 고찰

본 연구에서는 3차원 건물 모델의 생성기술 개발을 위한 선행 과정으로, 무인항공기를 이용한 포인트 클라우드 추출 기술을 개발하였다. 연직촬영 및 경사촬영으로 획득한 영상을 이용하여 실험을 수행했으며, 무인항공기의 위치/자세 정보의 획득이 불안정한 특성을 고려한 센서모델 보정을 수행하였다. 이후, 스테레오 에피폴라 영상 기반의 정합기법을 적용하여 포인트 클라우드를 생성했다. 생성된 포인트 클라우드들은 육안 분석을 통해 상용 소프트웨어 수준의 영상정합이 되는 것을 확인했으나, 포인트 클라우드 추출과정에서 발생하는 노이즈의 제거 및 적절한 파라메터의 설정이 필요함을 확인했다.

정합의 정확도를 판단하기 위한 정량적 근거를 설정하는 것은 쉽지 않았다. 이후 건물의 높이, 코너점의 좌표 측정 등과 같이 정도 판단을 위한 대상 지역의 참조 자료의 확보를 통해 정확도 분석이 수행되어야 할 것으로 판단된다.

실감나는 3차원 정보의 획득을 위해서는 경사촬영이 포함된 다수의 영상이 추가로 확보되어야 하며,이를 이용한 건물 측면의 3차원 모델링 기술이 개발되어야 한다. 그리고 이를 위하여 우선적으로 경사촬영으로 획득된 영상의 센서모델링, 무인항공기 영상에 적합한 최적 파라메터의 결정, 그리고 포인트 클라우드에 존재하는 노이즈 필터링 등의 작업이 함께 개발, 진행되어야 할 것이다.

사사

본 연구는 국토교통부 수요처 맞춤형 실감형 3D 공간정보 갱신 및 활용지원 기술개발과제의 연구비지원(18DRMS-B147287-01)에 의해 수행되었습니다.

References

  1. Alidoost, F. and H. Arefi, 2015. An image-based technique for 3D building reconstruction using multi-view UAV images, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 40(1): 43. https://doi.org/10.5194/isprsarchives-XL-1-W5-43-2015
  2. Gruen, A., X. Huang, R. Qin, T. Du, W. Fang, J. Boavida, and A. Oliveira, 2013. Joint processing of UAV imagery and terrestrial mobile mapping system data for very high resolution city modeling, Proc. of 2013 International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Rostock, Germany, Sep. 4-6, vol. XL-1/W2, pp. 175-182.
  3. Lee, K.R. and W.H. Lee, 2017. Comparison of Orthophoto and 3D Modeling using Vertical and High Oblique Images taken by UAV, Journal of Korean Society for Geospatial Information System, 25(4): 35-45 (in Korean with English abstract). https://doi.org/10.7319/kogsis.2017.25.4.035
  4. Remondino, F., L. Barazzetti, F. Nex, M. Scaioni, and D. Sarazzi, 2011. UAV photogrammetry for mapping and 3d modeling, current status and future perspectives, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 38(1): C22.
  5. Rhee, S. and T. Kim, 2016. Dense 3D Point Cloud Generation from UAV Images from Image Matching and Global Optimization, Proc. of 2016 International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Prague, Czech Republic, Jul. 12-19, pp. 1005-1009.
  6. Rhee, S. and T. Kim, 2018. Development of incremental Bundle Adjustment for UAV Images without Orientation angles, Proc. of 2018 International Symposium on Remote Sensing, Pyeongchang, Korea, May 9-11, pp. 225-228.
  7. Rhee, S., T. Kim, D. Kim, and H. Lee, 2017. Analysis for Stereoscopic Plotting Applicability of UAV Images, Proc. of 2017 International Symposium on Remote Sensing, Nagoya, Japan, May 17-19, C-29.
  8. Rhee, S., T. Kim, J. Kim, M.C. Kim, and H.J. Chang, 2015. DSM generation and accuracy analysis from UAV images on river-side facilities, Korean Journal of Remote Sensing, 31(2): 183-191 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2015.31.2.12
  9. Snavely, N., 2008. Bundler: Structure from Motion (SFM) for Unordered Image Collections, http://phototour.cs.washington.edu/bundler/, Accessed on Jan. 13, 2011.
  10. Ulusel, O., C. Picardo, C.B. Harris, S. Reda, and R.I. Bahar, 2016. Hardware acceleration of feature detection and description algorithms on lowpower embedded platforms, Proc. of 2016 26th International Conference on Field Programmable Logic and Applications (FPL), Lausanne, Switzerland, Aug. 29 - Sep. 2, pp. 1-9.