1. 서 론

원격탐사 기법을 통한 지상에 존재하는 여러 지물의 높이 정보를 추출하는 연구는 활발히 진행되고 있는 분야 중 하나이다. 원격탐사 기법을 이용한 높이 정보의 추출은 광학영상을 통해 주로 수행되었으나(Cheng and Thiel, 1995), 최근에는 라이다(LiDAR; Light Detection And Ranging)나 SAR(Synthetic Aperture Radar) 데이터를 통해 3차원 정보를 추출하는 연구가 진행되고 있다(Verma et al., 2006; Xu and Jin, 2007; Yu et al., 2010). 그러나 항공 라이다나 SAR 데이터는 관측 폭, 또는 범위가 작거나 자료의 획득 및 처리기법이 광학영상에 비해 어렵고 제한적이라는 문제점을 가진다. 특히 항공 라이다의 경우 원격탐사의 장점인 접근이 제한된 지역이나 광역적인 영역을 분석하는데 한계가 있다(Kim et al., 2013). 반면에 광학영상은 광역적인 정보를 제한 없이 취득할 수 있고, 다양한 지구관측위성의 발사로 인해 자료의 취득도 상대적으로 용이하다는 장점을 가지고 있다. 또한, 영상 센서와 촬영된 지역의 특성에 따라 연구기법의 결과가 다양하기 때문에 광학영상을 이용한 높이 정보의 분석 연구가 지속적으로 이루어지고 있다(Izadi and Saeedi, 2012; Lee et al., 2013).

특징점은 주로 주변 밝기값과 비교하여 특이점이 있는 밝기값을 가진 화소를 말한다. 따라서 높이의 변화가 있는 위치에 존재하는 DSM 생성에 의미 있는 화소일 수 있으며, 정확하고 신뢰할만한 정합 결과를 도출할 가능성이 높다(Zhang and Gruen, 2006). 이러한 특징점은 사용자의 시각적 분석을 통한 수동적으로 수집되거나 특징점 추출 알고리즘을 이용하여 수집될 수 있다. 다른 촬영환경으로 취득된 스테레오 영상에 존재하는 건물의 특징점 및 정합점을 추출에는 수동적인 방법이 가장 정확도가 높은 경향이 있지만 경제적 및 시간적 비용이 많이 들며 객관적이지 않은 결과를 초래하는 문제가 있다.

이를 해결하기 위해, 다양한 특징점 추출기법이 컴퓨터비전, 패턴인식, 원격탐사 등의 분야에서 제안되고 있다. 안정적인 특징점 추출기법으로 알려진 Harris 특징점 추출기법은 모서리 및 엣지의 특징점을 신속하게 추출하는 반면 영상의 스케일 및 회전을 고려하지 못하는 단점이 있다(Harris and Stephens, 1988). 이를 보완하기 위해 Harris-Laplace와 Harris-Affine이 제안되었다. Harris-Laplace는 영상의 스케일에 불변하지만 회전과 어핀변환에 영향을 받는 것으로 알려져 있고, Harris-Affine은 Harris-Laplace 기법이 어핀변 환에 영향을 받지 않도록 개발한 특징점 추출기법이 이다(Mikolajcyk and Schmid, 2002). SIFT는 대표적인 특징점 추출기법으로 DoG(Difference of Gaussian)으로 특징점을 추출하고 128개의 기술자를 활용하여 정합점을 찾으며, 컴퓨터비전 분야의 근거리 카메라 영상에 적용되는 효과적인 기법으로 알려져 있다(Lowe, 2004).

지면에 존재하는 지형 및 물질을 대상으로 하는 특징점 추출 및 정합에 관련된 연구는 활발하게 진행되어 왔다. Kim et al.(2005)은 고해상도 위성영상 간의 영상정합과정에서 특징점 추출기법의 특성을 비교하기 위해 KLT, Harris, Förstner, Wavelet 추출기법을 이용하여 특징점을 추출하였으며, 영상정합률과 정합성공률은 모두 Harris 추출기법이 우수한 것으로 평가되었다. 한편, Zhang and Gruen(2006)은 IKONOS 영상 세트에서 특징점, 그리드점, 그리고 엣지를 추출하고 정합하여 자동으로 수치표면모델을 생성하는 기법을 제시하였다. 수치표면모델을 자동으로 생성한 결과, 나무와 수풀을 제외한 전체 실험지역에서는 2~3m의 RMSE, 그리고 평평한 지역에서는 1m 이하의 정확도를 가지는 것을 확인하였으나, 매우 복잡한 과정을 통해 수행되었다. 또한, Kim et al.(2013)은 건물에서 Harris, SIFT, Speed Up Robust Features(SURF) 특징점 추출기법을 비교 평가하여 Harris 기법이 건물의 특징점 및 정합점을 추출하기에 효과적인 것으로 확인하였다. 중·저해상도를 가진 위성영상 간의 자동기하보정을 위해 Harris 기법과 SIFT 기술자를 통한 정합 방법을 사용하기도 하였으며, 상관계수를 이용하는 정합 방법보다 높은 정합률을 나타내는 것을 확인하였다(Han et al., 2006). 그러나 해당 연구는 위성영상을 정합하기 위한 특징점 추출에 기반을 두므로 건물의 정합점을 추출하기 위한 연구에는 적용되기 어렵다.

최근, 위성영상을 이용한 높이 정보 추출을 위해 LiDAR 영상이나 SAR 영상을 함께 활용하는 연구가 진행되고 있으나(Sportouche et al., 2009; Cheng et al., 2013), 자료 취득에 대한 한계점이 있다. 또한, 단일 광학영상에 존재하는 건물의 그림자 정보를 활용하여 높이 정보를 분석하는 연구도 진행되었으나, 건물이 밀집되어 있는 도심지역에는 제한적이라는 문제가 있다(Kim et al., 2006; Lee et al., 2013). 이런 문제점들을 최소화할 수 있는 스테레오 위성영상을 이용한 높이 정보분석은 ENVI나 PCI 등 다양한 상용 소프트웨어를 통해 일반인 및 공간분석가들에게 쉽게 제공되고 있지만 지면에 대한 높이 정보 추출에 초점이 맞춰져 있거나 특징점 및 정합점을 수동으로 추출해야 한다는 한계가 존재한다. 또한, 수치지도가 제공되는 지역의 경우, 주로 공급되는 수치지도에 경계정보만 포함되어 있고 높이정보가 제공되지 않기 때문에 현실적으로 높이정보를 획득하기에 어려움이 있다.

본 연구에서는 WorldView-2 스테레오 영상에서 사용자의 개입을 최소화한 건물의 정합점 추출방법을 제시한다. Harris-affine 특징점 추출기법으로 수집된 특징점의 SIFT 서술자를 생성하고, 선택된 각 특징점의 탐색범위와 정합점 간 선분의 방향을 고려하여 정합점 추출을 수행하였다. 또한, 추출된 정합점을 통해 해당 건물의 높이 정보를 실제로 분석하여 수동으로 추출된 높이 정보와 비교하여 정확도를 평가하였다.

2. 연구방법

본 연구는 Harris-affine 특징점 추출기법을 사용한 특징점 추출과 SIFT 서술자와 탐색 범위를 사용하여 정합점을 추출하였다. 첫 번째 단계로 스테레오 위성영상의 정합점 추출을 위해 연직(nadir) 영상과 비연직(off-nadir) 영상에서 Harris-affine 특징점 추출기법을 사용하여 특징점을 추출하고, 건물 벡터 자료를 사용하여 연직 영상에서 건물 높이 추출에 필요한 특징점 만을 수집하였다. 두 번째 단계에서는 수집된 특징점 그룹 1의 특징점을 사용하여 비연직 영상에서 정합점을 검색하였다. 이를 위해 SIFT 서술자를 계산하고 탐색범위 및 정합점 사이의 기울기를 구하여 다른 각도에서 촬영된 스테레오 영상의 건물에 존재하는 정합점을 추출하였다. 본 연구의 전체 흐름도는 Fig. 1과 같다.

Fig. 1.Flowchart

2.1 Harris-affine 특징점 추출

Harris-affine 특징점 추출기법은 2차 모멘트 행렬, 즉 자기상관행렬 M을 사용한다.

위의 행렬에서 x방향과 y방향의 2차 미분은 영상의 2차원 방향성을 나타내는 공분산 행렬이며, 화소 밝기값의 변화량을 나타낸다. 한 화소를 중심으로 계산된 자기상관행렬 M의 고유값 2개가 모두 큰 값을 가질 경우 코너점이라는 것을 의미한다.

Harris and Stephens(1988)는 코너의 특징을 가진 특징점의 추출을 위해 응답함수 C(x, y)을 제안하였으며, M의 행렬식 det(M)와 행렬 M의 대각원소들의 합인 trace(M)을 통해 다음과 같이 구할 수 있다(Harris and Stephens, 1988).

Harris-affine 특징점 추출기법은 반복 연산을 통해 어핀에 불변한 특징점을 추출한다. 먼저, 스케일 공간에서 특징영역을 찾고, 정규화된 라플라시안, 즉 LoG(Laplacian-of-Gaussian)이 스케일 영역에서 최대값을 가지는 영역을 선택하여 초기점을 파악한다. 여기서 LoG는 코너, 모서리, 교차지점 등의 공간구조를 파악하는데 효과적인 것으로 알려져 있다(Mikolajczyk and Schmid, 2004). 초기점 파악 후, 어핀특성에 영향을 받지 않도록 각 초기점의 영역을 정규화하고, 반복적으로 특징점을 공간상에 위치시키면서 integration과 derivation 스케일을 선택하며 어핀 영역을 분석한다. Integration 스케일은 LoG의 극대점, derivation 스케일은 정규화된 등방성(isotropy)의 최대값에서 선택할 수 있다. 선택된 integration과 derivation 스케일을 통해 스케일 공간에서의 2차 모멘트 행렬을 추정할 수 있으며, Eq. (2)의 최대값으로 특징점 위치가 파악된다. 값의 변화가 작아질 때까지 위의 과정을 반복하여 어핀에 불변한 특징점을 추출한다(Mikolajczyk and Schmid, 2002; Mikolajczyk and Schmid, 2004).

Harris-affine 특징점의 수집 후, 건물 벡터파일을 사용하여 연직 영상에서 건물이 아닌 지역에서 추출된 특징점을 제거하였다. 연직 영상에서 수집된 특징점그룹 1은 건물 지붕 및 옥상에 존재하는 특징점 만을 포함하게 되어, 건물의 높이값 추출에 불필요한 특징점은 제거되었다.

2.2 SIFT 서술자와 탐색범위를 사용한 특징점 정합

특징점그룹 1의 특징점을 특징점그룹 2와 정합하기 위해 SIFT의 서술자를 분석하였으며, 수집된 특징점 그룹 1의 특징점을 사용하여 비연직 영상에서 정합점을 검색하였다. SIFT는 기술자 정보 분석을 위해 Fig. 2 왼쪽 그림의 큰 원과 같은 가우시안 영역을 설정하고 추출된 특징점의 정규화 영역에 대하여 그래디언트 크기와 방향을 계산한다. 그리고 Fig. 2의 오른쪽 그림과 같이 4×4 배열의 정보를 가지고 있는 방향 히스토그램으로 모아지며, 8개의 화살표 길이는 각 영역의 그래디언트 크기의 합을 나타낸다. 그래서 각 특징점은 정보를 서술하는 128(4×4×8)개의 벡터를 가지게 된다. 특징점 그룹 1의 각 특징점과 특징점그룹 2의 모든 특징점의 128개의 벡터로 유클리디안 거리(Euclidean Distance)를 계산하여, 가장 근접한 정합점의 거리와 임계치의 곱이 가장 작은 경우에 최종 정합점으로 선정된다(Lowe, 2004).

Fig. 2.Generation of SIFT descriptor(Lowe, 2004)

효과적인 정합을 위해 특징점의 탐색범위를 설정하였다. 탐색범위의 변 길이는 다음의 식을 통해 구하였다.

여기서, θ는 비연직 영상의 촬영각, h는 실험지역에 존재하는 최고층 건물의 최대 높이, GSD는 비연직 영상의 공간해상도이다. h는 최고층 건물의 정확한 높이값에 가까울수록 정확도가 높아질 가능성이 높지만, 실험지역의 특성을 고려하여 대략적인 최대 높이값으로 설정할 수 있다. 또한, 비연직 영상의 건물 기울기를 고려하여 특징점그룹 1의 각 특징점을 기준으로 2개의 사분면을 선택하여2sa×sa 크기의 탐색범위를 설정하였다.

다음으로 건물의 기울기를 남북 또는 동서 방향으로 분석하고, 추출된 정합점으로 이루어지는 선분의 각도를 계산하였다. 이를 통해 건물의 기울기와 다른 방향으로 추출된 정합점을 제거하였다.

3. 실험 지역 및 데이터

본 연구에서는 WorldView-2 위성을 통해 취득된 스테레오 영상을 사용하였다. WorldView-2 위성은 Digital Globe사가 소유하고 있는 상업용 지구관측위성이며 2009년 10월 8월에 발사되어 운행 중이다. WorldView-2 영상의 전정색 밴드는 보통 연직 방향에서 0.46m GSD, 20°의 비연직 방향에서 0.52m의 공간해상도를 가진다. 본 실험에서 사용된 WorldView-2 스테레오 영상은 기본 스테레오 영상으로 연직 영상과 비연직 영상으로 이루어져있다. 두 영상은 2010년 5월 1일에 2분 미만의 간격으로 취득되었다. 연직 영상은 5.3° 미만, 비연직 영상은 34.4°의 시야각에서 취득된 스테레오 영상이다. 연직영상과 비연직 영상의 GSD는 각각 0.47m와 0.67m이다. 영상의 전처리 단계로 연직 영상을 기준으로 영상정합과 히스토그램 평활화를 수행하였다. 그리고 실험에서 사용된 건물 벡터 파일은 건물의 외곽선을 포함하고 있으며, WorldView-2의 연직 영상에서 추출하여 실험영상의 건물 바닥면과 동일한 건물 외곽선을 가지고 있다.

Fig. 3.Study data in (a) Nadir image and (b) Off-nadir image

선정된 실험 지역은 서울특별시 강남구 도곡동에 위치한 도곡공원과 도곡공원 남쪽의 거주 지역이다. 도곡공원과 함께 높이가 다른 아파트와 빌라가 위치하고 있으며, 도로, 주차장, 놀이터, 화단 등이 존재한다.

4. 결과 및 평가

4.1 정합점 추출 결과

Worldview-2 연직과 비연직 영상의 특징점 추출결과는 Fig. 4와 같다. Harris 특징점 추출기법으로 추출된 특징점을 보면 건물면의 가장자리나 코너에 분포하는 경향이 있다. 영상에서 특이점이 있는 화소인 특징점의 경우, 주변 화소값과 차이가 있는 화소가 추출되는 것이 유리하다. 건물에서 주변 화소값과 차이가 있는 화소의 경우, 그림자 영역과 건물 영역이 맞닿는 지점이나 서로 다른 물질을 가진 영역이 이웃하는 지점일 가능성이 많기 때문에 코너점을 추출하는 Harris 특징점 추출기법이 효과적이다. 연직 영상에서 Harris 특징점 추출기법으로 7089개의 특징점을 추출하였으며, Fig. 4(a)와 같이 건물 벡터자료를 사용하여 건물에 존재하는 1056개의 특징점(특징점그룹 1)을 선택하여 정합에 사용하였다. 비연직 영상에서는 Harris 특징점 추출기법으로 추출된 7126개의 특징점(특징점그룹 2)을 모두 정합에 사용하였다(Fig. 4(b)).

Fig. 4.Harris point extraction results for (a) nadir image after non-urban points removal and (b) off-nadir image

특징점그룹 1과 특징점그룹 2에서 정합점을 찾기 위해 SIFT 서술자와 유클리디안 거리를 분석하여 정합한 결과는 Fig. 5를 통해 확인할 수 있다. Fig. 5(a)는 탐색범위와 정합점간 선분의 방향을 고려하지 않고 SIFT 서술자를 통해 바로 정합을 수행하였으며, 오정합쌍이 다수 존재하는 것을 연직영상과 비연직 영상의 정합점을 연결하는 노란색 라인을 통해 확인할 수 있다. 비연직 영상의 건물 높이는 다르지만 일정하게 기울어 있기 때문에 두 영상의 정합점이 모두 제대로 추출되었다면 노란색 라인이 일정한 방향을 향하는 경향이 있다. 그러나 Fig. 5(a)에서는 노란색 라인의 방향이 다른 정합쌍이 다수인 것이 확인된다. 따라서 Worldview-2 위성영상과 함께 제공되는 GSD와 촬영각, 그리고 대략적인 건물의 높이값을 적용하여, 다른 위치에 있음에도 불구하고 비슷한 화소값 때문에 매칭되는 정합쌍이 발생하지 않도록 하였다. 본 연구에서 사용된 Worldview-2 영상의 제원에 따라 GSD는 0.5m, 촬영각은 29.1°(34.4°-5.3°), 그리고 최대 건물높이는 실험지역의 가장 높은 건물의 층수를 고려하여 80m로 설정하였다. 설정된 탐색범위와 정합점 간 선분의 방향을 고려해서 정합된 정합쌍의 결과는 Fig. 5(b)와 같다. 총 9개의 건물에서 Fig. 5(a)와 같은 18개의 정합쌍이 추출되었으나, 일정한 방향의 노란라인을 통해 정합쌍의 정확도가 훨씬 개선된 것을 확인할 수 있다. 탐색범위를 고려하여 정합을 수행하였기 때문에 영상의 촬영각이나 촬영환경으로 인한 방사적 차이로 인해 정합점을 찾지 못하고 다른 위치에 비슷한 밝기값을 가진 화소를 찾는 경우가 대부분 제외되기 때문이다. 시각적 평가를 통해 오정합쌍을 분석한 결과, Fig. 5(a)의 경우 총 18개의 정합쌍 중에서 15개의 오정합쌍이 존재하였고 Fig. 5(b)의 경우 총 18개의 정합쌍 중에서 2개의 오정합쌍이 존재하는 것을 확인하였다.

Fig. 5.Tie points results (a) Without search window & points removal with appropriate direction (b) With search window & points removal with appropriate direction

4.2 정합점 추출 결과를 이용한 높이 정보 분석 평가

제안 방법과 기존 방법으로 추출된 정합점으로 분석된 실제 건물의 높이 정보의 정확도를 평가하였다. 각 건물마다 2 개 이상의 정확한 정합점을 수동으로 추출하고, 이를 통해 계산된 높이 정보와 비교하였다. 추출된 정합점을 통해 9개 건물의 높이 정보를 분석할 수 있었으며, 분석된 각 건물의 높이 정보는 Table 1에 나타나있다. 수동으로 추출된 정합점을 이용하여 분석한 높이 정보에 비교한 결과, 본 연구에서 제시된 추출방법으로 추출된 정합점으로 분석된 높이 정보는 2m 미만의 RMSE 값을 가지는 것을 확인하였다.

Table 1.Height information of buildings generated by proposed method comparing to manual extraction

5. 결 론

본 연구를 통해 Harris-affine 특징점 추출기법과 SIFT 서술자를 사용한 스테레오 위성영상의 정합점 추출방법을 제시하였다. Harris-affine 특징점 추출기법으로 추출된 특징점의 SIFT 서술자를 계산하고, 스케일과 회전 등의 영향이 적은 SIFT 서술자를 활용하여 정합점을 추출하였다. 또한, 탐색범위와 영상 내 정합쌍의 각도를 고려하여 효과적인 정합쌍 추출 방법을 제시하였다. 추출된 정합쌍을 사용하여 영상 내에 존재하는 건물의 높이 정보를 실제로 분석하여 제안 방법이 수동 방법과 비교하여 2m 미만의 RMSE를 가지는 것을 확인하였다. 정합쌍의 수가 많지 않아 특징적인 분광정보를 가진 화소가 존재하지 않는 지역의 높이 정보를 추출하는데 한계가 있었으나, 특징점 추출 알고리즘을 활용하여 복잡한 물질과 다양한 높낮이의 구조물이 존재하는 도심지역의 건물에서 시각적인 정합점의 선택 없이 사용자의 개입을 최소화하여 정합점을 추출하는 가능성을 제시하였다.