1. 서론

영상 분류는 지구관측시스템을 이용한 지표 속성 분석을 위한 핵심적인 기술로 다양한 원격탐사 활용 분야 에서 널리 이용되는 기술이다. 영상 분류 기술은 영상을 객체 단위로 분석하는 객체 기반 영상 분석(Object Based Image Analysis, OBIA) 기술이 등장함에 따라 더욱 활발하게 연구가 되어왔다(Blaschke, 2010; Blaschke et al., 2014; Kucharczyk et al., 2020). 다양한 종류의 고해상도 위성영상의 활용이 점점 용이해지면서 영상 객체 단위의 모니터링을 위한 객체 기반의 영상 분류의 필요성이 더욱 증가하고 있고 최근에는 딥러닝 기술을 다양한 영상 분류에 적용하는 연구가 수행되었다(Lee and Kim, 2019; Rhee et al., 2018; Choi et al., 2020; Seong et al., 2020). 지표 속성 가운데 건물 등과 같은 인공 구조물의 경우 고해상도의 위성영상에서 분광 특성이 매우 다양하기 때문에 최신의 딥러닝 알고리즘을 적용해도 높은 분류 정확도를 확보하기가 싶지 않다. 딥러닝 기반의 위성영 상 토지피복 분류와 관련한 최근 연구(Lee and Lee, 2020)에서 아리랑3A 위성영상 자료로 구축한 데이터에 Fully Convolution Network 계열의 알고리즘을 적용한 분류 결과에서 DeeplabV3+가 81.7%의 가장 높은 전체 정확도를 보였으나 건물 클래스 분류에서는 SegNet (51.6%), U-Net (42.9%), DeeplabV3+ (31.7%) 알고리즘 모두 다른 클래스에 비해 상대적으로 낮은 분류 정확도가 보고 되었다. 한편, Song et al. (2018)은 아리랑3A 위성영상을 이용한 산림 식생을 분류하기 위해서 화소 기반의 분류 기법으로 SupportVector Machine (SVM)과 Random Forest (RF)를 적용하여 각각 46.7%, 52.2%의 overall accuracy를 얻었으며, 분류 정확도의 향상을 위해 객체 기반의 분 류 기법의 필요성을 언급하였다. Na and Lee (2014)는 실 험 대상 지역의 92%가 산림인 지역 대해에 객체 기반의 분류 기법을 적용하여 95%의 overall accuracy를 얻었다. Shin et al. (2015)은 UAV 영상의 토지 피복도 제작 연구 목적으로 객체 기반의 분류 소프트웨어인 ENVI Feature Extraction을 이용하여 중분류에 적합한 5미터의 공간해 상도로 변환된 RapidEye 영상과 UnmannedAerialVehicle (UAV) 영상에 대해 각각 90%, 91%의 overall accuracy를 얻었다. 이 연구에서는 실험 영상의 공간해상도가 5미터로 변환됨에 따라 분류 결과 영상에서 개별 건물 단위의 분석은 어려운 한계가 있다. Lee et al. (2018)은 아리 랑3A 위성영상을 이용한 객체 기반 분류를 위해 영상에서 추출 가능한 객체 파라미터 이외에 Digital Elevation Model (DEM)과 Digital Building Model (BDM)을 이용하여 91.0%~92.33%의 overall accuracy를 얻었다.

위성 영상의 공간 해상도가 향상되면서 객체 기반의 분류 방식이 유용한 분석 도구로 인식되고 있으나 위성 영 상의 공간 해상도 증가와 함께 영상에 표현되는 지표 속성의 다양성도 크게 증가함에 따라 영상 분류는 매우 도전적인 연구 주제라 할 수 있다. DEM이나 DBM 등과 같은 영상 이외의 자료를 사용하지 않고 영상 자료만을 이용하여 분류 정확도를 향상시키는 방법으로 Magpantay et al. (2018)는 Landsat-8 OLI의 밴드 연산을 통해 생성되는 정규식생지수(Normalized Difference Vegetation Index, NDVI)영상과정규수계지수(NormalizedDifferenceWater Index, NDWI) 영상을 다른 밴드 영상과 함께 분류에 사용하여 분류 정확도를 향상시키는 방법을 제안하였다. Ye (2020)는 클래스 분리도(class seperability) 개념을 이용하여 영상 분류를 위한 유사도 계산에서 각 분광 특징의 기여도를 자동으로 결정하여 분류 정확도를 향상시키는 방법을 제안하였다. 앞의 두 방법은 입력 영상 정보에 기초하여 새로운 특징 영상을 생성하거나, 입력 분류 영상의 분류 기여도를 계산하여 분류 정확도를 향상시키는 연구로 Landsat-8 OLI 영상에서는 그 효용성이 확인되었으나 고해상도 위성영상에 대해서는 효용성 확인에 대한 추가적인 연구가 필요하다. 입력 영상 정보를 사용하여 분류 단계에서 NDVI나 NDWI와 같은 추가 정보를 이용하거나 영상 정보의 상대적인 기여 도를 결정하는 이와 같은 방법은 원영상만을 직접 사용하는 것보다 향상된 정확도를 얻을 수 있으나 고해상도 위성영상에서 도시 지역의 건물 등과 같이 다양한 색상을 가지는 객체들을 정확히 분류하는 데는 한계가 있다. 고해상도 위성영상에서 하나의 클래스에 속하는 객체들이 다양한 색상을 가지는 경우에는 클래스 내부에서도 다양한 서브클래스를 정의해야 하는 경우가 발생하며, 추가적인 서브클래스 정의로 인해 분류에 사용되는 총 클래스의 수가 증가할수록 분류 성능이 저하되는 문제 점이 있다. 다양한 색상의 객체들이 존재하는 클래스에 다수의 서브클래스를 정의하기 위해서는 객체 색상을 고려한 새로운 분류 전략이 필요하다.

본 논문에서는 색상(Hue) 채널 클래스 결합을 통한 분류 정확도 향상에 대한 선행 연구(Ye, 2021)를 기초로 모든 입력 영상을 분류 단계에서 이용하는 기존 방식과 달리 입력 영상을 분류에 중요한 요소인 색상을 기준으로 분류 이전 단계에서 각 색상 채널 영상으로 분할하고 이후 객체 기반의 분류를 수행하는 방법을 제안한다. 본 논문은 2장에서 먼저 고해상도 위성영상의 객체 분할 및 객체 분광 특성을 살펴보고 HSV 색상 채널 분할 방법과 색상 채널의 클래스 라벨 할당 및 변환, 분류 결 과와 객체 분할 결과의 결합 방법을 소개한다. 3장에서는 아리랑3A 영상을 이용한 정성적 및 정량적 분류 결과를 기존의 상용소프트웨어의 분류 결과와 함께 제시하고 4장에서는 본 논문의 결론을 제시한다.

2. 연구 방법

1) 고해상도 위성영상의 객체 분할 및 객체 분광 특성

객체 기반의 영상 분류는 객체의 주요 특징 정보로 객체의 형태 정보와 분광 정보를 사용한다. 객체의 형태 정보는 분광 정보 중심의 화소기반 분류에서는 제공 되지 않는 객체의 중요한 속성 정보로서 영상 분할의 결과로 얻어지는 각 분할 영역이 객체 형태 정보와 일치할 경우에는 객체 기반 분류 시 매우 유용한 특징 정보 로 활용될 수 있다. 고해상도 위성영상에서 관심 대상의 객체가 단순한 형태와 분광 값을 가지는 경우에는 객체 형태에 대응하는 분할 영역을 영상 분할을 통해 쉽게 추출할 수 있으나 일반적인 경우에는 분할 영역과 각 객체의 형태 정보가 잘 일치하지 않는다. Fig. 1은 아리 랑3A 위성영상의 영상 분할 결과이며 일부 건물 지붕 영역의 경우 하나의 분할 영역으로 표현되지만 대부분의 건물 지붕은 여러 개의 분할 영역으로 구성되는 것을 확인할 수 있다. 개별 건물 지붕 영역에 대해 영상 분할에 사용되는 임계값을 각각 조정하면 건물 지붕 형태 정보와 유사한 분할 영역을 얻을 수 있으나 다양한 형태와 분광값을 가지는 다수의 건물이 존재하는 일반적인 경우에는 영상 분할 임계값을 개별적으로 적용하기가 현실적으로 어렵다.

Fig. 1. Image segmentation of KOMPSAT-3A image for object-based image classification.

객체 기반의 고해상도 위성영상 분류에서 또 다른 어려운 점은 분류 단계에서 사용되는 각 클래스의 대표되는 특징값을 추출하는 부분이다. 각 클래스의 훈련 집합에 사용되는 샘플이 비교적 일정한 분광값 범위에 속하는 중저해상도의 위성영상과 달리 고해상도 위성영상의 경우에는 하나의 클래스 내부에서도 다양한 서브 클래스를 구성해야 하는 경우가 빈번하다. 예를 들면, 다양한 종류의 건물이 존재하는 도심 지역의 고해상도 위성 영상에서는 건물을 하나의 클래스로 정의하기 어렵고 건물 클래스 하위에 다양한 건물 색상 유형을 포함할 수 있는 건물 서브 클래스의 구성이 필요하다. 결과적으로 각 클래스마다 다수의 서브 클래스를 정의해야 하고 분류 단계에서 사용되는 총 클래스 개수가 지나치게 많아지게 됨에 따라 다수의 클래스별 샘플의 추출 과정이 사용자 입장에서는 매우 어려운 문제가 되며 분류에 사용되는 클래스 수가 크게 증가함에 따라 분류 성능에도 영향을 미치게 된다.

하나의 클래스에 대해 다양한 서브클래스 구성이 필요한 고해상도 위성영상의 경우에는 사용자가 서브클 래스를 정의하기 위해서 필요한 서브클래스 별 분광 특성의 차이를 식별하기가 어렵다. Fig. 2는 아리랑3A 위성영상에서 유사한 청색 계열 영역들의 RGB 히스토그램 분포의 차이를 보여준다. Fig. 2의 두 사각형 영역은 청색의 농도가 조금 차이가 있으나 RGB 히스토그램 분포 상으로는 Red 밴드와 Green 밴드의 분포에서 큰 차이가 있다. RGB 히스토그램에서 그 분포에 차이가 많은 객체들을 하나의 클래스나 서브클래스로 정의하게 되면 영상 분류 시 클래스 분리도(class separability)가 낮아지므로 분류 성능이 저하되는 문제가 발생된다. 따라서 RGB 히스토그램 분포가 가급적 유사한 객체들을 서브클래스로 정의하여야 하지만 서브클래스 특징 샘플링 단계에서 RGB 색상 모델을 이용하여 사용자가 육안으로 이를 정확하게 식별하여 서브클래스를 구분하기는 쉽지 않다. 또한 각 클래스의 서브클래스들을 포함하는 전체 클래스의 종류가 많아질수록 분류 단계에서 클래스간 분리도가 낮아지는 문제점이 발생한다.

Fig. 2. Examples of RGB color histogram difference between similar spectral regions in KOMPSAT3A imagery.

이상과 같이 고해상도 위성영상에서 분할 영역과 각 객체의 형태 정보가 잘 일치하지 않는 점과 RGB 색상 모델에서 사용자가 육안으로 서브클래스를 정확하게 구분하기는 어려운 점, 클래스의 종류가 많아질수록 분류 단계에서 클래스간 분리도가 낮아지는 점들이 고해 상도 위성영상의 객체 기반 분류에서 해결해야 할 문제 이다.

2) HSV Hue 서브채널 영상의 객체 기반 분류

앞서 살펴본 바와 같이 고해상도 위성영상의 객체 분류를 위해서는 객체 형태 정보를 분류 특징으로 직접 사용하는 방식은 지양하고 다수의 서브클래스를 분류하는 과정에서 클래스 분류도가 낮아지는 점을 방지하는 방법이 필요하다. RGB 컬러 공간에서 다수의 서브클래스를 정의하고 분류하는 방식과 달리 본 논문에서는 Fig. 3과 같이 RGB 컬러 모델을 HSV 컬러 모델로 변환한 후에 HSV 컬러 모델의 색상(Hue) 성분을 유사한 색상의 화소들로 구성되는 서브채널들로 분할하고 각 서브채널에 대한 분류를 수행한 후에 그 결과를 결합하는 새로운 분류 방식을 제안한다.

Fig. 3. Overall procedure of the proposed classification method.

(1) HSV 컬러 변환

HSV 컬러 공간은 색의 종류가 색의 선명도, 밝기와 분리된 컬러 공간으로서 색의 종류를 나타내는 색상 (Hue) 성분, 색의 선명도를 나타내는 채도(Saturation) 성분, 색의 밝기를 나타내는 명도(Value)로 구성된다. H, S, V는 RGB 컬러 값을 이용하여 식 (1)~(3)으로 계산되며 색상과 명도는 각각 0~1 사이의 값을 가진다. 반면에 색상(Hue)은 색상에 따라 0도에서 360도 사이의 분포를 가진다. 색상 성분 분포를 일정한 각도 간격의 서브채널로 구분하면, 각각의 서브채널은 비슷한 색상을 가지게 된다. 따라서 색상 서브채널에 속하는 색상으로 한정해서 영상을 분류하면 다양한 색상으로 분포하는 객체들을 유사한 색상별로 한정하여 객체를 분류하는 효과를 얻을 수 있다.

\(V = \text {max (R, G, B)}\)       (1)

\(S=\left(\begin{array}{ll} \frac{V-\min (R, G, B)}{V} & \text { if } V \neq 0 \\ 0 & \text { otherwise } \end{array}\right.\)       (2)

\(H=\left(\begin{array}{ll} \frac{60(G-B)}{V-\min (R, G, B)} & \text { if } V=R \\ 120+\frac{60(B-R)}{V-\min (R, G, B)} & \text { if } V=G \\ 240+\frac{60(R-G)}{V-\min (R, G, B)} & \text { if } V=B \end{array}\right.\)       (3)

여기서 V는 명도로 색의 밝기를 나타내며, S는 채도로 색의 선명도를 나타낸다. H는 색의 종류를 나타내는 색상(Hue)으로 0에서 360까지 각도 단위로 표현된다.

(2) HSV 색상(Hue) 채널 분할

색상 성분 채널 분할을 위해 먼저 RGB 영상을 HSV로 변환 후 색상 성분(0~360도)을 Fig. 4와 같이 일정 각도 간격의 채널로 분할하여 색상 서브채널(Hue subchannel)을 구성한다. 관심 객체가 존재하는 색상 서브채널(관심 객체 채널) 영상에서 관심 객체 영역을 검출한 후에 이에 대응하는 관심 객체 영역을 RGB 영상에서 검출한다. 채널 분할 각도가 작을수록 색상 서브채널 영상 의 개수는 증가하고 각 색상 서브채널에 대한 RGB 영상에서 검출되는 화소들의 색상 유사도는 증가한다. 반면에 채널 분할 각도가 커질수록 색상 서브채널 영상의 개수는 감소하고 각 색상 서브채널 영상에 존재하는 화소들의 색상 범위는 증가한다. 다양한 색상을 가지는 원 영상의 화소들이 색상 서브채널 영상 별로 구분되어 이후 영상 분류 단계에서는 각 색상 서브채널 영상의 화소들에 대해서만 클래스를 선정하고 영상 분류를 수행할 수 있게 된다.

Fig. 4. Hue channel division. The pixels belonging to each hue channel have similar colors in the RGB color space.

색상 채널 분할은 색상을 기준으로 영상 분류가 자동으로 수행되는 단계로 이해할 수 있으며 이를 통해 사용자는 다수의 클래스가 존재하는 원영상에서 클래스를 직접 정의하고 샘플을 추출하는 과정을 피하고 화소들의 색상 범위가 축소된 각 색상 서브채널 영상에 대한 클래스 정의와 샘플 추출 과정을 수행하게 된다. 색상 채널 분할의 또 다른 이점은 영상 분류 단계에서 각 색상 서브채널 영상 내에서만 클래스를 정의하고 샘플을 추출하게 됨에 따라 다른 색상 서브채널 영상에 속하는 화소들의 영향을 받지 않고 서브채널 영상별로 독립적인 분류를 수행하게 되는 점이다. 이에 따라 서로 다른 색상 서브채널 영상에 속하는 클래스들 간에는 클래스 분리도를 특별히 고려하지 않아도 되는 분류 전략이라고 할 수 있다.

(3) 색상 채널의 클래스 라벨 할당 및 변환

일반적인 영상 분류에서는 영상에 존재하는 클래스를 정의하고 영상 화소 또는 객체가 어떤 클래스에 속 하는 지를 판정하여 판정된 클래스에 해당하는 클래스 라벨을 할당하게 된다. 이에 반해 다수의 색상 서브채 널 영상에 대해 분류를 수행하고 각 서브채널의 분류 결과를 통합하여 하나의 분류 결과 영상을 생성하기 위해서는 각 색상 서브채널에 클래스를 지정하는 방식과 함께 다수의 색상 서브채널 영상에서 할당된 클래스 라벨 들을 하나의 분류 결과 영상에 통합적으로 기술하는 방식을 정의해야 한다.

색상 서브채널 영상 H에 존재하는 클래스 K가 L개의 서브 클래스로 구성되고 화소에 할당하는 클래스 라벨 을 C_H(K, l) (l = 1, 2, 3, …, L)라할때, 첫 번째로 정의되는 l =1일 때의 클래스 라벨 C_H(K, 1)을 기본 클래스 라 벨(basic class label)이라 하고, l≥2일 때의 클래스 라벨 C_H(K, l)(l≥2)을 서브 클래스 라벨(sub-class label)이라 하자. Fig. 5의 Sub-channel (H=1) 영상에는 클래스 K=1 에 대해 기본 클래스 라벨 C₁(1, 1)과 서브 클래스 라벨 C₁(1, 2)이 존재하고 Sub-channel (H=2) 영상에는 클래스 K=2에 대해 기본 클래스 라벨 C₂(3, 1)과 서브 클래스 라 벨 C₂(2, 2)이 존재하고 그 밖에 Sub-channel (H=1) 영상에서 정의한 클래스 K=1과 같은 클래스 라벨 C₂(1, 1)이 존재한다. 색상 서브채널 Sub-channel (H=1, 2) 영상의 분류 후에 할당된 각 클래스 라벨은 클래스 라벨 변환 (Class Label Transformation) 과정을 통해서 서브 클래스 라벨은 모두 기본 클래스 라벨로 변환시킨다. Fig. 5의 Sub-channel (H=1) 영상의 서브 클래스 라벨 C₁(1, 2)은 클래스 라벨 변환 후에 C₁(1, 1)로 변환된다. 마찬가지로 Sub-channel (H=2) 영상의 서브 클래스 라벨 C₁(2, 2)은 C₁(2, 1)으로 변환된다. 클래스 라벨 변환 과정을 통해 각 색상 채널에 존재하는 서브 클래스 라벨은 모두 기본 클래스 라벨로 변환되고 최종적으로 클래스 라벨 결 합(Class Label Merging) 영상에는 K=1, K=2의 두 개의 클래스 라벨만 남게 된다. 이와 같은 클래스 라벨 할당과 변환 과정을 통해 하나의 클래스가 여러 색상 채널 영상들 내에 여러 개의 서브 클래스 라벨로 할당되어도 최종적으로 하나의 클래스 라벨로 변환된다.

Fig. 5. Transformation of class labels in sub-channel images and class label merging.

(4) 색상 서브채널 영상 분류

앞서 설명한 색상 채널의 클래스 라벨 할당 및 변환 전략에 따라 먼저 각 색상 서브채널에 대해 기본 클래 스 라벨과 서브 클래스 라벨을 정의한다. 이후 Fig. 6과 같이 색상 서브채널 영상에서 정의된 기본 클래스와 서브 클래스에 대한 샘플을 각각 추출한 후에 최소 거리 기반의 분류를 수행한다. 분류 후에 할당된 기본 클래 스 라벨과 서브 클래스 라벨에 대한 클래스 라벨 변환을 수행하고 클래스 결합을 통해 최종적으로 기본 클래 스 라벨만으로 분류 결과 영상을 표현한다. 클래스 라벨 변환과 클래스 결합 과정은 모든 색상 서브채널들에 대해 적용하여 최종적으로 기본 클래스 라벨만으로 분류 결과 영상을 표현한다.

Fig. 6. Image classification and class label transformation for hue subchannel image.

(5) 영상 객체 생성

객체 기반의 영상 분류를 수행하기 위해서는 영상 객체의 생성이 필요하다. 객체 기반 영상 분류에 사용되는 영상 객체는 일반적으로 영상 분할을 수행한 후에 획득된 영역으로 정의된다. 영상 분할은 유사한 밝기 값 을 가지는 화소들을 하나의 영역으로 정의하는 과정으로 본 연구에서는 대표적인 영역 기반의 영상 분할 기 법인 워터쉐드(watershed) 알고리즘을 이용한다.

워터쉐드 알고리즘은 Fig. 7과 같이 그레디언트 (gradient) 크기가 주변 화소보다 작은 영상 화소(maker) 를 기준으로 유사한 밝기값 영역을 라벨링하는 영상 분할 방법이다. 워터쉐드 알고리즘을 이용한 영상 분할을 수행하기에 앞서 영상의 과도 분할을 완화시킬 목적으로 미디언 필터(median filter)를 적용하고 그레디어언트 크기가 임계값보다 작은 그레디언트 화소를 marker로 선택한 후에 영상 라벨링을 수행하여 분할 영역 정보를 획득한다. 워터쉐드 알고리즘은 영역 내부와 외부를 구분하는 폐곡선 형태의 영역 경계선 획득이 가능하고 에지 기반의 경계선 검출 방식에 비해 약한 강도의 영역(객체) 경계선 검출이 가능해서 객체 기반의 영상 분류를 위한 객체 생성에 적합한 알고리즘이다.

Fig. 7. Watershed image segmentation. The markers serve as seed points of the regions in the watershed transformation.

(6) 분류 결과와 객체 분할 결과의 결합

각 색상 서브채널의 분류 결과를 객체 분할 결과로 얻어진 객체 영역 상에 표시하면 대체로 하나의 영역에 하나의 클래스 라벨이 존재하나 영역 내부의 분광 특성에 따라 여러 개의 클래스 라벨이 동일 영역 안에 존재할 수 있다. 동일 영역 안에서 각 클래스 라벨에 속하는 화소의 총 개수와 영역 안의 전체 화소 개수와의 비율이 임계값 TR보다 큰 경에는 가장 많은 화소가 속한 클 래스 라벨을 영역 전체 화소에 할당한다. 이 과정을 통해 영역 내부의 분류 오류를 보정하고 미분류된 화소들 도 영역 내부에서 가장 우세한 클래스로 분류되는 효과를 얻을 수 있다.

3. 연구 결과 및 분석

객체 기반의 분류를 위해 본 연구에서는 다양한 색상의 지표 속성을 가지는 도시 지역을 촬영한 아리랑3A 위성영상을 실험 영상으로 사용하였다(Fig. 8). 다양한 색상과 크기의 건물들이 밀집되어 있으며 영상 우측의 건물들 주변으로 나지가 일부 존재하고 영상 우측의 상단과 하단 그리고 좌측 상단에 식생 영역이 분포한다. 그 밖에 영상 중심 부근의 건물들 사이와 외곽 부근에 도로가 존재한다.

Fig. 8. TheexperimentalKOMPSAT-3AimageoverGwangju Metropolitan City in Korea (2018.9.25.).

본 실험에서는 건물, 식생, 도로, 나지로 구성되는 총 4종류의 클래스를 정의한다. 실험 영상은 Fig. 9(a)와 같이 동일한 건물 지붕의 색상과 질감이 상이한 건물들이 다수 존재한다. 건물 클래스에 속하는 건물들의 지붕이 다양한 색상을 가짐에 따라 도로나 나지와 같은 다른 클래스와의 클래스 분리도가 떨어져서 분류 성능을 저하시키는 요인으로 작용할 수 있다. Fig. 9(b)는 건물 지붕과 인접한 도로의 색상이 매우 유사한 경우이며, Fig. 9(c)와 Fig. 9(d)는 건물 지붕과 나지의 밝기 값이 매우 밝은 경우로 모두 클래스간 분리도가 높지 않은 예를 보 여준다.

Fig. 9. Enlarged regions of Fig. 8. (a) buildings with various colors on the same roofs (b) building roofs and roads with similar colors (c) and (d) building roofs and bare ground with bright intensities.

Fig. 10은 아리랑3A 위성영상을 9개의 색상 서브채널 영상으로 분할한 결과를 보여준다. 실험에 사용된 영상은 다양한 색상 범위에 걸쳐서 객체들이 존재하는 영상으로 본 실험에서는 각 색상별로 객체들이 충분히 구분될 수 있도록 총 9개의 색상 서브채널 영상으로 분할하였다. 영상에 포함된 클래스들의 색상 분포가 비교적 단순한 경우에는 색상 서브채널의 개수를 더 작은 수로 분할할 수 있다. 각 색상 서브채널 영상에 존재하는 화소들은 유사한 색상을 가지게 된다. Fig. 10의 Sub-channel 1에 속하는 화소들은 적색 계열의 화소들이 검출되고 Sub-channel 6 영상에는 청색 계열의 화소들이 검출된 것을 확인할 수 있다. 각 색상 서브채널 영상은 다른 채널 영상과는 독립적으로 객체 기반의 분류의 입력으로 사용된다.

Fig. 10. KOMPSAT-3A image and hue sub-channel images with similar colors.

Fig. 11은 Sub-channel 6 영상에서 다양한 색상을 가지는 건물들이 여러 서브 클래스로 라벨링이 되고 이후 클 래스 라벨 변환 과정을 통해 하나의 기본 클래스 라벨 로 변환된 결과를 보여준다. Fig. 11(d)부터 Fig. 11(f)까지 는 Fig. 11(a)의 사각형 영역 위치에 해당하는 각 결과를 확대한 영상으로 청색 계열에 속하는 화소들이 서브 클 래스 라벨로 분류가 되고 클래스 라벨 변환 과정을 통해 하나의 건물 기본 클래스 라벨로 변환된 결과이다.

Fig. 11. Examples of class label transformation (a) a hue subchannel image (b) the classified image with one basic class label and several subclass labels (c) the classified image with one basic class label after class label merging (d)~(f) the enlarged images of (a)~(c) over the yellow rectangle area in Fig. 11(a).

색상 서브채널 영상의 분류 결과는 워터쉐드 영상 분할 결과와 결합되어 객체 영역 단위의 분류 결과를 생성한다. Fig. 12는 실험 영상에 워터쉐드 영상 분할 알고 리즘을 적용한 결과 영상의 일부를 보여준다.

Fig. 12. Result of image segmentation by the watershed algorithm (a) a part of red band image (b) the segmented regions.

Fig, 13은 색상 서브채널 영상의 화소 단위 분류 결과를 영역으로 변환한 결과를 보여준다. 색상 서브채널 영 상 분류 결과와 객체 분할 결과의 결합에 적용되는 임계값 TR은 0.2를 적용하였다. Fig. 13(c)와 Fig. 13(d)에서 볼 수 있듯이 화소 단위의 분류 결과에서 미분류된 화소는 객체 영역 정보를 이용하여 영역 내에 가장 빈도가 많은 클래스 라벨로 보간되었다.

Fig. 13. Transformation of classified pixels into object regions (a) a hue subchannel classification result (b) object-based representation (c) and (d) the enlarged regions of the yellow rectangle area in (a) and (b).

제안한 객체 기반 분류 기법의 성능 비교를 위해 두 가지 객체 기반 분류 기법과의 결과를 비교하였다. 첫 번째 비교 대상 분류 방식은 객체를 생성하는 영상 분할은 앞서 소개한 방법과 동일한 반면에 영상 분류 시 색상 채널 분할 없이 원영상 R/G/B/NIR 밴드를 한 번에 모두 이용하여 최소거리 기반의 분류를 수행하는 방식(RGBN 기반의 분류 기법)이다. 객체 내부 보간은 앞서 소개한 방식과 같이 가장 우세한 클래스 라벨로 객체 영역 내부를 보간한다. 두 번째 비교 대상 분류 기법 으로 대표적인 객체 기반의 분류 소프트웨어 중 하나인 ENVI Feature Extraction 알고리즘 방법을 이용하였다. 객체 세그먼트 생성 파라미터인 에지 기반 알고리즘의 Scale Level은 35, Merging 알고리즘으로 Full Lambda Schedule을 선정하고 Merge Level은 80으로 설정하였다. 분류에 사용되는 속성은 4개 밴드 모두를 사용하고 Auto Selection을 적용하였다. 분류기는 kNN 방식을 적용하였고 각 클래스별로 대표적인 샘플 영역을 20~30개 선정하였다.

Fig. 14는 RGBN 기반의 분류 결과를 보여준다. 식생에 속하는 화소들은 대부분 잘 분류되었으나 건물 영역에 속하는 많은 화소들이 도로 영역으로 분류되었고 일부는 나지로 분류되었다. 건물 영역 중 밝기 값이 밝은 일부 건물들이 나지로 오분류되는 경우가 여러 곳에서 발생하였다.

Fig. 14. Result of image classification using RGBN-based classification method.

Fig. 15는 ENVI Feature Extraction을 이용한 분류 결과이다. RGBN 기반의 분류 결과에 비해 건물 클래스에 속하는 영역의 검출 비율이 늘어났음을 볼 수 있다. 그러나 여전히 건물 영역이 나지로 오분류된 경우가 여러 곳에서 발견되고 건물 영역이 도로 영역으로 오분류된 영역도 일부 발견된다. 분류 결과 영상의 상단 부근에서 식생 영역의 일부가 도로로 오분류되는 곳이 있으며 우측 상단과 하단의 식생 영역에서 일부는 건물로 오분류되는 영역이 발생하였다.

Fig. 15. Result of image classification using ENVI Feature Extraction method.

Fig. 16은 제안한 방법을 적용한 분류 결과로 대부분의 건물 영역들이 건물 클래스로 분류가 되었음을 볼 수 있다. 밝은 밝기 값을 가지는 나지 영역 중 일부가 건물로 오분류되기도 하였으나 앞의 두 방법에 비해 건물 영역의 분류 결과는 대체로 양호하고 도로 영역과 나지 영 역도 대체로 앞의 두 방식의 결과에 비해 양호한 분류 결과를 보인다. 식생 영역 중 작은 크기의 검은색 영역은 주로 그림자에 속하거나 밝기값이 매우 어두운 영역에 속하는 미분류를 화소를 나타낸다. 이러한 영역들은 추가적으로 그림자 클래스를 정의한 후에 그림자 클래스로 분류하거나 크기가 작은 영역은 형태학적 연산을 이용한 후처리를 통해 주변의 클래스로 보간할 수 있다. 본 연구에서는 미분류 상태로만 구분하고 각 분류 방법의 정량적인 분류 성능을 평가할 때에는 이들 화소가 속하는 영역은 배제하고 성능을 평가하였다.

Fig. 16. Result of image classification using the proposed classification method.

Fig. 17은 앞에서 소개한 세 가지 방식의 분류 결과를 상세하게 비교하기 위해 원영상과 각 방법으로 분류한 결과 영상의 일부를 확대한 영상이다. Fig. 17(a)의 사각형 내부에 존재하는 건물 지붕의 색상은 흰색으로 원영 상의 나지 분광 특성과 유사한 특성을 보인다. RGBN 기반의 분류 방법에서는 해당 건물 영역들이 모두 나지로 분류되었으며 ENVI Feature Extraction 방법에서는 상단의 건물과 하단의 건물 지붕 일부가 나지로 분류되었다. 반면에 제안한 방법은 상단의 건물 일부만 나지로 분류되고 그 외의 영역은 건물로 분류되었다. ENVI Feature Extraction 방법의 경우 Fig. 17(c)의 사각형 영역에서 볼 수 있듯이 식생 영역 일부가 도로 클래스로 분류가 되었다.

Fig. 17. Enlarged images of the classified images (a) the original image (b) RGBNbased classification method (c) ENVI Feature Extraction method (d) the proposed classification method.

분류 결과에 대한 정량적인 성능 평가를 위해 무작위 추출법(random sampling)으로 분류 성능을 평가하는 기준점을 추출하고 각 기준점이 속하는 클래스를 결정한 후에 각 분류 방법으로 얻어진 분류 결과 영상의 분류 정확도를 평가하였다. Table 1은 RGBN 기반의 분류 결과 영상에 대한 정확도 평가 결과를 보여준다. 건물의 생산자 정확도가 37.78%로 매우 낮고 도로와 나지의 사용자 정확도도 각각 37.25%, 43.59%로 낮은 값을 보였다. 건물 분류의 정확도가 낮고 도로와 나지의 분류 결과 신뢰도가 낮음을 알 수 있다. Overall accuracy와 kappa coefficient는 각각 66.67%, 56.21%의 결과를 보였다.

Table 1. Accuracy assessment of the RGBN-based classification method

Table 2는 ENVI Feature Extraction 방법의 분류 정확도 평가 결과이다. 건물의 생산자 정확도가 61.17%로 RGBN 기반의 분류 방법에 비해 생산자 정확도가 많이 향상되었으나 식생의 생산자 정확도는 85.92%로 12.19% 정확도가 낮아졌다. 도로의 사용자 정확도는 다소 낮아졌고 나지의 사용자 정확도는 51.72%로 정확도가 향상되었다. Overall accuracy와 kappa coefficient는 각각 73.73%, 63.46%로 RGBN 기반의 분류 방법에 비해 향상된 분류 정확도를 보였다.

Table 2. Accuracy assessment of the ENVI Feature Extraction method

Table 3은 제안한 방법의 분류 정확도 평가 결과로 건물의 생산자 정확도가 82.22%로 앞의 두 방법에 비해 정확도가 크게 향상된 결과를 보였다. 도로의 사용자 정확도는 48.72%로 다른 클래스에 비해 낮은 정확도를 보이나 앞의 두 방법 대비 10% 이상의 향상된 결과를 보였다. 나지의 사용자 정확도는 92.31%로 앞의 두 방법 대비 정확도가 매우 크게 향상되었다. Overall accuracy 와 kappa coefficient는 각각 84.97%, 77.56%로 RGBN 기반의 방법 대비 overall accuracy는 18.3%, kappa coefficient 는 21.35%의 정확도 향상이 이루어졌으며,ENVI Feature Extraction 방법 대비 overall accuracy는 11.24%, kappa coefficient는 14.1%의 정확도 향상이 이루어졌다. 세 가지 분류 방법의 분류 결과에서 도로의 사용자 정확도가 상대적은 낮은 이유는 영상에서 도로의 분광 특성과 유사한 건물들이 포함되어 있어 건물 화소들 가운데 일부 가 도로 화소들로 분류되었기 때문이다.

Table 3. Accuracy assessment of the proposed classification method

4. 결론

본 논문에서는 고해상도 영상의 분류를 위해 색상 채널 영상 분류 및 다중 클래스 결합을 이용한 객체 기반의 분류 방법을 제안하였다. 제안하는 객체 기반의 분류 방법은 영상 분류를 전체 영상 화소를 대상으로 수행하지 않고 색상별로 분할된 서브채널 영상의 화소 중심으로 먼저 분류한 후에 모든 색상 서브채널의 분류 결과와 영상 분할 결과를 결합한다. 다양한 색상의 건물들을 포함하는 도시 지역에 대한 분류 실험을 통해 RGBN 기반의 방법 대비 overall accuracy는 18.3%, kappa coefficient 는 21.35%의 정확도 향상이 이루어졌으며,ENVI Feature Extraction 방법 대비 overall accuracy는 11.24%, kappa coefficient는 14.1%의 정확도 향상 결과를 얻었다. 특히 다양한 색상을 가지는 건물의 생산자 정확도가 크게 향상된 결과를 얻었다. 제안한 방법은 클래스에 속하는 화소들이 다양한 색상을 가지는 경우에도 객체의 색상, 질감 등을 모두 이용하는 기존의 객체 기반 분류 방법 대비 분류 성능이 우수함을 확인하였다. 서브 미터의 공간해상도를 가지는 고해상도 영상의 경우 영상 안에 다양한 색상의 객체가 다수 존재하는 경우에는 기존의 객체 기반 분류 방식은 분류 성능에 한계를 가지게 된다. 본 논문은 이러한 다양한 색상을 가지는 고해상도 위성영상의 객체 분류를 위해 색상 채널 분할의 새로운 접근 방식을 제안한데 의의가 있다.

사사

본 연구는 2021년 한국항공우주연구원 “정부 위성정보활용협의체 지원(FR21K00W01)” 과제의 지원에 의 해 수행되었습니다.