1. 서론

원격탐사 기술이 발전하면서 지표에 대한 상세 정보를 제공할 수 있는 높은 공간 해상도의 위성영상을 획득할 수 있게 되었다. 이에 맞추어 한국항공우주연구원 에서도 다목적실용위성(KOrea Multi-Purpose SATellite, KOMPSAT) 시리즈를 개발 및 운용하면서 고해상도 광학 위성영상을 제공하고 있다. 여기에는 KOMPSAT-2, -3, -3A가 현재 운용 중이며 향후 7호를 개발하여 고해상도 위성영상의 가용성을 증대시킬 예정이다(KARI, 2021). KOMPSAT 영상을 포함한 고해상도 위성영상은 높은 공간 해상도에서 지표의 상세 변동성에 대한 정보를 제공할 수 있는 반면 재방문 주기가 길다는 한계가 있다. 이러한 한계는 시간적으로 연속적인 관측을 요구하는 분야 혹은 재난재해와 같이 적시 관측을 요구하는 분야에서 고해상도 위성영상의 활용성을 저하시킨다.

이와 관련하여 다중 위성영상에서 시간 및 공간 해상도의 보완적 특성을 결합해 높은 시공간 해상도의 합성영상을 생성하는 시공간 자료 융합 연구가 활발히 수행 되고 있다(Kim and Park, 2019; Yang et al., 2020; Meng et al., 2021). 여기서 시공간 자료 융합은 시간 해상도는 높지만 공간 해상도가 낮은(dense time-series coarse-scale, DC) 자료와 반대로 시간 해상도는 낮지만 공간 해상도가 높은(sparse time-series fine-scale, SF) 자료를 융합해 고주기 고해상도의 합성(dense time-series fine-scale synthetic, DFS) 자료를 생성하는 기술을 의미한다. Gao et al. (2006)에서 제안한 Spatial and Temporal Adaptive Reflectance Fusion Model (STARFM)을 시작으로 다양한 시공간 융합 모델이 개발 및 제안되고 있다(Huang and Song, 2012; Zhu et al., 2016; Wang and Atkinson, 2018). STARFM은 DC 자료의 공간 해상도를 고해상도로 변환해 입력하기 때문에 예측 결과에 평활화 양상이 반영되는 한계가 있다(Kim and Park, 2019). 이러한 한계를 보완하기 위해 Zhu et al. (2010)은 세부적인 변동성을 설명하기 위해 STARFM에 분광혼합분석을 결합한 Enhanced Spatial and TemporalAdaptiveReflectance Fusion Model (ESTARFM)을 제안하였다. 최근에는 시간 해상도가 높은 DC 자료의 특성을 결합할 수 있는 지구통계 기반의 Spatial Time-series Geostatistical Deconvolution/ Fusion Model (STGDFM)이 제안되었다(Kim et al., 2020). STGDFM은 기존에 제안되었던 시공간 융합 모델과 다르게 다중시기에서 획득한 DC 자료를 입력 자료로 사용해 시간적으로 보다 연속된 반사율 정보를 결합하기 때문에 예측 시기에서 반사율 변화의 예측 성능을 향상 시키고자 하였다.

기존 시공간 융합 모델은 DC 및 SF 자료를 동시에 획득하기에 용이한 중저해상도의 위성영상을 대상으로 개발되었다(Hiler et al., 2009; Wu et al., 2012; Zhou and Zhong, 2020). 특히 유사한 분광 파장 영역에서 영상을 획득할 수 있는 MODIS 자료와 Landsat 자료의 시공간 융합 연구가 주로 수행되었다. 원격탐사 기술이 발전하면서 고해상도에서 위성영상을 획득할 수 있게 되면서 그 활용성이 증대됨에 따라 고해상도 위성영상에 대한 시공간 융합 연구의 필요성이 강조되고 있다. 그러나 위성영상의 공간 해상도에 따라 영상이 포함할 수 있는 지표의 특성이 달라질 수 있다(Seo et al., 2021). 따라서 중저해상도의 위성영상을 대상으로 개발된 융합 모델을 고해상도 위성영상에 적용할 수 있는지 평가할 필요가 있다. 또한 고해상도 위성영상은 중저해상도 위성영상에 비해 시간 해상도가 낮기 때문에 융합을 위한 입력 자료 구성에 한계가 있다. 이는 결과적으로 융합 결과에서 시간 변화에 따른 반사율 변화의 예측 성능을 저하시킬 가능성이 높다. 고해상도 위성영상에 대한 기개발된 시공간 융합 모델의 적용성 평가가 일부 수행되고 있지만, 현재까지 시공간 융합에서 입력 자료 구성에 따른 모델별 영향 평가는 미미한 실정이다(Park et al., 2020).

이러한 배경에서 이 연구에서는 중저해상도 위성영상을 대상으로 기개발된 시공간 융합 모델을 고해상도 위성영상에 적용 가능한지 평가하고자 한다. 이를 위해 서로 다른 특성을 갖는 두 융합 모델(ESTARFM vs. STGDFM)을 이용해 KOMPSAT-3A 및 Sentinel-2 영상을 대상으로 시공간 자료 융합을 적용하였다. 또한 반사율 변화에 대한 예측 성능을 평가하기 위해 시간에 따른 반사율 변화가 상대적으로 크게 나타나는 작물 재배 지역을 대상 지역으로 선정하였다.

2. 시공간자료융합모델

기개발된 시공간 자료 융합 모델은 Fig. 1과 같이 공통적으로 1개 이상의 시기에서 동시에 획득한 DC 및 SF 자료와 예측 시기에서 획득한 DC 자료를 입력 자료로 사용한다(Ghamisi et al., 2019). 여기서 동일 시기에서 획득한 DC 및 SF 자료를 pair data라 하고, 이 자료를 획득한 시기를 pair date라 정의한다. 시공간 자료 융합은 SF 자료가 결측된 시기를 대상으로 입력 자료의 시공간 모델링을 통해 예측 시기 DC 자료의 상세 변동성을 예측한다.

Fig. 1. Common input datasets for the developed spatio-temporal data fusion models.

이 연구에서는 고해상도 위성영상에 대한 시공간 자료 융합의 적용성 평가를 위해 ESTARFM과 STGDFM 을 적용하였는데 그 이유는 다음과 같다. 먼저 (1) 두 모델 모두 다중 pair 기반 모델이기 때문이다. 여기서 다중 pair 기반 모델이란 시공간 융합에서 입력 자료로 요구하는 DC 및 SF 자료의 pair 구성이 두 개 이상인 모델을 의미한다. 이와 반대로 한 쌍의 pair data를 요구하는 모델을 단일 pair 기반 모델이라 한다. 최근 시공간 융합 연구에서는 입력 자료의 효율적인 측면을 고려해 단일 pair 기반 모델이 다수 개발되고 있다. 그러나 다중 pair 기반 모델에서 입력하는 정보에 비해 고려할 수 있는 정보가 상대적으로 적기 때문에 예측 성능이 저하될 가능성이 높다. 이러한 이유에서 기개발된 시공간 융합 모델에서 단일 pair 기반 모델을 제외하고 다중 pair 기반 모델을 적용성 평가에 적용하였다.

또한 (2) 두 모델은 예측 시기와 pair date가 순차적이지 않아도 적용할 수 있다는 점에 있다(Zhu et al., 2010; Kim et al., 2020). 다시 말해서 다른 모델의 경우 예측 시기가 pair date 사이에 놓였을 때 적용이 가능하지만, ESTARFM과 STGDFM은 예측 시기가 pair date 사이이거나 전 혹은 후 시기에 위치해도 적용이 가능하다. 이는 pair data 구성에서 다른 모델 보다 효율적이라는 측면에서 모델의 적용성이 상대적으로 높다고 할 수 있다. 이 연구에서는 이러한 두 가지 이유에서 고해상도 위성 영상의 시공간 자료 융합을 적용하기 위해 ESTARFM 과 STGDFM을 적용하였다.

1) ESTARFM

ESTARFM은 가중 결합 기반 모델인 STARFM에 분광혼합분석을 결합한 시공간 융합 모델로 2010년에 개발되었지만 현재까지도 적용되고 있는 대표적인 모델 중 하나이다(Knauer et al., 2016; Liu et al., 2020). 예측 시기 및 고해상도 위치에서 반사율 값을 예측하기 위해 ESTARFM은 DC 및 SF 자료의 공간 해상도 차이를 고려하기 위해 먼저 예측 시기와 pair date에서 획득한 DC 자료의 공간 해상도를 SF 자료의 공간 해상도로 변환한다. 즉 임의의 시기 t_k에서 획득한 특정 분광 채널의 DC 자료를 Z^C(v_i, t_k)라고 할 때, SF 자료의 공간 해상도 로 변환한 \(Z_{C}^{F}\)(u_j, t_k)를 ESTARFM의 입력 자료로 사용한다. 여기서 첨자 C와 F는 각각 저해상도(coarse-scale) 및 고해상도(fine-scale)를 의미하며 v_i 와 u_j 는 각각 i번째 DC 자료의 화소 및 j번째 SF 자료의 화소 위치를 의미한다. 또한 i는 1부터 DC 자료의 총 화소수인 N까지의 값을 가지며, j는 1부터 SF 자료의 총 화소 수인 M까지 의 값을 가진다.

이를 바탕으로 ESTARFM은 예측 시기(t_p)에서 획득한 DC 자료와 K개의 pair date (tk, k=1, …, K)에서 획득한 DC 및 SF 자료의 가중 결합을 통해 반사율 값을 예측한다(Zhu et al., 2010). 여기서 예측 위치에서 인접한 주변 고해상도 화소를 검색하기 위해 탐색창(search window)을 이용한다. 사용자가 정의한 크기(w)의 탐색창 내에 포함된 입력 자료를 대상으로 가중치(W)를 계산해 탐색창의 중심 화소(u_w/2)에서 값을 예측한다.

\(\begin{aligned} \widehat{Z^{F}}\left(u_{w 2}, t_{p}\right)=& \sum_{k=1}^{K}\left\{T_{k} \times Z^{C}\left(u_{w 2}, t_{k}\right)+\sum_{l=1}^{W} W_{l} \times v\left(u_{l}\right) \times\right.\\ &\left.\left[Z_{C}^{F}\left(u_{l}, t_{p}\right)-Z_{C}^{F}\left(u_{l}, t_{k}\right)\right]\right\} \end{aligned}\)       (1)

여기서 T_k는 t_p와 t_k 시기 사이에서의 반사율 변화에 대한 가중치를 나타내며, 이는 식 (2)를 통해 계산된다.

\(T_{k}=\frac{1 /\left|\sum_{l=1}^{w} Z_{C}^{F}\left(u_{l}, t_{k}\right)-\sum_{k=1}^{w} Z_{C}^{F}\left(u_{l}, t_{k}\right)\right|}{\sum_{k=1}^{K}\left\{1 /\left|\sum_{l=1}^{W} Z_{C}^{F}\left(u_{l}, t_{k}\right)-\sum_{l=1}^{W} Z_{C}^{F}\left(u_{l}, t_{k}\right)\right|\right\}}\)       (2)

식 (1)을 적용하기 위해서는 먼저 가중치를 계산해야 하는데, 가중치는 입력한 DC 및 SF 자료의 공간적, 분광적, 그리고 시간적 유사성을 기반으로 계산된다. 먼저 공간적 유사성의 경우, 예측 위치와 인접한 주변 화소 사이의 거리를 계산해 거리가 가까운 화소가 공간적 유사성이 높다는 것을 기반으로 높은 가중치를 할당한다. 그리고 분광적 유사성을 비교하기 위해 ESTARFM은 특정 임계값을 기준으로 임계값보다 작거나 같은 경우, 분광적 유사성이 크다는 것으로 간주해 높은 가중치를 할당한다. 여기서 임계값은 대상 지역의 분류 항목(즉, 토지 피복 항목) 수와 탐색창 안에 포함된 화소 값들의 표준편차를 이용해 계산된다. 마지막으로 시간적 유사성은 예측 시기와 pair date에서 획득한 DC 자료를 이용해 비교하는데, 탐색창 안에 포함되는 화소를 비교해 그 차이가 크지 않은 화소에 높은 가중치를 할당한다. 또한 ESTARFM은 DC 및 SF 자료의 공간 해상도 차이를 고려하기 위해 분광혼합분석을 적용해 변환 계수인 ν(u_i)를 추정한다. 여기서 변환 계수는 예측 시기에서 획득한 DC 자료에 적용된다. 결과적으로 예측 시기에서의 반사율 정보는 공간 해상도 차이를 고려해 예측 과정에서 결합된다(Zhu et al., 2010).

2) STGDFM

Kim et al. (2020)이 제안한 지구통계 기반의 시공간 융합 모델인 STGDFM은 ESTARFM을 포함한 기존 모델과 다르게 예측 시기 및 pair date에서 획득한 DC 자료 외에도 다중 시기에서 획득한 DC 자료를 입력 자료로 사용한다. 다중 시기에서 획득한 DC 자료를 사용하는 이유는 예측 시기에서 나타날 수 있는 반사율 변화를 설명하기 위해 토지 피복별로 시간상 연속적으로 변화하는 반사율 정보를 결합하기 위함이다(Kim et al., 2020).

STGDFM은 먼저 예측하고자 하는 속성을 입력 자료로부터 계산한 시공간 모델링 결과와 모델링 결과에 포함되지 않은 잔여 속성으로 구분한다. 여기서 시공간 모델링 결과를 경향성분과 시공간 모델링 결과에 포함되지 않은 속성을 잔차성분으로 정의한다. 최종 시공간 융합 결과(\(\widehat{z}^{f}\)(u_j , t_p))는 예측 시기의 고해상도 위치에서 추정한 경향성분(\(\widehat{m}^{f}\)(u_j , t_p))과 잔차성분(\(\widehat{r^{f}}\)(u_j , t_p))을 결합해 획득된다.

경향성분은 다중 시기에서 획득한 DC 자료로부터 저해상도 위치에서 시계열 경향성(temporal trends)을 모델링하고, 이를 pair date에서 획득한 DC 및 SF 자료로부터 생성한 resolution matrix를 이용해 고해상도로 변환한 결과를 의미한다. 여기서 시계열 경향성은 대상 지역의 주요 토지 피복별로 추정되는데 이를 위해 STGDFM에는 DC 자료의 공간 해상도에서 토지 피복도를 입력한다. 토지 피복도를 이용해 시계열 경향성을 모델링하기 위해 STGDFM은 공간 시계열 모델링 기법을 적용한다(Kyriakidis and Journel, 2001). 자세히 설명하자면, 특정 토지 피복에 속하는 모든 저해상도 화소의 시계열 평균값과 특정 토지 피복에 속하는 단일 저해상도 화소의 시계열 값을 추출한다. 이를 기반으로 시계열 평균값을 종속변수로 단일 저해상도 화소의 시계열 값을 독립변수로 정의해 관계식 함수를 통해 시계열 경향성을 추정한다. 여기서 관계식 함수로는 두 자료의 관계성 형태를 가정하지 않는 비모수적 모델이면서 비교적 높은 예측 성능을 갖는 랜덤 포레스트(random forest) 모형을 사용한다.

저해상도에서 추정된 시계열 경향성을 고해상도로 변환하기 위해 STGDFM은 pair date에서 획득한 DC 및 SF 자료로부터 생성한 분해능 행렬(resolution matrix)를 이용한다. 분해능 행렬이란 pair date에서 획득한 DC 및 SF 자료간의 선형 관계식을 행렬 형태로 정의한 것을 의미하며 분해능 행렬에는 컨볼루션(convolution) 행렬 (C)과 디컨볼루션(deconvolution) 행렬(D)이 있다. 여기서 선형 관계식을 기반으로 행렬 C와 D의 차원은 각각 N×M과 M×N으로 정의된다. 저해상도 자료를 고해상도 자료로 변환하기 위해서는 디컨볼루션 행렬을 계산해야 한다. 이를 위해 먼저 일반적으로 위성 센서의 point spread function (PSF)으로 사용되는 Gaussian 커널기반의 PSF를 가정하여 컨볼루션 행렬을 구성한다 (Wang and Atkinson, 2017). PSF를 기반으로 구성된 컨볼루션 행렬의 전치행렬(transposed matrix)을 통해 초기 디컨볼루션 행렬(D₀)을 구성한다. 초기 디컨볼루션 행렬을 pair date에서 획득한 DC 및 SF 자료에 적용해 각 요소별 오차를 보정하여 예측 시기에서의 디컨볼루션 행렬(\(\widehat{\mathbf{d}}_{p}\))을 추정한다. 여기서 예측 시기와 pair date 사이 에서 획득한 DC 자료간의 유사성을 기반으로 오차를 보정한다(Kim et al., 2020). 이를 이용해 예측 시기에서 모델링한 저해상도 시계열 경향성을 고해상도로 변환 한 \(\widehat{m^{f}}\)(u_j , t_p)를 계산한다.

STGDFM은 예측하고자 하는 속성이 입력 자료로부터 시공간 모델링한 결과뿐만 아니라 예측 시기에서만 나타나는 잔차성분을 포함한다고 간주한다. 따라서 시공간 모델링 결과와 함께 잔차성분을 결합해 융합 결과를 생성한다. 그러나 예측 시기에서는 DC 자료만 가용할 수 있기 때문에 잔차성분은 앞서 추정한 \(\widehat{m^{f}}\)(u_j , t_p)를 저해상도로 업스케일링하고 예측 시기에서 획득한 DC 자료와 업스케일링 결과의 차이를 통해 저해상도에서만 계산할 수 있다. 이를 고해상도에서 추정하기 위해 STGDFM은 지구통계학 모델인 영역-점 변환 크리깅을 적용한다. 영역-점 변환 크리깅은 예측하고자 하는 즉, 고해상도 위치에서 공간적 상관성을 고려하기 때문에 공간 해상도 변환에 적합한 기법으로 알려져 있다 (Kyriakidis, 2004; Goovaerts, 2008). 최종적으로 식 (3)과 같이 고해상도에서 추정한 경향성분과 잔차성분을 결합해 DFS 자료를 생성한다.

3. 방법론

1) 대상 지역 및 사용 자료

이 연구에서는 고해상도 영상을 이용한 시공간 융합에서 모델별 예측 성능을 비교 평가하기 위해 작물 재배지역을 대상 지역으로 선정하였다. 특히 작물 재배지역은 다른 토지 피복과 다르게 시간에 따른 반사율 변화가 크게 나타나기 때문에 이 연구에서는 반사율 변화에 따른 모델별 예측 성능을 비교하고자 하였다. 대상 지역으로는 미국 Corn Belt에 위치한 일리노이(Illinois) 주에서 퍼트남(Putnam) 카운티의 옥수수, 콩 재배 지역을 선정하였다(Fig. 2). Fig. 2와 같이 대상 지역은 옥수수, 콩, 밀 등의 작물 재배지역과 함께 도심지, 산림, 초지 등의 토지 피복을 포함한 4.6 km×3.2 km 범위이다.

Fig. 2. The location of study area with a 2018 cropland data layer (CDL).

고해상도 위성영상에 대한 시공간 자료 융합의 적용성 평가를 위해 이 연구에서는 DC 및 SF 자료로 각각 KOMPSAT-3A 및 Sentinel-2 자료를 사용하였다. 여기서 KOMPSAT-3A 자료는 다중 분광 채널인 3개의 가시 광선(blue, green, red) 채널과 근적외선(near infra-red, NIR) 채널을 사용하였으며, 4개 채널 모두 공간 해상도 2.4 m에서 제공된다(Table 1). 그리고 Sentinel-2 자료도 사용한 KOMPSAT 자료의 분광 채널과 유사한 분광 파장 영역의 가시광선 및 근적외선 채널을 사용하였으며, 4개 채널 모두 공간 해상도 10 m에서 제공된다(Table 1). 두 자료간의 융합을 위해 이 연구에서는 2.4 m에서 제공 되는 KOMPSAT-3A 자료를 모두 2.5 m로 resampling 하였으며, resampling에는 nearest neighboring 기법을 적용하였다. 이 연구에서 사용한 KOMPSAT-3A 및 Sentinel2 자료의 획득 시기는 Table 2에 정리하였다.

Table 1. Summary of the characteristics for KOMPSAT-3A and Sentinel-2A/B images used in this experiment

Table 2. List of the acquisition dates of KOMPSAT-3A and Sentinel-2A/B images (The dates with underline indicate the pair dates)

대상 지역에서의 토지 피복도를 입력 자료로 요구하는 STGDFM의 적용을 위해 미국 United StatesDepartment of Agriculture National Agricultural Statistics Service (USDA NASS)에서 제공하는 cropland data layer (CDL)를 사용하였다. CDL은 Landsat 자료를 기반으로 제작되기 때문에 30 m의 공간 해상도를 갖는다(Lark et al., 2021). 이를 Sentinel-2 자료의 공간 해상도인 10 m로 변환하기 위해 nearest neighboring 기법을 적용하였다.

2) 실험 방법

이 연구의 전반적인 적용 절차는 Fig. 3과 같다. 고해상도 위성영상에 대한 시공간 융합 모델의 적용성 평가를 위해 이 연구에서는 서로 다른 특성을 갖는 ESTARFM과 STGDFM을 적용하였다. 여기서 두 모델은 입력 자료에서 큰 차이가 있다. 예측 시기와 pair date에서 획득한 DC 자료만을 이용해 반사율 변화를 예측하는 ESTARFM과 달리 STGDFM은 예측 시기와 pair date를 포함한 다중 시기에서 획득한 DC 자료를 이용해 반사율 변화를 예측한다. 연속적인 반사율 정보의 결합 유무에 따라 pair data 구성이 어려운 고해상도 위성영상에 대한 시공간 융합에서 두 모델의 영향이 다르게 나타날 수 있다. 이 연구에서는 이러한 영향이 융합 결과에 어떻게 나타나는지 비교 평가하였다.

Fig. 3. Flow chart of an experiment on spatio-temporal data fusion using KOMPSAT-3A and Sentinel-2 images. A blank square in the KOMPSAT-3A image stack means not available data (i.e., a prediction date) in fusion models.

평가 방법으로는 먼저 예측 시기에서 획득한 KOMPSAT-3A 및 Sentinel-2 자료와 융합 결과를 시 각적으로 비교하였다. 그리고 예측 시기에서 획득한 KOMPSAT-3A 자료를 참 값의 자료로 간주해 융합 결과에 대한 예측 오차와 참 값의 자료와 공간적 유사도를 정량적으로 계산해 비교하였다. 여기서 예측 오차에는 mean absolute error (MAE)를 계산해 비교하였고, 공간적 유사도에는 structuralsimilarity index measure (SSIM) 를 계산해 비교하였다. SSIM은 두 자료의 평균, 표준 편차, 공분산 등의 통계값을 이용해 공간적 유사도를 정량적으로 비교한 지수이다(Wang et al., 2004). SSIM은 0부터 1 사이의 값을 가지며, 1에 가까울수록 두 자료 간의 공간적 유사도가 높다는 것을 의미한다.

본 실험에서는 KOMPSAT-3A 영상을 획득한 세 시기를 모두 예측 시기로 선정하였다. 즉 KOMPSAT-3A 영상을 획득한 세 시기 중 한 시기를 예측 시기로 선정한 경우, 다른 두 시기를 pair date로 정의하였다. 여기서 중저해상도 위성영상을 이용한 다른 연구와 다르게 KOMPSAT-3A 영상의 낮은 재방문 주기로 인해 Sentinel-2 영상과 동일 시기에서 획득하는데 한계가 있었다. 이러한 한계로 인해 이 연구에서는 KOMPSAT-3A 영상과 유사한 시기에서 획득한 Sentinel-2 영상을 기반으로 반사율 차이가 크지 않다는 가정을 두어 이를 pair data로 정의하였다(Table 2).

4. 결과 및 토의

두 융합 모델을 이용해 KOMPSAT-3A 및 Sentinel-2 위성영상의 시공간 융합을 적용한 결과는 Fig. 4와 같다. 두 모델을 비교했을 때, 상대적으로 예측 시기 KOMPSAT 3A 영상과 유사한 반사율 양상을 보인 결과는 STGDFM을 적용한 결과로 나타났다. 반면 ESTARFM의 적용 결과에서는 KOMPSAT-3A 영상과 상이한 반사율 양상을 보였다. 특히 ESTARFM 적용 결과, 시간에 따른 반사율 변화가 크게 나타나는 농경지에서 노이즈 양상이 두드러지게 나타났다. 여기서 노이즈 양상은 3월 4일 ESTARFM 결과의 좌상단에서의 푸른색 혹은 보라색 패턴과 대상 지역 중앙 부근에서의 노란색 패턴을 의미한다. 이 패턴은 같은 시기 KOMPSAT 영상 및 STGDFM 결과에서는 나타나지 않는다(Fig. 4).

Fig. 4. Visual Comparisons with a false color composite (near infra-red, red, green channels as R, G, B) between true KOMPSAT-3A images and the results predicted by ESTARFM and STGDFM.

이러한 양상을 확인하기 위해 시간에 따른 반사율 변화 양상이 다르게 나타나는 도심지와 농경지를 대상으로 3월 4일 및 10월 21일에 대한 융합 결과와 KOMPSAT3A 영상을 비교하였다(Fig. 5). KOMPSAT-3A를 획득한 세 시기 사이에서 반사율 변화가 상대적으로 크지 않은 도심지 피복(Subarea A)에서는 ESTARFM과 STGDFM 의 적용 결과 모두 KOMPSAT 영상과 유사한 양상을 보였다(Fig. 5(a)). 반면 Fig. 5(b)와 같이 농경지 피복(Subarea B)에서는 두 모델의 적용 결과가 다른 양상을 나타냈다. 특히 3월 4일에서 ESTARFM 적용 결과는 노이즈 패턴이 나타났고, 10월 21일의 ESTARFM 적용 결과는 낮은 반사율 값을 제대로 반영하지 못하였다.

Fig. 5. Visual comparisons between KOMPSAT-3A images, ESTARFM fusion results, and STGDFM fusion results for (a) subarea A and (b) subarea B. The results on March 4 and October 21 were compared.

이러한 ESTARFM의 결과에서 보이는 노이즈 패턴 등의 오류는 pair data의 반사율 값이 반영된 것이다. 예를 들어, 3월 4일의 ESTARFM 결과에서 보이는 노이즈 패턴(푸른색 혹은 보라색 패턴)은 10월 21일에서 획득한 KOMPSAT 영상의 양상이 반영되어 나타났다. 반대로 10월 21일의 ESTARFM 적용 결과, 3월 4일 및 3월 21일에서 획득한 KOMPSAT 영상의 반사율 값이 10월 21일 결과에 반영되면서 실제 반사율 값보다 높은 값으로 예측하였다. 즉, ESTARFM 결과에는 pair date와 예측 시기 사이에서 반사율 변화가 크게 나타나는 경우 이를 예측하는 과정에서 pair data의 영향이 과반영되면서 실제 값과 다른 반사율 값으로 나타났다. 반면 예측 시기 와 pair date 사이에서 반사율 변화가 크게 나타나더라도 시계열 경향성과 잔차성분을 결합하는 STGDFM에서는 예측 시기의 반사율 변화를 잘 예측한 것으로 나타났다.

다음 시각적 평가와 함께 참 값의 KOMPSAT 영상을 이용해 계산된 예측 오차와 공간적 유사도 등의 정량적 평가 결과를 Table 3에 제시하였다. 먼저 시기별 융합 결과의 성능을 비교해 보면, 두 모델의 융합 결과 모두 다른 두 시기에 비해 10월 21일 결과에서 예측 성능이 저하된 것으로 나타났습니다. 특히 NIR 채널에서 다른 두 시기에 비해 10월 21일의 ESTARFM 및 STGDFM 결과에서 SSIM 값이 각각 0.794와 0.831로 가장 낮은 값을 보였다. 이는 3월 4일과 3월 21일 사이에서 시간에 따른 반사율 변화가 크지 않기 때문에 STGDFM 뿐만 아니라 ESTARFM의 융합 결과에서 예측 시기에 나타나는 반사율 변화를 설명하기 용이했던 것으로 판단된다. 반면 10월 21일에서는 다른 두 시기에 비해 반사율 변화가 크게 나타나면서 pair data로 이러한 변화를 설명하는데 한계가 있어 상대적으로 예측 성능이 저하된 것으로 판단된다. 이러한 결과는 고해상도 위성영상을 대상으로 한 시공간 융합에서 예측 성능을 향상시키기 위측 시기와 유사한 반사율 값을 가지는 시기에서 pair data를 구성해야 한다는 것을 의미한다.

Table 3. The qualitative evaluation of prediction performance for the results predicted by ESTARFM and STGDFM (The cases in bold with underline indicate the best performance)

두 융합 모델의 예측 성능을 비교해보면, 3월 4일 blue채널을 제외한 모든 융합 결과에서 STGDFM의 성능이 우수한 것으로 나타났다(Table 3). 특히 10월 21일에서 두 융합 모델의 MAE 값을 비교해보면, STGDFM이 ESTARFM 보다 최소 5.6%에서 최대 25.5%까지의 성능 향상을 보였다. STGDFM은 다중 시기에서 획득한 DC 자료로부터 모델링한 시계열 경향성을 결합하기 때문에 시기에 따른 반사율 변화를 ESTARFM 보다 잘 설명할 수 있었던 것으로 판단된다. 반면 ESTARFM은 pair date와 예측 시기에서 획득한 DC 자료만을 이용해 반사율 변화를 설명하기 때문에 예측 성능이 저하된 것으로 보인다.

그러나 이 연구에서는 고해상도 위성영상을 이용한 시공간 자료 융합을 적용하는 과정에서 동일 시기에서 DC 및 SF 자료의 pair 구성에 한계가 있었다. 대안적으로 유사한 시기에서 획득한 KOMPSAT-3A 및 Sentinel2 자료를 이용해 pair data를 구성하였지만, Fig. 4와 같이 두 자료간의 반사율 값에 차이가 있었다. 즉 두 자료 사이에서 분광 및 공간 해상도 차이에 따른 반사율 값 의 차이 뿐만 아니라 획득 시기 차이에 따른 반사율 차이가 있었다. 이러한 DC 및 SF 자료 사이에서 나타나는 반사율 차이는 융합 결과에 영향을 주어 예측 성능을 저하시키는 것으로 알려져 있다(Park et al., 2021). 특히 STGDFM은 예측 시기에서 획득한 DC 자료의 반사율 값을 융합 결과에 모두 반영하기 위해 잔차성분을 보정 하기 때문에 반사율 차이에 따른 영향이 크게 반영될 수 있다. 이러한 영향을 보완하기 위해서는 서로 다른 센서 및 시기에서 획득한 자료 간의 반사율 차이를 보정할 수 있는 개선된 시공간 자료 융합의 절차 제시가 필요하다.

5. 결론

이 연구는 고해상도 위성영상을 대상으로 기개발된 시공간 자료 융합 모델의 적용성 평가를 수행하였다. 이를 위해 KOMPSAT-3A 및 Sentinel-2 위성영상을 대상으로 ESTARFM과 STGDFM을 이용해 시공간 융합을 적용하였다. 여기서 적용된 두 모델은 시간적으로 연속적인 반사율 정보의 결합 유무에 따라 서로 다른 특성을 갖는다. 이를 바탕으로 이 연구에서는 서로 다른 특성을 갖는 두 융합 모델이 고해상도 위성영상의 시공간 융합에서의 영향을 비교하고 평가하였다.

연구 결과, 예측 시기에서 나타나는 반사율 변화를 보다 잘 설명하기 위해서는 예측 시기와 유사한 반사율 값을 보이는 시기에서 DC 및 SF 자료의 pair 구성이 필요하다는 것을 확인하였다. 그러나 고해상도 위성영상은 원하는 시기에서의 영상 획득이 어렵기 때문에 이 경우 ESTARFM 보다 시간적으로 연속적인 반사율 정보를 결합하는 STGDFM을 적용해 예측 성능을 향상시킬 수 있음을 확인하였다. 그러나 고해상도 위성영상을 이용해 시공간 융합을 적용하는 경우 DC 및 SF 자료를 동일 시기에서 획득하는 데 한계가 존재하였다. 결과적으로 DC 및 SF 자료의 획득 시기 차이에 따른 반사율 차이가 융합 결과에 반영되면서 참 값의 SF 자료와 다른 양상을 보였다. 또한 시공간 자료 융합은 서로 다른 센서로부터 획득한 자료를 융합하기 때문에 획득 시기 차이에 따른 영향과 함께 분광 및 공간 해상도 차이에 따른 영향도 융합 결과에 반영될 가능성이 있다. 이러한 영향을 검증하고 분석하기 위해 향후 모의자료(simulation data)를 이용한 시공간 융합 실험과 함께 다양한 조건에서 획득한 위성영상을 이용해 실험을 수행할 예정이다. 이를 통해 예측 성능에 영향을 줄 수 있는 요소를 보정할 수 있는 개선된 시공간 자료 융합 절차를 제시할 예정이다.

사사

이 논문은 한국항공우주연구원 ‘정부 위성정보활용 협의체 지원(FR21K00)’ 과제의 지원을 받았으며, 이에 감사드립니다.