Korean Journal of Remote Sensing (대한원격탐사학회지)

Korean Society of Remote Sensing (대한원격탐사학회)
권호 표지
DOI QR코드

DOI QR Code

Comparison of Spatio-temporal Fusion Models of Multiple Satellite Images for Vegetation Monitoring

식생 모니터링을 위한 다중 위성영상의 시공간 융합 모델 비교

  • Kim, Yeseul (Department of Geoinformatic Engineering, Inha University) ;
  • Park, No-Wook (Department of Geoinformatic Engineering, Inha University)
  • 김예슬 (인하대학교 공간정보공학과) ;
  • 박노욱 (인하대학교 공간정보공학과)
  • Received : 2019.11.26
  • Accepted : 2019.12.15
  • Published : 2019.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

For consistent vegetation monitoring, it is necessary to generate time-series vegetation index datasets at fine temporal and spatial scales by fusing the complementary characteristics between temporal and spatial scales of multiple satellite data. In this study, we quantitatively and qualitatively analyzed the prediction accuracy of time-series change information extracted from spatio-temporal fusion models of multiple satellite data for vegetation monitoring. As for the spatio-temporal fusion models, we applied two models that have been widely employed to vegetation monitoring, including a Spatial and Temporal Adaptive Reflectance Fusion Model (STARFM) and an Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model (ESTARFM). To quantitatively evaluate the prediction accuracy, we first generated simulated data sets from MODIS data with fine temporal scales and then used them as inputs for the spatio-temporal fusion models. We observed from the comparative experiment that ESTARFM showed better prediction performance than STARFM, but the prediction performance for the two models became degraded as the difference between the prediction date and the simultaneous acquisition date of the input data increased. This result indicates that multiple data acquired close to the prediction date should be used to improve the prediction accuracy. When considering the limited availability of optical images, it is necessary to develop an advanced spatio-temporal model that can reflect the suggestions of this study for vegetation monitoring.

지속적인 식생 모니터링을 위해서는 다중 위성자료의 시간 및 공간해상도의 상호 보완적 특성을 융합한 높은 시공간해상도에서의 식생지수 생성이 필요하다. 이 연구에서는 식생 모니터링에서 다중 위성자료의 시공간 융합 모델에 따른 시계열 변화 정보의 예측 정확도를 정성적, 정량적으로 분석하였다. 융합 모델로는 식생 모니터링 연구에 많이 적용되었던 Spatial and Temporal Adaptive Reflectance Fusion Model(STARFM)과 Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model(ESTARFM)을 비교하였다. 예측 정확도의 정량적 평가를 위해 시간해상도가 높은 MODIS 자료를 이용해 모의자료를 생성하고, 이를 입력자료로 사용하였다. 실험 결과, ESTARFM에서 시계열 변화 정보에 대한 예측 정확성이 STARFM보다 높은 것으로 나타났다. 그러나 예측시기와 다중 위성자료의 동시 획득시기의 차이가 커질수록 STARFM과 ESTARFM 모두 예측 정확성이 저하되었다. 이러한 결과는 예측 정확성을 향상시키기 위해서는 예측시기와 가까운 시기의 다중 위성자료를 이용해야 함을 의미한다. 광학영상의 제한적 이용을 고려한다면, 식생 모니터링을 위해 이 연구의 제안점을 반영한 개선된 시공간 융합 모델 개발이 필요하다.

Keywords

1. 서론

인공위성 영상은 상대적으로 넓은 지역을 대상으로 주기적인 관측 정보를 제공하기 때문에, 그동안 산림, 농경지 등의 식생 모니터링에 많이 활용되어 왔다(Kwak et al., 2017; Ahn et al., 2018; Ng et al., 2019). 위성영상으로부터 계산한 다양한 식생지수를 식생 모니터링에 주로 이용해 왔는데, 특히 식생의 생육 특성과 현황 파악을 목적으로 시계열 정규식생지수(normalized difference vegetation index: NDVI) 자료가 주로 사용되었다(Xue and Su, 2017; Kasampalis et al., 2018). 시계열 NDVI 자료의 구축에는 시간해상도가 높은 MODIS, AVHRR 등의 저해상도 위성자료를 주로 사용해 왔는데(Kim et al., 2017; Jia et al., 2019), 이러한 위성자료는 공간해상도가 낮기 때문에 국소 지역의 모니터링에는 한계가 있다. 국소지역 분석에 공간해상도가 좋은 Sentinel-2, KOMPSAT 시리즈 등의 위성자료를 고려할 수 있지만, 시간해상도가 낮기 때문에 시계열 NDVI 구축에는 한계가 있다 (Yoo et al., 2017; Vrieling et al., 2018).

이러한 한계와 관련하여 위성자료의 시간 및 공간해상도의 상호 보완적인 특성을 융합해 두 해상도가 모두 높은 합성(synthetic) 자료를 생성하기 위한 다양한 융합 모델들이 제안되었다. 시공간 자료 융합은 시간해상도가 높지만 공간해상도가 낮은 자료(고주기 저해상도 자료, high temporal scale at coarse-scale data: HC data)와 공간해상도는 높지만 시간해상도가 낮은 자료(저주기 고해상도 자료, low temporal scale at fine-scale data: LF data)를 융합해 시간 및 공간해상도가 모두 높은 합성 자료를 생성하는 것을 목적으로 한다(Ghamisi et al., 2019) (Fig. 1).

OGCSBN_2019_v35n6_3_1209_f0001.png 이미지

Fig. 1. Schematic illustration of spatio-temporal data fusion. White rectangles denote no available data.

대표적인 시공간 자료 융합 모델로는 Spatial and Temporal Adaptive Reflectance Fusion Model(STARFM)이 있다(Gao et al., 2006). STARFM은 Landsat과 MODIS 반사율 자료를 융합해 Landsat의 공간해상도와 MODIS의 시간해상도를 갖는 합성 반사율 자료의 생성을 목적으로 제안되었다. STARFM과 함께 시공간 자료 융합에 널리 사용되는 모델로 Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model(ESTARFM)이 있다 (Zhu et al., 2010). STARFM은 다양한 토지피복이 혼재된 경우에 예측 정확성이 저하되는 것을 고려해 ESTARFM은 STARFM과 분광혼합분석을 결합한 융합 모델이다. STARFM과 ESTARFM 외에도 분광혼합분석, 사전 학습(dictionary learning), 베이지안(Bayesian) 모델 등의 다양한 융합 모델들이 제안되었다(Huang and Song, 2012; Zhu et al., 2016; Xue et al., 2017). 이러한 시공간 자료 융합 모델들은 높은 시간과 공간해상도의 식생지수 자료구축에 주로 적용되었다. 기존 연구에서는 대부분 STARFM과 ESTARFM 모델을 적용하였고(Gao et al., 2015; Tewes et al., 2015; Gao et al., 2017; Knauer et al., 2017; Wang et al., 2017; Onojeghuo et al., 2018), 일부 분광혼합 분석 기반 모델을 이용한 연구도 수행되었다(Jin et al., 2017; Liu et al., 2019).

식생 모니터링을 목적으로 시공간 자료 융합 모델을 적용할 경우, 중요한 부분은 높은 시간 및 공간해상도에서 정확한 식생의 시계열 변화 정보를 추출하는 데 있다. 특히 합성 결과로부터 추출한 시계열 변화 정보의 정확도는 시공간 자료 융합 모델에 의존적이다. 따라서 식생 모니터링에 융합 모델을 적용하기 전에 융합 모델에 따른 시계열 예측 정확성을 우선적으로 평가해야 한다. 그러나 기존 연구들 대부분은 식생 모니터링에서 이러한 영향을 충분히 고려하지 않고 기 개발된 시공간 자료 융합 모델을 바로 적용해왔다.

이러한 배경에서 이 연구에서는 시공간 자료 융합 모델로부터 시계열 합성 NDVI 자료를 생성하고, 이 자료로부터 추출한 식생의 시계열 변화 정보를 정량적, 정성적으로 평가하였다. 합성 결과의 시계열 변화 정보를 평가할 때 융합 모델의 영향만을 고려하기 위해, 이 연구에서는 MODIS 반사율 자료로부터 생성한 모의자료 (simulated data)를 이용해 평가 실험을 수행하였다. 융합 모델로는 대표적인 모델인 STARFM과 ESTARFM을 적용하였으며, 각 모델의 합성 결과에서 추출한 시계열 변화 정보를 비교 분석하였다.

2. 대상 지역 및 사용자료

실험 대상 지역은 주로 산림과 농경지로 구성된 경상북도 일부 지역으로 선정하였다(Fig. 2). 대상 지역에는 중앙을 가로지르는 수계 주변으로 농경지가 넓게 분포하며, 이 외에도 산림도 넓게 분포하고 있다. 특히 대상 지역에는 단일 토지피복이 넓게 분포하는 양상과 다양한 토지피복이 혼재된 양상이 함께 나타나고 있다.

OGCSBN_2019_v35n6_3_1209_f0002.png 이미지

Fig. 2. Location of the study area with a land-cover map.

식생 모니터링을 위한 두 융합 모델의 평가를 위해 이 연구에서는 시간해상도가 높은 MODIS 자료를 이용하였다. 일 단위 250 m 공간해상도로 제공되는 MOD09GQ 산출물의 반사율 자료를 이용하였으며, 2018년 2월부터 10월까지 촬영된 영상에서 구름, 눈 등의 영향이 없는 총 36개 자료를 분석에 이용하였다(Fig. 3). 자료의 획득시기에 따른 융합 모델의 예측 정확성을 정량적으로 비교하기 위해 250 m 공간해상도 자료를 1 km 공간해상도로 업스케일링(upscaling)하고 이를 HC 자료로 사용하였다. 업스케일링은 1 km 격자에 포함되는 250 m 공간해상도의 속성값을 가중 평균하였으며, 가중치 계산에는 Gaussian 필터를 사용하였다.

OGCSBN_2019_v35n6_3_1209_f0003.png 이미지

Fig. 3. Time-series average NDVI profiles of HC and LF data. HC and LF refer high temporal scale at coarse-scale and low temporal scale at fine-scale, respectively, throughout the paper.

원 해상도의 MODIS 자료는 3개 시기에만 획득되었다고 가정하고, 나머지 시기는 예측시기로 정의해 예측시기의 MODIS 자료를 검증 자료로 이용하였다(Fig. 4). 특히 3개 시기는 2월 1일을 기준으로 Landsat 자료의 촬영 주기인 16일 단위로 획득되었다는 가정 하에 구름의 영향이 없는 2월 1일, 2월 17일, 5월 24일을 선정하였다. 즉, 이 3개 시기는 HC 및 SF 자료가 동시에 획득된 시기를 의미한다. 최종적으로 총 36개 MODIS 자료 획득시기에서 HC와 LF의 동시 획득시기를 제외한 33개 시기를 예측시기로 선정하였다.

OGCSBN_2019_v35n6_3_1209_f0004.png 이미지

Fig. 4. HC and LF data obtained on the same date.

3. 방법론

이 연구에서 적용한 전반적인 실험 절차는 Fig. 5에 제시하였다. MODIS 자료로부터 HC 및 LF 자료를 선정하고, NDVI 계산에 필요한 적색(red)과 근적외선(near infra-red, NIR) 채널을 대상으로 시공간 자료 융합모델을 적용하였다. 각 채널별로 합성 자료를 이용해 시계열 NDVI 자료를 구축하고, 주요 식생에 대한 시계열 NDVI 변동성 정보를 추출해 원 자료의 시계열 NDVI 변동성과 비교 분석하였다.

OGCSBN_2019_v35n6_3_1209_f0005.png 이미지

Fig. 5. Flow chart of data processing for the evaluation of two spatio-temporal data fusion models for vegetation monitoring. Grey rectangles denote no LF data at the prediction dates.

1) 시공간 자료 융합 모델

동일 속성을 갖는 HC 및 LF 자료가 K개의 동일시기(tk, k=1, …, K)에 획득되었고 예측시기(t0)에 획득된 HC 자료가 있을 때, 시공간 자료 융합 모델은 예측시기에서의 HC 자료값을 고해상도에서 예측한다(Gao et al., 2006; Zhu et al., 2010). 이 연구에서는 시간, 공간, 분광 유사성을 고려해 입력 자료의 가중 결합을 통해 값을 예측하는 STARFM과 ESTARFM을 적용하였다. 두 융합모델은 공간해상도가 다른 HC 및 LF 자료를 이용할 때 저해상도 HC 자료의 공간해상도를 LF 자료의 공간해상도로 변환한다. 따라서 공간해상도를 일치시킨 동일 시기의 HC 자료(C(x, y, tk))와 LF 자료(F(x, y, tk)), 그리고 예측시기의 HC 자료(C(x, y, t0))를 이용해 예측시기의 LF 자료(F(x, y, t0))를 예측한다.

(1) STARFM

STARFM은 예측시기의 값 추정을 위해 HC 자료의 시계열 변화가 LF 자료에서도 동일하게 나타난다는 가정을 기반으로 HC 및 LF 화소들의 시간, 분광, 공간 유사성을 고려한 가중 결합을 수행한다(Gao et al., 2006).

\(\begin{array}{c} F\left(x_{w / 2}, y_{w / 2}, t_{0}\right)= \\ \sum_{i=1}^{w} \sum_{j=1}^{w} \sum_{k=1}^{K} W_{i j k} \times \\ {\left[C\left(x_{i}, y_{j}, t_{0}\right)+F\left(x_{i}, y_{j}, t_{k}\right)-C\left(x_{i}, y_{j}, t_{k}\right)\right]} \end{array}\)       (1)

여기서 w은 예측 위치에서 공간적으로 인접한 주변 화소를 검색하기 위한 탐색창(search window) 크기를 나타낸다.

탐색창의 중심 화소에서 반사율(F(xw/2, yw/2, t0))을 예측하기 위해 예측시기(t0)에 획득한 HC 자료(C(xi, yj, t0))와 K개의 동일시기에 획득한 HC 자료(C(xi, yj, tk))와 LF자료(F(xi, yj, tk))를 대상으로 가중치(W)를 이용해 가중결합을 수행한다(Gao et al., 2006).

식 (1)에서 가중치(W)는 시간, 분광, 공간 유사성을 고려해 계산되는데, 시간 유사성은 예측시기에 획득한 HC 자료(C(x, y, t0))와 LF 자료와 동일 시기에 획득한 HC 자료(C(x, y, tk))의 차이를 통해 계산한다. 공간 유사성은 예측 위치와 인접한 주변 화소 사이의 거리를 기반으로 가까울수록 높은 가중치를 부여한다. 그리고 분광 유사성은 동일 시기에 획득한 HC 자료(C(x, y, tk))와 LF 자료(F(x, y, tk))를 이용해 계산하는데, 분광학적으로 유사한 화소를 선택하기 위해 HC 및 LF 자료를 대상으로 무감독 분류를 수행하고 탐색창 안의 화소 중에서 같은 분류 항목으로 할당된 화소에 높은 가중치를 부여 한다.

STARFM을 적용하기 위해서는 두 가지 주요 파라미터를 정의해야 한다. 먼저 예측 위치에서 주변 화소의 가중 결합을 위해 탐색창의 크기를 정의해야 하고, 가중치 계산에서 분광학적으로 유사한 화소를 선별하기 위해 무감독 분류의 분류 항목 수를 미리 정의해야 한다. 두 가지 파라미터가 정의되면, 식 (1)을 이용하여 STARFM의 합성 결과를 생성한다.

(2) ESTARFM

STARFM은 HC 자료에서 관측된 시계열 변화 정보가 LF 자료에서 그대로 유지된다는 가정을 기반으로 하기 때문에 연구지역이 동질적인 공간 양상을 보일 경우 적합하다. 따라서 연구 지역이 이질적인 공간 양상을 보일 경우, 예측 정확성이 저하될 수 있다(Gao et al., 2006; Zhu et al., 2010).

이러한 한계를 고려해 이질적인 공간 양상에서 시공간 자료 융합의 예측 정확성의 향상을 목적으로 ESTARFM이 제안되었다(Zhu et al., 2010). ESTARFM은 STARFM을 기반으로 시간, 분광, 공간 유사성을 고려한 가중 결합을 통해 자료 융합을 적용하는데, STARFM과 다르게 HC 자료의 변화가 LF 자료의 변화에 비례하다는 가정을 적용한다. 즉, LF 및 HC 자료의 공간해상도 차이를 고려해 분광혼합분석을 기반으로 HC 자료에서 관측된 시계열 변화 정보를 예측시기의 LF 자료에 반영한다. 이를 위해 공간해상도 차이를 고려하는 변화 계수 (v(x, y))를 분광혼합분석을 이용해 추정하고, HC 자료에서 시계열 변화 정보에 대한 가중치(Tk)를 계산한다. v(x, y)와 Tk를 기반으로 입력 자료의 가중 결합을 통해 예측 결과를 생성한다.

\(\begin{array}{l} F\left(x_{w / 2}, y_{w / 2}, t_{0}\right)= \\ \sum_{k=1}^{K}\left\{T_{k} \times\left[F\left(x_{\frac{w}{2}}, y_{\frac{w}{2}}, t_{k}\right)\right]+\sum_{i=1}^{w} \sum_{j=1}^{w} W_{i j} \times v\left(x_{i}, y_{j}\right)\right. \\ \left.\quad\left[C\left(x_{i}, y_{j}, t_{0}\right)-C\left(x_{i}, y_{j}, t_{k}\right)\right]\right\} \end{array}\)       (2)

여기서 Wij는 분광정보에 대한 가중치로, 탐색창 안에서 유사한 분광특성을 나타내는 자료와 공간적으로 가까운 자료에 높은 가중치가 할당된다.

STARFM과 유사하게 ESTARFM의 적용을 위해 분석자는 탐색창의 크기와 무감독 분류의 분류 항목 수를 정의해야 한다. 이 두 개의 파라미터를 정의한 후, 식 (2)를 이용해 융합 결과를 생성한다.

2) 적용 및 평가 방법

앞에서 살펴본 바와 같이 STARFM과 ESTARFM의 적용에는 입력 자료의 해상도 변환과 모델 파라미터 설정이 필요하다. 먼저 HC 및 LF 자료의 공간해상도 일치를 위해 HC 자료의 공간해상도를 LF 자료의 공간해상도로 변환해야 하는데, 이 연구에서는 격자형 자료의 재배열에 많이 사용하는 bilinear 방법을 적용하였다. 그리고 인접 자료와의 가중 결합을 위한 탐색창의 크기 설정을 위해 사전 실험을 수행하였다. 사전 실험에서는 탐색창의 크기를 6, 12, 50, 100 등으로 크기를 바꾸어 가며 예측 정확성과 처리시간을 비교하였다. 비교 결과, 탐색창의 크기가 6일 때와 100일 때의 처리시간이 약 600배의 차이를 보인 반면, 탐색창이 커질수록 예측 정확성은 오히려 저하되었다. 이는 입력자료의 공간해상도와 대상 지역의 공간특성을 고려했을 때 탐색창이 커질수록 탐색창 안에 포함되는 화소값들의 유사성이 떨어지면서 예측 정확성이 저하된 것으로 판단된다. 이를 바탕으로 본 연구에서는 탐색창의 크기를 6으로 설정하였다. 마지막으로 무감독 분류의 분류 항목 수는 연구지역의 세부 토지피복 항목을 고려해서 시기별로 6~10의 값을 실험적으로 선택해 적용하였다.

앞의 설정을 기반으로 식생 모니터링을 위해 적색 및 근적외선 채널을 대상으로 두 시공간 자료 융합 모델을 적용하였다(Fig. 5). 그리고 예측 결과의 정량적인 평가를 위해 융합에 사용되지 않은 원 MODIS 자료의 각 채널 자료를 검증 자료로 이용해 오차 통계를 계산하여 비교하였다. 오차 통계로는 범용적으로 많이 사용하는 root mean square error(RMSE)를 계산하였다. 그리고 각 채널별 예측 결과를 이용해 NDVI를 계산하고, 대상 지역의 주요 식생 피복에 대해 융합 모델별 시계열 NDVI 패턴을 비교하였다.

33개의 예측시기에서 일부 시기를 대상으로 원 자료로부터 계산한 NDVI와 합성 NDVI 자료의 공간 양상을 시각적으로 비교하고, 융합 모델별로 원 자료와의 유사성과 공간 유사성을 정량적으로 비교하였다. 유사성과 공간 유사성의 정량적인 평가 지수로 상관계수 (correlation)와 구조적 유사도(structure similarity: SSIM)를 계산해 비교하였다. SSIM은 검증 자료와 합성 결과의 전체 영역을 국소적인 영역 단위로 나눈 후에, 각 영역별로 검증 및 합성 자료의 평균, 표준편차, 그리고 두 자료의 공분산 등을 이용해 유사성을 평가하는 지수이다(Wang et al., 2004). SSIM 값이 1에 가까울수록 검증자료와 합성 결과가 공간적으로 유사하다는 것을 의미한다.

4. 결과 및 토의

먼저 각 채널 자료를 대상으로 두 융합 모델을 적용한 후에 검증 자료를 이용해 계산한 RMSE를 비교하였다. Fig. 6을 보면 적색 채널에 비해 근적외선 채널에서 오차가 더 크게 나타났는데, 특히 6월 이후로 근적외선 채널의 오차가 모두 증가하였다. 이는 HC 및 LF 자료의 동시 획득시기에서 예측시기가 멀어질수록 시계열 변화에 대한 예측 정확성이 저하됨을 의미한다. 2월과 5월에 동시 획득된 HC 및 LF 자료를 이용하므로 5월까지는 해당 시기에서 나타나는 식생 변화를 동시 획득한 자료로부터 고려할 수 있기 때문에 예측 정확성이 상대적으로 높게 나타났다. 반면 식생의 변화가 크게 나타나는 6월 이후의 경우, 식생의 변화 정보를 고려할 수 있는 자료가 없기 때문에 예측 정확성이 저하된 것으로 판단된다. 이러한 결과는 HC 및 LF 자료의 동시 획득시기로부터 예측시기가 멀어질 때, 특히 예측시기에서 변화가 크게 나타날 경우 시계열 변화에 대한 예측 정확성이 저하됨을 의미한다.

OGCSBN_2019_v35n6_3_1209_f0006.png 이미지

Fig. 6. Comparison of RMSE values for 33 prediction dates obtained from STARFM and ESTARFM: (a) red channel and (b) NIR channel.

다음은 각 채널별 융합 결과로부터 NDVI를 계산하고, 원 자료의 NDVI를 이용해 이를 평가하였다. 먼저 식생 모니터링을 위해 대상 지역에서 주요 식생 피복인 농경지와 산림지역을 대상으로 시계열 NDVI 변동성을 비교하였다(Fig. 7). 채널별 오차 통계를 비교한 것과 유사하게 예측시기에서 변화가 크게 발생할 경우, 원 자료의 시계열 NDVI 변동성과의 차이가 크게 나타났는데 특히 산림보다 농경지에서 이러한 차이가 두드러졌다. 5월부터 식생 활력도가 높아지는 산림지역에서는 5월 24일에 획득된 HC 및 LF 자료를 이용하기 때문에 6월이후의 예측 결과에서도 높은 식생 활력도를 반영할 수 있다. 그러나 논벼가 주를 이루는 농경지는 6월말부터 식생 활력도가 높아지기 때문에 HC 및 LF 자료의 동시 획득시기에서 관측되지 않은 정보를 융합 결과에 반영할 수가 없어 차이가 커진 것으로 판단된다. 농경지에서의 융합 모델별 시계열 NDVI 변동성을 비교해보면, STARFM에 비해 ESTARFM에서 저추정 양상이 두드러졌다(Fig. 7(a)). 특히 식생 활력도가 가장 높게 나타나는 8월에 이러한 양상이 두드러졌다.

OGCSBN_2019_v35n6_3_1209_f0007.png 이미지

Fig. 7. Comparison of time-series average NDVI profiles of reference data and synthetic data from STARFM and ESTARFM for two different land-covers: (a) croplands and (b) forest.

이러한 차이를 살펴보기 위해 예측시기와 HC 및 LF의 동시 획득시기가 가까운 5월 26일 자료와 NDVI 값의 차이가 크게 나타나는 8월 2일 자료의 공간 양상을 시각적으로 비교하였다(Fig. 8). 두 융합 모델의 5월 26일 예측 결과는 HC 및 LF의 동시 획득시기와 예측시기가 가깝기 때문에 검증 자료와 유사한 공간 양상을 보였다. 그러나 STARFM의 적용 결과에서는 산림지역의 저추정 양상이 두드러졌다. 예측시기 HC 자료의 낮은 공간해상도의 한계로 인해 관측되지 않은 분광특성이 있더라도 ESTARFM은 HC 및 LF 자료의 공간해상도 차이를 고려해 시계열 변화를 예측하기 때문에 시계열 분광특성의 상세 변동성이 잘 반영될 수 있다. 반면 STARFM은 HC 및 LF 자료의 공간해상도 차이를 고려하지 않고, HC 자료의 시계열 변화가 합성된 LF 자료에 그대로 반영된다는 가정을 적용하기 때문에 이러한 상세 변동성이 반영되지 못한 것으로 판단된다.

OGCSBN_2019_v35n6_3_1209_f0008.png 이미지

Fig. 8. Visual comparison of reference data and synthetic data from STARFM and ESTARFM in May 26 and August 2, 2018 with a land-cover map at 25 km.

8월 2일 예측 결과의 공간 양상을 비교해보면(Fig. 8), 전반적으로 합성 NDVI 결과에서 검증 자료와 다른 공간 양상이 나타났다. 특히 농경지에서 ESTARFM 결과의 저추정 양상이 두드러졌다. ESTARFM은 HC 자료의 시계열 변동성을 공간해상도 차이를 고려해 합성된 LF자료에 반영하는데, 해당 시기에서는 낮은 값에 과적합 (over-fitting)되면서 저추정 양상이 나타난 것으로 판단된다. 반면 STARFM은 검증 자료의 낮은 값이 제대로 반영되지 못한 것으로 나타났다.

두 시기를 대상으로 검증 자료와 합성 결과의 시각적인 비교와 함께 유사성을 정량적으로 비교하였다. 먼저 5월 26일의 상관계수와 SSIM 값을 비교하면(Table 1), 두 모델의 합성 결과에서 모두 0.9 이상의 높은 상관계수와 SSIM 값을 나타냈다. 특히 산림지역에서 시계열변화에 대한 예측 정확성이 STARFM에 비해 높게 나타난 ESTARFM의 적용 결과에서 상대적으로 높은 상관계수와 SSIM 값이 나타났다. 반면 8월 2일 합성 결과에서는 시각적인 비교와 유사하게 각각 0.645와 0.541의 낮은 상관계수로 상관성이 떨어졌다. 또한 국소적인 영역 단위에서 공간 유사성을 나타내는 SSIM 값도 5월 26일에 비해 약 0.1 정도 낮아졌다.

Table 1. Comparison of correlation and SSIM values between reference data and synthetic data of STARFM and ESTARFM in May 26 and August 2, 2018

OGCSBN_2019_v35n6_3_1209_t0001.png 이미지

이러한 결과들은 시공간 자료 융합에서 식생의 시계열 변화 정보에 대한 예측 정확성을 향상시키기 위해서는 융합에 사용하는 자료들의 공간해상도 차이를 고려하는 ESTARFM이 더 유용하다는 것을 의미한다. 그러나 ESTARFM을 적용하더라도 동시 획득시기의 HC 및 LF 자료에서 관측되지 않은 시계열 분광특성이 예측시기에서 나타날 때 예측 정확성이 저하되었다.

실험 결과를 종합하면, 예측 정확도의 향상을 위해서는 예측시기와 가까운 시기의 HC 및 LF 자료를 획득하거나 두 자료의 동시 획득시기와의 분광특성 차이가 크지 않은 시기를 예측시기로 선정해야 한다. 그러나 전자의 경우, 구름이나 눈의 영향으로 예측시기와 가까운 시기에서의 자료 획득이 어려울 수 있다. 또한 후자의 제약조건은 식생의 생육주기를 고려했을 때 예측시기에서 시계열 변화가 크게 나타날 수 있어서 실제 적용에 한계가 있다.

이 연구에서 적용한 두 가지 모델 외에 베이지안 기반 융합 모델 등을 적용할 수 있지만(Xue et al., 2017), 이 모델도 HC 및 LF 자료의 동시 획득시기에 대한 시계열 정보만을 고려하기 때문에 여전히 시계열 변화 정보에 대한 예측 정확성이 저하될 수 있다. 따라서 앞의 두 가지 제약을 완화할 수 있는 시공간 자료 융합 모델 개발이 필요하다. HC 및 LF 자료가 동시에 얻어지지 않더라도 HC 자료는 높은 시간해상도에서 얻어지므로 연속적인 시계열 분광특성 정보 추출이 가능해 예측시기에서의 변화 정보로 이용할 수 있다. 따라서 HC 자료가 제공하는 시간에 따른 변화 정보를 시공간 융합 모델에 이용한다면, 예측 정확도를 향상시킬 수 있을 것으로 판단된다.

이 연구에서는 실제 위성영상의 획득시기와 기상조건 등을 고려해 모의자료에서 일부 시기만을 자료의 동시 획득시기와 예측 시기로 선정하였다. 그러나 이 연구에서의 결론을 보완하기 위해 예측시기와 유사한 분광특성을 갖는 시기의 HC 및 LF 자료의 사용 유무에 따른 비교 검증이 필요하다. 또한 이 연구에서는 융합 결과에 입력 자료의 품질에 따른 영향은 없다고 가정하고 융합 모델의 영향만을 분석하였다. 만약 입력 자료가 오차를 포함하고 있을 경우, 대상 지역의 특성을 제대로 반영하지 못해 융합 결과의 예측 정확도를 저하시킬 수 있다. 따라서 이 연구에서 제시한 결과의 검증과 보완을 위해 이러한 조건들을 고려한 추가 분석이 필요하다.

5. 결론

이 연구에서는 식생 모니터링을 목적으로 시공간 자료 융합 모델에 따른 시계열 변화 정보의 예측 정확성을 비교 분석하였다. 이를 위해 대표적인 시공간 자료융합 모델인 SATRFM과 ESTARFM을 적용하였으며, 평가에서 모델의 영향만을 고려하기 위해 MODIS 자료로부터 생성한 모의자료를 이용해 비교 실험을 수행하였다. 특히 모의자료를 이용해 예측시기와 HC 및 LF 자료의 동시 획득시기의 차이에 따른 시계열 변화 정보의 예측 정확성을 평가하였다.

실험 결과, 시계열 변화 정보를 예측할 때 HC 및 LF자료의 공간해상도 차이를 고려하는 ESTARFM이 STARFM보다 우수한 예측 성능을 보였다. 그러나 예측시기가 두 자료의 동시 획득시기와 멀어질수록 STARFM과 ESTARFM 모두 시계열 변화 정보에 대한 예측 성능이 저하되었다. 이러한 실험 결과는 식생 모니터링을 위한 시공간 자료 융합에서는 예측시기와 시계열 분광패턴이 유사한 시기에 동시에 얻어진 HC 및 LF 자료를 이용해야 함을 의미한다. 그러나 자료의 가용성 측면에서 시계열 분광특성이 유사한 다수의 자료획득이 항상 가능하지 않다. HC 자료는 시간에 따른 연속적인 분광특성 정보를 제공하기 때문에 이 정보를 이용한다면, 동시에 얻어진 HC 및 LF 자료가 적거나 동시 획득시기와 먼 시기에 예측을 하더라도 융합 성능을 향상시킬 수 있을 것으로 판단된다. 앞으로 이러한 측면을 고려해서 개선된 시공간 자료 융합 모델을 개발할 예정이며, 이 때 다양한 조건에서의 비교 검증과 입력 자료의 오차가 미치는 영향도 함께 고려할 예정이다.

사사

이 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업이며 (NRF-2018R1D1A1B07044771), 이에 감사드립니다. 논문의 표현을 명확히 하는데 조언을 해 주신 두 분의 심사자분들께 감사드립니다.

References

  1. Ahn, H.-Y., K.-Y. Kim, K.-D. Lee, C.-W. Park, K.-H. So, and S.-I. Na, 2018. Feasibility assessment of spectral band adjustment factor of KOMPSAT-3 for agriculture remote sensing, Korean Journal of Remote Sensing, 34(6-3): 1369-1382 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2018.34.6.3.5
  2. Gao, F., J. Masek, M. Schwaller, and F. Hall, 2006. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance, IEEE Transactions on Geoscience and Remote Sensing, 44(8): 2207-2218. https://doi.org/10.1109/TGRS.2006.872081
  3. Gao, F., T. Hilker, X. Zhu, M. C. Anderson, J. G. Masek, P. Wang, and Y. Yang, 2015. Fusing Landsat and MODIS data for vegetation monitoring, IEEE Geoscience and Remote Sensing Magazine, 3(3): 47-60. https://doi.org/10.1109/MGRS.2015.2434351
  4. Gao, F., M. C. Anderson, X. Zhang, Z. Yang, J. G. Alfieri, W. P. Kustas, R. Mueller, D. M. Johnson, and J. H. Prueger, 2017. Toward mapping crop progress at field scales through fusion of Landsat and MODIS imagery, Remote Sensing of Environment, 188: 9-25. https://doi.org/10.1016/j.rse.2016.11.004
  5. Ghamisi, P., B. Rasti, N. Yokoya, Q. Wang, B. Hofle, L. Bruzzone, F. Bovolo, M. Chi, K. Anders, R. Gloaguen, P. M. Atkinson, and J. A. Benediktsson, 2019. Multisource and multitemporal data fusion in remote sensing: A comprehensive review of the state of the art, IEEE Geoscience and Remote Sensing Magazine, 7(1): 6-39. https://doi.org/10.1109/mgrs.2018.2890023
  6. Huang, B. and H. Song, 2012. Spatiotemporal reflectance fusion via sparse representation, IEEE Transactions on Geoscience and Remote Sensing, 50(10): 3707-3716. https://doi.org/10.1109/TGRS.2012.2186638
  7. Jia, K., L. Yang, S. Liang, Z. Xiao, X. Zhao, Y. Yao, X. Zhang, B. Jiang, and D. Liu, 2019. Long-term global land surface satellite (GLASS) fractional vegetation cover product derived from MODIS and AVHRR data, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(2): 508-518. https://doi.org/10.1109/JSTARS.2018.2854293
  8. Jin, Y., J. Zhu, S. Sung, and D. K. Lee, 2017. Application of satellite data spatiotemporal fusion in predicting seasonal NDVI, Korean Journal of Remote Sensing, 33(2): 149-158 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.2.4
  9. Kasampalis, D. A., T. K. Alexandridis, C. Deva, A. Challinor, D. Moshou, and G. Zalidis, 2018. Contribution of remote sensing on crop models: A review, Journal of Imaging, 4(4): 52. https://doi.org/10.3390/jimaging4040052
  10. Kim, Y., N.-W. Park, and K.-D. Lee, 2017. Selflearning based land-cover classification using sequential class patterns from past land-cover maps, Remote Sensing, 9(9): 921. https://doi.org/10.3390/rs9090921
  11. Knauer, K., U. Gessner, R. Fensholt, G. Forkuor, and C. Kuenzer, 2017. Monitoring agricultural expansion in Burkina Faso over 14 years with 30 m resolution time series: The role of population growth and implications for the environment, Remote Sensing, 9(2): 132. https://doi.org/10.3390/rs9020132
  12. Kwak, G.-H., N.-W. Park, K.-D. Lee, and K.-Y. Choi, 2017. Crop classification for inaccessible areas using semi-supervised learning and spatial similarity, Korean Journal of Remote Sensing, 33(5-2): 689-698 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.5.2.8
  13. Liu, M., W. Yang, X. Zhu, J. Chen, X. Chen, L. Yang, and E. H. Helmer, 2019. An improved flexible spatiotemporal data fusion (IFSDAF) method for producing high spatiotemporal resolution normalized difference vegetation index time series, Remote Sensing of Environment, 227: 74-89. https://doi.org/10.1016/j.rse.2019.03.012
  14. Ng, C. T., J. Ko, J.-M. Yeom, S. Jeong, G. Jeong, and M. Choi, 2019. Delineation of rice productivity projected via integration of a crop model with geostationary satellite imagery in North Korea, Korean Journal of Remote Sensing, 35(1): 57-81. https://doi.org/10.7780/KJRS.2019.35.1.5
  15. Onojeghuo, A. O., G. A. Blackburn, Q. Wang, P. M. Atkinson, D. Kindred, and Y. Miao, 2018. Rice crop phenology mapping at high spatial and temporal resolution using downscaled MODIS time-series, GIScience & Remote Sensing, 55(5): 659-677. https://doi.org/10.1080/15481603.2018.1423725
  16. Tewes, A., F. Thonfeld, M. Schmidt, R. J. Oomen, X. Zhu, O. Dubovyk, G. Menz, and J. Schellberg, 2015. Using RapidEye and MODIS data fusion to monitor vegetation dynamics in semi-arid rangelands in South Africa, Remote Sensing, 7(6): 6510-6534. https://doi.org/10.3390/rs70606510
  17. Vrieling, A., M. Meroni, R. Darvishzadeh, A. K. Skidmore, T. Wang, R. Zurita-Milla, K. Oosterbeek, B. O'Connor, and M. Paganini, 2018. Vegetation phenology from Sentinel-2 and field cameras for a Dutch barrier island, Remote Sensing of Environment, 215: 517-529. https://doi.org/10.1016/j.rse.2018.03.014
  18. Wang, Z., A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, 2004. Image quality assessment: From error visibility to structural similarity, IEEE Transactions on Image Processing, 13(4): 600-612. https://doi.org/10.1109/TIP.2003.819861
  19. Wang, Z., C. B. Schaaf, Q. Sun, J. Kim, A. M. Erb, F. Gao, M. O. Roman, Y. Yang, S. Petroy, J. R. Taylor, J. G. Masek, J. T. Morisette, X. Zhang, and S. A. Papuga, 2017. Monitoring land surface albedo and vegetation dynamics using high spatial and temporal resolution synthetic time series from Landsat and the MODIS BRDF/NBAR/albedo product, International Journal of Applied Earth Observation and Geoinformation, 59: 104-117. https://doi.org/10.1016/j.jag.2017.03.008
  20. Xue, J. and B. Su, 2017. Significant remote sensing vegetation indices: A review of developments and applications, Journal of Sensors, 2017: 1353691.
  21. Xue, J., Y. Leung, and T. Fung, 2017. A Bayesian data fusion approach to spatio-temporal fusion of remotely sensed images, Remote Sensing, 9(12): 1310. https://doi.org/10.3390/rs9121310
  22. Yoo, H. Y., K.-D. Lee, S.-I. Na, C.-W. Park, and N.-W. Park, 2017. Field crop classification using multi-temporal high-resolution satellite imagery: A case study on garlic/onion field, Korean Journal of Remote Sensing, 33(5-2): 621-630 (in Korean with English abstract). https://doi.org/10.7780/kjrs.2017.33.5.2.2
  23. Zhu, X., J. Chen, F. Gao, X. Chen, and J. G. Masek, 2010. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions, Remote Sensing of Environment, 114(11): 2610-2623. https://doi.org/10.1016/j.rse.2010.05.032
  24. Zhu, X., E. H. Helmer, F. Gao, D. Liu, J. Chen, and M. A. Lefsky, 2016. A flexible spatiotemporal method for fusing satellite images with different resolutions, Remote Sensing of Environment, 172: 165-177. https://doi.org/10.1016/j.rse.2015.11.016