1. 서론

지구온난화 및 이상기후 등으로 인하여 농작물의 생산량은 변화될 가능성이 지속적으로 증가하고 있다. 이로 인하여, 식량안보는 중요한 사회문제로 대두되고 있으며, 국내의 다양한 작물에 대한 작황 모니터링이 농림분야에 있어서 중요한 기술로 요구되고 있다. 이러한 문제를 해결하기 위하여, 국내에서는 blue, green, red, red-edge, NIR의 5밴드로 이루어져 있으며, 약 5 m의 공간해상도를 지니는 차세대중형위성(이하 농림위성)의 개발을 추진하고 있다. 2023년 발사예정인 농림위성은 국내 전 지역을 매우 빠른 주기로 촬영 가능하며, 근적외선 파장대에 대한 고해상도 정보를 취득할 수 있으므로 농경지의 작황 상태에 대한 효과적인 분석이 가능한 위성영상으로 예측된다. 국내에서 발사예정인 농림위성과 유사한 성능을 가지는 대표적인 위성영상은 RapidEye 위성영상을 들 수 있으며, 이러한 위성영상들을 활용하여 농경지 모니터링에 대한 연구를 사전에 수행할 경우에 향후 발사될 농림위성을 효과적으로 활용할 수 있을 것이다.

국내·외에서 다양한 위성영상을 활용하여 작황모니터링을 이용한 다양한 연구들이 이루어지고 있다. 국내의 경우, Lee et al. (2014)은 RapidEye 위성영상의 시계열 NDVI와 객체기반 분류 기법을 이용하여 북한의 논벼 재배 지역을 추출하였으며, Yeom and Kim (2014)은 RapidEye 위성영상 내에 존재하는 농경지 구획을 추출하는 연구를 수행한 바 있다. 또한, Yoo et al. (2017)는 KOMPSAT-2,3 영상을 이용하여 Random Forest와 SVM을 사용하여 마늘과 양파의 분류를 시도하였고, 작물 주요성장기의 정보의 중요성을 확인하였으며, Kawk et al. (2020)은 시계열 자료를 활용한 딥러닝 모델인 LSTM(Long Short Term Memory)를 이용하여 다시기 UAV(Unmanned Aerial Vehicle) 영상의 분류를 수행하였다. 국외의 경우에는 딥러닝 모델을 이용한 분류 사례가 급속히 증가하고 있지만, 일반적인 토지피복의 분류나 국내 작물과 다른 재배 특성을 가진 작물분류 연구가 진행되었다. Ji et al. (2018)는 다시기 위성영상을 이용하여 3차원 CNN(Convolutional Neural Networks) 기법을 통하여 옥수수, 콩, 쌀, 밀 등의 작물분류를 수행하였으며, Mazzia et al. (2019)는 R-CNN(Recurrent-CNN)을 이용하여 다시기 Sentinel-2 자료로부터 토지피복 및 작물분류를 수행하고, 기존의 기계학습(machine learning) 기법과 비교하여 딥러닝 기법이 영상분류에 더욱 효과적임을 증명하였다.

국내의 경우, 위성영상을 이용한 벼 재배면적 추정과 비교하여 밭작물은 작물의 다양성과 계절적인 특성 등으로 인하여 고해상도 위성영상을 중심으로 연구가 이루어졌으며, 광역의 지역에 대하여 작물 분석을 수행한 연구는 상대적으로 미흡한 실정이다. 또한, 작물 재배면적 산정에 있어서 좋은 성능을 보이는 딥러닝 기법들의 경우에는 작물의 생장 특성에 기반한 시계열 자료를 활용한 사례가 대부분이다. 따라서, 위성영상에 적용되었던 기존 기법들을 이용하여 주요 작물에 대한 작물구분도를 작성하는 것은 기술적으로 한계가 존재하는 것으로 판단되며, 위성영상을 이용하여 작물별 재배면적의 산정을 위해서는 우선적으로 관심지역 내에 존재하는 작물재배지역을 정확하게 추출하는 것이 필요할 것으로 판단된다. 이를 위하여 본 연구에서는 농림위성과 유사한 특성을 가지는 RapidEye 위성영상을 이용하여 작물 재배지역에 대한 훈련자료를 구축하고, 이를 활용하여 국내 양파 및 마늘 작물에 대한 재배면적을 추정하고자 하였다. 대기보정된 RapidEye 위성영상을 활용하여 훈련자료를 구축하고, FC-DenseNet 모델을 활용하여 딥러닝 모델을 생성하였다. 최종적인 작물 재배면적은 지적도와의 결합을 통하여 객체 기반의 자료로 생성하여 작물 재배면적을 추정하고자 하였다.

2. 실험 지역 및 자료

1) 실험 자료

향후 농림위성을 이용하여 관심지역의 작물 재배지역을 효과적으로 검출하기 위한 방법론을 수립하고자 본 연구에서는 농림위성과 유사한 분광특성을 가진 RapidEye 위성영상을 이용하여 실험을 수행하였다. RapidEye 위성영상의 제원은 Blue, Green, Red, Red-edge, NIR(Near InfraRed)의 5밴드로 이루어져 있으며, 공간해상도는 5 m로 이루어져 있다. RapidEye 위성영상의 제원은 Table 1과 같으며, 본 연구에서는 훈련자료 및 모델의 평가를 위하여 2018년 5월 10일, 2019년 5월 4일, 2019년 5월 13일에 취득한 합천 및 창녕 지역의 양파 및 마늘 재배 지역을 이용하였으며, 복사휘도(Radiance)로 변환된 Level 3A Product 자료를 활용하여 실험을 수행하였다. 해당지역은 국내에서 양파와 마늘의 주 생산지로써 각각의 작물에 대한 재배지역을 검출하기 전 타 작물과 분별이 되는지 확인하고자 하였다. 양파와 마늘의 경우 타작물과 5월에 가장 분광학적 차이가 크게 나타나기 때문에, 해당 일자의 자료를 이용하여 훈련자료를 구축하였으며, 평가자료의 경우에도 훈련자료와 동일한 계절인 5월의 자료를 활용하여 수행하고자 하였다.

Table 1. Specifications of the RapidEye Satellite Sensor

Fig. 1. Study area for generating training and test dataset (Left : dataset location - Daum Map, Right : RapidEye Satellite Image, blue box : training dataset, yellow box : test dataset).

2) 실험자료의 구성

해당 지역에 대한 RapidEye 위성영상을 이용하여 훈련자료를 구축하기 위하여, 다시기에 취득된 각 위성영상의 복사휘도는 정량화된 분광반사율(reflectance)로의 변환이 필수적이다. 특히, 본 연구에서 추출하고자 하는 양파 및 마늘 재배지역은 계절에 따라서 분광반사율의 변화가 매우 크기 때문에, 본 연구에서는 위성영상의 대기보정을 수행하여 관심지역에 대한 분광반사율의 특성을 정규화하고자 하였다. 이를 위하여 본 연구에서는 ENVI에서 제공하는 QUAC(Quick Atmospheric Correction) 기법을 활용하여 대기보정을 수행하였다. QUAC 기법은 위성영상의 촬영날짜, 대기특성 등에 대한 추가적인 자료를 사용하지 않고, 영상 자체의 복사 휘도의 특성과 대표적인 물체들의 분광반사율을 사용하여 위성영상의 복사휘도를 분광반사율로 변화시켜 주는 대표적인 대기보정 기법이다(Bernstein et al., 2012). 본 연구에서는 훈련자료를 구성하기 위한 2019년 5월 4일(site 1), 2019년 05월 13일(site 2)에 취득된 합천지역의 RapidEye 위성영상에 QUAC 기법을 적용하여 분광 반사율로 변환된 자료를 취득하였다. 해당 자료를 기준으로 육안 판독 및 현장 조사 자료 등을 활용하여 양파 및 마늘 재배지역을 추출하였으며, 이에 따른 실험 영상에 대한 참조자료를 Fig. 2와 같이 구성하였다.

Fig. 2. Training dataset : (a) RapidEye image of site 1, (b) reference data of site 1, (c) RapidEye image of site 2, (d) reference data of site 2.

3. 연구방법

관심지역의 RapidEye 위성영상을 이용하여 딥러닝 모델의 학습을 위한 훈련자료를 구축하였다. 재배면적의 추정을 위하여 사용한 딥러닝 모델은 FC-DenseNet 모델을 활용하였으며, 이를 통하여 재배면적과 비재배면적으로 이루어진 훈련자료를 학습하여 재배면적의 추출을 위한 딥러닝 모델을 생성하였다. 최종적으로 추정된 재배지역은 지적도와 결합하여 화소기반 분석에서 야기될 수 있는 오차를 최소화하고자 하였다.

1) 훈련자료의 생성

분광반사율로 변환된 RapidEye 위성영상과 참조자료를 이용하여 훈련자료를 구축하였으며, 훈련자료는 128×128의 크기로 이루어진 영상 패치(image patch)로 분할하여 제작하였다. 또한, 충분한 수의 훈련자료를 생성하기 위하여 영상의 상하반전, 좌우반전, 회전 등을 활용하여 data augmentation을 수행하였다. 최종적으로, 총 2,880개의 훈련자료를 생성하였으며, 2,592개의 영상 패치는 실제적인 훈련자료로 활용하고, 나머지 288개의 영상 패치는 딥러닝 모델의 학습을 평가하기 위한 검증자료(validation data)로 활용하였다. Fig. 3은 Fig.2의 실험영상 및 참조자료를 이용하여 생성한 영상 패치로 이루어진 훈련자료의 예이다.

Fig. 3. Examples of training dataset: (a) RapidEye image patch, (b) reference data.

2) FC-DenseNet의 구성

일반적인 의미론적 분할 기법을 이용하는 딥러닝 모델은 축소와 확대로 이루어진 인코더(encoder)–디코더(decoder) 네트워크로 이루어진다. 본 연구에서는 최근 객체 구분 영역에서 높은 정확도로 알려져 있는 DenseNet 모델을 의미론적 분할 기법에 적용한 FC-DenseNet 모델을 사용하였다. DenseNet은 객체 구분 영역에서 높은 정확도를 나타내고 있는 네트워크로써, 다른 전통적인 네트워크 구조와 달리 모든 전방의 층들의 결과를 이용하여 후방의 층을 학습시키는 네트워크이다(Huang et al., 2017). 여러개의 합성곱층 및 활성화함수 그리고 배치정규화층을 통해 특징을 학습하는 Dense Block이 있다. l번째 층의 결과가 x_l일 때, 전통적인 네트워크 구조의 l번째 합성곱연산은 직전 결과를 입력으로 사용하여 식 (1)과 같이 적용된다.

x_l = H_l(x_(l-1))       (1)

DenseNet의 Dense Block의 경우에는 선행층의 결과를 모두 입력으로 사용하여 식 (2)과 같이 구성된다.

x_l = H_l ([x₀, x₁, …, x_(l-1))])       (2)

이를 통해, DenseNet은 상대적으로 딥러닝 모델 내에 존재하는 파라미터의 개수를 감소시키면서 효과적으로 모델의 깊이를 향상시킬 수 있는 장점을 지닌다. FC-DenseNet은 DenseNet 구조를 FCN(FullyConvolutional Network) 형식으로 변경하여 의미론적 분할 분야에 적용한 네트워크이다(Jegou et al., 2017). DenseNet은 패치형식의 영상에서 어떠한 객체인지를 찾기 위해서 분별기 이후에 1개의 분류 결과를 나타내지만 의미론적 분할 기법에서는 각 픽셀마다의 분류 결과를 나타내야 하므로 원본 영상의 해상도로 복원하는 과정이 필요하다. 이에 따라 특징을 추출하는 부분인 인코딩 부분은 DenseNet 구조를 사용하였으며 복원하는 과정인 디코딩 부분이 새롭게 추가되었다. 디코딩 부분은 인코딩 부분과 마찬가지로 Dense Block을 사용하였으며, 복원하는 과정에서 전치 합성곱 레이어와 skip connection을 활용하였다. FC-DenseNet의 구조는 Dense block층과 TransitionDown층 그리고 Transition UP 층으로 이루어져있다. Dense Block은 배치정규화층, 활성화 함수층(ReLU), 그리고 합성곱층(3×3), 그리고 드롭아웃으로 구성된다. Transition Down 층은 배치정규화, 활성화 함수층(ReLU), 합성곱층(1×1), 드롭아웃, 그리고 최대 풀링(2×2)로 구성되었다. 마지막으로 Transition Up 층은 전치 합성곱(3×3)로 구성되어 있으며, Dense Block에서 특징맵의 개수를 조정하기 위한 증대 비율은 16을 사용하였다. 본 연구에서 사용한 FC-DenseNet의 전체적인 구조는 Fig. 4와 같다.

Fig. 4. Structure of FC-DenseNet.

3) 재배면적의 추출

본 연구에서 사용한 FC-DenseNet 네트워크를 이용하여 모델에서 생성된 결과는 지적도 레이어 내에 필지 내 포함 비율을 이용하여 최종적인 결과물로 재생성하였다. 재배지역의 경계자료는 지적도에서 임야, 구거, 도로 등을 제외한 전, 답인 필지를 추출하여 이용하였다. 합천지역 영상의 전체 필지는 총 33,996필지가 있었으며, 그 중 전, 답인 필지는 15,941필지가 존재하였다. 창녕지역 영상의 전체필지는 1,870필지가 있었으며 그 중 전, 답인 필지는 1,066필지가 존재하였다. 이를 통해, FC-DenseNet 예측 결과 데이터의 0.5 이상의 값을 재배면적이라고 판단하고, 지적도 필지 내에 딥러닝 기법을 통하여 추정된 화소의 총 포함비율이 50% 이상일 때, 필지 전체가 해당 작물을 재배한다고 판단하였다.

4) 재배면적 추출 결과의 정량적 평가

모델 성능의 분석은 오차행렬(confusion matrix)를 이용하여 수행하였으며, 딥러닝 모델에 의한 재배면적 추정 결과와 참조자료를 통한 오차행렬은 Table 2와 같이 구성할 수 있다.

Table 2. Confusion matrix for evaluation of deep learning model

Table 2를 통하여 딥러닝 모델 적용 결과에 대한 정밀도(precision), 재현율(recall), F1-score를 계산하였으며, 이에 대한 식은 식 (3)~(5)와 같다(Kang et al., 2019).

\(\text { Precision }=\frac{T P}{T P+F P}\)       (3)

\(\operatorname{Recall}=\frac{T P}{T P+F N}\)       (4)

\(F 1-\text { score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}\)       (5)

식 (3)~(5)에서 정밀도는 모델 기준의 정확도, 재현율은 참조자료 기준의 정확도를 나타내며, F1-score는 정밀도와 재현율의 조화평균을 의미한다.

4. 실험결과 및 분석

본 연구에서 이용한 FC-DenseNet 네트워크와 생성된 훈련자료를 활용하여 딥러닝 모델의 학습을 수행하였으며, 훈련된 모델은 훈련자료에 포함되지 않은 평가 자료를 이용하여 모델의 성능을 검증해보고자 하였다.

1) 모델 학습 및 결과

FC-DenseNet 네트워크의 재배면적 추출에 대한 성능 평가를 수행하기 위하여 모델의 학습을 수행하였다. 모델학습은 Pytorch를 이용하여 수행하였으며, 모델의 훈련에 사용된 하이퍼파라미터(hyperparameter)는 Table 3과 같이 설정하였다.

Table 3. Hyperparameter for training

모델의 학습을 위한 손실함수는 이진 교차 엔트로피(binary cross entropy)를 이용하여 수행하였으며, 모델 학습과정의 손실함수와 모델의 정확도를 그래프로 나타내면 Fig. 5와 같다. Fig. 5에서 확인할 수 있는 것과 같이, 모델의 손실함수 값과 정확도는 효과적으로 수렴된 것을 확인할 수 있었으며, 학습과정에서 검증자료를 활용한 손실함수 및 정확도의 변동으로 보아 모델의 학습 과정에서 과적합(overfitting)은 크게 발생하지 않았음을 확인할 수 있었다.

Fig. 5. Loss and accuracy during training.

2) 모델 적용 결과 및 분석

학습된 FC-DenseNet 모델을 활용하여 실제 실험지역에 대한 재배면적을 추출하고, 이에 대한 성능을 분석하고자 하였다. 딥러닝 모델은 학습자료에 대해서만 높은 정확도를 나타낼 경우에는 실제 활용에 문제점이 발생할 수 있기 때문에, 본 연구에서는 훈련자료에 사용되지 않은 영상을 이용하여 모델의 성능을 분석하고자 하였다. 첫 번째 검증 자료는 훈련자료와 동일 시기에 촬영된 합천지역의 영상이며, 이를 통하여 학습된 모델의 성능을 검증하고자 하였다. 다만, 해당 지역은 훈련자료로는 활용하지 않았으며, 이를 통하여 훈련자료와 유사한 분광반사율 특성을 가지는 지역에 대한 모델의 성능을 검증하고자 하였다. 첫 번째 검증자료에 대한 재배면적 추출결과와 이에 따른 정밀도, 재현율, F1- score에 대한 결과는 각각 Fig. 6, Fig. 7과 Table 4와 같다. Table 4와 Fig. 7에서 확인할 수 있는 것과 같이 재배면적 추출에 따른 정확도는 약 93%로 나타났으며, F1-score는 약 0.81로 나타났다. 특히, Fig. 6에서 볼 수 있는 것처럼 FC-DenseNet에 의한 재배지역 추출결과는 참조자료와 유사한 형태를 나타내고 있는 것을 확인할 수 있었다. 다만, 일부 필지가 재배면적에서 누락된 것을 확인할 수 있다. 이는 양파와 마늘 재배 이외의 지역에 대해서는 훈련자료에서 비재배지역으로 가정하였는데, 이에 따른 오차로 추정된다. 그럼에도 불구하고, 전체적인 경향성은 딥러닝 모델이 효과적으로 추정하고 있는 것으로 판단된다.

Fig. 6. Result of crop cultivation area extraction. (site 1) : (a) RapidEye image, (b) result by FC-DenseNet, (c) reference data.

Fig. 7. Confusion matrix of site 1 according to result by FC-DenseNet.

Table 4. Quantitative evaluation of site 1

두 번째 검증자료는 훈련자료와 다른시기에 촬영된 RapidEye 위성영상을 이용하여 구성하였으며, 이를 통하여 모델의 실제 활용성을 평가하고자 하였다. 이를 통해, 대기보정이 효과적으로 적용되어 분광반사율로 구성된 위성영상에 대하여 해당 모델의 적용가능성을 분석하고, 이를 통하여 학습된 모델이 향후 촬영된 위성영상에 존재하는 재배면적의 양상을 효과적으로 모니터링할 수 있는지의 여부를 검증하고자 하였다. 다만, 훈련에 사용된 자료는 특정 계절을 기준으로 작성하였기 때문에, 검증에 사용한 평가자료의 경우에도 지역과 촬영일자는 다르지만, 동일한 월에 촬영된 영상을 사용 하였다. 두 번째 검증자료에 대한 재배면적 추출결과와 이에 따른 정밀도, 재현율, F1-score에 대한 결과는 각각 Fig. 8, Fig. 9, Table 5와 같다. Fig. 8에서 확인할 수 있는 것과 같이, 소규모의 일부 필지를 제외하고, 모든 필지들이 효과적으로 검출된 것을 확인할 수 있다. 또한, 해당 지역의 경우에는 약 98%의 추출정확도와 0.91의 F1- score 값을 가지는 것을 확인하였다. 해당 실험지역의 경우에는 훈련자료에 포함되어 있지 않으며, 훈련자료와 약 1년의 촬영시점 차이를 가지고 있는 자료이다. 따라서, 본 연구에서 제시한 훈련자료 구축 방법을 통하여 학습된 딥러닝 모델은 다른 시기에 촬영된 영상에 대해서도 효과적으로 적용할 수 있음을 확인하였다.

Fig. 8. Result of crop cultivation area extraction. (site 2) : (a) RapidEye image, (b) result by FC-DenseNet, (c) reference data.

Fig. 9. Confusion matrix of site 2 according to result by FC-DenseNet.

Table 5. Quantitative evaluation of site 2 Site Accuracy Precision Recall

실험결과, 작물재배지역에 대한 훈련자료를 구축하고, 이를 통하여 구축된 FC-DenseNet 모델은 훈련자료와 유사한 특성을 지닌 영상에 대해서는 효과적으로 재배 지역을 추정할 수 있음을 확인하였다. 특히, 동일한 월에 취득된 자료에 대해서는 재배면적으로 모니터링에 사용할 수 있는 품질의 결과를 생성할 수 있음을 확인하였다. 따라서, 대기보정이 적절히 이루어진 훈련자료를 계절별로 구축할 경우, 이를 통하여 농경지에 대한 모니터링 및 재배면적 산출에 활용할 수 있음을 확인할 수 있었다.

5. 결론

본 연구에서는 다시기에 취득된 RapidEye 위성영상을 이용하여 농경지역의 재배면적을 산출하기 위한 방법을 제안하고자 하였다. 이를 위하여, 의미론적 분할에 활용가능한 대표적인 딥러닝 모델인 FC-DenseNet을 활용하였다. 모델을 효과적으로 학습하고, 훈련자료에 포함된 지역 및 날짜에 촬영되지 않는 위성영상에의 적용 가능성을 확인하기 위하여, 훈련에 사용되지 않은 두 종류의 검증 자료를 활용하여 모델의 성능을 검증하였다. 또한, 효과적으로 재배면적을 추정하기 위하여 딥러닝 모델의 결과는 지적도를 활용하여 후처리하였다. 실험 결과, 유사한 월에 촬영된 RapidEye 위성영상에 대하여 FC-DenseNet 모델은 효과적으로 재배지역을 추출할 수 있음을 확인하였다. 다만, 본 연구에서 사용한 실험 자료와 검증자료는 특정 월을 기준으로 작성하였기 때문에, 향후 다시기 위성영상을 활용하여 보다 고도화된 모델을 구성해야 할 것으로 판단되며, 특정 작물에 대한 재배면적 산출에 대한 연구가 이루어져야 할 것으로 판단된다. 또한 농림위성의 강점으로 식생에 대한 정보를 추출하기 위한 Red-edge밴드를 포함하므로 이에 대한 연구가 필요할 것으로 판단된다.

사사

본 연구는 농촌진흥청 공동연구사업(과제번호: PJ014787022020)의 지원에 의해 이루어진 결과로 이에 감사드립니다.