1. 서론

전 지구적인 기후변화로 인해 우리나라에서도 이상기상 현상이 증가하는 추세이며, 특히 봄철 건조경향과 함께 최근 산불의 규모와 빈도가 증가하고 있다. 2022년 한 해에만 500 ha 이상의 피해면적을 가진 산불이 5건이나 발생하였는데, 이것은 2012년부터 2021년까지 10년 동안 발생한 500 ha 이상의 산불이 5건이었던 것과 동일하다. 또한 2022년 경북 울진에서는 사상 최악의 약16,300 ha 규모의 산불이 발생하기도 했다. 일단 산불이 발생하면 바람, 지형, 수종 등의 상황에 따라 거세게 확산될 수도 있기 때문에, 산불은 초기의 발견과 대응이 매우 중요하다. 우리나라에서는 각 지방자치단체의 산불감시원이 무전기로 보고하는 것이 현재 가장 주된 산불감시 방식이다. 위성원격탐사 기술은 Advanced Himawari Imager (AHI), Advanced Meteorological Imager (AMI) 등 정지궤도 기상위성 센서를 통해서 10–20분 간격으로 현재 타고 있는 산불(active fire, 활성산불) 정보를 제공하고 있으나, 이들은 2 km의 저해상도 자료이기 때문에 산불의 규모가 상당히 커진 후에야 탐지가 가능한 단점이 있다(Kim et al., 2014). 고해상도 드론영상과 딥러닝 영상인식을 결합한 활성산불 감시는 2022년에 기술개발이 시작되어(Chen et al., 2022; Ghali et al., 2022; Li et al., 2022; Xue et al., 2022; Zhou et al., 2022) 영상분할과 객체탐지가 수행되고 있다. 우리나라에서 드론으로 촬영한 활성산불 영상을 다수 확보하는 것은 어려운 일이기 때문에, 이 단보에서는 초기연구 차원에서 Institute of Electrical and Electronics Engineers(IEEE) DataPort에서 제공하는 Fire Luminosity Airborne-based Machinelearning Evaluation (FLAME) 데이터셋(IEEE, 2022)을 사용하여 딥러닝 영상인식 기반의 활성산불 탐지실험에 대해 검토하였다. 딥러닝 영상인식에서 최신기술 사용이 중요한만큼, 드론영상 산불탐지에서는 아직 사용되지 않았던 최신(state-of-the-art, SOTA) 모델로 2022년에 7월에 출시된 You Only Look Once Version 7 (YOLOv7) 기반의 활성산불 객체탐지를 수행하였다.

2. 자료와 방법

1) 사용 영상

활성산불 탐지를 위해 사용한 FLAME 데이터셋은 2020년 1월 16일 미국 애리조나주 북부에 위치한 소나무 숲에서 모닥불을 피운 후 이를 드론으로 촬영한 것이다(Shamsoshoara et al., 2021). 원본 자료는 비디오 영상이었는데, 프레임 추출을 통해 2,003장의 이미지가 생성되었고, FLAME 데이터셋은 3,480 × 2,160 화소의 Red-Green-Blue (RGB) 이미지로 구성되었다.

2) 바운딩박스 레이블링

산불의 조기발견 및 초기진화에 초점을 둘 경우 산불의 존재 자체에 대한 탐지가 중요하기 때문에, 화소 단위의 세그먼테이션(segmentation)보다는 객체 단위의 바운딩박스(bounding box)가 더 효과적인 탐지 방법이다. FLAME 데이터셋은 화소 값이 0(background)과 1(fire)로 구성된 래스터(raster) 형태로, 세그먼테이션을 목적으로 제작되었기 때문에, 이를 객체탐지를 위한 바운딩박스 형태로 변환하는 과정을 먼저 수행하였다. 래스터의 경계를 추출하여 폴리곤(polygon)을 생성하고, 폴리곤의 바운딩박스를 만든 후, 인접하거나 겹쳐진 바운딩박스를 하나의 바운딩박스로 합쳐주었다. 이때 활성산불이 드론 영상으로 촬영되었을 때 객체가 공간적으로 완전히 연속되지 않을 수 있기 때문에, 바운딩박스 간 거리가 가까운 경우에는 하나의 객체로 간주하여 병합시킴으로써 단일한 바운딩박스 레이블을 만들었다(Fig. 1).

Fig. 1. Creation of a bounding box label for active fire objects.

3) 탐지 모델

이 단보에서 활성산불 탐지를 위해 사용한 모델은 대표적인 객체탐지 알고리즘인 YOLO 시리즈 중 SOTA 모델인 YOLOv7이다. YOLOv7은 2022년 7월에 출시된 실시간 객체탐지 SOTA 모델로 YOLOv7, YOLOv7x, YOLOv7w6, YOLOv7e6 등 구조에 따라 다양한 모델이 존재한다. 이 단보에서 사용한 YOLOv7x는 Microsoft Common Objectsin Context (COCO) 데이터셋을 기준으로 0.712의 mAP@0.5, 114 Frame Per Second (FPS)의 탐지 속도를 보였던, 성능과 속도 모두 우수한 모델이다(Wang et al., 2022).

4) 모델 학습

전체 2,003장의 영상은 셔플링(shuffling) 후 8:1:1로 나누어, 훈련 1,602장, 검증 200장, 시험평가 201장으로 구성하였다. 훈련 및 검증 시에는 일반화 성능 향상과 과적합 방지를 위하여 좌우반전, 색상·채도·명도 조정, 이미지 스케일 조정, 모자이크를 통한 자료 변형 등 영상자료증대(image data augmentation) 기법을 적용하였다. 또한 COCO 데이터셋으로 사전훈련된(pre-trained) 가중치체계를 반입(import)하여 전이학습(transfer learning)을 수행하였다.

5) 시험평가

이 단보에서는 정밀도(precision), 재현율(recall), F1점수, Average Precision (AP)을 사용하여 탐지성능에 대한 평가를 수행하였다. 정답 바운딩박스와 예측 바운딩 박스의 교집합과 합집합의 비율로 구해지는 Intersection over Union (IoU)에 특정 임계치를 적용하면 혼동행렬(confusion matrix)을 생성할 수 있다. 이때 혼동행렬에서 True Positive (TP)는 IoU가 임계치 이상인 바운딩박스, False Positive (FP)는 IoU가 임계치보다 낮은 바운딩박스이고, False Negative (FN)은 미탐지에 해당한다. 이러한 기준을 사용하여 정밀도(식(1))와 재현율(식(2))을 계산할 수 있다. 정밀도는 모델이 예측한 객체 중 올바르게 예측한 객체의 비율이고, 재현율은 정답 객체 중 모델이 검출한 객체의 비율이며, F1점수는 정밀도와 재현율의 조화평균이다(식(3)). Precision-Recall (PR) 커브는 신뢰도(confidence)에 따라 정밀도와 재현율이 반비례하는 관계를 나타내는데, 이때 AP는 커브 아래 면적에 해당한다(식(4)). AP@0.5는 IoU 임계치 0.5일 때 AP 값으로, 컴퓨터비전 분야의 객체탐지 성능평가에서 표준적으로 채택되는 지표이다.

\(\begin{aligned}Precision\;=\frac{T P}{T P+F P}\\\end{aligned}\)       (1)

\(\begin{aligned}Recall\;=\frac{T P}{T P+F N}\\\end{aligned}\)       (2)

\(\begin{aligned}F1-score=2×\frac{Recall ×Precison}{Recall + Precision}\\\end{aligned}\)       (3)

AP = ∫⁰₁ P(r)dr       (4)

3. 결과 및 토의

훈련 및 검증 과정의 최적화를 거쳐 최종적으로 구축한 YOLOv7x 모델을 사용하여 활성산불 객체탐지를 시험평가 하였다. 총 804개의 바운딩박스 중 761개가 탐지 되었고, 미탐지 43건, 오탐지 52건으로(Fig. 2), 정밀도 0.936, 재현율 0.947, F1점수 0.941, AP@0.5 0.958을 기록하였다(Table 1). 동일한 FLAME 데이터셋을 사용한 선행연구(Li et al., 2022) 에서는 R-shufflenetv2 모델을 사용하여 F1점수 0.891을 기록한 바 있는데, 이 단보에서의 실험이 0.05 더 높은 정확도를 나타냈다. 또한 Zhou et al. (2022)에서도 FLAME, FIRESENSE (Grammalidis et al., 2017), Durham University 등의 데이터셋을 사용해서 YOLOv5s 모델로 활성산불 객체탐지를 수행하여 0.887의 mAP@0.5를 기록하였는데, 이 단보의 YOLOv7x 실험결과가 0.07 정도 더 높은 정확도를 나타낸 것이다.

Fig. 2. Confusion matrix of prediction result.

Table 1. Performance measures for the prediction result

Fig. 3과 Fig. 4는 각각 활성산불의 정답 바운딩박스와 YOLOv7x 모델로 예측한 바운딩박스 이미지이다. 빨간색 네모상자에서 보듯이, 하나의 객체에 두 개의 바운딩박스가 생성되거나 매우 작은 객체가 나무에 가려진 경우에는 오탐지 또는 미탐지가 발생하기도 했다. 그 외에는 거의 모든 바운딩박스가 높은 신뢰도로 탐지되었고, 꺼져가는 불씨와 나무에 가려진 활성산불 객체까지도 탐지되는 경우가 많았다. 최신의 YOLOv7x 모델 기반의 활성산불 객체탐지가 높은 정확도를 나타냈기 때문에, 향후 드론의 배터리 성능향상과 더불어, 광역에 걸친 지속적인 산불감시에 적용될 수 있을 것으로 기대된다.

Fig. 3. Images with true bounding boxes.

Fig. 4. Predicted bounding boxes with confidence score.

4. 결론

우리나라에서는 각 지방자치단체의 산불감시원에 의존하여 산불감시가 이루어지고 있고, 정지궤도 위성영상은 저해상도 자료이기 때문에 산불의 조기발견이 어려운 상황이다. 고해상도 드론영상과 딥러닝 영상인식을 결합한 활성산불 감시는 이제 초기단계로 다방면의 기술개발을 필요로 한다. 이 단보에서는 드론영상 산불탐지에 아직 사용되지 않았던 SOTA 모델인 YOLOv7x 기반의 활성산불 객체탐지를 수행하였으며, 동일한 데이터셋을 사용한 선행연구에 비해 F1점수가 약 0.05 향상된 성과를 거두었다. 향후 우리나라에서도 광역적인 산불감시에 적용될 수 있도록 추가적인 기술개발이 계속 필요할 것이다.

사사

이 연구는 행정안전부의 “지능형 상황관리 기술개발사업”의 지원을 받아 수행된 연구임(2021-MOIS37-002).