1. 서론

해양자원의 중요성에 대한 인식이 확대됨에 따라 국가 간 해양관할권 경쟁이 심화되고 있는 추세이다. 동북아시아 지역에서는 일본이 독도, 다오위다오 등에서 한국을 포함한 주변국 간의 영유권 분쟁을 벌이고 있다. 또한, 남획과 기후온난화로 인한 어장환경 변화로 인해 배타적 경제수역 및 북방한계선에서 불법어업활동을 하는 어선이 증가하고 있다. 이렇듯 국가해양영토에서의 불법선박의 감시 및 관리는 해양자원 뿐만 아니라 우발적 무력충돌의 예방을 위해 군사적으로도 중요한 문제이다. 미국, 캐나다, 일본 등의 선진국에서는 효과적인 선박 감시를 위해 SAR 위성, 무인기 등 다양한 플랫폼을 이용한 선박감시체계를 구축하고 있다(Berizzi et al., 2016). 하지만 국내의 경우 제한적 수단으로 감시가 이루어지며 그 범위 또한 한정적이기 때문에 해양 불법 행위를 근절하는데 역부족이다(Ryu et al., 2018).

효과적인 해양 감시를 위해서는 광역적이고 지속적인 해상 감시를 위한 위성 및 기타 센서 간의 융합, 소형타겟의 검출을 위한 고성능의 플랫폼, 불법행위 등의 선제적 탐지 등이 요구된다(UK CSES, 2011). 하지만 국내의 경우, 해양환경에 대한 과학적 조사에 초점을 맞추어 운영되고 있으며 해양감시 목적의 통합 감시시스템은 아직 미비하다(Ryu et al., 2018). 따라서 국내 해양환경에 맞는 광역적, 선제적, 공간적, 실시간적인 통합감시시스템의 구축이 필요하다. 본 연구에서는 인공위성SAR, HF 레이더, 무인기 그리고 AIS 통합 기반의 선박탐지 모니터링을 가능성을 검토하였다.

위성영상을 이용한 선박탐지는 광범위한 촬영범위로 광역적 선박탐지에 유리하다. 위성영상 중 SAR 영상은 기상 및 주야조건 등에 영향이 미비하여 선박탐지에 널리 활용되고 있다(Pichel et al., 1998;Jackson andApel, 2004; Brusch et al., 2010). Kim et al.(2018)은 SAR 위성 중 대한민국의 X-band 위성인 KOMPSAT-5 영상 분석결과를 AIS 자료와 비교하여 선박탐지 가능성 검토를 수행하였다.선박탐지 결과는 소형선박을 제외하고 전반적으로 일치하는 결과를 보였다. 하지만, 단일 위성영상 만을 이용한 선박감시는 감시 영역은 넓으나 KOMPSAT-5를 포함한 대부분의 위성 촬영주기 및 시간이 길기 때문에 상시관측이 어렵다는 단점을 가지고 있다.

반면 HF 레이더의 공간해상도는 다른 플랫폼에 비해 상대적으로 낮으나 높은 시간해상도로 선박감시에서 상시 운용이 가능하다는 장점을 갖는다. Cho et al.(2018)은 HF 레이더를 이용한 선박 검출 및 추적을 시험하였고 서해에서 운용중인 HF 레이더를 통해 획득된 데이터를 적용하여 성능 평가를 수행하였다. 선박 검출에서 미검출 및 오검출이 발생했지만, 10 km 거리에서는 95%의 높은 검출 성공률을 보였다.

최근에는 감시정보정찰 임무에서 지형지물에 의한 영향이 적고 신속성 등의 효율적인 감시가 가능한 무인기의 관심이 증대되고 있다(Kim et al., 2014). Jeon(2019)은 무인기를 이용한 실시간 선박 모니터링 결과에 대해 분석하였다. 분석결과로 촬영영상은 평균 3.26초의 소요시간으로 정사영상으로 매핑되어 전송되었다. 매핑오차는 평균적으로 5.5 m 이내였으며 탐지되는 모든 선박은 20 m이내의 오차로 높은 정확도를 보였다. 하지만 무인기를 이용한 선박 모니터링은 시공간해상도의 장점을 가지지만 소형무인기 기준 500 m 고도로 1회 비행 시, 1시간의 운용시간과 한 장에 약 500 m × 350 m로 좁은 촬영범위를 갖는다는 단점이 있다.

본 연구에서는 KOMPSAT-5, HF 레이더, 무인기 등의 다중플랫폼의 장단점을 고려한 시나리오를 구축하여 효율적인 선박탐지 모니터링을 제안하였다. 분석을 위해 세종대학교, 군산대학교, 서울시립대학교, 한국해양과학기술원과 현장조사를 실시하였으며 획득된 다중플랫폼 데이터와 AIS 데이터를 기반으로 통합기반 운영레벨 선박탐지 모니터링 가능성을 검토하였다.

2. 선박탐지를 위한 플랫폼

1) 위성영상(KOMPSAT-5 SAR)을 이용한 선박탐지

2013년 발사된 대한민국의 X-band SAR 위성인 KOMPSAT-5는 표준모드에서 약 1 m 에서 3 m의 공간해상도를 갖는다. 획득된 영상의 모드 특성 및 해양환경 분석을 통해 KOMPSAT-5 영상에서 선박탐지 오차를 일으키는 요인을 알아보고 영상 획득 환경에 따라 최적의 선박탐지를 수행하고자 하는 연구가 수행되었다. KOMPSAT-5 SAR 영상을 사용한 선박탐지 알고리즘의 고도화를 위하여 HVAS (Human Visual Attention System)알고리즘에서 타겟으로 분석된 칩에 비행방향 또는 거리방향으로 SAR-split 알고리즘과 MCA-CFAR (MultiCell-Averaging – Constant False Alarm Rate)를 적용하여선박을 탐지하였다(Fig. 1). SAR 센서는 일반적으로 비행방향과 거리방향으로 미터 단위 해상도를 제공한다.비행방향을 여러 하위 대역폭으로 분할하면 다른 반송파 주파수에서 낮은 해상도를 가지는 여러 영상을 생성할 수 있다. 분리된 영상이 시간차를 가지기 때문에 클러터 지역은 파도가 짧은 시간에 바뀌므로 낮은 교차상관 분석 값을 가지고, 이동하거나 정박해 있는 선박의 경우 높은 교차상관분석 값을 가지게 된다. 이런 교차상관분석값의 차이를 통해 선박 탐지가 가능하다(Iehara et al., 2001).

Fig. 1. Flow chart for ship detection based on KOMPSAT-5 data (modified from Kim et al., 2020).

한편 앞으로 운용 예정인 다편파 위성 자료 획득이 가능한 KOMPSAT-6 의 선박활용을 대비하여, 동일편파와 교차편파의 상관관계를 이용한 해상 표적 탐지 기술을 개발하였다. 현재 상용화된 KOMPSAT-5위성의 경우 편파 옵션이 동일편파만 지원하기 때문에 Sentinel-1의 다편광 모드 자료를 사용하였다. 다편광 자료를 이용한 선박탐지의 경우 해수표면에서는 동일편파와 교차편파의 상관관계가 거의 없지만 선박과 같은 인공구조물에서는 매우 큰 상관관계를 가지는 특성이 있어 공분산 행렬(R)을 이용해 분석이 가능하다. 생성된 R 영상을 보면 클러터지역의 값은 낮고 타겟이 있는 지역은 높은 값을 가진다(Velotto and Migliaccio, 2013). 따라서 타겟이 있는 경우 Target to Clutter Ratio (TCR)이 높다. 동일 지역에 대해 다편파 자료의 탐지율을 분석했다. R 영상의 TCR 값은 영상에서의 타겟뿐만 아니라 육지에서도 값 또한 높기 때문에 탐지 시 발생되는 오탐지를 감소시키기 위해 SRTM Water Body Data (SWBD)를 이용하여 육지 마스킹을 수행하였다. 해상풍의 영향만 있는 VH 편광과 달리 VV 편광은 해상풍과 해류에 의한 영향 을 모두 포함하고 있기 때문에 클러터에서 오는 신호가 강하다. 따라서 VV 편광에서 탐지한 선박의 경우 클러터를 통해 발생하는 오탐지를 포함하고 있다. 반면 타겟에서 나타나는 VV 편광과 VH 편광은 해양환경과 다르게 구조물에서 후방산란값이 강하게 나타난다. VV편광에서 탐지한 선박이 클러터의 오탐지를 포함하고 있다면, VH 편광에서 탐지한 선박은 상대적으로 약한 타겟신호로 인한 미탐지를 포함할 수 있다(Zhang and Perrie, 2018). R 영상의 경우 타겟의 신호는 강하며 상대적으로 클러터의 신호가 약해 높은 TCR값을 가지기 때문에 VV 편광과 VH 편광의 해양특성과 타겟 후방산란의 특성 장점을 모두 가지는 것으로 분석되었다.

선박 속도 추정 단계는 앞서 CFAR 알고리즘을 통해 최종 탐지된 타겟을 입력 받아 타겟의 거리방향과 비행 방향 속도를 추정하였다. 도플러 주파수 분석에 기초한 이동 선박의 이동방향과 속도 복원 알고리즘(Back et al.,2019)이 개발 적용되었다. SAR 영상으로부터 선박의 속도 복원을 위한 자료처리 과정은 Fig. 2와 같다. 또한, KOMPSAT-5 및 KOMPSAT-6 배포 가능 자료인 SLC 영상자료에 적용 가능한 방법에 대하여 현장에서 얻어진 KOMPSAT-5 자료에 적용하여 분석을 수행하였다. 선박의 비행방향 속도 특정은 해상의 파랑, 파고가 낮은 상태에서 선박의 신호가 뚜렷한 경우에는 Fractional Fourier 변환과 minimum entropy을 혼합하여 적용하는 방법이 가장 효과적이며 정밀도가 높았다. 한반도 주변 해역의 일반적인 해상 상태 및 선박의 특성을 고려할 때Doppler rate filter-bank와 minimum entropy 방법을 혼합하여 적용하는 경우가 가장 안정적인 결과를 도출할 수 있었다. 위성 SAR 자료 획득 당시 해상 조건이 좋지 못하여 SCR (Signal-to-Clutter Ratio) 이 낮은 경우에는 정밀도는 상대적으로 낮음에도 불구하고 Multi-look misregistration 방법 적용이 가장 효과적인 것으로 분석되었다. KOMPSAT-5 선박 속도/방향 측정 정밀도 분석을 위해 KOMPSAT-5 와 AIS 신호에서 공통적으로 나타나는 선박들을 이용하여 분석 정밀도를 평가하였다. KOMPSAT-5 적용에 적합한 조건을 제시하기 위해 1) 최소 선박의 크기 및 2) SCR 기준의 선박 신호 대 주변 해역의 신호비에 대한 기준을 분석한 결과 KOMPSAT-5로 속도 복원에 적합한 최소 선박의 길이는 약 20 m 이상이었고, KOMPSAT-5 속도 복원에 적합한 선박/해상 잡음비 조건은 SCR 기준 7.7 dB 이상인 것으로 분석되었다(Back et al., 2019). 탐지단계에서 추출된 선박 표적칩, 선박 위치정보와 속도 추정 단계를 통해 추출된 선박의 2D 속도는 1차 검출 결과로 종합되어 통합시스템에 전달된다.

Fig. 2. Flow for ship velocity estimation using KOMPSAT-5 data

2) 무인기

광역 감시망에 있어서 무인기는 고해상도의 데이터 취득과 신속한 운용성으로 다른 플랫폼에서 갖는 시간 해상도나 공간해상도의 문제를 모두 해결 할 수 있다는 장점을 가진다. 무인항공기 시스템 중 장비나 센서 등의 항전장비를 탑재하는 비행체는 고정익, 회전익, 복합형으로 구분된다(Choi et al., 2016). 현장조사에서 사용한 무인기는 다양한 센서의 선택적 탑재가 간편하고 제약이 적은 회전익을 사용하였다(Ryu et al., 2018). 무인기 활용을 위해서는 Table 1의 비행 요구사항인 거리별 운용 범위와 목적에 따라 탑재체와 구조체가 선정되어야 한다. 플랫폼은 회전익 무인기, 고정익 무인기 두 가지를 공간적 범위에 따라 선택하여 사용하며, 각 범위별로 Table 2와 같은 운용성을 검증하였다. 2 km 이내 근거리 플랫폼으로는 무인 멀티콥터(Matrice 600 Pro, Mavic Pro, Phantom4 RTK) 등이 사용하였으며, 10 km이내 장거리 플랫폼인 태양광 고정익 무인기와 탑재체(Sony a6000, FLIR duo pror)를 사용하였다.

Table 1. Flight requirements analysis

Table 2. Operation range

무인기에 탑재된 센서 데이터를 실시간으로 전송하고, 다중센서와 통합하여 무인항공기에 플러그인할 수 있는 탑재체가 구축되었다. 실시간으로 촬영한 영상을 사용자에게 전달하기 위해 통신처리모듈(TPM)과 중앙처리모듈(CPM)으로 구성하였다. 통신처리모듈은 LTE기반으로 처리된 영상정보를 사용자에게 전송한다. 20Mpixel 이상의 고해상도 정지 영상을 전송할 시 8초가 걸리며 무인기의 원격검침(Telemetry) 정보를 전송할 때는 2초 이내로 전송할 수 있다. 또한, 탑재체에는 촬영에 사용할 센서와 중앙처리모듈간의 데이터 전송과 시간 동기화를 수행하는 실시간 처리모듈(RPM)이 추가하였다. FLIR사의 RGB/Thermal 복합센서인 Duo Pro R센서를 상기한 RPM, CPM, TPM과 함께 통합하여 실시간 다중센서 데이터 취득/전송 탑재체를 구축하였다.

바다 표면과 선박은 구성 물질이 다르므로 같은 조건에서 온도가 서로 다르다. 따라서 광학 영상에서 선박의 모양과 형태를 이용하여 선박을 탐지할 수도 있지만,열영상에서 현격히 드러나는 바다 표면과 선박의 온도차이를 이용하여 선박 탐지가 가능하다. 이런 열영상의 특성을 이용하여 무인기에서 수집된 열적외선 영상을 이용하여 선박을 탐지하기 위한 SW를 개발하였다. 열영상은 광학 영상에 비해 형태가 더 단순하므로 대량의 데이터를 이용하여 지도 학습(Supervised Learning)을 해야하는 머신러닝, 딥러닝보다는 전통적인 컴퓨터 비전기법을 활용한다. 광학영상으로부터 선박을 탐지하기위한 알고리즘으로 Retinanet을 사용하였다. Retinanet은 Features Pyramid Network와 Focal loss를 훈련에 이용하여 높은 탐지 정확도와 빠른 속도로 탐지가 가능하다. Saliency Map, SVM, YOLO v3 등의 알고리즘은 속도는 빠르지만 검출율이 낮은 것으로 분석되었다. 검출율이 낮은 이유는 한 클래스당 분배되는 negative의 수가 positive의 수보다 상대적으로 많은 불균형 문제가 원인으로 생각된다. Focal loss는 이러한 불균형 문제를 해결하기 위해 쉽게 분류되는 예제들에게는 작은 가중치를, 분류하기 어려운 예제에는 큰 가중치를 부여하여 학습을 어려운 예제에 집중하는 경향이 있다. 이를 통해 쉽게 분류되는 negative 샘플들 위주로 학습이 진행되는 현상을 피할 수 있다.

한편 무인기에 탑재된 센서로부터 데이터를 실시간으로 전송 받고 직접 지오레퍼런싱(Direct Georeferencing),개별정사영상 생성, 선박 탐지 등을 수행하는 실시간 매핑 시스템을 설계하고 구현하는 것이 필요하였다. 실시간 매핑 시스템은 직접 지오레퍼런싱, 개별정사영상 생성, 선박 탐지 등을 위한 핵심 알고리즘을 포함하며,무인기 탑재체에서 비행 중 센서 데이터를 전송했을 때 이를 입력받는 인터페이스가 필요하다. 따라서, 매칭이 가능한 해양 영역에서는 GCP를 취득하거나 기준 영상을 이용해서 지오레퍼런싱 된 정사영상을 산출물로 생성하고 매칭이 가능하지 않은 해양 영역에서는 직접 지 오레퍼런싱을 선택하여 취득한 센서 데이터 지오레퍼런싱을 수행하여 한 장씩 바로 지오레퍼런싱하고 기하보정하여 개별 정사영상을 생성하였다(Fig. 3).

Fig. 3. Flow chart for UAV data processing using direct geo-referencing

실시간으로 직접 지오레퍼런싱을 수행하여 해당영상을 촬영하는 시점의 카메라 위치/자세를 결정하고, 이를 바탕으로 해당영상을 기하보정하여 개별정사영상을 생성한 뒤 해양 감시 목적에 적합한 빠르게 처리된실시간 정보 제공 가능하였다. Fig. 4는 2019년 6월 25일 오후 16시에 DJI Mavic PRO로 연도에서 취득한 48장의 영상(선박 포함)으로 실시간으로 생성한 정사영상 및 선박탐지 영상이다

Fig. 4. Example of real-time mapping and visualization via LiveDroneMap and the result of ship detection (inset of yellow box).

3) AIS (Automatic Identification System)

AIS는 선박 안전 및 보안 강화를 위해 IMO에서 2002년부터 국제 협약에 따라 도입한 장비이다. 국제해사기구에서는 e-Navigation의 국제적 표준화의 일환으로 2006년부터 50톤 이상의 선박에 AIS를 의무적으로 설치하도록 규정하고 있다. 이에 따라 해양수산부는 어선 안전설비기준에서 총 톤수 10톤 이상, 장축 45 m 이상의 어선은 AIS를 의무적으로 장착하도록 고시하였다(MOF, 2016). 또한 선박위치발신장치의 설치기준 및 운영 등에 관한 규정에서 10톤 이하의 선박에 대해서도 AIS, HF 무선위치발신장치 또는 위성통신장치를 갖추어야 하도록 고시하였다(MOF, 2017). AIS를 통해 선박의 MMSI, 위치, 속도, 방향 등의 정보가 지상수신기 또는 위성수신기로 수신된다.

본 연구에서는 현재 군산대학교에서 운용중인 지상수신 AIS 데이터를 사용하였다. 획득된 AIS는 현장조사 일자의 일별 데이터이며 탐지된 선박의 불법선박 여부,오탐지, 미탐지 등의 평가기준으로 사용된다. AIS는 탑재되어 있는 GPS (Global Positioning System) 로 계산된 선박의 위치, 침로, 속력 등의 동적 정보와 선명, 호출부호,MMSI (선박식별번호), 선종 등 정적 항해정보를 VHF(Very High Frequency) 대역을 통해 실시간으로 송수신하는 시스템이다. 본 연구에서 AIS 데이터 취득을 위해 사용한 AIS 관측시스템은 VHF 안테나, AIS 수신기, 전원공급장치, 컴퓨터로 구성되어 있다. 군산대학교에서는 운용중인 AIS 수신기의 모델은 Em-trak a100과 Alltek Marine로 AIS 수신기의 수신성능 향상을 위하여 태안 안면도와 군산 어청도에 30 cm 크기의 스테인리스 지지대에 2.2 m 길이의 VHF 안테나를 연결하여 설치되었다. 수신되는 AIS 정보는 동적정보와 그 이외의 정보로 구분되는데, 동적정보는 선박의 속도에 따라 Class-A AIS에서는 2초 에서 3분, Class-B AIS에서는 20초 에서 3분 간격으로 전송된다. 동적정보 이외의 정보는 6분마다 전송된다(MOF, 2016; Kim et al., 2018). 안테나로부터 전송된 AIS 정보는 소프트웨어 디코딩 처리과정을 거쳐 텍스트 파일로 생성되며, 일 간격으로 생성된 폴더 내에 하루 동안 수신된 선박의 AIS 정보가 csv 형태로 저장된다. 자료의 저장방법은 수신된 모든 MMSI로 파일명이 생성되며, 저장파일 내에 해당 선박의 AIS 정보들이 순차적으로 기록된다. 이후 저장된 AIS 정보 중 선박의 이동경로와 속도, 선박 진행방향과 제원 등을 추출하여 포맷에 맞게 다시 저장한 후 중앙자료처리 PC로 자료를 3시간마다 업로드한다. 중앙자료 처리에 업로드된 AIS 정보는 다시 3시간마다 Web서버에 업로드 되어 선박의 MMSI 번호별로 지도에 표시되고 3단계의 선박길이 별로 분류되며, 지도상에 표기된 심벌에 마우스를 올리면 해당 선박의 MMSI 번호가 보이고 클릭하면 하루 동안의 선박이동경로가 나타나도록 설계되어 있다(Fig. 5). 한편 장기간에 걸쳐서 수집된 AIS 자료를 이용하여, 시기에 따른 선박 통행 주요 분포에 대한 파악은 선제적인 불법 선박탐지 시나리오 구성에 기초적인 정보를 제공할 수 있다. KOMPSAT-5 위성이 관측하는 시간대에 연구 해역에서의 선박의 이동 패턴을 미리 분석해 두면, 향후 이러한 패턴과 다른 패턴을 나타내는 선박이 있을 경우 특별히 관심을 두고 추적을 수행할 수있다.

Fig. 5. Example of AIS data provided in Web.

4) HFR (High Frequency Radar)

HF 레이더는 레이더 중 3-30MHz의 주파수 대역을 사용하는 HF(High Frequency) 레이더로 낮은 비용으로 넓은 관측 범위를 가질 뿐만 아니라 상시 구동이 가능하기 때문에 불법어선의 관측과 추적에서의 장점을 가진다(Lee et al., 2017). HF 레이더는 수신 구조에 따라 크게 위상배열형과 콤팩트형으로 분류된다. 위상 배열형은 다수의 안테나를 수신기로 사용하기 때문에 설치공간이 넓어 광역감시망을 구축하는데 한계점이 있다. 반면 콤팩트형은 일체형 수신기로 공간 제약이 없어 광역감시망을 구축하는데 적합하다(Cho et al., 2018). 본 연구에서는 군산대학교에서 구축한 콤팩트형 HF 레이더 데이터를 이용하여 현장통합조사 일자에 해당하는 기간의 자료를 획득하였다. HF 레이더 기반 선박 탐지는 최근 시도되고 있는 기술로, 비록 시간해상도 관점에서는 장점이 있지만 탐지 가능한 선박의 크기 및 탐지 정확도 측면에서는 상시적인 감시 기능으로 사용되는데 단점이 있다. 비록 HF 레이더를 이용해서 선박을 탐지하기 위해서는 위상배열형 시스템이 보다 선호되지만, 현재 국내에는 아직 위상배혈형 시스템이 구축되지 않았기 때문에, 기존 콤팩트형 시스템을 이용할 수 밖에 없었다. HF 레이더 선박검출의 통계적 분석을 위해 선박정보가 들어있는 레이더 관측자료, 노이즈 특징을 알아내기 위한 전파환경자료, 선박 검출 여부를 판단하기 위한 AIS 자료를 활용하였다.

선박을 크기별로 검출하기 위해 AIS 자료에서 선박의 정보를 추출하였다. 선박의 정보는 일부 AIS 자료에만 있었고 선박의 크기 정보가 항상 포함된 것이 아니어서 선박의 크기를 2가지로 나눴다. 먼저 AIS에 선박의 정보가 있는 배들은 크기가 큰 배일 것으로 추정하고 큰 배로 분류하였으며 AIS에 선박의 정보가 없는 배들은 작은 배로 분류하였다. Table 3과 같이 어청도의 자료를 보면 전체 검출률에서 큰 배의 검출률이 작은 배의 검출률에 비해 2배 정도 크게 나왔지만 말도의 경우는 작은 배가 큰 배에 비해서 검출률이 높게 나왔다. 일반적으로 큰 배의 레이더 단면적(Radar Cross Section: RCS) 값이 높아서 작은 배에 비해 검출률이 높을 것으로 추정되는데 말도에서는 반대의 결과를 보였다. 이는 말도의 AIS 자료에는 선박의 정보를 포함한 배의 개수가 작아서 통계적으로 유의미한 결과를 내지 못한 것으로 생각된다. 어청도의 경우에는 작은 선박과 큰 선박의 비가 약 4:6이지만 말도의 경우에는 8:2로 큰 선박의 개수가 작은 선박에 개수에 비해서 월등히 작다. 또한 말도 관측소는 해안가 근처라서 큰 선박이 근해로 들어오지 않고 관측거리의 외각쪽에서 멈춰있거나 지나가기 때문에 검출률의 정확도가 낮은 것으로 판단된다.

Table 3. Ship detection rates according to the ship size

관측소별 노이즈 환경에 따른 검출률을 분석결과 노이즈가 선박검출에 영향을 많이 끼치는 것으로 분석되었다. 관측소별 최대 관측거리는 말도에서는 평균 34.1km, 어청도에서는 54.1 km로 확인되었다. 다만 여기에서 측정한 관측거리는 최대 관측 거리이기 때문에 실제로 레이더를 이용해 안정적으로 탐지할 수 있는 유효 관측 거리는 이보다 짧을 것으로 예상된다. HF 레이더 관측자료에는 다양한 형태의 노이즈가 섞여 있어 선박검출 결과를 왜곡시킨다. HF 레이더에 수신된 데이터는 벡터와 노이즈 벡터의 결합으로 구성되어 있으므로, 신호 벡터가 노이즈 벡터와 직교하는 성질을 이용하여 수신된 데이터에 노이즈 벡터를 투영 시키면 노이즈를 제거한 신호를 추출할 수 있다.

HF 레이더 RDM (Range Doppler Map) 영상으로부터 선박 후보군 선별 작업은 기존 CFAR 알고리즘 대신 AI기술로 대체되었다. AI가 선박 검출과정 전체를 수행하는 방식이 적용되어 선박 검출률이 향상되었다. 그러나 훈련 데이터(Training data)가 충분하지 않아 예외적인 경우(노이즈 레벨이 매우 높거나, 레이더의 분해능력보다 많은 수의 선박이 존재하는 경우 등)에서는 정확도가 보장되지 않는 한계가 있다. 한편 기존 선박 추적알고리즘은 일반 칼만 필터(Kalman filter)를 적용한 것으로 1대의 선박을 추적하기에는 적합하지만 추적 대상이 많은 근해에서는 적용이 어렵다. 이를 개선하기 위해 무향 칼만 필터(Unscented Kalman Filter)와 JPDA(Joint Probabilistic Data Association) 알고리즘을 적용한새로운 추적 알고리즘을 개발하였다(Fig. 6).

Fig. 6. Flow for target tracing.

알고리즘의 자료 처리 순서는 다음과 같다. 1) 초기 추적 후보 생성을 위해 최초 2회 관측 결과를 이용하여 최대 속도 및 이동거리 범위 내에서 1:1 대응되는 모든 경우의 수로 추적 후보군 생성한다. 거리가 인접한 초기 관측값이 많으면 1:1 대응되는 경우의 수가 많아져 다수의 허위 추적 후보군을 포함하게 된다. 2) 무향 칼만 필터를 이용한 선박 이동 경로 예측이 가능하다. 추적 후보군의 위치 및 속도 정보와 추적 대상(선박)의 운동 모델을 이용하여 이동 경로 예측값을 도출한다. 운동 모델을 이용한 예측값은 관측 장비 및 좌표 변환에 의한 오차를 포함 하고 있다. 3) 경로 예측값과 관측값의 편차(residual), 편차 분산(residual covariance)를 연산한후이 값을 문턱값(gate threshold)과 비교하여 유효 관측 조합(feasible matrix)을 생성한다. 4) JPDA를 이용한관측자료와 예측 결과에 대한 연관도 추출을 위해 유효관측 조합에서 발생할 수 있는 모든 경우의 수와 베이즈 정리를 이용하여 관측값과 예측값이 연관되는 사건의 확률을 계산한다. 5) JPDA로 얻은 결과 자료를 이용하여 칼만 업데이트를 위해 계산된 사건의 확률값을 가중치로 적용하여 예측값을 보정한다. 6) 추적 확정 및 탈락으로 M out of N rule을 이용하여 허위 추적 후보군 탈락 및 유효 후보군 추적 확정을 수행한다. 검증 횟수(N)와 확정 기준(M)은 관측 장비 및 관측 환경에 따라 결정한다.

5) 미확인(불법) 선박탐지

AIS로부터 수집된 선박 정보는 미확인 선박을 탐지하거나, 각 플랫폼으로부터 분석된 선박 탐지 정확도를 분석하는데 사용된다(Chaturvedi et al., 2012; Lee et al.,2012; Pelich et al., 2015). 지상자료(AIS 혹은 HF 레이더)에서 미확인되지만 위성자료에서 확인되는 선박 탐지를 위한 매칭은 점대점(Point to Point)와점대 경로(Point to track) 방법, 경로 대 경로(Track to track)으로 크게 나눌 수 있다. 선박경로의 경우 하나의 SAR 영상에서 탐지된 선박의 위치로 만들 수 없기 때문에 경로 대 경로의 경우 간단한 데이터 연결을 넘어서 데이터 신뢰성을 평가한 다음 가장 가능성이 높은 선박 추정치를 업데이트하는 추적 접근법에 의존한다. 따라서, 본 연구에서는 점대점 방법과 점 대 경로 방법에 대해 알아보고 그 중 처리속도와 매칭률이 높은 점대점 알고리즘을 구현하여 분석하였다. 개발/개선된 점대점 알고리즘들은 두 개의 점군들을 배열하는 것이 먼저 필요하다.하나의 세트는 SAR 이미지의 선박 중심점이고, 다른 하나는 AIS데이터의 선박 위치 정보이다. 이 때, 각 포인트들은 서로 독립적이고, 포인트의 이전 위치들은 고려되지 않고 매칭을 수행한다.

3. 시나리오 구성을 위한 현장 실험

연구지역은 대한민국 충남 태안군 근흥면 신진도리의 신진항 서측해안과 충남 서천군장항읍의 홍원항 서측해안이다. 현장조사는 2017년 9월 25일, 2018년 10월 3일, 2018년 10월 16일, 2019년 6월 25일부터 26일 수행되었다. 현장조사는 세종대학교, 군산대학교, 서울시립대학교와 해양과학기술원이 참여하였으며 각각 KOMPSAT-5, HF레이더, 무인기 등의 플랫폼을 이용하여 조사를 수행하였다. 2019년 6월 25일 부터 6월 26일까지 2일간 충청남도 서천군 홍원항 서측에 위치한 연도를 중심으로 두개의 선박을 임차하여 통합 현장 실험을 수행하였다.Table 4는 통합 현장 조사에 사용된 선박의 크기와 예상되는 영상의 범위 안에서 이동한 선박의 방향과 속도이다. 6월 26일은 우천으로 인하여 선박운항이 불가하여 통합현장조사가 불가하였으며, KOMPSAT-5 위성 영상만 획득하였다.

Table 4. ShipspeedanddirectionestimatedfromKOMPSAT5 data on 25, June. 2019

1) KOMPSAT-5 위성자료 수집

획득된 KOMPSAT-5 위성자료는 6월 25일 18시 19분, 입사각 50.34°, 6월 26일 18시 16분, 입사각 53.94° 이다. 6월 통합현장조사에서 획득된 SAR 영상은 Fig. 7(a), (b)와 같으며 영상촬영일의 AIS분포는 Fig. 7(c), (d)와 같다.Fig. 7(a)는 6월 25일에 촬영된 standard모드의 영상으로 영상촬영 영역에 AIS 정보가 있었으나 incidence angle이 약 50°로 높아 고스트가 심하게 발생하였다. 6월 26일은 기상상황이 좋지 않아 조사를 수행하지 않았으며 획득된 영상(Fig. 7(b)) 또한 고스트가 발생했고 영역 안에 들어오는 AIS정보 또한 없었다. KOMPSAT-5 위성을 이용한 선박탐지는 획득된 SLC형식의 위성 영상으로부터 SWBD를 이용해 육지 마스킹을 수행하고 선박의 1차 후보군을 추출하는 HVAS알고리즘, 2차와 3차 후보군을 추출하는 SAR 분리기법과 CFAR알고리즘을 통해 선박을 탐지한다(Back et al., 2019). 탐지된 선박은 다시 SAR도플러 파라미터를 이용한 속도추정을 통해 속성정보가 추출되며 AIS데이터와의 매칭을 통해 의심선박 여부를 판단한다.

Fig. 7. KOMPSAT-5 data acquired on 25, Jun. 2019 (a) and 26, Jun. 2019 (b). Ship position on the same time of KOMPSAT-5 data acquisition based on the AIS. AIS based ship position on 25, Jun. 2019 (c) and 26, Jun. 2019 (d).

Fig. 8은 6월 현장조사 SAR영상 선박탐지 수행결과 이다. 25일 영상의 경우 고스트가 심해 선박의 오탐지가많았으며 AIS와의 매칭 또한 잘 수행되지 않았다. 26일 영상에서 또한 좌측의 고스트를 선박으로 오탐지 했으며 AIS정보의 부재로 매칭을 수행 할 수 없었다.

Fig. 8. Result of target detection analysis for the KOMPSAT-5 data acquired on 25, Jun. 2019 (a) and 26, Jun. 2019 (b)

2) 무인기 자료 수집

1차 비행은 6월 25일 전북 군산시 옥도면 연도리에 위치한 연도에서 DJI Mavic PRO, DJI Phantom 4 RTK의 비행을 수행하였다. 통합 현장조사를 위해 공간적인 범위가 겹치는 지역으로, 무인기 이착륙지역을 설정하고자 하였지만, 연도 현장조사 결과 고정익 무인기 이착륙이 가능한 공간이 존하지 않았기 때문에 추가로 해오름 관광농원(항공대 이착륙장소)을 선정하였다(Fig. 9).

Fig. 9. Test site and flight plan route for fixed-wing UAV(green line) and boundary of acquired KOMPSAT5 data (red box).

비행계획은 각 테스트 베드로 선정된 지역 내의 이륙 지점으로부터 반경 2 km 이내 영역으로 선정하며, 비행고도는 300 m 이내로 진행되었다. 태양광 고정익 무인기은 해오름관광농원에서 비행을 수행하였다. DJI Mavic PRO는 7회, DJI Phantom 4 RTK는 3회, 태양광 고정익 무인기는 2회 비행을 하였으며, DJI Mavic PRO와DJI Phantom 4 RTK는 PIX4D capture를 통해 비행경로를 제작하였으며 태양광 고정익 무인기는 Google Earth를 통해 KML로 비행경로를 제작하였다(Fig. 10). 취득된 데이터의 구성은 Table 5과 같으며 센서 별로 취득된 영상의 공간해상도와 촬영 범위 등의 정보를 확인할 수 있으며, 비행에서 취득된 샘플 영상은 Fig. 11과 같다.

Table 5. Summary of the UAVs data acquisition

Fig. 10. Real flight paths for fixed-wing UAV during the field survey.

Fig. 11. Acquired sample images from the mounted optic and thermal sensor during the field survey. (a) Phantom4 RTK optic, (b) Mavic pro optic, (c) Solar fixed-wing UAV with optic, (d) Sikar fixed-wing UAV with thermal.

3) HF 레이더 자료 수집

서천 및 말도에 설치된 25MHz HF 레이더 상시감시망을 이용하여 자료를 수집하였다. 선박탐지거리 및 탐지율 조사를 위해 실시한 2019년 6월 18일 단독 실험 및 6월 25~26일 통합현장조사 수행 때 사용한 선박의 이동 경로는 Fig. 12와 같다. CSQ 자료(256초 간격)는 실시간 제공되고, AIS 자료는 5분 간격으로, Noise floor, S/N ratio 10분 간격으로 제공된다.

6월 현장 테스트에서는 CSQ 상의 노이즈가 높은 상태였다. 선박의 이동 경로는 레이더의 시선방향과 시선 방향에 수직인 방향으로 선정하였다. 사전에 실시한 현장 테스트 결과에서 RCS가 작은 선박의 경우 동일한 거리에 있는 큰 선박 신호에 묻히는 일이 발생하여 RCS를 높이기 위해 안테나를 4개 이상 추가로 설치하였다. 통합현장조사에서는 선박 검출의 결과가 오전과 오후에 큰 편차를 보였다. Table 6을 보면 오전에는 검출률이 43%대에 이르렀고 오후에 들면서 급격히 나빠져서 16%대를 기록하였다. 오전과 오후의 선박검출이 차이를 보이는 것은 RDM 영상(Fig. 13)에서 보는 바와 같이 16시 이후부터 노이즈가 증가하여 선박검출에 영향을 주었기 때문인 것으로 분석되었다. Fig. 14는 각 시간대의 RDM 영상에서 추출된 선박들을 지도상에 표출한 결과이다.

Fig. 12. Moving route for ship tracking during the field survey

Table 6. Ship detection rated by HFR during Jun. 2019

Fig. 13. Ship detection on the RDM during morning (left) and afternoon (right)

Fig. 14. Ship locations detected from HFR and AIS in the morning (left) and afternoon (right)

4. 다중 플랫폼 연계를 통한 선박감시 시나리오

다중플랫폼을 이용하여 구축된 정보를 이용하여 가상의 선박감시 시나리오를 구성하고자 하였다. 위성영상, HF 레이더, AIS, 무인기 플랫폼으로부터 수집되는 자료의 시·공간 관측 능력을 중심으로 장단점을 정리하면 Table 7과 같다. 각 플랫폼별 관측 특성에 기반하여 미확인 선박을 탐지하고 모니터링하기 위한 감시체계를 구축할 수 있다. 상시감시체계 구축이 가장 좋으나, 현실적으로 상시감시 할 수 있는 수단이 현재로써는 없다. 다만 HF 레이더 자료를 이용한 상시감시체계를 구축할수 있으나, 공간해상도의 한계로 인해 아직까지는 유용한 수단으로 활용되는데 매우 제한적이다. 다만 매우 큰 선박은 경우는 적용 가능하다.

Table 7. Spatial and temporal characteristics of each platform for ship monitoring

특정 시점에서의 이벤트 감시는 인공위성 자료 또는 무인기 자료를 이용하여 수집할 수 있으며, 이로부터 선박탐지 알고리즘을 적용하여 선박 탐지 및 식별을 수행한다(Fig. 15). 탐지된 선박은 AIS 데이터와 매칭을 수행하여 선박의 위치와 속성정보 등을 통해 불법선박의 유무를 판단한다. 위성으로부터 탐지된 불법 선박의 경우에는 세부적인 정보 수집 및 확인을 위해 현장에 무인기가 투입될 수 있다. 위성관측 시간과 무인기의 현장 도달 시간 차에 의한 선박 이동을 고려하기 위해 위성영상으로부터 선박위치와 함께 추출된 선박의 이동방향 및 속도를 고려한 위치추정 모델에 대한 고려가 필요하다. 위성에서 탐지된 불법선박 중 HF 레이더 자료와의 대조를 통해 HF 레이더 자료를 이용한 트래킹이 가능한 경우 트래킹을 통한 선박 이동에 대한 정보가 추가적으로 무인기에 전달될 수 있다. 무인기에서 획득되는 실시간 송출 촬영영상을 통해 사용자가 최종적으로 불법 선박의 여부를 판단하고 대비 및 대응을 한다. 한편, HF레이더 자료와 AIS 자료를 이용한 상시감시 시스템으로부터 검출된 불법 선박의 경우 무인기 출동 요청을 통해 현장감시를 수행할 수 있으며, 자료여부에 따라 위성자료가 역으로 검증되는데 활용될 수 있다. Fig. 16은 위성영상, HF 레이더, AIS, 무인기 플랫폼을 연계한 상시감시체계와 이벤트 감시에 대한 전반적인 선박 통합 감시 형태를 보여주고 있다. 몇 가지 구체적인 시나리오에 대한 자료처리 흐름도는 다음과 같다.

Fig. 15. Schema for ordinary surveillance and event surveillance system the links to satellite, HFR, AIS and UAV.

Fig. 16. Flow chart for the maritime surveillance based on the multi-platform ship integration analysis.

1) HFR/AIS/(위성)/무인기 연계 시나리오 -상시감시체계

위성은 감시 시간의 제약이 있기 때문에 상시 감시를 위해 HF 레이더와 무인기 간의 연계 시나리오도 작성하였다(Fig. 17). HF 레이더/무인기 시나리오에서는 HF레이더가 최초 선박 감지를 수행한다. HF 레이더가 영해내의 지역을 상시 감시하고 있다가 AIS 자료를 이용하여 이상선박으로 의심되는 선박을 탐지하면 무인기에 탐색할 정보를 제공한다. 위성영상이 가용한 경우,HF 레이더로부터 탐지된 이상선박은 무인기 탐지로 전환되기 전에 필요시 추가 확인 과정이 수행될 수 있다.무인기는 탐색 지역으로 이동하여 선박을 타겟팅하고 이상 선박여부를 판별한다. 이상 선박임이 밝혀지면 무인기를 통해 정밀한 감시를 수하고, 무인기가 기상/급유 등의 이유로 선박 추적이 불가능해 질 경우 HF 레이더가 선박의 추적을 대신 수행하며 무인기 감시가 다시 가능해 지면 HF 레이더로부터 정보를 전달받아 정밀 감시를 수행한다.

Fig. 17. Scenario related HFR and UAV.

2) 위성/AIS/(HFR)/무인기 연계 시나리오 -이벤트 감시체계

다중 플랫폼간의 연계를 위해 위성/HF 레이더/무인기가 연계하는 시나리오를 작성하였다(Fig. 18). 위성/HF 레이더/무인기 시나리오에서는 먼저 위성이 민감지역 또는 외곽 경계 지역의 선박을 탐지하여 정보를 HF 레이더로 전달한다. 전달하는 정보는 위치, 속도,Heading 등으로, 이를 이용하여 HF 레이더에서는 선박의 궤도정보를 추출하고 AIS와 비교하여 이상 선박인지를 판별하는 작업을 수행한다. 이상 선박으로 판별되면 선박의 정보를 무인기에 제공하여 무인기가 이상선박을 탐지할 지역을 지정한다. 무인기는 해당 지역으로 이동하여 이상선박을 탐지하고 정밀 감시를 수행한다.

Fig. 18. Scenario related HFR. UAV and satellite data.

5. 선박감시 모니터링을 위한 시스템 구축

선박감시를 위한 자료(CSQ, HF 레이더 운영진단(diagnostic) 자료, AIS 자료)는 연속적으로 생산, 검토 및 저장되고, 이를 이용하고자 하는 공동 연구팀의 요청이 있을 시 즉시 제공되었다. AIS 자료는 어청도와 서천에 설치된 AIS 수신 장치를 통해 획득되었고, 두 곳의 수신자료는 시간순서로 재정리하고 중복된 자료를 선별한 후 매 1일간의 자료를 일자명의 하부 디렉토리에 저장 저장하였다. 선박정보는 MMIS에 따라 개개의 파일로 저장하였다. MMSI는 수신된 대부분의 선박에서 제공하고 있으나 선박의 제원(길이, 폭, 높이 톤수 등)은 소형선박(50톤 미만의 어선 등)일 경우 대부분 생략되어 있었다.

선박탐지 결과 및 AIS 선박 정보, 기반자료(레이더 관측소 위치 등)를 지도에 시각화 하였다. 선박탐지 통합분석 시스템으로부터 특정일자의 전 지역 1차 선박탐지결과 및 2차 선박탐지결과 확인하고, AIS 선박 정보는 취득시간, MMSI, 선박 종류, 타입, 크기 등을 확인한다(Fig. 19). 1차 선박탐지 결과에서는 취득시간, 감시계획 정보, 플랫폼/센서 정보 등을 확인되고, 2차 선박탐지 결과는 취득시간, 기준 관측자료, 대상 관측자료, 융합방법 등을 확인된다(Fig. 20). 특정 선박탐지 결과의 탐지객체를 지도와 연계하여 도시하여 위치정보 및 상세 속성정보 확인이 가능하다. 다중 플랫폼으로부터 추
출된 선박결과를 융합하여 선박의 위치 및 특성정보 등확인이 가능하다(Fig. 21).

Fig. 19. Check AIS vessel information at a specific time.

Fig. 20. Visualization processing for ship detection by HFR.

Fig. 21. Information about the ship location and ship’s characteristics from the multi-platforms.

다중 플랫폼의 1차 선박탐지 결과로부터 융합을 통하여 2차 선박탐지 통합분석 진행한다. 2차 선박탐지를 통해 선박추적, 불법선박 탐지가 가능하다. 불법선박탐지 위치에 대해 1차 감시결과 및 2차 감시결과를 통하여 관심지역 집중관측을 진행한다. 선박탐지에 대한 상시/긴급 감시계획 수행 정보 및 감시계획의 위치정보,상세정보 확인이 가능하다. 불법선박 발생 집중관측 분석을 진행하고 불법선박 탐지 및 이동방향의 위험도를 통하여 운영자에게 위급성 알림 전달하게 되고, 운영자는 알림을 통해 실시간 불법선박 이동 추적결과 확인한다(Fig. 22). 이 때, 무인기의 경우 각 소티별 모자이크 영
상을 개별 조회가 가능하다.

Fig. 22. Notification for detected abnormal vessels in intensive observed area

6. 결론

선박 감시에 활용 가능한 다양한 플랫폼(인공위성,무인기, HF 레이더, AIS)을 이용하여, 국내 해양환경에 맞는 광역적, 선제적, 공간적, 실시간적인 통합감시시스템 구축을 위한 연구가 수행되었다. 다중플랫폼을 이용한 선박감시 시나리오 구축을 위해, 각 플랫폼으로부터수집된 자료는 고도화된 자료처리를 통해 선박위치, 선박속도, 선박 이동방향, 실시간 지오레퍼런싱 및 선박트래킹 등의 정보가 산출되었다. SAR 영상, 무인기 영상으로부터는 특정 시간에서 높은 공간해상도를 가지고 선박위치 및 속성정보가 추출되었으며, HF 레이더는 연속적인 시간에서 낮은 공간해상도를 가지고 선박위치 및 트래킹 정보가 분석되었다. AIS 자료는 선박 감시를 위한 기준자료로써 각종 플랫폼에서 관측된 선박의 불법 여부를 확인하는데 사용되었다.

다중플랫폼을 이용하여 구축된 정보를 이용한 가상의 선박감시 시나리오는 각 플랫폼별 시·공간 관측 특성을 고려하여 상시감시 시스템과 이벤트 감시 시스템으로 구성되었다. HF 레이더 자료와 AIS 자료를 이용한 상시감시 시스템은 HF 레이더 자료의 선박 트래킹 기술을 사용하여 구축이 가능하지만 아직까지 공간해상도의 한계로 인한 탐지 가능한 선박 크기 제한 및 정확도의 한계가 있다. 그러나, 인공위성 SAR 자료를 사용한 이벤트 감시 시스템은 선박위치 뿐만 아니라 선박속도,이동방향에 대한 정보를 이용하여 무인기 감시체계로의 전환을 위해 활용되거나, HF 레이더 자료를 이용한선박 트래킹이 가능할 경우 트래킹 정보 또한 무인기 감시체계로의 전환에 주요한 정보로 활용될 수 있다.

시나리오 구성을 위한 실험을 위해 2019년 6월 25일부터 6월 26일까지 2일간 충청남도 서천군 홍원항 서측에 위치한 연도를 중심으로 두 개의 선박을 임차하여 통합 현장 실험을 수행하였다. 이로부터 KOMPSAT-5SAR 영상, 무인기 영상, HF 레이더 자료 및 AIS 자료가 성공적으로 수집되었고 각각 개발된 알고리즘을 적용하여 분석되었다. 수집된 자료와 분석된 자료는 개발된 선박감시 모니터링 시스템에 구축되었으며, 기반자료(레이더 관측소 위치 등) 위에 SAR 선박탐지 결과, AIS선박 정보, 탐지된 불법선박 정보, 무인기 영상 및 선박 탐지 결과, HF 레이더 탐지 선박 및 트래킹 정보가 시각화 되었다. 개발된 시스템은 다중 플랫폼으로부터 지속적으로 수집된 자료 및 분석 결과 구축을 통한 가시화뿐만 아니라 추후 상시 및 이벤트 선박감시 시나리오를 구현하는 데에도 기반이 될 것이다.

사사

이 논문은 해양수산부 재원으로 한국해양과학기술 진흥원의 지원을 받아 수행된 연구(국가해양영토 광역감시망 구축 기반연구)이며, 이에 감사드립니다.