DOI QR코드

DOI QR Code

Ship Detection Based on KOMPSAT-5 SLC Image and AIS Data

KOMPSAT-5 SLC 영상과 AIS 데이터에 기반한 선박탐지

  • Kim, Donghan (Master Student, Department of Geoinformation Engineering, Sejong University) ;
  • Lee, Yoon-Kyung (Senior Researcher, Department of Energy Resources Engineering, Sejong University) ;
  • Kim, Sang-Wan (Associate Professor, Department of Energy Resources Engineering, Sejong University)
  • 김동한 (세종대학교 지구정보공학과 석사과정생) ;
  • 이윤경 (세종대학교 에너지자원공학과 선임연구원) ;
  • 김상완 (세종대학교 에너지자원공학과 부교수)
  • Received : 2020.04.23
  • Accepted : 2020.04.23
  • Published : 2020.04.30

Abstract

Continuous monitoring and immediate response is essential to protect the national maritime territory and maritime resources from the activities of illegal ships. Synthetic Aperture Radar (SAR) images with a wide range of images are effective for maritime surveillance asthe weather and day-night conditions rarely affect to image acquisition. However, an effective ship detection is not easy due to the huge data size of SAR images and various characteristics such as the speckle noise. In this study, the Human Visual Attention System (HVAS) algorithm was applied to KOMPSAT-5 to extract the initial targets, and the SAR-Split algorithm depending on the imaging modes was used to remove false alarms. The detected targets were finally selected by the Constant False Alarm Rate (CFAR) algorithm and matched with the ship's Automatic Identification System (AIS) information. Overall, the detected targets were well matched with AIS data, but some false alarms by ship wakes were observed. The detection rate was about 80% in ES mode and about 64% in ST mode. It is expected that the developed ship detection algorithm will contribute to the construction of a wide area maritime surveillance network.

국가해양영토에서 불법어업활동을 하는 어선으로부터 해상자원과 영토를 보호하기 위해 지속적인 모니터링과 즉각적인 대응은 필수적인 요소이다. Synthetic Aperture Radar (SAR) 영상은 넓은 촬영 범위를 가지고 있으며, 기상과 주야 조건에 영향을 받지 않아 광역적인 해상 모니터링에 효과적이다. 그러나 SAR 영상의 데이터 크기와 스펙클 노이즈 등 다양한 특성으로 인해 처리속도와 탐지율이 높은 선박탐지 알고리즘 개발은 쉽지 않다. 본 논문에서는 국내 최초의 X-band SAR 위성인 KOMPSAT-5에 적합한 선박탐지 알고리즘을 개발 적용하였다. 효율적인 선박탐지를 위해 선박탐지 알고리즘은 Human Visual Attention System (HVAS), SAR-Split, Constant False Alarm Rate (CFAR) 알고리즘의 특성을 융합하여 적용했다. 또한, SAR 영상의 관측모드 별 특성을 고려한 SAR-Split 알고리즘 적용을 통해 탐지율을 향상시켰다. SAR 영상으로부터 탐지된 선박은 Automatic Identification System (AIS) 데이터와의 매칭을 통해 탐지율 분석이 수행되었다. 탐지된 선박은 AIS 자료와 전반적으로 잘 매칭되었으며, SAR 영상의 모드 별 특성을 고려하여 적용했을 때 보다 향상된 탐지율을 보였다. 탐지율은 Enhanced Standard (ES) 모드에서 약 80%, Standard (ST) 모드에서 약 64%의 결과를 보였다. 선박 탐지결과에서 발생한 대부분의 오탐지는 선박의 이동으로 발생하는 기포항적, AIS의 위치오차 등으로 발생하였다. 개발된 선박탐지 알고리즘은 대한민국 국가해양영토 광역 감시망 구축에 기여할 것으로 기대된다.

Keywords

1. 서론

육상자원이 한정적임에 따라서 해양자원에 대한 관심과 중요성은 증대되고 있으며 이에 따라 불법어업활동을 하는 어선 또한 증가하는 추세이다. 국가해양영토에서의 불법선박의 관리는 자원 뿐만 아니라 군사적 목적으로도 중요한 문제이다. 미국, 캐나다, 일본 등의 선진국에서는 기상조건과 주야조건에서의 장점을 갖는SAR(Synthetic Aperture Radar) 영상을 이용한 선박 감시시스템을 갖추고 있다(Brusch et al., 2011; Vachon et al., 2014). 그러나 대한민국은 아직 체계적인 선박 감시 시스템을 갖추고 있지 않고 있으며 범위 또한 한정적이므로 선박 감시 시스템 개발이 필요한 실정이다(Ryu et al., 2018). KOMPSAT-5는 한국항공우주연구원에서 개발한 대한민국 최초의 X-band SAR 위성이다. X-band SAR위성은 파장이 약 3.2 cm로 촬영된 영상이 일반적으로 약 3 m 이내의 해상도를 가져 선박탐지에 용이하다. 선박 모니터링은 KOMPSAT-5 SAR 위성영상과 선박의 위치와 정보를 가지고 있는 AIS (Automatic Identification System) 데이터와의 통합을 통해 적용 가능하다.

선박 모니터링에서 기초가 되는 선박탐지는 선박 자체를 탐지하는 방법과 선박의 이동으로 생기는 기포항적을 탐지하는 방법으로 구분된다. 선박의 기포항적을 탐지하는 방법은 선박 자체를 탐지하는 방법보다 알고리즘이 복잡하고 정지한 선박에서는 탐지가 어렵다는 단점이 있다. 반면에 선박 자체를 탐지하는 방법은 SAR영상에서 선박의 후방산란 값이 바다와 기포항적보다 훨씬 높게 나타나 탐지에 용이하다(Amoon et al., 2013).

선박탐지 알고리즘은 이전부터 많은 개발이 수행되어 왔지만 탐지 정확도와 처리속도 모두를 충족시키는 것은 여전히 도전적인 문제이다. 선박탐지에 주로 사용되는 CFAR (Constant False Alarm Rate) 알고리즘은 윈도우를 픽셀 별로 처리해 타겟의 유무를 판단하는 알고리즘이다(Gao et al., 2008). CFAR 알고리즘은 현재도 가장 많이 사용되고 있으며 윈도우에 사용되는 분포에 따라 높은 탐지 정확도를 갖는다. 그러나 전체 영상에 대해 한 픽셀씩 처리하기 때문에 속도가 매우 느리다는 단점을 가지고 있다. 이를 보완하기 위해 한번에 다중 픽셀로 처리하는 MCA (Multi-Cell-Averaging) CFAR 알고리즘이 개발되었다(Song et al., 2010).

SAR SLC (Single Look Complex) 영상은 위성이 일정 시간 동안 합성한 영상의 정보를 가지고 있는 영상이다. SAR-Split 알고리즘은 합성된 SAR SLC 영상을 주파수영역으로 변환해 분리하는 기법이다. SB (Split-Beam)는 SAR SLC 영상을 비행방향으로 분리하는 알고리즘으로 분리된 영상 간에 시간차를 갖는 특성을 가진다(Brekke et al., 2012). Iehara et al.(2001)은 비행방향으로 분리한 영상의 교차상관분석을 통해 선박 탐지를 수행하였다. SS (Spectrum-Split)는 영상을 거리방향으로 분리하는 알고리즘으로 분리된 영상 간 주파수의 차이를 가지고 있으며 또한 선박 탐지에 적용할 수 있다(Marino et al., 2015). SAR-Split을 통한 선박탐지는 클러터에서 발생하는 오탐지를 효과적으로 제거할 수 있지만 처리시간이 오래 걸린다는 단점을 가지고 있다.

PCT (Pulsed Cosine Transform) 알고리즘은 영상에서 주변부 보다 눈에 띄는 물체를 부각시키는 알고리즘이다(Yu et al., 2009). Amoon et al.(2013)은 SAR 영상에서 선박이 바다에 비해 밝은 반사값을 갖는 특징과 PCT를 융합하여 선박탐지를 하는 HVAS (Human Visual Attention System) 알고리즘을 개발했다. HVAS 알고리즘은 퓨리에 변환을 이용하기 때문에 탐지속도가 매우 빠르다는 장점을 가지고 있지만 탐지 정확도와 오탐지율을 고려한 임계 값 설정이 어렵다는 단점을 가지고 있다.

본 논문에서는 대한민국의 X-밴드 SAR위성인KOMPSAT-5에 Human Visual Attention System(HVAS)알고리즘을 적용해 초기 타겟을 추출하고 영상분리 알고리즘 처리를 통해 선박탐지를 수행하고자 한다. HVAS를 통해 검출된 타겟에 Constant False Alarm Rate(CFAR)알고리즘을 적용하여 2차검출을 하고 선박의 Automatic Identification System(AIS) 정보와의 매칭을 통해 탐지율을 알아보고자 한다.

2. 연구지역 및 데이터

본 연구의 연구지역은 대한민국 태안군 서측 해안을 대상으로 하였다. 태안군 서측 해안은 계절에 따른 어장이 잘 형성되고 군산항과 신진항으로부터 여러 도서지역을 연결하는 항로가 있어 크고 작은 선박의 이동이 잦은 지역이다(Fig. 1) (KSA, 2009; Kim et al., 2018).

OGCSBN_2020_v36n2_2_365_f0001.png 이미지

Fig. 1. Research area and acquired KOMPSAT-5 data.

1) KOMPSAT-5 SAR

선박탐지를 위하여 본 연구에서는 KOMPSAT-5 SLC 영상을 사용하였다. KOMPSAT-5는 대한민국 최초의X-band SAR 위성으로 DEM 제작, 지도제작, 변화탐지 그리고 타겟 탐지 등 많은 분야에 응용되고 있다. KOMPSAT-5는 일반적으로 약 1 m에서 3 m의 해상도를 가지며 모드에 따라 다양한 영상특성을 갖는다(KARI, 2014)(Table 1).

Table 1. Overall Performance requirements of KOMPSAT-5

OGCSBN_2020_v36n2_2_365_t0001.png 이미지

선박탐지 분석을 위해 KOMPSAT-5 위성은 2017년9월 25일 3장, 2018년 10월 3일 3장총 6장의 영상을 사용하였다. KOMPSAT-5 영상의 편광은 모두 HH이며 촬영모드는 ST (Standard) 모드와 ES (Enhanced Standard)모드 두 가지로 획득하였다. 본 연구에서 획득한 KOMPSAT-5 영상의 ST 모드는 거리방향 해상도가 비행방향 해상도 보다 높으며, ES 모드는 비행방향 해상도와 거리방향 해상도가 비슷한 특징을 가지고 있다. 또한 ST 모드와 ES 모드의 거리방향 해상도가 약 2배의차이를 보이는 특징을 가진다. 이는 ES 모드의 거리방향 해상도를 향상시키기 위해 촬영에 사용하는 빔폭을ST 모드의 50MHz 보다 약 2배 좁은 120MHz로 사용하기 때문이다. 획득된 영상에 대한 자세한 내용은 Table 2와 같다.

Table 2. List of KOMPSAT-5 images used in the study

OGCSBN_2020_v36n2_2_365_t0002.png 이미지

2) AIS

AIS는 선박 안전 및 보안 강화를 위해 IMO에서 2002년부터 국제 협약에 따라 도입한 장비이다. 국제해사기구에서는 e-Navigation의 국제적 표준화의 일환으로 2006년부터 50톤 이상의 선박에 AIS를 의무적으로 설치하도록 규정하고 있다. 이에 따라 해양수산부는 어선안전설비기준에서 총 톤수 10톤 이상 그리고 장축의 길이가 45 m 이상인어선은 AIS를의무적으로장착하도록고시하였다(MOF, 2016). 또한 선박위치발신장치의 설치기준 및 운영 등에 관한 규정에서 10톤 이하의 선박에 대해서도 AIS, HF 무선위치발신장치 또는 위성통신장치를 갖추어야 하도록 고시하였다(MOF, 2017). AIS를통해 선박의 MMSI, 위치, 속도, 방향 등의 정보가 지상수신기 또는 위성수신기로 수신된다(Kim et al., 2018).

본 연구에서는 현재 군산대학교에서 운용중인 지상수신 AIS 데이터를 사용하였다. 획득된 AIS는 현장조사일자의 일별 데이터이며 탐지된 선박과의 매칭을 통한 불법선박여부, 오탐지, 미탐지 등의 평가기준으로 사용된다(Chaturvedi et al., 2012).

3. 연구방법

SAR 영상으로부터 효율적인 선박탐지를 위해 본논문에서는 HVAS, SAR-Split, CFAR 알고리즘의 장단점을 고려하여 복합적인 과정을 개발 적용하였다(Fig. 2). 선박탐지를 적용하기에 앞서 SAR 영상내에 육지(섬포함)가 포함되어 있을 경우, 불필요한 오탐지와 더불어 HVAS 알고리즘의 성능향상을 위해 육지지역 마스킹을 수행하였다. 육지지역 마스킹시 자료처리의 효율성을 위해 수체 정보를 벡터 형식으로 저장한 SWBD (SRTM Water Body Data) 파일을 사용하였다. 본 연구에서 사용되는 SAR 영상은 SAR-Split 단계의 자료처리를 위해 SLC 레벨의 자료가 사용되므로, 육지 마스킹을 위해 지리좌표계의 파일을 SLC 영상의 레이더좌표계로 변환하는 과정이 필요하다.

OGCSBN_2020_v36n2_2_365_f0002.png 이미지

Fig. 2. Data processing flow chart for ship detection from KOMPSAT-5 SLC data.

선박탐지 알고리즘은 먼저 탐지속도가 빠른 HVAS 알고리즘을 사용하여 SAR 영상 전체에서 1차 선박 후보군을 추출한다. 이때 비록 오탐지율이 높더라도 영상내에 포함되어 있는 선박의 탐지율을 높이기 위해 낮은 임계값이 사용된다. 다음으로 1차 선박 후보군의 위치를 기준으로 생성된 타겟칩에 SAR-Split 알고리즘을 적용하여 클러터에서 오탐지 된 타겟칩을 제거한다. 이렇게 2차로 추출된 선박 타겟칩에 최종적으로 CFAR 알고리즘을 적용하여 오탐지 된 타겟칩을 추가적으로 제거하고 남은 타겟이 탐지된 선박으로 결정된다.

SAR 영상으로부터 추출된 선박은 CPD 알고리즘을 통해 AIS 데이터에서 추출된 선박과 매칭된다(Fig. 2). 이때 SAR에서탐지되었지만 AIS 정보가 부재한 선박은 불법선박으로 판단할 수 있다. 제안된 선박탐지 알고리즘은 기존의 영상 전체를 처리하는 알고리즘보다 향상된 처리속도 효과를 위해 1차 HVAS 알고리즘 적용을 통해 추출된 타겟칩의 국지적 윈도우에서만 수행한다.

1) HVAS (Human Visual Attention System)

SAR 영상에서 해양은 선박에 비해 작은 후방산란계수를 가지지만, 선박은 이중 또는 다중 산란으로 인하여 해양 클러터에 비해 큰 후방산란계수를 갖는다. 따라서 SAR 영상을 이용한 선박탐지에서는 해양과 선박의 후방산란계수의 차이를 통해 선박을 검출한다(Pichel et al., 2004; Lee et al., 2012). 선박 모니터링에 있어서 중요한 요소는 탐지 정확도와 처리 속도이다. 선박탐지에 주로 사용되는 CFAR 알고리즘은 탐지 정확도는 높으나 자료처리속도가 낮다는 단점을 가지고 있다. 2013년에 제안된 HVAS 알고리즘은 CFAR 알고리즘에 비해 정확도와 처리속도가 높은 것으로 알려져 있다. HVAS 알고리즘의 주요 알고리즘인 PCT는 영상에서 눈에 띄는 물체를 인지하는 인간의 시각 시스템의 원리를 이용한 알고리즘으로 SAR 영상에서 클러터에 비해 눈에 띄는 선박의 특성과 결합하여 사용된다(Amoon et al., 2013). 본 연구에서는 SAR 영상에 우선 HVAS 알고리즘을 적용하여 초기 타겟 추출을 수행한다.

HVAS 알고리즘은 크게 전처리단계와 탐지단계로 구분된다. 먼저, 전처리단계에서는 SAR SLC 영상에 육지가 포함된 경우, SWBD를 이용한 육지 마스킹을 수행하고 2 * 2 크기의 multi look 처리를 한다. 이는 HVAS알고리즘 탐지성능향상과 다음 단계에서 수행될 SAR-Split 기법의 입력형식인 SLC로 형식을 통일하여 처리속도를 높이려는 목적이 있다. SWBD는 SRTM으로부터 수체지역의 정보를 벡터 형식으로 만들어 마스킹 시처리속도가 빠른 장점을 가지고 있다(Fig. 3).

OGCSBN_2020_v36n2_2_365_f0003.png 이미지

Fig. 3. Masking land using SWBD.

전처리의 마지막 단계로 SWBD를 통해 마스킹이 수행된 SLC 영상을 동일한 크기의 sub-image로 분할한다. Sub-image의 크기는 영상에서 나타나는 선박의 크기,선박 사이의 최소거리, 위성영상의 해상도에 따라 고려된다. 각 sub-image는 3 * 3크기의 moving window를통해 계산된 값을 중앙 화소에 넣는다.

\(v=\frac{\mu^{2}}{2 \sigma^{2}}\)       (1)

여기서 μ는 평균값, σ는 sub-image 내 모든 픽셀의 표준편차를 말하며 v는 sub-image 안에서 어떤 그룹의 픽셀이 상대적으로 밝은지를 나타내는 값으로 선박이 포함된 sub-image의 경우 표준편차가 작아 v값이 상대적으로 커지게 된다.

탐지단계는 크게 3단계로 구성되며 단계별 수행과정은 다음과 같다. 첫번째 단계에서는 노이즈 감소와 PCT의 성능향상을 위하여 임계값을 계산한 후 영상에서 임계값 보다 작은 화소는 임계값으로 대치한다. 이때, S1은 전처리가 수행된 영상, α는 상수값을 말한다.

Ts = μS1 + (α × σS1)       (2)

\(S_{2}(x, y)=\left\{\begin{array}{c} S_{1}(x, y), \text { when } S_{1}(x, y) \geq T_{s} \\ T_{s}, \quad \text { when } S_{1}(x, y)       (3)

두번째 단계에서는 S2 영상을 DCT (Discrete Cosine Transform) 변환 후 signum 함수를 적용하고 다시 역DCT 변환을 하는 PCT를 수행한다. 생성된 F 영상은 가우시안 필터(G)를 적용해 saliency 영상을 생성한다.

P = sign[DCT(S2)]       (4)

F = DCT-1 (P)       (5)

\(F(x, y)=\left\{\begin{array}{c} F(x, y), \text { when } F(x, y) \geq 0 \\ 0, \quad \text { when } F(x, y)<0 \end{array}\right.\)       (6)

Ssaliency = G * F2       (7)

마지막으로 Ssaliency의 표준편차와 평균을 이용하여 임계값을 구한다. Ssaliency가 임계값보다 큰 경우 선박 화소로 탐지한다. 이때, β는 상수값이며 논문에서 사용한 α와 β는 경험적으로 0.6과 0.7로 설정하였다. 탐지된 화소는 8방향의 군집화를 통해 중심화소를 최종적으로 선박 초기위치로 탐지한다(Kim et al., 2018).

Ts = μSsaliency + (β × σSsaliency)       (8)

2) SAR-Split 알고리즘

HVAS 알고리즘을 통해 탐지된 초기 타겟은 SAR-Split 알고리즘을 통해 1차 검출을 수행한다. SAR SLC영상의 분리는 분리하는 방향에 따라 비행방향에는 SB, 거리방향에는 SS 알고리즘이 사용되며 해당 방향의 해상도가 분리하는 영상 개수에 비례하여 감소한다. 따라서 본 연구에서는 KOMPSAT-5 촬영모드에 따라 비행방향 해상도가 높은 ST 모드에는 Split-Beam 알고리즘, 거리방향과 비행방향의 해상도가 유사한 ES 모드에는 Split-Spectrum 알고리즘을 적용해 해상도 손실을 최소화했다. SAR-Split을 통한 선박탐지는 HVAS 알고리즘을 통해 탐지된 초기 타겟의 위치를 기준으로 분리된 영상을 각각 400 * 400 크기의 타겟칩을 생성하여 교차상관분석을 수행해 탐지시간을 단축시켰다.

 

SAR 영상은 일정시간 동안의 신호를 합성하여 영상을 생성한다. SB 알고리즘은 합성된 SAR 영상의 full azimuth 신호를 sub-reference 신호로 분리하는 것을 말한다(Iehara et al., 2001). SB 알고리즘을 통해 분리된 sub-look 영상은 분리된 개수에 따라 해상도의 손실을 가져오지만 시간차를 가지는 영상을 획득할 수 있는 장점이 있다(Fig. 4).

OGCSBN_2020_v36n2_2_365_f0005.png 이미지

Fig. 4. Split-look images generated from each sub aperture(Iehara et al., 2001).

SB 알고리즘을 이용한 선박탐지는 분리된 sub-look영상의 교차상관분석을 통해 영상 간의 상관성에 따라 수행된다. 파도와 노이즈 등으로 인해 밝게 나타나 타겟으로 오탐지된 클러터의 sub-look 영상은 파도가 시간에 따라 랜덤하게 변하므로 상관성이 없어진다(Fig. 5(a)). 하지만, 선박을 포함하는sub-look 영상은 시간차가 생기더라도 타겟의 밝기값이 남아 있어 높은 상관성을 가지게 된다(Fig. 5(b)). 반면, 본 연구에서는 ST 모드에서 획득된 영상에 비행방향으로 2의 sub-look 영상을 생성하여 선박탐지를 수행하였다.

OGCSBN_2020_v36n2_2_365_f0004.png 이미지

Fig. 5. Correlation of (a) sea clutter and (b) ship target chip.

(2) SS (Split-Spectrum) 알고리즘

비행방향으로 영상을 분리하는 SB 알고리즘과 반대로 SS 알고리즘은 거리방향으로 영상을 분리한다. 이렇게 생성된 sub-look 영상의 경우 거리방향 해상도가 절반으로 떨어지지만, 서로 다른 주파수를 갖는 특징이 있다(Fig. 6). SAR 영상에서 코너리플렉터와 같이 큰 반사를 일으키는 이상적인 포인트 타겟에서는 주파수의 변화가 생겨도 일관성 있는 후방산란계수를 갖는다. SAR영상에서 나타나는 선박은 또한 주변 해양 클러터보다 반사가 많이 발생하는 구조체로 주파수 변화에도 일관적인 후방산란계수를 갖는다.

OGCSBN_2020_v36n2_2_365_f0006.png 이미지

Fig. 6. Flow chart of sub-look extraction (Marino et al., 2015).

일반적으로 SAR 영상의 비행방향과 거리방향 해상도 차이가 크지 않은 경우, 거리방향으로 움직이는 타겟은 도플러 효과로 인해 비행방향으로 이동(Shift)과 번짐(Smearing)이 발생하기 때문에 SB 알고리즘보다 SS 알고리즘이 유리하다(Marino et al., 2015). 본 연구에서는 비행방향과 거리방향 해상도가 유사한 ES 모드의 SAR 영상에 SS 알고리즘을 적용하여 2개의 sub-look 영상을 분리해 선박탐지를 수행하였다. ES 모드의 SAR 영상에서 획득된 동일 선박칩에 대해 SB 알고리즘과 SS 알고리즘을 적용하여 sub-look 영상의 비행방향, 거리방향 TCR (Target to Clutter Ratio)을 분석하였다. 비행방향, 거리방향 TCR은 SB 알고리즘에서 각각 93.64, 88.42을, SS 알고리즘에서는 각각 135.98, 123.39으로 나타났다. 거리방향의 TCR이 전반적으로 높아 교차상관분석 수행시 더 좋은 효과를 가져올 것으로 분석되었다(Fig. 7).

OGCSBN_2020_v36n2_2_365_f0007.png 이미지

Fig. 7. Sub-look images and TCR value of SB (a, b) and SS(c, d).

3) G0 분포 기반 CFAR (Constant False Alarm Rate) 알고리즘

CFAR 알고리즘은 타겟탐지에 주로 사용되는 알고리즘으로 영상에 윈도우를 한 픽셀씩 이동하며 컨볼루션하여 윈도우의 외곽부 픽셀값을 분포에 모델링하여 임계값을 생성하고 중심 픽셀값을 임계값으로 이진화하는 알고리즘이다. CFAR는 이진화에 사용되는 임계값이 지정한 오탐지율에 따라 가변적이라는 장점을 가지고 있다(Liao et al., 2008). 임계값 생성에 사용되는 분포에 따라 탐지성능이 달라지기 때문에 영상 특성에 맞는 분포를 사용하는 것이 중요하다. 동종의 SAR 영상의 클러터에는 Gauss, K, G0 분포를 이종의 경우에는 K, G0분포가 타겟 탐지 좋은 결과를 보이는 것으로 나타났다(Amoon et al., 2013). 본 논문에서는 분포 중, 구현이 비교적 간편한 G0 분포에 기반한 다중 셀 평균 기반 CFAR알고리즘을 적용하였다. 한 픽셀씩 처리하는 CFAR와는 달리 다중 셀 평균 기반 CFAR는 지정한 픽셀 크기로 처리하며 이동하기 때문에 처리속도가 빠르다는 장점을 가지고 있다(Song et al., 2010).

다중 셀 평균 기반 CFAR를 통한 2차 타겟 검출은 앞서 SAR-Split을 통해 검출된 1차 타겟칩에 100 * 100크기의 윈도우를 생성하여 수행하였다. 사용된 중심 픽셀과 외곽부 픽셀의 크기는 각각 2와 11이며 사용된 G0 분포는 다음과 같다.

\(\hat{\alpha}=-1-\frac{n E\left(I^{2}\right)}{n E(I^2)-(n+1) E^{2}(\mathrm{I})}\)       (9)

\(\hat{\gamma}=(-\hat{\alpha}-1) E(I)\)       (10)

\(T=\hat{\gamma}\left(P^{\frac{1}{\hat{\alpha}}}_{f a}-1\right)\)       (11)

여기서 I는 SAR 영상, E는 평균, n은 유효 look 수, Pfa는 오탐지율, T는 임계값 그리고 α는 형태정보를 갖는 파라미터를 의미한다.

4) CPD (Coherent Point Drift) 알고리즘 기반 매칭

선박탐지 알고리즘을 통해 추출된 선박의 위치와 AIS 데이터에 기록된 선박의 위치를 매칭하는 점 대 점 매칭에는 일반적으로 NN (Nearest Neighborhood) 방법이 주로 사용된다. NN은한점에서 설정한 범위 이내의 가장 가까운 점을 매칭시키는 알고리즘으로 단순하고 간편하다는 장점이 있다. 그러나 AIS 데이터의 경우, 초단위부터 길게는 분 단위로 위치가 수신되며 AIS 자체의 수신지연오차를 포함하고 있기 때문에 SAR 촬영시간으로 위치를 보간해서 사용하더라도 오차를 포함하게 된다. 따라서 NN을 이용한 매칭은 정확도가 떨어지며 데이터가 이동(shift)된 경우 정답이 아닌 다른 가까운 점에 매칭이 되는 문제도 발생할 수 있다.

이러한 문제를 해결하기 위해 Zaho et al.(2014)는 2개의점집합의 상관 토폴로지 구조를 이용하는 Non-rigid PPM (Point Pattern Matching)을 사용하였다. CPD는 Non-rigid PPM 중에서 반복을 통해 점 군집이 방향성을 가지고 정답에 이동하는 알고리즘으로 가장 좋은 매칭결과를 보였다(Myronenko et al., 2007). 또한 CPD를 NN과 실제 선박 위치와 AIS 매칭에 적용했을 때 매우 높은 정확도를 보였다(Fig. 8).

OGCSBN_2020_v36n2_2_365_f0008.png 이미지

Fig. 8. The point sets (a) and comparison between NN (b) and CPD (c) (Zhao et al., 2014).

논문에서는 AIS 데이터에 기록된 위치를 SAR 영상촬영시간의 위치로 보간하여 사용했다. 보간 된 AIS 위치와 탐지된 선박위치의 매칭에는 CPD를 적용하고 잔여 오차를 보완하기 위해 NN을 적용하여 매칭을 수행하였다.

4. 연구결과

2017년 7월 25일에 획득된 데이터 3개, 2018년 10월3일에 획득된 데이터 2개에 제안된 선박탐지 알고리즘을 적용하였다. CPD 알고리즘과 NN 알고리즘을 통해 수행된 탐지 선박위치와 AIS 데이터의 매칭결과는 Fig. 9와 같다. 적색사각형은 SAR 영상에서 탐지된 선박의 위치, 청색사각형은 SAR 영상촬영시간으로 보간한 AIS데이터, 녹색사각형은 매칭결과를 나타낸다. NN 알고리즘을 이용한 매칭결과를 보면 SAR 영상에서 탐지된선박과 AIS 데이터 간의 전반적인 이동(shift)로 인하여 매칭이 잘 수행되지 않았다. 이는 SAR 영상에서 이동하는 타겟이 SAR 센서와의 상대속도로 인해 영상의 비행방향으로 이동하는 도플러 변위 때문인 것으로 분석된다. 반면, CPD 알고리즘을 적용한 매칭 알고리즘의 경우 도플러 변위로 이동한 SAR 탐지 위치가 AIS 데이터로 이동되어 매칭이 성공적으로 수행된 것을 볼 수있다.

OGCSBN_2020_v36n2_2_365_f0009.png 이미지

Fig. 9. Detected ships (red box), AIS location (blue box) and matched ships (green box) of NN (a, b) and CPD+NN (c, d).

연구에서 사용된 SAR 영상은 2017년 데이터의 경우, ES 모드로 비행방향과 거리방향의 해상도가 유사한 특징을 가지고 있다. 이러한 경우에는 비행방향을 분리하는 SB 보다 상대적으로 TCR 값이 높은 거리방향을 분리하는 SS를 사용하는 것이 전반적으로 높은 정확도를 보였다. 반면 거리방향의 해상도가 ES 모드의 거리방향해상도보다 낮은 ST 모드의 2018년 데이터는 SS를 적용할 경우 SB 보다 성능이 낮아지는 결과를 보였다. 탐지결과에서 탐지율은 전체 AIS 데이터 중 매칭된 SAR 선박의 개수로 계산했다(Table 3).

Table 3. Detect rate of HVAS-SB-CFAR and HVAS-SS-CFAR

OGCSBN_2020_v36n2_2_365_t0003.png 이미지

일반적으로 SS가 SB보다 높은 탐지율을 보이지만 해상도에 따른 의존도가 큰 것으로 나타났다. 매칭 결과를 보면 알려진 바와 같이 일반적으로 SAR 영상의 비행방향과 거리방향 해상도 차이가 크지 않은 경우, 거리방향으로 움직이는 타겟은 도플러 효과로 인해 비행방향으로 이동(Shift)과 번짐(Smearing)이 발생하기 때문에SB 알고리즘보다 SS 알고리즘이 높은 탐지율을 보인다. Fig. 10은 5번 영상에 대해 SS, SB를 각각 적용한 결과이다. 이때 적색사각형은 탐지된 선박의 위치를, 청색사각형은 SAR 영상촬영시간으로 보간 된 AIS 위치를 그리고 녹색사각형은 탐지된 선박과 AIS 위치의 매칭을 나타낸다. 비행방향보다 거리방향 해상도가 좋지않을 경우 SS 알고리즘을 적용하면 Fig. 10(a)의 황색사각형과 같이 SS의 높은 탐지성능에도 불구하고 거리방향의 해상도 저하로 인해 소형선박을 탐지하지 못하는 경우도 있었다.

OGCSBN_2020_v36n2_2_365_f0010.png 이미지

Fig. 10. Ship detection result of HVAS-SS-CFAR (a) and HVAS-SB-CFAR (b) on scene5.

Fig. 10에서 SAR에서는 탐지했지만 AIS 정보가 없어 매칭이 수행되지 않는 선박들이 존재한다. 이는 Fig. 11과 같이 육지마스킹과 기포항적을 통해 오탐지된 선박을 제외하고 육안 분석을 통해 분석했을 때 소형선박으로 판단되므로 AIS를 끄고 운용중인 선박으로 파악된다(Back et al., 2019). 뿐만 아니라 AIS가 대형선박에 탑재된 경우 AIS 안테나 고가 높고 수신주기와 신호가 양호한 Class-A를 사용하지만 소형선박의 경우 낮은 안테나고와 수신주기가 긴 Class-B를 사용하기 때문에 신뢰도가 낮아진다. 본 논문의 연구지역인 태안군 서측 해안의 경우 소형선박의 이동이 잦아 AIS 신뢰도가 낮아져 오탐지가 발생한 것으로 분석된다. 따라서 선박 탐지율의 정답으로 사용된 AIS의 신뢰도가 떨어지는 문제가 발생하는 한계점이 있으며 소형선박의 단계적인 AIS탑재를 통해 이를 개선할 수 있을 것으로 생각된다. AIS정보는 존재하지만 SAR에서 탐지하지 못한 선박은 모두 AIS 데이터에서 위치정보만 존재하고 크기정보가 부재한 소형선박으로 SAR 영상 해상도의 한계로 탐지하지 못한 것으로 파악된다.

OGCSBN_2020_v36n2_2_365_f0011.png 이미지

Fig. 11. False alarms (red box) caused by land masking (a) and ship wake (b) on Fig. 10(b).

Fig. 11(a)와 같이 전처리 단계에서 육지 마스킹시 사용된 SWBD의 오차로 인하여 오탐지 되는 것으로 나타났다. 또한 Fig. 11(b)와 같이 선박이 빠른 속도로 이동할 때 생기는 기포항적이 SAR 영상에서 밝게 나타나 타겟으로 오탐지 되는 것으로 나타났다. 이러한 오차는 향후 SWBD 파일의 업데이트와 선박의 기포항적 제거알고리즘의 적용을 통해 제거될 수 있을 것으로 생각된다.

5. 결론

본 논문에서는 SAR 영상의 촬영모드 별 특성에 따른 선박탐지 알고리즘을 제안했다. 제안된 알고리즘은SAR 영상으로부터 효율적인 선박탐지를 위해 HVAS, SAR-Split, CFAR 알고리즘의 장단점을 고려하여 복합적인 과정을 개발 적용하였다. 전처리 단계에서 수행한 마스킹은 SAR-Split 알고리즘의 처리형식을 위해 SLC 영상을 사용했다. 이를 위해 벡터형식의 SWBD 파일을 SLC영상의 레이더 좌표계로 변환하여 육지 마스킹을 수행했으며 육지가 성공적으로 제거되었다. 또한, SAR-Split 알고리즘으로 획득된 KOMPSAT-5 영상의 ES, ST 모드에 따라 구분되는 알고리즘을 제안하였다. SAR-Split 단계에서 구분한 ES, ST 모드 별 처리는 SAR 영상의 거리, 비행방향 해상도에 따라 적용했다. 일반적으로 SS 알고리즘이 SB 보다 더 높은 탐지율을 보였으며 거리방향 해상도의 변화에 따라 탐지 성능의 차이를 보였다.

CPD 알고리즘과 NN 알고리즘을 이용한 탐지선박의 위치와 AIS 데이터 간의 매칭은 전반적으로 잘 수행되었지만 AIS 데이터가 부재한 선박 또는 SAR 영상 해상도의 한계로 인한 미탐지 선박으로 탐지율의 저하가 발생했다. 이는 연구지역의 주를 이루는 소형선박이 대형선박보다 AIS 안테나 고가 낮고 수신주기와 신호가불량한 Class-B를 사용해 발생한 것으로 보였다. 따라서AIS 데이터를 이용한 검증을 수행할 때 이를 고려하여야 한다. SAR 영상에서는 육지 마스킹 오차와 선박의 이동을 통해 발생하는 기포항적을 선박으로 오인하여 오탐지가 발생했다. 육지로부터 발생한 오탐지의 감소를 위한 SWBD 파일의 업데이트와 기포항적을 제거하는 선박탐지 알고리즘의 적용이 요구된다.

현재 미국, 캐나다, 일본 등 선진국에서는 X-band와C-band SAR 영상을 이용한 선박 모니터링을 수행하고 있다. 대한민국 해역의 광역적인 선박 모니터링을 위해서는 AIS 뿐만 아니라 X-band SAR 위성인 KOMPSAT-5자료와 융합한 선박탐지 모니터링이 필요하다. 본 논문에서 제안한 KOMPSAT-5의 선박탐지 알고리즘을 통해 향후 대한민국 선박 감시망 구축에 기여할 수 있을 것으로 사료된다.

사사

이 논문은 해양수산부재원으로 한국해양과학기술진흥원의 지원을 받아 수행된 연구(국가해양영토 광역 감시망 구축 기반연구) 이며, 이에 감사드립니다.

References

  1. Amoon, M., A. Bozorgi, and G. Rezai-rad, 2013. New method for ship detection in synthetic aperture radar imagery based on the human visual attention system, Journal of Applied Remote Sensing, 7(1): 071599. https://doi.org/10.1117/1.JRS.7.071599
  2. Back, M., D. Kim, S.-W. Kim, and J.-S. Won, 2019. Two-Dimensional Ship Velocity Estimation Based on KOMPSAT-5 Synthetic Aperture Radar Data, Remote Sensing, 11(12): 1474. https://doi.org/10.3390/rs11121474
  3. Brekke, C., S.N. Anfinsen, and Y. Larsen, 2012. Subband extraction strategies in ship detection with the subaperture cross-correlation magnitude, IEEE Geoscience and Remote Sensing Letters, 10(4): 786-790. https://doi.org/10.1109/LGRS.2012.2223656
  4. Brusch, A.l., S. Lehner, T. Fritz, M. Soccorsi, and B. Schie, 2011. Ship surveillance with TerraSAR-X, IEEE Transactions on Geoscience and Remote Sensing, 49(3): 1092-1103. https://doi.org/10.1109/TGRS.2010.2071879
  5. Chaturvedi, S.K., C.S. Yang, K. Ouchi, and P. Shanmugam, 2012. Ship recognition by integration of SAR and AIS, The Journal of Navigation, 65(2): 323-337. https://doi.org/10.1017/S0373463311000749
  6. Iehara, M., K. Ouchi, I. Takami, K. Morimura, and S. Kumano, 2001. Detection of ships using cross-correlation of split-look SAR images, Proc. of IEEE 2001 International Geoscience and Remote Sensing Symposium, Sydney, NSW, Jul. 9-12, vol. 4, pp. 1807-1809.
  7. KARI (Korea Aerospace Research Institute), 2014. Kompsat-5 Image data manual V1.0, Satrec Initiative, Daejeon, Republic of Korea.
  8. Kim, S.-W., D. Kim, and Y.-K. Lee, 2018. Operational ship monitoring based on integrated analysis of KOMPSAT-5 SAR and AIS data, Korean Journal of Remote Sensing, 34(2-2): 327-338 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2018.34.2.2.3
  9. Lee, K.Y., S.H. Hong, B.Y. Yoon, and Y.S. Kim, 2012. Vessel detection using satellite SAR images and AIS data, Journal of the Korean Association of Geographic Information Studies, 15(2): 103-112. https://doi.org/10.11108/kagis.2012.15.2.103
  10. Liao, M., C. Wang, Y. Wang, and L. Jiang, 2008. Using SAR images to detect ships from sea clutter, IEEE Geoscience and Remote Sensing Letters, 5(2): 194-198. https://doi.org/10.1109/LGRS.2008.915593
  11. Marino, A., M. Sanjuan-Ferrer, I. Hajnsek, and K. Ouchi, 2015. Ship detection with spectral analysis of synthetic aperture radar: A comparison of new and well-known algorithms, Remote Sensing, 7(5): 5416-5439. https://doi.org/10.3390/rs70505416
  12. MOF(Ministry of Oceans and Fisheries), 2016. A fishing boat and Mechanical Standards, Notification No. 2016-13, Ministry of Oceans and Fisheries, Department of Maritime Industrial Technology, Sejong, Republic of Korea.
  13. MOF(Ministry of Oceans and Fisheries), 2017. Regulations on the Installation Criteria and Operation of Automatic Information System for ship, Notification No. 2017-130, Ministry of Oceans and Fisheries, Department of Maritime Industrial Technology, Sejong, Republic of Korea.
  14. Myronenko, A., X. Song, and M.A. Carreira-Perpinan, 2007. Non-rigid point set registration: Coherent point drift, Advances in Neural Information Processing Systems, 32(12): 1009-1016.
  15. Ryu, J.-H., S. Lee, D.-J. Kim, and J.D. Hwang, 2018. Wide Integrated Surveillance System of Marine Territory Using Multi-Platform, Korean Journal of Remote Sensing, 34(2-2): 307-311 (in Korean with English abstract). https://doi.org/10.7780/KJRS.2018.34.2.2.1
  16. Pichel, W.G., P. Clemente-Colon, C.C. Wackermanm, and K.S. Friedman, 2004. Ship and wake detection, NOAA SAR Marine Users Manual, US Department of Commerce, Washington, D.C., USA.
  17. Song, W.Y., S.H. Roh, C.H. Jung, and Y.K. Kwag, 2010. Synthetic aperture radar target detection using multi-cell averaging CFAR scheme, The Journal of Korean Institute of Electromagnetic Engineering and Science, 21(2): 164-169. https://doi.org/10.5515/KJKIEES.2010.21.2.164
  18. Vachon, P.W., L.C. Kabatoff, and L.R. Quinn, 2014. Operational ship detection in Canada using Radarsat, Proc. of 2014 IEEE Geoscience and Remote Sensing Symposium (IGARSS), Quebec City, QC, Canada, Jul. 13-18, pp. 998-1001.
  19. Yu, Y., B. Wang, and L. Zhang, 2009. Pulse discrete cosine transform for saliency-based visual attention, Shanghai, Proc. of 2009 IEEE 8th International Conference on Development and Learning, Shanghai, China, Jun. 5-7, pp. 1-6.
  20. Zhao, Z., K. Ji, S. Xing, H. Zou, and S. Zhou, 2014. Ship surveillance by integration of space-borne SAR and AIS - review of current research, The Journal of Navigation, 67(1): 177-189. https://doi.org/10.1017/S0373463313000659