1. 서 론

항공기의 탑재물 장착 변경 등에 따른 항공기 구조의 안전성을 평가하고, 날개에 걸리는 실제 하중을 파악하기 위해 비행 중 항공기 날개의 변형과 진동 데이터가 매우 유용하다. 개발 중인 기체가 아닌 실제 운용 중인 항공기의 경우 가속도계 등의 센서를 설치하여 비행 시의 데이터를 측정하는 것은 현실적으로 거의 불가능하다.

하지만 최근 이미지 센서 및 컴퓨터의 급속한 성능 향상 및 영상 처리 기법의 발달 등에 따라 영상 기반의 구조물 변형 측정이 가능하게 되었고, 특히 90년대 후반부터 미국과 유럽 등에서는 이러한 기술을 활용하여 구조물의 변형을 측정하기 위해 다양한 방식의 시스템을 개발해 왔다. 이러한 영상 기반의 변위 측정 방식은 영상만으로 구조 전반에 걸친 변위를 직접 계산할 수 있기 때문에 복잡한 해석 모델이나 구조물에 직접적인 센서 장착 과정 등을 거치지 않아도 변형 정보를 획득할 수 있다는 장점이 있다. 해당 방식으로는 NASA 등에서 제안한 PMI(projection moire interferometry)와 SPR(stereo pattern recognition), ONERA 등에서 제안한 IPCT(image pattern correlation technique) 등이 있다(1).

이런 영상 기반 구조 변위 측정 기술을 비행 중인 항공기의 구조 변형 측정에 활용하는 것은 비교적 최근에서야 시도되고 있는데, 독일 DLR 이나(2) 일본 JAXA에서(3) 관련 연구 사례를 발표한 바 있다. 국내에서는 통제된 환경 하에서 헬리콥터의 로터 블레이드나(4) 일반적인 구조물의 변위 측정(5), 진동 측정(6) 등에 영상 기반 구조 변위 측정 기술이 활용된 바 있으나, 아직까지 비행 중인 항공기에 대하여 적용된 바는 없다.

이 연구는 F-16 전투기의 날개 부분에 부착한 마커를 SPR 기법을 활용하여, 일반 스테레오 카메라로 촬영하여 날개의 상대적인 변형을 측정하였다. 얻어진 가시광선 영역의 스테레오 사진을 adaptive threshold 기법을 활용하여 마커를 추출하였으며, 실제 전투기의 기동 상황에서 전투기의 진동 및 변형을 확인하였다.

2. 실험 기법

2.1 SPR 기법

SPR 기법은 스테레오 카메라의 이미지를 활용하여 구조물에 붙어있는 마커들의 위치를 읽어 3차원 좌표를 얻어 구조물의 형상을 재구성 하는 방법이다(5).

스테레오 카메라를 활용하여 SPR 기법을 통해 3차원 좌표를 얻기 위해서는 우선 스테레오 카메라의 정보를 얻어야 한다. 얻어야 할 카메라의 정보는 카메라의 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter), 왜곡 상수(distortion coefficient)가 있다(7). 카메라의 내부 파라미터는 카메라의 내부적인 정보를 담고 있으며 식 (1)과 같이 정의된다.

외부 파라미터는 카메라의 위치와 자세에 대한 정보를 담고 있으며 식 (2)와 같이 정의된다.

이 두 카메라 정보를 통해 카메라의 이미지에서 표현된 2차원 좌표계와, 공간상의 3차원 좌표계 사이의 관계를 알 수 있으며, 그 관계는 식 (3)과 같다.

카메라의 왜곡은 크게 방사왜곡(radial distortion)과 접선왜곡(tangential distortion)으로 구분되는데, 방사왜곡은 렌즈의 굴절률 등에 의해서 발생하는 왜곡으로 왜곡 정도가 중심에서의 거리에 의해서 결정된다. 접선왜곡은 카메라의 제조 공정상의 문제 등으로 카메라의 센서와 렌즈가 정렬되어 있지 않아 발생하는 문제로, 현대의 카메라에서는 거의 발생하지 않는다. 이 연구에서는 식 (4)와 같이 방사 왜곡만을 고려하여 렌즈 왜곡을 보정하였다.

스테레오 카메라 칼리브레이션을 통해 위의 스테레오 카메라에 대한 정보를 얻으면, 카메라에서 얻어진 마커의 이미지 상 좌표를 바탕으로 3차원 공간상의 직선을 얻을 수 있다. 만약 각각의 카메라에서 얻어진 마커의 이미지가 실제 3차원 공간상의 같은 점을 가리키고 있다면, 3차원 공간상의 직선은 서로 교차할 것이고, 그 교차된 지점을 통해 3차원 공간상의 좌표를 계산할 수 있다. 두 카메라에서 같은 점을 바라볼 때 공간상에서 얻을 수 있는 가상의 선이 서로 교차해야 한다는 제한 조건을 epipolar constraint라고 하며, 다른 카메라에서 본 가상의 선을 epipolar line이라고 한다(Fig. 1). 이러한 관계를 활용하여 각각 이미지에서 촬영된 마커 간의 짝을 찾아 3차원 공간상의 좌표로 변환할 수 있다.

Fig. 1Projection of object to image plane

2.2 이미지 처리

SPR 기법을 활용하기 위해서는 스테레오 카메라로 촬영된 이미지로부터 마커를 읽어오는 과정이 반드시 필요하다. 모션 캡처 시스템과 같은 상용 SPR 시스템은 대부분 적외선 strobe를 장착한 적외선 영역의 band path filter를 달고 있는 카메라를 사용하여 반사 마커만을 촬영하여, 전역 threshold 기법을 통해 얻어진 이미지를 이진화하여 3차원 위치 좌표 계산에 활용하게 된다.

하지만 전역 threshold 기법으로는 비행 중 자세 변화나 태양의 위치, 각도 및 고도 등에 의한 영향 때문에 생길 수 있는 빛의 변화에 취약하기 때문에 일반적인 비행기의 실제 운용 환경에 적용하기에는 어려움이 있다. 따라서 이 연구에서는 마커를 얻기 위하여 빛의 변화에 강건한 adaptive threshold 방법을 통하여 영상의 이진화를 수행하였다(8). 연구에 사용된 adaptive threshold기법은 상대적으로 계산량이 적어 수행속도가 빠른 local thresholding 기법을 사용하였으며, 각 픽셀마다 적용된 임계값 T(x, y)는 식 (5)와 같다.

mean(x,y)는 (x,y) 지점을 중심으로 하는 미리 정해진 크기의 local 영역의 밝기 평균값을 의미하며, c는 상수로서 이 수치를 바꿈으로서 얻고자 하는 마커의 밝기에 따라 선택해야 하는 값이다. 해당 기법은 상대적으로 적은 계산량을 요구하나, 보고자 하는 대상의 크기에 따라 local 영역의 크기를 조절해줘야 하는 단점이 있다. 하지만 이 연구에서는 크기를 알고 있는 비슷한 크기의 마커 및 마커 형상 및 크기 필터링 알고리듬을 적용함으로서 해당 알고리듬의 문제점을 극복하였다.

3. 실험 구성

3.1 카메라 칼리브레이션

이 실험에서 사용한 스테레오 카메라는 어안 렌즈를 장착한 카메라로서 1,312×1,082 해상도에서 60 Hz로 촬영이 가능하다. 또한 카메라는 흑백 CMOS 카메라로(photon focus A1312 sensor), 상용 모션 캡쳐 시스템에서 많이 활용되는 카메라와는 달리, 적외선 strobe와 적외선 필터 등을 사용하지 않는 일반 카메라이다.

해당 스테레오 카메라의 내부 및 외부 파리미터를 알아내기 위하여 체스판 형상의 격자 및 open CV 라이브러리를 활용하여 카메라 칼리브레이션을 수행하였다. 각각의 카메라가 보는 영역 중 겹쳐있는 영역이 몹시 좁기 때문에(Fig. 2), 각각의 카메라의 내부 파리미터 및 왜곡 상수를 따로 칼리브레이션 한 후, 겹치는 영역에서 정보를 얻어 카메라의 외부 파리미터 칼리브레이션을 수행하였다.

Fig. 2Calibration image

3.2 실험 구성

이 실험은 F-16 전투기에서 수행되었다. F-16 전투기의 왼쪽 날개 바깥쪽의 파일런에 스테레오 카메라를 장착하였고, 그 카메라를 통해 안쪽의 파일런 구조를 촬영하여 전투기의 비행 시 진동 및 날개 변형을 측정할 수 있도록 구성하였다(Fig. 3).

Fig. 3Experimental setup of a stereo camera and markers

마커는 총 19개를 부착하였으며, 16개의 마커는 사각형 형태의 배치를 나머지 3개의 일렬 형태로 배치하였으며 그 배치는 Fig. 4와 같다. 총 19개의 마커 중 스테레오 카메라 양 쪽에서 잘 촬영되는 17개의 마커만을 이용하여 이미지 처리에 사용하였으며, 추가적으로 이미지에서 어둡게 잘 보이는 볼트 구멍들을 추가적으로 영상 처리에 활용하여 총 20개의 지점을 영상 처리를 통해 변위의 변화를 추적하였다.

Fig. 4Distribution of markers and image processed area

3.3 이미지 처리

실험에 사용된 스테레오 카메라를 통해 얻어진 이미지의 원본은 Fig. 5와 같다. 해당 이미지를 앞서 수행한 칼리브레이션 과정으로 얻은 왜곡 상수를 통해 왜곡을 제거하면 Fig. 6과 같은 왜곡이 제거된 이미지를 얻을 수 있다. 해당 이미지를 adaptive threshold 기법을 통하여 이진화를 수행하면 Fig. 7과 같은 이미지를 얻을 수 있는데, 이 이미지는 마커 이외에도 많은 노이즈와 코너 부분에 대한 정보를 담고 있다. 이 이미지를 관심 영역 부분에서 마커의 형상 및 크기에 대하여 필터링을 수행하여 원하는 형상 영역에 있는 마커만을 선택하면 최종적으로 Fig. 8과 같은 마커만이 남은 이진화된 이미지를 얻을 수 있다. 이 실험에서는 해당 과정을 통해 얻어진 이미지를 활용하여 triangulation을 수행하여 3차원 좌표를 획득하였다.

Fig. 5Original image

Fig. 6Undistorted image

Fig. 7Binary image

Fig. 8Filtered image

4. 실험 결과

이 실험에서 SPR 기법을 통해 재구성한 마커의 3차원 위치는 Fig. 9와 같다. 좌표계는 6번 마커를 원점으로 하여 전투기의 전진방향을 X축, 아래쪽을 Z축으로 정의하여 데이터를 처리하였다.

Fig. 9Reconstructed markers in 3D coordinate

해당 마커들 중 1번, 6번, 20번 마커의 시간에 따른 움직임은 Figs. 10~12와 같다. 항공기는 70~190초 구간에서 기체에 진동이 지속적으로 발생하였으며, 340~350초 구간에서는 기체 기동으로 인하여, 날개가 전반적으로 변형하였음을 알 수 있다.

Fig. 10Displacement of marker 1

Fig. 11Displacement of marker 6

Fig. 12Displacement of marker 20

340~350초 구간에서의 최대 변형을 분석해 보면, 1번 마커는 −8.1 mm의 변형, 6번 마커는 −9.9 mm의 변형, 20번 마커는 −11.87 mm로 상당한 크기의 변형 차이가 나타났다. 이는 항공기 날개가 굽힘 변형 외에 비틀림이 함께 발생해서 나타난 결과로 보인다. 비행 중 진동이 지속적으로 발생한 구간(70~190초)에서 변위 신호를 주파수 영역에서 분석한 결과는 Figs. 13~15와 같고, 주로 3.5 Hz, 5.4 Hz, 12.0 Hz 대역에서 진동이 발생함을 확인하였다.

Fig. 13FFT result of marker 1

Fig. 14FFT result of marker 6

Fig. 15FFT result of marker 20

F-16 전투기에 비교를 위해 카메라 위치에 장착한 가속도계에서 얻어진 진동 데이터와 측정한 비행기의 변형을 비교해 보면 거의 같은 양상을 보이는 것을 확인하였다(Fig. 16). 이는 날개에 걸리는 힘과 날개의 변형이 비례 관계에 있기 때문이며, 이 결과를 통해 영상 센서로 측정한 데이터와 잘 맞는 신뢰할 수 있는 결과임을 확인하였다.

Fig. 16Displacement(marker 6) and acceleration result

이 비행실험은 영상 기법을 활용하여 비행 중인 항공기 날개의 변위 및 진동을 측정할 수 있는 지 평가해 보고자 수행되었으며, 충분한 가능성을 확인하였다고 판단된다. 이 실험에는 어안 렌즈를 활용하였는데, 사용된 어안 렌즈의 왜곡을 보상 모델로 충분히 보상하지 못하여, 변위 측정 시 오차가 발생할 수 있으므로, 왜곡이 작은 카메라를 활용하고 카메라 위치를 최적화하여 배치한다면 보다 정확한 진동 측정 결과를 얻을 수 있을 것이라고 생각된다.

5. 결 론

이 연구는 SPR 기법을 이용하여 일반적인 영상 카메라를 이용한 비행기 날개의 변형 및 진동 측정 기법에 대해 살펴보았으며, F-16 전투기에 적용하여 진동 및 변위 측정 실험을 수행하였다. 실험 결과 빛이 변화하는 실제 야외 비행 환경에서도 일반 CMOS 카메라로 얻은 이미지의 영상 처리를 통하여 마커 인식이 가능함을 확인하였고, 해당 시스템을 활용하여 진동 및 변위에 대한 결과를 얻을 수 있었다. 또한 이러한 영상 처리 기법을 통해 실제 운용되고 있는 비행기들도 간단한 스테레오 카메라를 부착함으로서 비행기의 진동이나 구조 변형 측정에 활용할 수 있는 가능성을 이번 실험을 통해 확인할 수 있었다.

앞으로 카메라 배치 및 시야각, 마커 위치 등에 대한 최적화 기법 및 영상 처리 하드웨어 등이 좀 더 연구된다면 항공기 및 다양한 분야에서의 진동, 변형 측정에 광범위하게 활용될 수 있을 것이라고 기대된다.

기 호 설 명

A : 내부 파라미터(instinsic parameter) fx,fy : 초점 거리 cx,cy : 이미지 중심점(principal point) R : 회전 행렬(rotation matrix) t : 이동 행렬(translation matrix) s : 축척 계수(scale factor) x,y : Image coordinate 상에서의 위치좌표 X,Y,Z : World coordinate 상에서의 위치좌표 xud,yud : 왜곡이 제거된 이미지 위치좌표 k1,k2 : 왜곡 상수 r : 중심부로부터의 거리