Ⅰ. 서론

육군에서는 드론과 무인기를 이용한 전투 활용을 극대화하기 위하여 2018년 드론봇 전투단을 창설하였다. 드론봇 전투단은 군사용으로 활용 가능한 장거리 정찰, 무인기 자폭, 무인정찰, 건물 내 탐지 등의 임무를 수행하기 위하여 다양한 연구를 진행하고 있으며, 이를 확산하고 보급하기 위하여 매년 “드론봇 챌린지”를 개최하고 있다. 본 연구는 2019년 9월 드론봇 챌린지에서 시연을 보인 “LTE 통신환경 상에서 장거리 드론 원격조정 시스템”을 제안하고자 한다.

재난지역이나 원격지형의 조사, 정찰 감시에 드론을 활용하는 연구가 많이 진행되고 있다^[1],[2]. 일반적으로 드론은 RF 통신을 사용하여 직접 드론 조정자가 조정하는 거리는 2km 내외이다. 대부분의 무인기나 드론은 미션 플래너 (Mission Planner)라고 하는 오픈소스 프로그램을 사용하여 드론의 비행모드, 캘리브레이션, 비행 파라메터 설정을 수행한다^[3]. 드론과 미션 플래너가 연결되면, 고도 및 자세 각도인 Altitude, Yaw가 드론의 모션 센서(IMU 센서)에 따라 실시간으로 모니터링 된다. 미션 플래너는 GPS 정보를 기반으로, 드론의 비행 경로를 제어하고, 위치를 모니터링 할 수 있다^[4].

드론과 미션 플래너 간의 데이터 통신을 위해 사용하는 프로토콜은 MAVLink 이다. 최근에 LTE를 사용하여 드론을 운행하는 시스템이 개발되고 있는 추세이나, 대부분의 시스템은 드론에서 촬영되는 영상을 LTE 통신을 사용하여 원격지로 전송하는 방법으로 진행되고 있으며, 장거리 비행 시 조종은 미션 플래너에서 미리 프로그램 된 GPS 정보를 사용하여 자율 비행하는 형식을 취하고 있다^[5],[6]. 따라서 장거리 비행 시 발생할 수 있는 긴급 상황이나 돌발변수에는 효과적으로 대처할 수 있는 방안이 없으며, 최선의 방법이 미리 프로그램된 절차에 따라서, 원점복귀(Home Return)를 수행하는 것이 일반적인 장거리 비행방법이다.

본 연구에서는 LTE 통신을 사용하여, 비행 중의 상황과 드론의 모션을 평균 50m sec 이내로 조종자에게 전송하여, 조종자에게 실제 원격지의 드론 위에서 조정하는 실감환경을 제공하는 원격조정 시스템을 제안한다. 제안된 시스템의 검증을 위하여 대전의 드론 조종자가 강원도 인제에 위치한 드론을 실시간으로 조종하고 드론봇 챌린지의 미션을 수행하는 실험 결과를 제시한다.

Ⅱ. 장거리 원격 비행 시스템

본 연구에서는 강원도 인제에 위치(지점 A, 그림1) 에 위치한 드론을 충청도 대전시청(지점 B, 그림1) 에서 실시간으로 비행제어를 통하여 원격 주행하는 시스템을 수행하였다. 지점 A와 B 사이의 절대 거리는 약 180km이다.

그림 1. 180km 떨어진 드론과 조종자의 위치

Fig. 1. Location of the drone and the operator with 180km away

그림 2는 지점 A에 위치한 드론이 수행하여야 하는 미션 궤적과 이에 따른 GPS데이터를 보여준다. 드론은 SP점에서 이륙하여, 순서대로 ①, ②, ③, ④ 점을 거친 뒤, Ⓣ에 위치한 원형 링을 통과하는 미션을 수행하여야 한다. 총 드론의 비행거리는 약 3.5km이며, 최단시간에 미션을 수행하여야 한다.

그림 2. 드론의 미션 궤적과 GPS 데이터

Fig. 2. Mission trajectory of the drone and GPS data

그림 3의 (a)는 지점 A에 위치한 크기 80cm 쿼드로터(Quad-rotor) 타입의 드론이다. 드론의 FC (Flight Controller)는 Pixhawk를 사용하였고, LTE 통신과 영상과 모션데이터 동기를 위하여 Rasberry Pi와 Navio MCU를 사용하였다.

그림 3. LTE 통신을 이용한 실시간 드론 원격주행 시스템

Fig. 3. Real time tele-operated drone system with LTE communication

드론에는 2대의 카메라가 설치되어 있으며, 1대는 드론 프레임에 고정으로 장착되어 드론이 움직임에 따라 비디오가 전송되며, 나머지 1대는 짐벌(Gimbal)에 부착되어 원격지의 조종자가 필요에 따라 영상의 위치와 각도를 조정할 수 있다. 영상신호와 자체에 부착된 IMU 모션센서 데이터는 MCU를 거쳐 LTE 통신으로 원격의 조종자에게 실시간으로 보내진다. 따라서 드론 조종자는 실제 드론 위에 탑승한 것과 같은 실감 환경이 구현된다. 드론에서 실시간 촬영된 720p 영상과 모션센서 데이터는 LTE 통신을 이용하여 평균 50msec의 시간지연으로 조종자에게 전송하였다.

그림 3의 (b)는 지점 B에 위치한 드론 원격주행 시스템을 나타낸다. 드론 조종자는 드론에서 보내오는 영상을 HMD(Head Mounted Device)로 보며 원격지의 드론을 실시간 조정한다. 동시에 드론에서 전송되어오는 IMU 센서 데이터를 이용하여, 실제 드론의 움직임과 회전, 진동 등을 조종자가 탑승한 3축 모션 시뮬레이터에 동기화하여 구동한다. 조종자가 탑승한 3축 모션 시뮬레이터의 구조와 동작 원리는 3장에서 자세히 기술한다.

그림 4은 지점 A의 드론에서 촬영된 카메라 영상 데이터와 영상 위에 오버레이된 HUD(Head Up Display) 이미지를 보여준다. HUD 이미지는 원격의 조종자가 효율적인 드론 조정을 위하여, 영상 이외에 드론기체의 정보와 상황을 동시에 겹쳐서 보여준다. 즉, 비행 중인 드론의 FC에서 측정된 현재 고도, 현재 GPS, IMU 센서에서 측정된 드론 기체의 각도(roll, pitch, yaw)와 카메라가 부착된 짐벌의 위치를 동시에 보여준다. 또한 그림 2의 드론봇 미션 궤적인 ①, ②, ③, ④, Ⓣ를 화면에 표시하여, 현재의 GPS 위치와 비교하면서 원하는 미션을 효율적으로 수행하도록 미니맵을 구현하였다.

그림 4. 드론에서 원격의 조종자에게 전송되는 비디오 데이터

Fig. 4. The video data to the operator captured by the camera on the drone.

이러한 비디오 영상이 지점 B의 조정자에게 50msec의 시간지연으로 전송되어, 드론봇 미션 궤적인 이륙점을 포함하여 총 6개의 GPS 지점을 경유한 후 착륙 하였다. 총 비행시간은 약 10분이 소요되었으며, 총 비행거리는 3.5km 였다. 원격 비행한 드론의 평균 비행속도는 21km/h 이다.

그림 5는 지점 B에서 지점 A의 드론을 원격 비행하였을 때의 비행기록을 나타낸다. 즉, 10분간 비행한 드론의 GPS 측정데이터와 고도데이터를 1초의 주기로 기록한 데이터이다. 그림 5 (a)에서 보듯이 미션 GPS 위치에 가까이 갈수록, 원격의 조종자가 미세하게 조정하여 정밀하게 비행한 것을 알 수 있다. 이를 통하여 자동비행이나 미션 플래너에서 수행하는 자동비행 프로그램보다는 드론 조종자가 원격 주행하는 것이 보다 정밀하고, 효율적인 비행이 되었음을 증명 하였다.

그림 5. 원격 주행중인 드론에서 기록된 GPS와 고도 데이터

Fig. 5. Recoded GPS and height data from the tele-operated drone during the flying

그림 5 (b)는 드론의 고도 데이터를 나타낸다. 드론은 이륙점을 기준으로 최고 높이 82m, 착륙점은 –50m를 비행하였다.

Ⅲ. 탑승형 시뮬레이터

드론에서 전송된 모션데이터를 원격의 조종자에게 실감있게 전달하기 위하여 탑승형 시뮬레이터를 개발 하였다. 본 연구에서 제안한 3자유도 병렬매니퓰레이터 형태의 시뮬레이터의 기구학적인 설계는 그림 6과 같이, 첨단부와 베이스가 3개의 직렬형 능동조인트(h1, h2, h3)로 병렬 연결된 구조이다. 이 3개의 능동조인트는 각기 길이가 조절(h10, h11, h12)되는 3개의 유니버셜 조인트(θ5, θ6, θ7, θ8, θ9, θ10)로 폐쇄적(Closed Form)으로 연결되어 있으며, 이는 트러스 구조를 가진다.

그림 6. 제안한 탑승형 병렬 시뮬레이터 구조

Fig. 6. Configuration of the suggested parallel type simulator

폐쇄적(Closed Form)인 트러스형태로 연결된 3개의 유니버셜 조인트 구조위에 이동플랫폼(End Effector)이 위치하며, 무빙 스테이지(MS, moving stage)은 삼각형 형태로 각기 3개의 볼 부시(ball-bush)형태의 선형조인트(h16, h17, h18)와 회전이 가능한 3자유도의 구형조인트(sperical joint, θ13, θ14, θ15)로 구성되어 있다.

따라서 본 연구에서 제안하는 병렬 구조의 3자유도 병렬매니퓰레이터의 부속관절은 총 18개의 조인트로 이루어져 있으며, 이중에서 15개의 수동조인트이고 3개의 능동조인트의 조합으로 되어 있다. 15개의 수동조인트 중에서 12개는 1자유도 조인트이며, 3개는 3자유도 구형조인트이다. 또한, 12개의 1자유도 조인트는 6개의 회전조인트와 6개의 선형조인트로 이루어져 있다.

제안된 병렬구조의 시뮬레이터의 연쇄적인 관절의 능동 조인트는 첨단부의 위치/자세를 제어하기 위한 입력이다. 직렬 로봇의 경우 능동 조인트의 변위인 구동입력으로 부터 첨단부의 위치/자세가 쉽게 계산된다. 그러나 병렬 매니퓰레이터는 각각 능동 조인트 구동입력과 수동 조인트를 가진 직렬형 부속관절의 상호구속작용에 의하여 첨단 부의 위치/자세가 결정되며, 이로 인하여 첨단부 위치/자세의 계산이 매우 복잡해지고 수학적으로 여러 개의 해를 가지게 된다. 따라서 직렬형 부속관절의 수가 적을수록 정기구학의 해석이 상대적으로 용이해지며, 직렬형 부속관절 간의 상호구속을 줄일 수 있으므로 동작능력이 향상된다.

무빙 스테이지(MS, moving stage)는 1개의 강체로 이루어진 무빙 플레이트(MP, moving plate)와 MP의 중심으로 120°의 방향으로 대칭되게 부착된 3개의 수동 프리스매틱 조인트(passive prismatic joint)로 이루어져 있다. 그림 7은 능동조인트의 입력에 따라 첨담부의 위치/자세가 고유하게 결정됨을 보여준다.

그림 7. 무빙 스테이지의 구조와 움직임

Fig. 7. Moving stage configuration by changing the active joint

그림 8은 제작된 탑승형 시뮬레이터이다. 탑승형 시뮬 레이터의 최대 가반하중은 100kg 이며, 총 자중은 120kg 이다. AC 서보 모터를 이용하여, 무빙 스테이지는 최대 속도 500msec, 최대 가속도는 1G로 움직이게 구현 되었다.

그림 8. 탑승형 원격 주행 시뮬레이터

Fig. 8. The tele-operatoed simulator

Ⅳ. IMU 모션센서 비콘

탑승형 원격 주행 시뮬레이터를 구동하기 위하여, 드론에 IMU 모션 센서를 부착하여, 이를 LTE 통신으로 전송하였다. 모션 데이터를 추출하고, 이를 정확한 각도 및 속도데이터로 변환하여 시뮬레이터로 전송하기 위하여, IMU 모션 센서와 MCU, 통신모듈, 밧터리로 구성된 비콘을 그림 9와 같이 개발 하였다.

그림 9. 모션 센서 비콘

Fig. 9. IMU seosor beacon

센서 비콘은 83 x 57 x 16mm의 크기를 갖는 Arduino promini를 MCU 제어기로 사용하는 장치로 밧데리 모듈을 간단하게 분리, 결합 할 수 있도록 설계되어 있다.

센서 비콘은 IMU 모션 센서인 MPU9250을 이용하여 3축의 각속도 데이터와 가속도 데이터를 얻고 그 데이터를 칼만필터와 저주파 통과 필터를 이용해 자세데이터로 계산한 후, LTE 통신모듈을 이용하여 총 40 ~ 60Byte정도의 데이터를 50ms 정도의 속도로 시뮬레이터를 제어하는 PC에게 모션 데이터를 전송한다.

그림 10는 측정된 센서 데이터를 필터 게인의 변화에 따라 후처리된 자세데이터를 나타낸다. PC에서는 센서비콘과 통신을 할 수 있는 수신 모듈이 장착되어 있어, 센서비콘으로부터 자세데이터를 받아와 드론의 각도와 상황에 맞게 후처리 한 후, 원격 주행 시뮬레이터을 제어한다.

그림 10. 모션센서 데이터와 필터의 게인에 따른 모션 데이터

Fig. 10. Motion sensor data and filtered motion data depending on filter gain

Ⅴ. 결론

본 연구에서는 LTE 통신을 사용하여, 180km 떨어진 원격지의 드론을 실시간으로 조종하는 원격비행 실험을 수행 하였다. LTE통신 하에서 평균 50m sec의 시간지연으로 드론 조종자에게 전송되는 영상과 모션데이터를 이용하여, 드론 조종자에게 실제 원격지의 드론 위에서 조정하는 것과 유사한 실감환경을 제시하였다. 앞으로 제안한 원격주행시스템을 드론 뿐만 아니라 다양한 무인기와 자율주행 자동차에도 적용하여 효율적이고 유연한 원격주행 시스템을 개발하고자 한다.

※ 이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2016R1A2B4011361)