1. 서 론
최근 마이크로 프로세서의 처리 속도의 상승과 더불어 MEMS(Microelectromechanical System) 센서와 같은 소형 전자 부품 가격의 하락, 리튬 폴리머 배터리의 성능 증가 등으로 인하여 소형 항공기에 관한 연구가 급증하게 되었다[1]. 쿼드로터는 소형 무인 항공기 플랫폼 중의 하나로 다른 무인 항공기들에 비해 시스템 모델이 간단하고 제어가 용이하고, 제작의 편의성, 수직이착륙이 가능한 점 등을 장점으로 가져 많은 연구 개발이 수행되고 있다.
쿼드로터 (quadrotor)는 이러한 장점을 내세워 전력 설비 검사, 교량 검사, 플랜트 검사 등 다양한 산업 분야에 적용되어 사용 중이다. 쿼드로터 플랫폼에 카메라를 장착하여 전송되는 영상을 통한 열병합 발전소 검사 시스템이 스위스에서 개발되었다[2]. 사람이 직접 감시하는 방법으로는 높은 건물의 상단부가 감시가 어려워 비행체에 스테레오 카메라 등의 영상 장비를 설치하여 플랜트의 이상 징후를 감시 할 수 있도록 하였다. 또한 쿼드로터를 이용하여 전력 케이블을 검사하는 플랫폼이 제안되었다[3]. 이는 기존에 전문 인력이 육안 또는 전용 장비를 가지고 지상에서 수행하는 감시 방법의 효율성을 증대시키기 위해 쿼드로터에 RGB 카메라와, 적외선 카메라를 함께 장착하여 고전압의 전력 케이블에 발생할 수 있는 문제를 원격에서 파악할 수 있도록 하였다.
이처럼 다양한 분야에서 쿼드로터를 이용하여 감시, 정찰 등의 임무를 수행하려는 시도가 많이 증가하고 있지만, 쿼드로터 비행체가 추락 시에 발생 할 수 있는 사고의 위험성, 비행체와 카메라 시스템 등을 동시에 조작하는 것에 대한 어려움 등이 존재하여 산업 현장에 쿼드로터가 직접적으로 투입되지 못하고 대부분 전문 조종사의 시연 정도에 그치고 있다. 이러한 문제점은 스틱 방식의 무선 조종기를 이용하는 기존 조종 방법이 복잡한 작업을 수행하기에는 직관적이지 못하다는 단점에서 기인한다. 임무를 수행하는 대부분의 감시용 쿼드로터에는 카메라가 장착되어 있어, 조종사가 비행체의 비행 방향, 카메라의 촬영 방향 등을 동시에 조종해야 하는데 이러한 작업을 숙련되지 않은 조종사가 기존 방식의 조종기를 이용하여 수행하기에는 매우 어려운 환경이다. 일반적인 비행 감시 작업에서는 총 7축에 해당하는 쿼드로터의 롤 (roll), 피치 (pitch), 요 (yaw), 고도 조종과, 카메라의 롤, 피치, 요 축 조종을 두 손가락으로만 수행하여야 하기 때문에 조종 난이도가 매우 높다.
이와 같은 문제점을 극복하기 위해 헤드-마운트 디스플레이(Head-Mounted Display, HMD)를 조종사가 착용하고 전송되는 영상을 직접 보면서 비행을 할 수 있는 시스템이 개발되었으나, 정밀 촬영을 위해서 카메라와 비행체를 따로 조종해야 하며, 사용자가 보는 영상과 사용자 머리 동작이 서로 일치하지 않아 실질적으로 조종 편의성을 높이지 못하였고, 어지러움 현상이 발생하는 등의 문제점이 존재한다[4, 5].
따라서, 본 논문에서는 미숙련 조종사도 비행체의 조종과 카메라의 촬영 방향 조종을 직관적으로 수행할 수 있는 새로운 조종 인터페이스를 제시한다. 기존에 손으로만 쿼드로터 및 카메라 조종하는 어려움을 개선하기 위하여 사용자의 머리 움직임을 기반으로 카메라를 제어하여 사용자가 바라보는 방향으로 영상이 촬영되도록 카메라와 짐벌(gimbal) 시스템을 제어하며, 이 때 촬영되는 영상이 실시간으로 HMD에 표시되도록 하여 실제 쿼드로터가 비행하고 있는 장소에서 감시를 하는 느낌을 줄 수 있도록 한다. 또한, 키넥트를 사용하여 사용자의 몸동작을 인식하여 몸을 구부리는 방향으로 쿼드로터를 비행 하도록 하여 마치 직접 비행하는듯 한 경험을 제공하는 것을 목표로 한다. HMD와 키넥트를 연동하는 지상 제어 소프트웨어를 개발하고, 영상 처리 및 제어 알고리즘을 통해서 항공 촬영용 쿼드로터 시스템을 제어하고 사용자에게 원격에서 촬영되는 영상을 표시하도록 구현한다. 개발된 시스템의 성능을 모션 캡쳐 시스템을 이용하여 검증하고, 이를 통해 제안하는 인터페이스의 효과성과 우수성을 보인다.
2. 사용자 자세 기반 비행체 제어 시스템 개발
2.1 사용자 자세 기반 비행체 제어 시스템 구성
본 논문에서는 미숙련 사용자도 손쉽게 비행체의 움직임 및 장착 카메라의 촬영 방향을 조절할 수 있도록 하기 위하여, 사용자의 머리 자세 각도와, 몸체 움직임을 이용하여 비행체를 제어하는 시스템을 설계한다. 사용자의 머리 자세 각도는 HMD를 이용하여 측정하고, 몸체 움직임 각도는 키넥트를 이용하여 측정한다. 그림 1는 자세 기반 쿼드로터 제어 시스템 개발 구성도이다.
그림 1사용자 자세 기반 비행체 제어 시스템 구성도 Fig. 1 Diagram of user pose based quadrotor control system
전체 시스템은 크게 제어 대상인 소형 카메라와 짐벌이 장착된 쿼드로터 무인 비행체와, 지상 제어용 PC 소프트웨어, 사용자의 머리 움직임을 측정하기 위한 HMD, 그리고 몸통 움직임을 측정하기 위한 키넥트로 구성된다. 본 시스템의 작동 원리는 지상 제어 소프트웨어가 제어 신호를 쿼드로터로 송신하는 것과, 쿼드로터에 탑재된 카메라에서 촬영되는 영상이 지상 제어 소프트웨어로 송신되어 HMD에 표시되는 것으로 나눌 수 있다.
공간상에서 x, y, z축에 대한 회전인 롤, 피치, 그리고 요 에 해당하는 사용자의 머리 자세 각도가 HMD에서 측정되고, 사용자의 몸통 자세각 중 롤과 피치 움직임이 키넥트 (Kinect)를 이용하여 측정된다. 총 5개의 측정값은 제어 프로그램으로 전송되고, 제어 프로그램은 이를 적절한 제어 신호로 변환시켜 무선으로 쿼드로터로 전송한다. 쿼드로터는 이를 수신하여 사용자의 머리 움직임 중 롤과 피치는 짐벌의 롤과 피치를 조절하는 참조 각도로 사용하고, 사용자 머리의 요 각도와 몸통의 롤과, 피치 각도를 각각 비행체의 요, 롤, 피치 축의 참조 제어 각도로 사용한다. 이를 통해 사용자의 머리 움직임과 같은 방향으로 영상이 촬영될 수 있도록 짐벌과 쿼드로터가 움직이게 되며, 사용자의 몸통 움직임과 같이 쿼드로터의 자세가 변화하여 매우 직관적으로 쿼드로터를 원격에서 조종하면서 촬영할 수 있다.
이와 동시에 카메라에서 촬영되는 영상은 실시간으로 지상 제어 소프트웨어로 전송된다. 이를 통해서 사용자가 동작을 변화시킴에 따라, 카메라의 촬영 각도, 비행체의 움직임이 같이 변화하는 것을 HMD를 통해 볼 수 있게 되고, 사용자는 비행체에 탑승하여 조종하는 것과 같이 매우 높은 사용자 경험을 가질 수 있게 된다.
본 논문에서 제안한 시스템의 각 부분의 세부 작동 원리 및 개발 방법을 아래와 같이 제어 대상인 쿼드로터 비행체 플랫폼, 헤드-마운트 디스플레이를 이용한 머리 자세 기반 카메라와 비행체 요 제어, 그리고 키넥트를 이용한 몸통 자세 기반의 카메라 롤, 피치 제어 순서로 서술한다.
2.1.1 쿼드로터 비행체
쿼드로터 비행체에는 가속도계, 자이로 센서를 통해 자세각을 추정하고, 사용자 입력에 따라 쿼드로터 제어 신호를 생성하는 제어부와, 무선 통신을 통해 사용자의 제어 입력을 입력받는 통신부, 안정적인 영상을 얻기 위한 짐벌 및 카메라부, 그리고 촬영되는 영상을 지상으로 실시간 전송하는 영상 전송부가 탑재된다.
제어부는 가속도, 자이로 센서를 이용하여 비행체의 현재 자세각을 추정하고, 지상 제어 소프트웨어로부터 입력되는 참조각도에 맞추어 비행체의 자세각을 제어한다. 통신부는 지상 제어 소프트웨어가 사용자의 머리 각도, 몸체 각도 등으로부터 계산한 제어 신호를 수신 받고, 지상 제어 소프트웨어에서 표시해야 하는 비행체의 배터리 상태, 현재 자세 각도 등을 송신한다. 또한, 비행체에 장착된 카메라는 HMD에 표시될 영상을 촬영하며, 촬영된 디지털 영상을 영상 전송 장치로 보낸다. 비행 시에 비행체의 움직임에 의해 촬영되는 영상이 흔들리지 않도록 짐벌에 카메라가 장착된다.
비행체의 제어는 크게 자세 제어와 위치 제어로 구분되며, 자세 제어는 비행체의 롤, 피치, 그리고 요 축을 제어하여 안정적인 비행을 하도록 제어하며, 위치 제어는 3차원 공간상에 일정한 위치에서 정지비행, 그리고 지정하는 위치로 이동하도록 제어한다. 본 논문에서 개발한 시스템에서는 사용자가 몸동작으로 지령하는 각도를 비행체의 자세 제어기에 기준 (reference) 각도로 입력하며, 사용자가 지령을 하지 않는 경우 일정한 위치에서 정지 비행을 할 수 있도록 위치 제어를 수행한다. 그림 2는 이에 해당하는 쿼드로터의 자세 제어 구성을 나타낸다. 비행체에 장착된 센서로부터 자세각, 각속도, 헤딩 각도를 얻을 수 있고 이를 자세 추정 칼만 필터를 이용하여 정확히 추정하도록 한다. 그 뒤, HMD를 이용하여 머리 자세 각을 추출하고 그리고, 키넥트를 이용하여 몸체 각도 추출하여 기준 각도를 PID 제어 기반의 자세 제어기에 입력한 뒤 최종적으로 BLDC 모터의 입력을 계산하도록 한다.
그림 2머리 및 몸체 자세 각도를 이용한 쿼드로터 제어 구성도 Fig. 2 Diagram of quadrotor control architecture using user head and body posture
또한, 안정적인 영상을 원격지에서 전송하기 위하여 비행체 하단부에 소형 카메라와 짐벌을 장착한다. 짐벌은 비행체의 자세각도 변화가 카메라에 영향을 주는 것을 방지하고, 사용자가 지령하는 각도의 영상을 얻기 위한 장치이다. 사용자가 원격 비행 체험, 또는 감시를 효율적으로 하기 위해서는 짐벌의 움직임이 매우 중요하다. 짐벌은 팬 (pan), 틸트 (tilt)가 조절되는 팬 틸트 방식과 롤, 피치가 조절되는 2축 짐벌 방식, 그리고 롤, 피치, 요가 모두 조절되는 3축 짐벌 방식으로 구분되는데, 팬틸트 방식은 쿼드로터가 롤, 피치 축을 회전시켜 비행하기 때문에 영상을 안정화하기에 부적합하다. 또한, 3축 짐벌은 카메라의 요 각도와 쿼드로터의 요 각도가 달라질 수 있다는 점이 특징인데, 이는 조종사와 카메라 기사로 구성되는 2인 운용 시에 효율적이나, 1인 사용자 구성 시에는 사용자가 쿼드로터의 진행 방향과 카메라의 촬영 방향이 달라져 조종에 혼란을 일으키는 사소가 빈번하다는 단점이 존재한다. 따라서 개발할 시스템에는 BLDC 모터를 이용한 2축 짐벌을 사용하여 비행체의 진행방향과 사용자가 바라보는 방향을 일치시켜 장시간 조종에도 비행체의 진행 방향에 혼란스러움이 없도록 한다.
비행체 하단부에 장착되어 있는 짐벌 및 카메라는 비행체의 자세 제어와 별개로 구동된다. 짐벌 제어기는 카메라와 같은 프레임에 장착된 가속도계, 자이로를 이용하여 비행체와 동일한 알고리즘으로 카메라의 현재 각도를 추정해낸다. 비행체의 자세제어와 유사하게 사용자의 머리 동작을 통해서 짐벌 제어의 참조각도가 생성되며 이는 추정된 카메라 각도와 함께 짐벌의 자세 제어에 사용된다.
쿼드로터와 짐벌 제어기 각각에 적용될 기준 각도는 지그비 (Zigbee)를 통해서 무선으로 전송된다. 이 때, 너무 빠른 속도로 신호를 전송 시 안정적으로 전송되는 거리가 짧아지고, 너무 느린 속도로 전송 시 사용자의 움직임을 부드럽게 추종 할 수 없기 때문에 실험을 통하여 약 50m 거리까지 안정적으로 작동하도록 20ms의 주기를 선정한다.
카메라는 비행체의 적재량을 고려하여 약 88g의 소형 카메라를 탑재하였다. 영상은 사용자가 HMD에서 감상하기에 적절한 화질인 1280x720 픽셀 (pixel), 화면 재생 빈도는 60Hz로 촬영된다. 영상을 전송하는 방식에는 wi-fi를 통한 전송, 영상 전송 전용 장비를 사용한 아날로그 영상 전송, 디지털 영상 전송 등의 방식이 존재하지만, 본 시스템에서는 작동 범위가 넓고, 고화질의 영상이 필요기 때문에 디지털 영상 전송 방식을 채용한다. 특히 영상 전송 지연에 따른 사용자의 멀미, 어지러움 현상 등을 낮추기 위하여 영상 전송에 1ms 이하의 지연 시간을 갖는 제품을 사용한다.
그림 3은 비행체에 설치된 짐벌 및 카메라 시스템을 보여준다. 비행체의 하방에 짐벌 및 카메라 시스템을 설치하여 촬영 되는 영상이 비행체 프레임으로 인하여 가려짐이 없도록 장착한다. 비행체 프레임의 축과 카메라의 시야 방향(line of sight)를 일치시켜 촬영 및 비행에 혼란을 일으키지 않도록 장착한다.
그림 3쿼드로터와 장착된 짐벌 및 카메라 시스템 Fig. 3 The Quadrotor and installed gimbal and camera system
2.1.2 헤드-마운트 디스플레이 시스템
기존에 무인 비행체에 장착된 카메라의 조종은 스틱형 무선 조종기를 사용하는 방식이 사용되었다. 그러나 이 방법은 조종 방법에 숙련된 사람이 아니면 정확하고 신속하게 카메라를 제어하기 어렵다는 단점이 있다. 따라서 본 논문에서는 머리 방향에 맞추어 카메라와 비행체가 움직이는 직관적인 방법을 사용하여 미숙련 조종사도 안전하고 정확하게 비행체와 카메라를 조종 가능하도록 한다. 또한, HMD를 이용하여 사용자가 촬영되는 영상을 생생하게 관람할 수 있도록 한다.
HMD를 이용한 쿼드로터 제어 인터페이스에서는 사용자의 머리 움직임 중 롤, 피치, 그리고 요 각도를 이용하여 카메라와 쿼드로터를 제어하게 된다. 사용자의 머리 자세 각도와 쿼드로터와 짐벌 시스템에서 제어하고자 하는 각도 간의 연결은 그림 4에 나타나 있다. 표 1에는 사용자의 자세와 비행체 움직임 간의 관계와 그들의 제어 방식을 나타낸다. 사용자 머리 자세 중, 롤과 피치 축은 짐벌의 롤과 피치를 제어하는데 사용되고, 사용자 머리의 요 각도는 쿼드로터 비행체의 요 각도를 제어하는데 사용된다. 이에 따라 사용자가 머리를 상하로 회전하면, 카메라도 상하로 회전하고, 머리를 좌우로 회전 할 때 전체 비행체 시스템도 좌우로 회전하게 된다. 자세를 측정하는 센서 및 알고리즘의 한계로 인하여 롤과 피치의 자세에 대해서는 정확한 각도가 추정이 되지만, 요 축 각도에 대해서는 시간이 지날수록 값이 부정확하게 서서히 이동하게 되는 현상이 존재한다. 이러한 문제점 때문에 짐벌의 롤과 피치 축은 머리 자세 각도를 추종하도록 제어하고, 요 축에 대해서는 머리 자세 각도의 각속도를 추종하도록 제어한다.
그림 4키넥트, 헤드-마운트 디스플레이와 쿼드로터 및 짐벌 시스템의 각도 맵핑 Fig. 4 Attitude mapping between body and head posture and quadrotor and gimbal system
표 1사용자 움직임과 비행체 움직임 간의 관계 Table 1 Relation between user and quadrotor movement
또한, 사용자 머리의 각도를 이용하여 카메라 및 비행체를 제어함과 동시에 HMD에 촬영되고 있는 영상을 실시간으로 표시한다. 비행체에서 촬영되어 실시간으로 무선 전송되고 있는 영상을 동일하게 양안에 표시하고 이 때 발생되는 지연 시간을 최소화하여 사용자가 느끼는 멀미 현상을 최소화 하도록 한다. 또한 사람의 시야각에 최대한 맞도록 영상을 확대해서 표시하면 영상의 주변부가 렌즈에 의해서 색수차 및 왜곡 현상이 발생하게 되는데 이런 현상을 줄이도록 전송된 영상에 추가적인 처리를 한 뒤에 디스플레이 장치에 표시한다.
개발에 사용된 HMD는 Oculus 사의 Oculus Rift를 사용하며 이를 통해 내장된 가속도계, 자이로 센서를 이용하여 사용자의 머리 자세 각도를 얻을 수 있고 양쪽 눈에 컴퓨터에서 생성된 영상을 디스플레이할 수 있다. HMD의 센서로부터 50Hz의 주기로 사용자의 머리 움직임 데이터를 획득하고, 같은 주기로 전송되는 영상을 화면에 갱신하도록 한다.
2.1.3 키넥트를 이용한 동작 인식
사용자의 머리 자세각을 이용하여 카메라의 각도와 비행체의 요 축을 제어하며, 사용자의 몸통 각도를 이용하여 쿼드로터의 자세를 제어한다. 비행하는 느낌이 들도록, 상체를 앞으로 구부리면 전진, 뒤로 젖히면 후진, 좌우로 꺾으면 좌우로 비행하도록 구현한다.
사용자의 몸통의 자세각을 인식하기 위해서 Microsoft 社의 키넥트를 사용한다. 키넥트는 사용자의 인체를 스켈레톤 모델로 인식하여 사용할 수 있는 인터페이스를 제공한다. 그림 5에 나타난 것과 같이 스켈레톤 모델은 20개의 점으로 사용자를 표현하는데 허리의 구부림 각도를 알아내기 위하여 어깨 중심부인 “SHOULDER_CENTER” 점과 허리 중심부인 “SPINE” 점을 이용한다. 두 점의 삼차원 좌표를 이용하여 몸체의 롤(ϕ)과 피치(θ) 각을 식(1) 을 이용하여 얻을 수 있다[6].
그림 5키넥트의 인체 모델과 자세 계산에 사용된 포인트 Fig. 5 Kinect skeleton model and utilized points to calculate attitude angle
여기서, x1, y1, z1은 각각 “SHOULDER_CENTER”점의 x, y, z축 좌표를 의미하고 x2, y2, z2는 각각 “SPINE” 점의 x, y, z축 좌표를 의미한다. 이를 통해 얻어진 사용자의 몸체 자세 각도를 이용하여 제어 신호를 생성한다.
직관적인 조종 방법을 통해 높은 사용자 경험을 달성하기 위하여 다수의 사용자들에 대해 시제품 테스트를 수행한다. 일반적인 사람이 정 자세로 서있다고 생각하는 상황에서 측정되는 피치 각이 약 5 도 가량 차이가 발생함을 실험적으로 얻을 수 있었다. 또한 몸통을 구부려 비행체를 움직이려 할 때, 대부분 롤은 약 20 도, 피치는 약 30 도 이상 구부리는 것이 어려워하는 것을 알 수 있었다. 이러한 실험 결과를 이용하여, 사용자가 정자세를 유지하며 비행체가 움직이지 않기를 원할 때 정지 비행을 할 수 있도록 0 도를 기준으로 데드 밴드(dead band)를 설정하고, 몸통 각도에 일정 비율을 곱하여 비행체의 기준 각도를 생성하도록 한다. 그리고, 오인식 등으로 인하여 각도 값이 매우 큰 값이 입력될 경우를 가정하여 포화 영역(saturation)을 설정하였다. 이에 따라 피치에 대한 기준 각도 (θd)는 식 (2)를 통하여 계산할 수 있며 롤에 해당하는 기준 각도 (ϕd)도 같은 방식으로 계산하여 얻을 수 있다.
2.1.4 지상 제어 소프트웨어
HMD와 키넥트를 이용하여 제어 신호를 생성하고 비행체와 통신을 하기 위한 지상 제어 소프트웨어를 C언어 기반으로 개발하였다. 지상 제어 소프트웨어에서는 HMD로부터 사용자의 머리 각도를 추출하고, 키넥트를 이용하여 사용자의 몸통 각도를 추출해낸 후, 식 (2)를 이용하여 기준 각도를 계산하고 통신에 적합하도록 변환하여 비행체로 전송한다. 이와 동시에 비행 상태를 모니터링할 수 있도록, 쿼드로터의 배터리 잔량, 현재 자세 각도 등을 수신하여 사용자에게 표시한다. 또한, 카메라로부터 전송되는 영상을 캡쳐 보드를 통하여 입력 받고, 색수차, 렌즈 왜곡 등을 영상 처리 알고리즘으로 개선하여 사용자에게 표시하는 기능을 가진다. 제어 신호는 짐벌 및 쿼드로터가 안정적으로 제어되는 50Hz의 주기로 전송되고, 촬영되는 영상은 60Hz로 무선 전송 및 디스플레이 장치에 표시된다. 지상 제어 소프트웨어의 오류로 인하여 발생 할 수 있는 문제들을 방지하기 위하여 키넥트, 헤드-마운트 디스플레이에서 측정값을 얻어 제어 신호를 생성하는 모듈, 비행체로 제어 신호 값을 송신하고 비행 상태를 수신받는 모듈, 영상을 수신하고 왜곡 개선 처리를 한 뒤 HMD에 표기해주는 모듈로 나누어 다중 스레드(thread)로 구현한다. 그림 6에는 키넥트와 HMD 그리고 지상 제어 소프트웨어가 실행되는 컴퓨터가 나타나 있다.
그림 6키넥트, 헤드-마운트 디스플레이가 연결된 지상 제어 시스템 Fig. 6 Ground control system equipped with Kinect, and Head-mounted display
3. 성능 검증 실험
본 논문의 성능 검증 실험은 야외 비행을 통하여 개발된 인터페이스의 사용성을 평가하였다. 키넥트 및 HMD와 지상 제어 시스템은 실내에 설치하고, 쿼드로터를 야외에서 비행시킨 후, 사용자가 자율 비행을 할 수 있도록 하였다. 그림 7에는 사용자가 비행 중에 바라보는 방향을 변화시킬 때 실제 촬영되는 방향이 머리 방향에 맞추어 변화하는 것이 나타나 있다. 야외 실험을 통하여 복잡한 조종 방법 없이 사용자가 바라보는 방향을 촬영할 수 있는 것을 확인하였고, 몸을 구부리는 대로 비행체를 비행 시킬 수 있어 자유자재로 원하는 장소로 이동 및 촬영 할 수 있음을 확인하였다.
그림 7사용자의 머리 방향에 따라 변화하는 촬영 방향 Fig. 7 Camera angle manipulation using user head attitude angle
개발한 쿼드로터 및 짐벌 시스템의 제어 방법의 성능 검증을 위하여 실제 사용자의 움직임에 따른 쿼드로터의 자세와 카메라의 움직임을 측정하였다. 측정은 모션 캡쳐 장비인 VICON을 사용하여 수행하였으며 실제 착용자의 움직임에 따라 비행체의 움직임을 기록하였다.
그림 8은 HMD의 움직임에 따른 짐벌의 움직임을 나타내고 있다. 실선으로 표시된 HMD의 움직임에 따라 짐벌의 롤과 피치가 변화하는 것을 알 수 있다. 사용자의 머리 각도를 추종하도록 PID 제어 기반으로 짐벌이 제어되나 센서리스 방식으로 구동되는 짐벌의 특성상 각도 추정 정밀도가 높지 않아 정확한 각도로 추종이 되지 않는 것을 알수 있다. 그림 9에서는 사용자 머리의 요 축 움직임을 추종하도록 쿼드로터의 요 축 움직임이 제어됨을 알 수 있다. 각속도 기반으로 제어되는 요축은 자이로 센서의 값을 이용하여 제어하지만 노이즈로 인하여 정밀도가 롤, 피치 축보다 낮아짐을 알 수 있다. 그러나, 짐벌의 움직임과 실제 사용자 머리 움직임 사이에서 발생된 각도 오차가 HMD를 통하여 영상을 보는 사용자에게는 느껴지지 않음을 실험적으로 확인할 수 있었다. 그림 10에는 사용자의 몸체 움직임에 따라 쿼드로터의 자세가 제어됨이 나타나 있다. 사용자가 움직이고 나서 비행체의 자세가 따라서 변화한다. 제어 신호 생성 시에 데드 밴드를 설정하였기 때문에 약간의 지연 시간 후에 비행체의 움직임이 변화하는 것을 확인하였다. 그러나 지연 시간이 약 0.5초 미만으로 사용자가 실제 비행체를 조종하기에는 불편함을 느끼지 않는 정도로서 사용성을 해치지 않도록 제어됨을 확인 할 수 있다.
그림 8사용자의 머리 움직임에 따른 짐벌의 방향 제어 성능 Fig. 8 Control performance of gimbal attitude along with user head movement
그림 9사용자의 머리 움직임에 따른 쿼드로터 요축 제어 성능 Fig. 9 Control performance of quadtor in yaw axis along with user head rotation
그림 10사용자의 움직임에 따른 쿼드로터 롤, 피치 제어 성능 Fig. 10 Control performance of quadrotor in roll and pitch axis along with user body movement
4. 결 론
본 논문에서는 쿼드로터를 이용한 효율적인 항공 촬영, 감시 시스템 조종을 위한 사용자 자세 기반 쿼드로터 조종 인터페이스를 제안 및 구현하였다. 짐벌 시스템과 연동된 HMD는 사용자의 머리 움직임과 동일하게 카메라와 비행체의 움직임을 제어하고, 이와 동시에 고화질 영상을 디스플레이 해줌으로써 사용자가 원격에서 직접 보는 것 같은 느낌을 주도록 개발하였다. 또한 키넥트를 이용하여 허리 각도를 통해 쿼드로터의 자세를 제어할 수 있도록 하여 사용자가 비행하는 느낌이 들게 개발하였다. 이를 통해 매우 직관적으로 쿼드로터와 카메라를 제어할 수 있도록 하였다. 모션 캡쳐 시스템을 이용하여 제안한 인터페이스의 효율성 및 우수성을 검증하였다. 제안한 방법은 지상 제어 시스템 설치의 어려움 및 사람별 동작 민감도가 고려되지 않은 점, 제어 및 영상 처리의 딜레이로 인한 체험 효과 감소 등의 단점이 존재하지만, 추후 연구에서는 시스템 설치 간소화, 제어 및 영상처리 알고리즘 개선을 통한 카메라와 스크린 간의 딜레이 감소 등을 통하여 위의 단점들을 개선할 계획이다.