A Study on Movement Control of Drone using Reference Posture Mapping

기준 자세 맵핑을 이용한 드론의 동작 제어에 관한 연구

Abstract

Drone can be controlled by the method such as Bluetooth communication for close distance and can be controlled through network communication for long distance. Especially, the coordinate is set using GPS and drone is controlled using network communication and video communication when the activity range is long distance. However, the drone should be controlled by receiving control authority accordingly in response about it appropriately when the drone leaves the control area after arriving at the destination if there is a problem with network communication and video communication. So, this study proposes a method to control a drone with a simple mutually promised simple gesture and the drone can be controlled in the proposed method even if the drone leaves from the control authority in above situation. The reference posture was established for mutually promised simple gesture algorithm and automatically handed over the control authority of drone to a person who takes the reference posture when the drone recognizes it to implement this. And all the movements of the drone could be controlled by starting the beginning of all commands from the reference posture (The hovering posture of the drone). Lastly, the control authority of the drone should be returned after achieving the purpose, and the algorithm was implemented to make the drone can perform next action of its own, and it was confirmed that the drone was operating normally by the mapped instruction.

드론의 제어는 가까운 거리의 경우 블루투스 통신과 같은 방법으로 제어가 가능하고, 원거리는 네트워크 통신을 통해서 제어가 가능하다. 특히 활동범위가 원거리인 경우는 GPS를 이용하여 좌표를 설정하고 네트워크 통신과 영상통신을 이용하여 드론을 제어하게 된다. 그러나 네트워크 통신이나 영상통신에 문제가 발생하여 드론이 제어권한 영역 밖으로 이탈했을 경우, 이를 적절하게 대응하여 제어권한을 강제로 받아서 드론을 조종하여야 한다. 따라서 본 연구에서는 이를 위하여 상호 약속된 단순 동작으로 드론을 제어하는 방법을 제안하고, 드론이 제어권한 밖으로 이탈 했을 경우에도 제안한 방법으로 드론을 제어할 수 있도록 하고자 한다. 이를 구현하기 위하여 제안한 상호 약속된 단순 동작 알고리즘은 기준자세를 설정하고, 드론이 이를 인식했을 경우 자동으로 드론의 제어권한을 기준자세를 취하는 사람에게도 넘어가게 하였다. 그리고 모든 명령의 시작은 기준자세(드론의 호버링 자세)로부터 출발하여 드론의 모든 동작을 제어할 수 있도록 하였다. 마지막으로 드론의 제어권한은 목적 달성 이후 반드시 돌려주고, 드론 스스로 다음 동작을 할 수 있도록 알고리즘을 구현하였고, 맵핑된 명령에 의해 드론이 정상적으로 동작함을 확인할 수 있었다.

1. 서론

드론의 제어를 동작 거리 기준으로 나누어보면 비행허가를 받지 않고 블루투스와 같은 통신으로 조종할 수 있는 10m 이내에서 동작하는 소형 드론이 있고[1], RF 무선 조종기를 이용하여 100m 이내에서 동작하는 중형드론도 있으며[2], 원거리를 이동하며 제어는 네트워크 통신[3] 및 영상통신[4]을 이용하는 원거리 드론으로 나눌 수 있다. 최근 드론을 이용하여 물건을 배달하는 택배 드론[5]에 대한 관심이 지대해지면서 어느 영역까지 드론으로 배달을 할 것인지에 대한 논의가 있었다. 아파트 입구에서 드론으로 원하는 층까지 택배 배달하는 방법이 있을 수 있고, 차량이 들어갈 수 없는 경우 드론 택배가 가능할 것이다. 이 방법 이외에 먼 거리에 드론이 움직여야 한다면, 네트워크 통신이나 영상통신 그리고 GPS 좌표값을 이용하여 드론을 제어[6] 해야 할 것이다. 그동안 네트워크 통신이나 영상 통신으로 드론을 제어하는 방법들이 연구되어왔고, 군사 목적 드론은 위성통신으로 네트워크 통신이 되지 않는 곳까지 드론을 제어할 수 있게 되었다. 만약 원거리 이동 후, 목적지에서 네트워크 통신망이나 위성통신 장애로 영상통신을 이용해 목적지 주변상황을 파악하지 못한다면 목적지에서 드론을 세밀하게 제어할 수 없을 것이다.

따라서 본 연구에서는 통신이 두절된 상태에서 드론이 GPS 좌표값 5m 이내에 접근하면 제어권한을 넘겨 받기로 한 사람이 미리 상호 약속된 방법으로 기준자세를 취하고, 드론은 이를 약속된 명령으로 맵핑하여 드론 자신의 제어권한을 목적지 제어권자에게 넘겨준다. 이를 통해 드론의 제어가 가능한지를 확인하기 위하여 본 연구에서는 상호 약속된 단순 동작으로 드론을 제어하는 방법을 제안하고, 이를 실험을 통하여 확인하고자 한다.

2. 기준 자세 맵핑

드론이 맵핑을 통하여 인식하기로 한 자세는 양팔은 수평으로 벌리고 다리는 45도 정도 벌린 자세를 말한다. 이 자세를 기준자세라고 정의하고, 드론이 이 자세를 인식하면 드론의 호버링 자세로 맵핑한다. 실험에 사용한 드론의 호버링은 지상 2m 위치에서 좌우 균형을 잡고 정지 동작을 한 상태를 말한다.

2.1 전처리

영상의 기준자세를 맵핑하기 위하여 단순화해야 할 필요가 있다. 연산시간이 긴 학습을 통하여 특정 자세를 인식한다면 명확한 자세를 인식할 수 있지만, 드론의 실시간 동작에는 맞지 않는 방법이다. 따라서 본 연구에서 제안하는 방법은 미리 상호 약속된 기준자세의 특징을 찾고 이를 기준으로 입력 영상에서 맵핑을 통하여 드론의 동작 명령으로 인식하게 하는 것이다. 우선 입력 영상의 단순화를 위해서 그레이레벨 영상으로 변환한 후, 배경 영상을 제거하고, 맵핑을 위한 좌표값이 되는 머리 끝, 손끝, 발끝의 좌표를 얻는다. 그림 1은 기준자세(Hovering)에 대한 좌표값을 얻는 과정을 예로 나타낸 것이다.

그림 1. 입력 영상의 기준 좌표값

Fig. 1. Reference coordinates of the input image

LH(x,y)는 왼쪽에서 오른쪽으로 수직 스캔할 때, 왼발보다 바깥쪽으로 존재하는 좌표값이다. RH(x,y)는 오른쪽에서 왼쪽으로 스캔할 때, 오른발보다 바깥쪽으로 존재하는 좌표값이다. LF(x,y)와 RF(x,y)는 발 아래에서 위로 수평 스캔할 때, 최초로 수평선과 만나는 점이며, 왼발, 오른발 두 좌표값이 존재할 수 있다. 그리고 H(X,y)는 위에서 아래로 수평 스캔 할 때, 최초로 만나는 좌표값이며, ‘Return’ 명령의 경우 손에 의해 머리 좌표가 가려져서 존재하지 않는 좌표값이다.

2.2 제어권 이양

GPS에 의해 설정된 좌표에 도달한 드론은 정북방향 방면 목표지점 10미터 이내에서 호버링하며 대기한다. 그림 2에 나타낸 것처럼 제어권한을 이양받고자 하는 사람은 발을 양쪽으로 45도 정도 벌린 상태에서 양팔을 수평으로 유지한 기준자세(호버링 자세)로부터 팔을 위로 45도 올리고 멈춘 후 기준자세로 돌아오고, 팔을 아래로 45도 내리고 멈춘 후 기준자세로 돌아오는 과정을 천천히 반복하면 움직임을 갖는 양팔의 좌표값을 인식하고, 이 좌표값을 기준으로 머리와 양 발의 좌표값을 인식하게 된다.

그림 2. 제어권 이양 과정

Fig. 2. Control transfer process

인식된 좌표값을 바탕으로 설명하면, 그림 2에서 첫번째와 두번째 동작 의미는 손끝 좌표값의 변화를 기준으로 팔을 인식하는 과정이고, 두 번째와 세 번째 동작 의미는 첫 번째와 두 번째 인식을 기준으로 중심 좌표로 몸통을 인식하며, 이 4가지 동작 전체를 기준으로 고정된 좌표값으로 발을 인식하는 과정을 나타낸 것이다. 인식이 완료되면 드론의 정방향 LED가 인식되었다는 깜박임을 보내오게 되고, 이 값을 기준으로 기준자세 모델과 맵핑을 하여 standby 상태가 된다. 이와 같은 방법으로 본 연구에서 제안한 제어권한을 이양하고 맵핑하는 알고리즘은 그림 3과 같다.

그림 3. 제어권 이양 알고리즘

Fig. 3. Control transfer algorithm

2.3 명령 수행

기준자세와 맵핑된 드론은 제어권한자의 동작을 맵핑하고 이를 명령으로 번역하여 동작을 수행한다. 모든 명령은 항상 기준자세로부터 출발하여 명령 자세를 취한 후 반드시 기준자세로 돌아와야 한다. 표 1은 맵핑되는 제어 명령들을 나타내었다.

표 1. 제어 명령

Table 1. Control instruction

3. 드론 자세 제어 구현

3.1 드론 시스템

실험에 사용된 드론은 ㈜HUINS 사의 Blueys-1K 모델이며, 짐벌은 pitch가 –90°에서 +30°이며, 장착 카메라는 센서 용량이 5M이고 렌즈가 f=3.57mm, f/2.8이며 영상 사이즈는 1080p/30fps인 카메라를 이용하여 실험을 수행하였다. 그림 4는 실험에 사용된 드론의 시스템 블록다이어그램이며 우측 블록이 입력 영상을 명령으로 맵핑하는 IP(Image Processing) Board이고, 좌측 블록은 명령으로 변환된 맵핑 결과를 전달받아 드론의 자세를 제어하는 Flight Controller이다.

그림 4. 드론의 H/W 블록다이어그램

Fig. 4. H/W block diagram of drone

그림 5는 그림 4의 IP Board에서 임의의 제어동작이 입력되었을 때, 이를 명령으로 맵핑 해주는 과정을 나타낸 것이다. 이 맵핑된 명령으로 드론의 자세를 제어하게 된다.

그림 5. 드론 제어 과정

Fig. 5. Drone control process

3.2 드론의 동작

드론은 그림 6과 같이 쿼드콥터 형태이며, 전진 방향을 기준으로 4개의 프로펠러가 장착되어있다. 드론은 날개가 회전할 때, 토크의 균형을 맞추기 위해서 BLDC 모터 A와 C가 시계방향으로 회전한다면 반대로 BLDC 모터 B와 D는 반시계방향으로 회전하여 균형을 맞춰야 한다. 드론이 Front 방향으로 전진한다면 드론의 앞은 하강하고, 뒷부분은 상승한 상태이므로 pitch값은 음의 값을 갖게 된다.[7] 이 방향으로 드론을 움직이기 위해서 BLDC 모터 A와 B는 속도를 줄이고 BLDC 모터 D와 C는 속도를 높여서 드론이 Front 방향으로 전진하게 한다. 이와 같은 방법으로 드론의 우측 이동은 Roll값이 양의 값, 좌측 이동은 Roll값이 음의 값이어야 한다. 드론의 회전에 해당하는 yaw는 드론의 전후좌우 이동과 무관하므로 고려하지 않았다.

그림 6. 드론의 동작

Fig. 6. Drone operation​​​​​​​

3.3 명령 자세 맵핑 결과

제어권한을 이양 받은 명령권자의 기준자세를 정상적으로 맵핑한 결과를 그림 7(a)에 나타내었다. 기준 자세는 곧 호버링 자세를 의미한다. 특히 그림 7(b)는 자세를 명령으로 맵핑하지 못한 결과를 나타내고 있다. 명령권자가 명령어로 맵핑될 수 있는 자세를 취하는 과정에서 팔의 수평 동작의 경우 여유각도를 위 아래로 5도 두었고, 수직의 경우에도 좌우 여유각도를 5도 두었다. 발의 벌림 각도 또한 45도를 기준으로 5의 여유각도를 두었다. 실제 명령 맵핑 과정에서 여유각도 밖으로 나갈 때는 명령으로 맵핑되지 않았고, 여유각도 이내로 들어와 있다 하더라도 드론의 외적 영향으로 인해 드론이 호버링을 유지하지 못해 맵핑되지 않는 경우도 있었다. 드론이 외부 영향을 받지 않고 호버링을 유지한 상태에서 맵핑되는 자세는 모두 명령으로 정상동작 되었다.

그림 7. 호버링 자세와 매핑 실패

Fig. 7. Hovering posture and mapping failure​​​​​​​

그림 8은 드론이 순서대로 전진, 후진, 우측 이동, 좌측 이동을 나타낸 것이다. 제어권자가 드론의 전진명령에 해당하는 그림 8(a) 동작을 하였을 경우, 드론은 초기에 그림 7(a) 상태에서 그림 8(a)의 상태로 변화한 것을 보여주고 있고, 그림 7(a)의 호버링 상태에서의 pitch 값은 –0.00~-0.06으로 사실상 정지상태에 있다가 그림 8(a)의 pitch 값은 –10.04~-10.78의 범위를 갖게 되며 천천히 전진하게 되는 상황을 확인할 수가 있다. 그림 8(b)는 pitch 값이 10.04~10.57의 범위를 갖게 되며 후진 명령으로 동작함이 확인되었고, 그림 8(c)는 Roll 값이 –10.08~-10.46의 범위를 유지하여 좌측이동을, 그림 8(d)는 Roll 값이 10.14~10.32의 범위를 갖게 되어 우측 이동 명령으로 맵핑되고 동작하는 결과를 보여준다.

그림 8. 맵핑 명령 수행

Fig. 8. Execute mapping instruction​​​​​​​

4. 결론

본 연구에서는 네트워크통신과 영상통신 또는 위성통신을 이용하여 드론을 제어할 수 없는 경우, 즉 출발지점에서는 제어권한을 가진 자가 드론을 조종할 수 있으나 목적지에 도착하여 제어범위 밖으로 이탈할 경우 드론은 통제 불능에 빠지게 된다. 또한 GPS 좌표를 이용하여 자율주행하여 목적지에 도착하였으나 도착지 정보를 명확히 알지 못해 오동작할 수 있는 경우가 있다. 드론의 이러한 문제점을 극복하기 위해서 본 연구에서 제안한 상호 약속된 단순 자세를 명령어로 맵핑하고, 명령 제어권을 이양받아 드론을 안전하고 정확하게 제어할 수 있는 방법을 제안하였다. 상호 약속한 기준자세는 호버링 자세였으며 이를 인식하여 제어 권한을 이양받게 하였고, 드론의 기본동작인 전후좌우 동작을 맵핑 명령어로 수행하였을 때, 급격한 외부 충격이나 명령권자의 자세가 유효각도 범위 밖에서 동작을 취했을 경우를 제외하고는 맵핑이 잘되어 드론을 무리없이 제어할 수 있음을 확인할 수 있었다.