증강현실(AR)을 이용한 실시간 드론 운영 시스템 개발에 관한 연구

A Study on the Development of a Real-Time Drone Operation System Using Augmented Reality

Abstract

In this study, technology development was promoted to enable the convergence of augmented reality technology and actual drone operation technology, and its feasibility was confirmed through implementation and performance evaluation. In addition, it is believed that the AR-based drone simulator can contribute to improving drone operation capabilities by maximizing educational effectiveness and providing a realistic training environment. Based on the results of this study, we expect to improve the quality of vocational education related to drones and achieve high educational effectiveness, and it is believed that we will be able to suggest various directions in education using augmented reality.

1. 서론

최근 증강 현실(AR:Augmented Reality) 기술은 지속적으로 발전하고 있다. AR 기기의 하드웨어는 성능이 향상되면서 더 가벼워지고 휴대성이 좋아지고 있으며, 더 나은 디스플레이 기술을 도입하여 시야의 안정성과 화질을 개선하고 있다. 이러한 발전은 깊이 센서, 카메라, GPS 등 센서 기술의 발전으로 인해 환경 인식 능력이 향상되고, 실제 환경과 가상 요소를 더 잘 통합하는 AR 경험을 가능하게 한다.

또한, AR 애플리케이션의 성능 향상을 위해 컴퓨팅 파워가 증가하고 있다. 이는 향상된 그래픽 처리 능력과 병렬 처리를 통해 더 복잡한 가상 요소를 더 빠르게 렌더링할 수 있게 되었으며, 이러한 기술의 발전으로 인해 증강 현실 콘텐츠와 애플리케이션의 다양화가 이뤄지고 있다. [1-2]

한편, 최근 몇 년간 드론 기술의 발전은 산업, 군사, 농업 및 엔터테인먼트 분야에서 급속한 채택을 이끌어내고 있다. 드론의 다양한 응용 분야에서 효과적인 운용을 위해서는 고성능의 통신과 현실적인 시각화가 필수적이다. 이에 증강현실(AR) 기술을 결합하여 드론 운용 시스템을 개발하는 연구의 필요성이 대두되고 있다.[3-5]

본 연구에서는 증강현실(AR) 기술을 적용하여 드론 운용 시스템을 개발하고, 그 가능성을 검증하는 것을 목적으로 한다.

2. 드론산업과 AR 기술 동향 및 수준

드론(무인항공기, UAV) 산업은 다양한 분야에서 급격히 성장하고 있습니다. 드론의 활용 분야는 군사, 상업, 농업, 물류, 엔터테인먼트 등으로 다양화되고 있으며, 이에 따라 기술 발전도 빠르게 이루어지고 있다.

AR 기술은 더 높은 센서 정확성과 환경 인식 능력을 통해 현실 환경과 가상 요소를 더 자연스럽게 통합하는 특징을 가지고 있으며, 머신러닝과 컴퓨터 비전 기술의 발전으로 인해 AR 응용이 보다 지능적이고 개인화된 사용자 경험을 제공하도록 고도화 되고 있는 추세이며, AR 기기의 하드웨어 성능 향상과 함께 더 가볍고 휴대성이 좋아지고 있다.[4-5]

다양한 산업 및 분야에서의 AR 응용이 확대되고 있으며, 더욱 다양하게 활용되고 있다.할 이러한 드론 산업과 AR 기술은 각각 독립적으로 발전하면서도, 서로 결합하여 새로운 응용 분야를 창출할 가능성이 있다. 예를 들어, 드론의 항공 데이터를 AR로 시각화하여 실시간으로 분석하거나, AR을 이용해 드론의 조종 및 유지보수를 지원하는 등의 시너지 효과를 기대할 수 있다. 드론 산업과 AR 기술의 발전은 혁신적인 콘텐츠, 서비스, 산업 생태계의 형성을 촉진하고, 보다 풍부하고 유용한 사용자 경험을 제공할 것으로 기대된다.[6-7]

3. 개발범위 및 절차

본 연구를 진행하기 위해 증강현실 기술과 드론 운용 기술이 융합될 수 있도록 기술 개발을 추진하였다.

3.1 AR 기술 구현

3.1.1 안드로이드 AR Core SDK 분석

Fig. 1은 안드로이드 환경 구축을 위한 AR Core Flow를 나타내었으며, Fig. 2는Unity 3D 엔진 내에서 작동하는 AR Core 사용을 위한 프로그램 테스트 및 SDK 적용 여부를 분석하고 실행 하였다.[9]

Fig. 1 AR Core Flow

Fig. 2 Running Unity3D AR Core

3.1.2 마커 인식용 기획 및 설계

모션 트래킹은 IMU(Inertial Measurement Unit) 센서 데이터를 활용하여 카메라의 움직임에 따른 위치와 방향을 인지하고 평면에서 부터의 감지는 특징점을 활용하여 수평면을 감지하고 주변 조명을 관찰하여 가상 3D 물체에 빛을 비추어 더 사실적으로 구현하였다.

3.1.3 AR 요소기술 구현

Unity3D에서 적용되는 알고리즘 : 드론 렌즈를 통해 투영되는 영상을 촬영할 때 실제 촬영된 영상의 특정 사물을 인식하기 위해 객체의 인식(Recognition) - 검출(Detection) - 추적(Tracking) 의 단계를 거쳐 이벤트를 발생한다. 본 과제에서 이러한 일반적인 AR 요소기술 구현 방법은 Fig. 3처럼 실제 사물을 바닥에 있는 장소에 떨어뜨려 정확하게 일치하였는지를 판단하고 처리하는 부분에서 사용한다. 또한 움직이는 드론에 카메라가 장착되어지기 때문에 보다 더 높은 수준의 검출 및 추적 기술이 사용되어져야 하는데, 움직이는 카메라의 포즈(Pose)-위치까지 파악되어 카메라 시점에 따른 검출 및 추적이 구현되는 Visual Odometry 기술이 적용 된다. Visual Odometry 는 연속적인 이미지에서 시각적인 위치 및 회전 변화를 측정하여 카메라의 포즈를 추정하게 된다.

Fig. 3 Floor and wall plane recognition using AR Core

3.1.4 3차원 객체 배치 및 충돌계수 추적

정확히 입력된 실제 월드 좌표계 (X,Y,Z)를 알고 그 범위 내에서 실제 드론이 비행하며 비행하는 드론의 위치를 영상 좌표(Xc,Yc,Zc)로 계산하고 드론 카메라 설치 위치에 따라 카메라의 실제 좌표는 조금씩 차이를 보이므로 실측을 하여 좌표값을 조정하여 입력한다. 또한 실제 월드 좌표를 기준으로 구성된 가상 환경 내에서 각각 좌표값을 갖는 가상 객체의 좌표계 (Xv,Yv,Zv)를 설정하고 가상 객체를 구성한다.

월드 좌표계 내에서 비행하는 드론의 카메라 좌표에 따라 가상 객체가 카메라에 투영되며 사용자는 영상속의 가상 객체를 인지하게 되고, 실제 드론의 좌표 (카메라 좌표와 동일해도 가능함)와 가상객체와의 충돌 여부를 추적하게 되며 그 결과에 따라 다양한 화면 이벤트를 생성하여 구현한다. Fig. 4는 개발에 사용한 좌표계의 개념을 표현하였다.

Fig. 4 Conceptual diagram of coordinate system recognition method

3.2 드론 위치 추적 기술 구현

3.2.1 실내 드론 위치 추적 기술

Fig. 5는 실내 드론 측위 시스템의 개념을 나타낸 것이며, 드론의 위치 추적 및 실시간 좌표 추출을 위하여 드론 비행 방향과 각도를 측정하는 가속도 및 자이로센서를 활용하였다. 드론 바닥의 옵티컬, 카메라 센서를 활용한 바닥과의 거리를 측정하는 고도 센서 등의 조합을 통해 드론의 <x,y,z>의 위치를 인식하고 측위된 데이터를 사용자에게 전송하는 알고리즘으로 구현을 위해 Fig. 6의 아두이노 우노보드를 사용하였으며, 사양은 Table 1과 같다.

Table 1. Arduino Uno board specifications

Fig. 5 Indoor drone positioning system concept

Fig. 6 Arduino Uno Board

3.2.2 드론 영상 스트리밍

Fig. 7의 라즈베리파이 제로(Raspberry Pi Zero)와 Fig. 8의 파이캠(PiCam)을 사용하여 RTSP (Real Time Streaming Protocol)전송 방식의 스트리밍을 구현하였으며, 이는 Wifi Direct를 이용하여 드론의 라즈베리파이에 무선 접속 후 매 프레임 마다 OpenCV를 이용하여 영상 정보 요청을 보내고, 라즈베리파이에서 RTP(Realtime Transport Protocol)로 이미지 정보를 전송하고, 전송받은 이미지 정보를 텍스처로 변환하여 카메라에 설치된 가상 스크린에 출력하였다. 각 사용된 장치의 사양은 Table 2와 Table 3와 같다.

Fig. 7 Raspberry Pi Zero

Fig. 8 Pi Cam

Table 2. Raspberry Pi specifications

Table 3. Picam specifications

3.2.3 실내 측위 구현

본 연구에서는 간섭이나 왜곡이 가장 적어 로봇이나 드론의 좌표 측정에서 많이 사용하는 UWB(Ultra wide band)무선 통신 프로토콜을 이용하여 Fig. 9의 개념을 정의하였다.[8]

Fig. 9 UWB system overview

드론의 1인칭 상대 좌표 값을 기준으로 좌표 측정하는 방식으로 궤적 모니터링 프로그램을 통해 오차 발생 과정과 실시간 측정 성능을 직관적으로 파악하여 실제 드론과 가상 드론의 좌표 오차를 최소화 하였다.

3.2.4 위치인식

위치측정을 위해 3개의 앵커(anchor)와 텍(tag)을 Fig. 10처럼 구성하였으며, 앵커의 각 위치(p1, p2, p3)에서 텍(B) 사이의 거리인 r1, r2, r3를 계산한 후에는 Fig. 11의 삼변 측량법을 이용하여 텍의 위치인 B지점을 계산하는 방식을 이용하였으며, 오차 보정을 통해 텍의 좌표를 재계산하였다.

Fig. 10 UWB sensor installation

Fig. 11 UWB location awareness diagram​​​​​​​

3.3 드론과 AR의 동기화

(1) 드론 운영자가 모니터를 통해 전송되는 드론 비행화면에 나타나는 가상의 장애물(AR, 가상오브젝트)을 피해 정교하게 조정하는 상황을 종합적으로 구현하기 위한 동기화 절차로, 본 연구를 진행하기 위해 Fig. 12 R사의 Cordrone DIY 드론을 사용하였으며, 사양은 Table 4와 같다.

Fig. 12 Cordrone DIY

Table 4. Drone specifications

(2) Fig. 13은 동기화 테스를 위해 최종 개발된 설계 보드이며, DFU(Development Firmware Upgrade)솔루션을 이용하여 아두이노의 API와 IDE를 그대로 사용하여 개발하였다. Fig. 14은 설계보드가 안착된 드론을 나타내었다.

Fig. 13 Design board

Fig. 14 Drone with design board installed​​​​​​​

(3) 개발된 드론의 실내 위치 측위 테스트를 위해, 개발된 드론에서 실내 측위 데이터를 모두 획득할 수 있도록 Fig. 15과 Fig. 16처럼 실내 위치추적용 프로그램을 개발하여 동기화를 완료하였다.

Fig. 15 Indoor location tracking program

Fig. 16 Indoor location tracking test​​​​​​​

(4) 최종적으로 드론 비행 중 움직임에 따른 좌표와 AR객체의 오브젝트 좌표 테스트 위하여, Fig. 17처럼 테스트용 가상 장애물 공간을 구축하였으며, 실제 드론의 좌표 오차를 최소화하기 위하여, Fig. 18처럼 1인칭 시점의 가상드론 AR모드를 구현하여, 최종적인 장애물 충돌 테스트를 실시하였다.

Fig. 17 Constructing 3D virtual obstacles for testing

Fig. 18 AR implementation using virtual drones​​​​​​​

4. 성능 평가

개발된 AR 드론 운용 테스트를 위하여 3축 위치 프로퍼티(Property)가 포함된 가상의 3D 오브젝트를 라이브러리로 구축하고 AR 오브젝트를 실제 실내 공간에 Fig. 19과 Fig. 20처럼 구성하고 테스트를 실시하였다.

Fig. 19 Building and setting up test space

Fig. 20 Implementation of AR obstacles for drone operation​​​​​​​

구축된 실내 공간에서 안드로이드용 스마트폰을 이용하여, Fig. 21처럼 실시간 AR 드론 운영 테스트룰 완료하였으며 결과는 다음과 같다.

Fig. 21 Real-time AR drone flight using an Android device

(1) 증강현실기법을 이용한 실내 공간 및 콘텐츠 등은 시뮬레이션기법으로 체험할 수 있도록 구성하고 실제 상황에 가장 유사한 형태로 드론 운용 기술이 융합될 수 있음을 확인하였다.

(2) 증강현실 기법의 장애물 구성과 실제 드론 운용 테스트를 통하여 오차를 최소화함으로써 시대의 흐름에 부합하는 하이브리드형 융합체험이 가능함을 확인하였다.

(3) 실내 공간에서 실제 드론으로부터 영상을 수신 받아 측위 좌표를 기준으로 AR 오브젝트 및 영상 스트리밍 기능을 통합하여 한 대의 드론에서 영상 스트리밍과 실내 측위 데이터를 모두 획득하고 운영할 수 있음을 확인하였다.

5. 결론

드론 운용에 대한 인력 양성을 위해서는 실제 운용되고 있는 시스템에 대한 경험이 필수적이며, 반복된 경험 및 검증을 통해 라이센스를 부여하고 있다.

특히, 국내에서 교육 기관이 구비할 수 있는 고가의 드론이 제한적이며, 다양한 환경에서 사용자가 경험하기 어려운 문제가 존재한다. 이에 본 연구에서는 실내 공간에서 증강현실로 장애물을 구축하고, 구축된 장애물을 실제 드론으로 체험할 수 있는 하이브리드형 AR 드론운영 시스템을 개발하여 경험을 축적할 수 있도록 하였다. 또한 고가인 드론의 경제성을 고려하여 시중에서 가장 많이 유통되고 있는 저가의 드론과 아두이노 제품을 선정하여 하드웨어를 구축하고 개발을 진행하였으며, 실내 위치 측위 가능한 프로그램을 구성하여 테스트함으로서, 그 가능성을 확인하였다. 단, 실내를 기준으로 개발된 AR드론의 운영 특성 상 풍량, 풍속 등 환경적 요건을 재현하여 운용할 수 없다는 제약이 있으며, 풍부하고 다양한 사용자의 경험 축적을 위해 환경적 요건에 대비한 개발이 추가적으로 필요할 것으로 사료된다.

본 논문에서는 증강현실 기술과 실제 드론 운용 기술이 융합될 수 있도록 기술 개발을 추진하였으며, 구현 및 성능평가를 통해 그 가능성을 확인하였다. 또한 AR기반의 드론 시뮬레이터를 통해 교육효과를 극대화하고, 현실감 있는 훈련 환경을 제공함으로써 드론 운영 능력을 향상 시키는데 기여할 수 있을 것으로 사료된다.

본 논문 연구 결과를 바탕으로 드론과 관련된 직업교육 및 산업 발전의 질적 향상과 높은 효과를 기대하며, 증강현실을 이용한 분야에서의 다양한 방향을 제시할 수 있을 것으로 기대된다.

후기

본 논문은 혁신 성장 동력 실증·기획 지원사업의 재원을 받아 수행된 결과임.