1. 서 론
가상현실(VirtualReality, VR)과 증강현실(Aug- mentedReality, AR)기술은 차세대 컴퓨팅 플랫폼 기술로써 향후 기존 ICT시장을 크게 변화시키고 신규 시장을 창출할 수 있는 파괴적인 기술이다.Gart- ner의 ‘Top10StrategicTechnologyFor2020’에서는 가상현실, 증강현실, 혼합현실(Mixed Reality, MR)기술이 대화형 플랫폼에서 사람들이 디지털 세상과 상호 작용을 통해 미래 다중 모드 경험에 중요한 기술이 될 것이라고 선정하였다[1].
혼합현실 기술은 가상현실과 증강현실을 혼합한 것으로 실제 세계와 디지털 세계를 동시 또는 각각 표현하여 사용자가 실제와 같은 가상의 경험과 이를 현실 세계에도 반영하는 경험을 동시에 체험할 수 있게 한다. 즉, 혼합현실 기술은 실제 환경의 객체에 가상으로 생성한 정보를 실시간으로 혼합하여 사용자와 상호작용 하도록 함으로써, 정보의 사용성과 효용성을 극대화하는 차세대 정보처리 기술이다[2, 3]. 가상현실과 증강현실 기술을 활용하여 항공기와 같은 비행체의 시뮬레이션 및 훈련과 항공기 경로 탐색알고리즘에 관련한 연구들이 다양하게 진행되고 있다[4-7].
무인비행체의 조종 훈련을 통해 수집되는 데이터는 정형 데이터로써, 항공기의 속도, 방향, 각도 등을 수집한다.수집된 데이터의 품질을 효율적으로 관리하기 위해서는 데이터 프로파일링과 정규 표현 식을 이용한 품질관리 모델이 필수적으로 필요하다[8-11]. 본 논문에서는 혼합현실 환경에서 드론과 같은 무인 비행체의 비행운항 데이터를 수집 및 분석하고, 최적의 경로를 탐색하기 위한 프로파일을 설계하고 구축한다. 사전 연구로 설계 및 구현한 조종 훈련 플랫폼 [12]을 기반으로 다수의 훈련을 진행하였으며, 이를 통해 수집된 데이터를 프로파일화하고 향후 플랫폼 지능화 및 빅데이터 분석에 활용할 수 있을 것으로 기대한다.
본 논문의 구성은 다음과 같다.2장은 관련 연구로서, 사전 연구로 진행한 VR/AR환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼[12]에 대해 기술하고, 조종 훈련을 통해 수집한 데이터의 프로파일링과 관련된 연구들에 대해 기술한다.3장은 제안하는 혼합현실 환경에서의 무인비행기의 비행 운항 데이터를 기반한 프로파일의 요구사항을 분석하여 경량화된 프로파일 구조를 설계 한다.4장은 설계된 프로파일 구조의 분석을 통해 동일패턴 및 이상치 분석을 진행하는 등의 제안하는 최종 프로파일 구조에 대한 실험 및 분석한다. 마지막으로 5장에서 결론 및 향후 연구로 맺는다.
2. 관련 연구
사전 연구로 진행된 협업 딥 러닝을 적용한 VR/AR기반의 개인 맞춤형 조종사 훈련 플랫폼은 VR 시뮬레이터와 및 AR디브리핑 디스플레이 기반의 항행 훈련 시스템과 빅데이터·AI기반의 개인 맞춤형 조종사 훈련 추천 시스템으로 Fig.1과 같이 구성되어 있다. Fig.1에서 제시된 시스템은 조종사는 개선형 VR시뮬레이터를 통해 가상 항행 훈련을 수행하게 되며 실시간 훈련내용은 AR기반 항행 디브리핑 시스템에 반영되어 시각화되고 시각화된 훈련 내용은 트레이너 및 평가자가 실시간으로 모니터링 및 평가할 수 있다. 모니터링 및 평가를 위해 빅데이터·AI 기반의 개인 맞춤형 조종사 훈련 플랫폼의 분석을 통해 훈련 결과를 분석하여 해당 훈련 이후 수행하기에 적합한 훈련을 추천하고 해당 훈련 결과의 적합성을 다양한 각도에서 평가하기 위한 수치를 분석하게 된다.본 논문에서는 훈련 기록 데이터를 효율적으로 분석 및 관리하기 위해 훈련 기록 데이터를 시각화 하여 분석한 뒤 동일 패턴 및 이상치를 분석하여 전처리 처리 및 최적화를 통한 프로파일을 설계 및 구현한다.
Fig. 1. VR/AR-base Customized Pilot Training Platform with Collaborative Deep Learning.
3. 무인비행기 조종 훈련을 위한 빅데이터 기반 프로파일 설계
3.1 프로파일 요구사항 분석
사전 연구에서 설계 및 구현한 조종 훈련 플랫폼 [12]을 기반으로 훈련을 수행하여 수집할 수 있는 훈련 기록 초기 데이터 셋은 그림 Fig. 2와 같다. 훈련 기록 데이터는 Fig.2와 같이 일반적인 텍스트 형태로 저장되고 있으며, 정재되지 않은 형태로 관리되고 있다. 따라서 데이터의 분석 및 다양한 활용을 위해서는 전처리과정 및 프로파일로써 구축 할 필요가 있다. Fig.3은 훈련 기록 데이터의 E-R다 이어 그램이다.여각 테이블이 포함하는 데이터 속성들과 데이터 타입, 테이블간의 관계가 표현되어 있다. 총 37개의 Feature값을 가지고 있으며, 60개의 항행데이터를 보유하고 있고, 전체 데이터는 총 2, 607개이다.
Fig. 2. Part of Data Set of Flight Training Records.
Fig. 3. E-R Diagram of Flight Training Records
Fig.3에서 나타난 ERD상의 각 데이터들을 프로파일로써 구축하고 빅데이터 분석을 위해 하둡과 같은 빅데이터 전용 스토리지에서 관리하기 위해서는 각 데이터에 대한 데이터 타입의 정의와 재정의가 요구된다.또한 텍스트로 저장되는 초기 훈련 기록을 프로파일 형태로 저장 및 관리하기 위해서는 아래와 같은 네 가지 요구사항이 적용되야 한다.
① 데이터 타입 및 테이블화
기존에 수집되는 데이터는 텍스트 형태로 저장되기 때문에 이를 각 속성들의 특성별 또는 연관 관계에 따라 테이블화 할 필요가 있으며, 테이블화를 통해 이후 분석되는 데이터의 시각화나 효율적인 분석이 가능하다.
② 불필요한 속성 제거
프로파일이 많은 속성을 가질수록 빅데이터 분석을 통한 결과 도출을 위한 모델을 생성하는데 더 많은 연산시간과 모델 복잡도를 가지게 되므로, 효율적인 분석 모델을 생성하기 위해서는 프로파일의 사전분석을 통해 불필요하거나 중복되는 속성들을 제거할 필요가 있다.
③ 이상치 제거
데이터에 따라 데이터의 손상, 입력 오류, 단위 오류 등으로 인해 데이터가 잘못 저장되는 경우가 있다. 이를 위한 전처리 과정에서 원시 로그 데이터의 경우, 불필요한 값이 존재할 수 있으므로 이를 정제하기 위해 직전 값보다 다음 값이 비정상적으로 변하면 이상치(Outlier)제거 알고리즘을 채택한다. 따라서 선행적으로 데이터 시각화를 통해 이상치를 탐색하여 제거 또는 정규화할 필요가 있으며, Fig. 4의결과와 같이 나타난다.
Fig. 4. Real-time collected UAV flight data purification process and result sample.
④ 속성간 연관성
일부 속성값들의 경우 연관성을 가지므로 분석 시그룹핑하여 분석하는 기법을 사용할 수 있으며, 사전시각화 분석을 통해 연관성을 가질 수 있는 속성을 파악할 필요가 있다.
3.2 프로파일 설계
비행 운항 기록 프로파일은 크게 6가지 테이블로각 테이블은 1)항공기 속도, 2)항공기의 마하속도, 수직속도, G-load, 3)항공기의 피치, 롤, 헤딩, 4) 항공기의 받음각, 하이드슬립, 비행방향, 5) 항공기의위도, 경도, 고도, 6), 항공기의 위치, 속도, 이동 거리로 구성된다.빅데이터 기반 조종 훈련기록 프로파일은 기존의 .csv형태로 저장되어 있던 조종사 훈련기록 데이터를 6개의 항목들로 테이블화하여 빅데이터 분석이 가능한 형태로 전처리과정을 거쳐 각 항목들을 재정의하였다.Fig.5는 R을 활용하여 데이터를 테이블 화한 화면의 스크린샷이다.
Fig. 5. Tableization of Data set of Flight Training Records using R.
vehicle_speed(항공기 속도)는 비행기의 비행속도를 노트(knots)단위로 표시한 속성 외 준압축 유랑으로 보정된 비행속도, 공기저항이 없을 때의 실제 비행속도, 지상 속도를 기준으로 한 속도, 마일 단위속도, 실제 비행 속도(km), 실제 비행 속도(마일)를 나타낸다.vehicle_speed_mvg(항공기 마하속도, 수직 속도, G-load)테이블은 마하 1비율의 현재속도, 수직 속도, 자체 축 하중, 축 하중, 측면 하중을 나타낸다. vehicle_prh(항공기의 피치, 롤, 헤딩)은 오일러 각도로 측정한 항공기의 피치, 롤링, 헤딩과 자기 각도로 측정한 헤딩을 나타낸다.vehicle_paths_deg (항공기의 받음각, 사이드슬립, 비행방향) 테이블은받음각, 도 단위 각, 실제 방향, 실제 피치, ball 단위 슬립 표기를 나타낸다. vehicle_xxtitude(항공기의 위도, 경도, 고도)테이블은 위도, 경도, 고도를 도 단위로 나타낸 것과 피트단위로 나타낸 것, 활주로 위치를 확인하는 것으로 나타낸다.vehicle_loc_vel_dist (항공기의 위치, 속도, 이동거리) 테이블은 X, Y, Z 관성축에 대한 상대적 거리를 미터단위로, m/s 단위로 속도를 나타내고, 거리는 피트와 해리 단위로 나타낸다.
4. 실험 및 분석
Fig.6는 수집한 훈련 기록 데이터를 Python을 이용하여 분석한 결과이며, 분석한 결과를 통해 불필요한 요소를 제거하고 분석에 유용한 속성들을 선별하는 것이 요구된다.
Fig. 6. Visualization of Profile of Flight Training Records.
시각화 분석은 항공기 속도, 마하속도, 수직속도, G-load, 피치, 롤, 헤딩, 받음각, 사이드슬립, 비행 방향, 위도, 경도, 고도, 위치, 속도, 이동거리에 대해 진행하였다.
시각화 분석을 통해 동일한 패턴을 가지는 속성들은 항공기의 속도, 이동거리, 각도로 나타났다. 항공기 속도의 경우 단위에 차이가 있을 뿐으로 Fig.7과같이 모두 유사한 패턴을 보였는데, 항공기가 착륙하는 시점인 2500~3000시점 사이에서 미세한 패턴의 차이를 보였다. 이 중 완벽하게 동일한 패턴을 가지는 속성들을 추리면 총 4개의 다른 패턴을 추려낼 수 있었고 최종적으로 확정된 속성은 ①vind_kias② vind_kaas ③vtrue_ktgs④vind_mph이다.
Fig. 7. Visualization result of Vehicle speed.
항공기 이동거리를 나타내는 두 속성인 dist_ft와 dist_nm역시 단위의 차이만 있어 Fig.8과 같이 동일한 패턴을 보였기 때문에 dist_ft_nm으로 하나의 속성으로 프로파일링 하였다.
Fig. 8. Visualization result of Vehicle distance traveled.
항공기 각도(헤딩)를 나타내는 두 속성인 hding_ true와 hding_mag가 두 개의 다른 각도 알고리즘을 사용하였을 때에도 Fig.9와 같이 동일한 패턴을 보였기 때문에 하나의 속성인 hding으로 프로파일링하였다.
Fig. 9. Visualization of Vehicle heading.
시뮬레이션을 통해 동일 패턴의 속성값을 분류 및 삭제하여 최종적으로 설계된 프로파일 구조는 Fig. 10과 같다.
Fig. 10. Final ERD Diagram after Visualization Analysis.
정제 이후 총 Feature값은 33개로 줄었으며, 총 데이터 개수는 1, 578개였으며, 이전 대비 약 28.5% 정제되었음을 알 수 있다. 항공기 속도의 경우 모두 단위만 다르고 시각화하였을 때 동일한 패턴을 보이는 것으로 분석되었다. 하지만 훈련 종료시점에 보이는 착륙 지점에서 단위만 다른 것이 아니라 일부 패턴이 다르게 표기된 것을 확인하였다. 따라서, 항공기 속도는 완벽하게 동일한 패턴을 가지는 속성값은 하나로 표기하고, 다른 패턴을 보이는 총 4개의 단위만 프로파일화 하였다.항공기 이동거리를 나타내는 두 속성은 거리를 피트단위로 나타내는 속성과 해리 단위로 나타내는 속성이 동일한 패턴을 보이기 때문에 하나의 속성으로 프로파일화 하였다.항공기 각도를 나타내는 두 속성은 오일러 각도로 측정한 것과 자기 각도로 측정한 것이 동일한 패턴을 보이므로 하나의 속성으로 프로파일화 하였다.
분석의 결과를 통해 기존의 데이터와 최종 분석데이터 간의 전체 데이터 정제율은 총 29.5%의 정체가 이뤄짐을 알 수 있었다. 두 데이터 간의 성능 비교 및 평가는 Table1과 같이 나타났으며 데이터 총량 및 분석 시간의 평균치를 비교하였다. 전체적인 데이터 정제를 통해 메모리 효율성의 증대 및 분석 시간 감소, 그리고 시스템 처리 효율증가의 이점이 나타남을 알 수 있었다.
Table 1. Comparative Analysis of Performance Evaluation.
시각화 분석에서 이상치를 보인 속성은 항공기의 하중을 나타내는 5개의 속성이 감지되었다. 이 5개의 속성은 각각 차체 축 하중, 축 하중, 측면하중, 항공기 받음각, 항공기 횡축의 움직임이었으며, 동일한 시점 (약 800~900시점)에서 이상치가 발생하는 것으로 보였다.실제 항공 훈련에서 발생하기 어려운 이상치로 예상되는 이상치 발생 원인으로는, 항공 훈련 데이터 수집 센서의 오류일 것으로 예상된다.
그러나 항공 모니터링 플랫폼의 프로파일 처리 시스템 적용을 위해서는 프로파일링 전후에 따른 경로 분석 결과의 차이가 나지 않아야 항행 시 사고 위험이 없다. 본 프로파일링 시스템의 결과에 기반해서 나타나는 추천 경로 노드들을 비교해 보았을 때, 평균 일치율이 87.6%로 기존의 경로와 유사하게 나타났으며, 이에 대한 경로 유사도 결과는 Fig.11과 같이 나타난다.
Fig. 11. Flight path through profile optimization. (a) Example of the path when applying the existing profile structur and (b) Example of the path when applying the final profile structure.
수집된 데이터의 패턴 분석과 악천후와 같은 접근 불가 구역(NoFlyZone)및 건물과 같은 물리적 장애물에 대처할 수 있는 상황 분석에 대한 장애 패턴 분석 알고리즘을 포함한다. 특히 계획된 비행경로와 실제 비행경로 간의 차이를 만드는 여러 외부 변수들의 경험 데이터는 항행 데이터 내의 환경 변수를 달리한 주행 기록을 기반으로 지속적인 수집을 통해 데이터 애널리틱스 모델을 형성할 수 있도록 가공하였다.
5. 결 론
본 논문에서는 혼합현실 환경에서 드론과 같은 무인 비행체의 비행운항 데이터를 수집하고 훈련 내용을 분석하고, 최적의 경로를 탐색하기 위한 프로파일을 설계하고 구축을 제안하였다. 무인항공기의 운항기록 데이터의 수집을 위한 프로파일 정규화 및 전처리를 진행하고 최적의 비행 경로 추천을 위한 최적의 프로파일 구조를 설계 및 구현하였다.특히 최적의 비행 경로를 추천에 필요한 요소들을 찾고 적합한 형태로 데이터 경량화함으로써, 전체 데이터 정제율은 총 29.5% 절감시킴으로서 메모리 효율성의 증대 및 분석 시간 감소 등의 효과를 보여주었다. 또한 데이터 정제 전후의 결과에 기반해서 나타나는 추천경로 노드들을 비교했을 때 평균 일치율이 87.6%로 기존 경로와 유사하게 보여주었다.
향후 더 정확한 프로파일링을 위하여 추가적인 데이터 수집을 통해 더 많은 샘플을 확보한 후 데이터 연관성 분석을 진행하여 테이블 및 속성 간의 관계를 연결하여 더욱 높은 수준의 분석이 가능하도록 연구할 예정이다.
참고문헌
- C. David, B. Brian et al., "Top 10 Strategic Technology Trends for 2020," Gartner, 2019
- H.Y. Kim, "The Current Status and Development Direction of Mixed Reality Content," Korean Society of Cartoon and Animation Studies, No. 46, pp. 181-206, 2017.
- H.N. Moon, H.I. Cho, and Y.M. Han, "Mixed Reality(MR) Technology Trends and Development Prospect," Journal of the Convertgence Culture Technology, Vol. 3, No. 3, pp. 21-25, 2017.
- A. Al-Mousa et al., "UTSim: A Framework and Simulator for UAV Air Traffic Integration, Control, and Communication," International Journal of Advanced Robotic Systems, Vol. 16, Issue 5, 1729881419870937, 2019.
- D.I. Kim, Y.S. Song, G.H, Kim, and C.W. Kim, "A Study on the Application of UAV for Korean Land Monitoring," Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 32, No. 1, pp. 29-38, 2014. https://doi.org/10.7848/KSGPC.2014.32.1.29
- J.W. Cheon, K.A. Choi, and I.P. Lee, "Development of Image-map Generation and Visualization System Based on UAV for Real-time Disaster Monitoring," Korean Journal of Remote Sensing, Vol. 34, pp. 407-418, 2018. https://doi.org/10.7780/KJRS.2018.34.2.2.8
- S. Pant and S.D. Lee, "Obstacle Avoidance Method for UAVs using Polar Grid," Journal of Korea Multimedia Society, Vol. 23, No. 8, pp. 1088-1098, 2020 https://doi.org/10.9717/KMMS.2020.23.8.1088
- S.Y. Kim and J.H. Jeon, "A Study on the Convertgent Trend of UAV Patent," Journal of Korea Technology Innovation Society, Vol. 22, No. 6, pp. 1138-1163, 2019. https://doi.org/10.35978/jktis.2019.12.22.6.1138
- S.G. Lee, J.C. Cheol, and E.K. Hong, "Quality Management Model of Atypical Science and Technology Big Data Based on Data Profiling and Regular Expression," Journal of Korea Contents Association, Vol. 14, No. 12, pp. 486-493, 2014.
- S.H. Kim, "A Study on Patent Data Quality Assessment Methods Based on Data Profiling," Proceeding of the Spring Conference fo the Korean Institute Of Industrial Engineers, pp. 2008-2011, 2019.
- S.J. Lim, J,H. Lee, C.H. Lee, and J.Y. Kim, "Data Quality Assessment Based on Data ProfilIng," Proceeding of the Fall Conference fo the Korean Institute of Industrial Engineers, pp. 2440-2444, 2018.
- H. J. Kim, W. J. Lee, and J. D. Lee, "Customized Pilot Training Platform with Collaborative Deep Learning in VR/AR Environment," Journal of Korea Multimedia Society, Vol. 23, No. 8, pp. 1075-1087, 2020. https://doi.org/10.9717/KMMS.2020.23.8.1075