Customized Pilot Training Platform with Collaborative Deep Learning in VR/AR Environment

VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼

Abstract

Aviation ICT technology is a convergence technology between aviation and electronics, and has a wide variety of applications, including navigation and education. Among them, in the field of aerial pilot training, there are many problems such as the possibility of accidents during training and the lack of coping skills for various situations. This raises the need for a simulated pilot training system similar to actual training. In this paper, pilot training data were collected in pilot training system using VR/AR to increase immersion in flight training, and Customized Pilot Training Platform with Collaborative Deep Learning in VR/AR Environment that can recommend effective training courses to pilots is proposed. To verify the accuracy of the recommendation, the performance of the proposed collaborative deep learning algorithm with the existing recommendation algorithm was evaluated, and the flight test score was measured based on the pilot's training data base, and the deviations of each result were compared. The proposed service platform can expect more reliable recommendation results than previous studies, and the user survey for verification showed high satisfaction.

1. 서론

항공 ICT 기술은 항공과 전자의 융합 기술로 조종사 업무 수행, 항법, 교육 등 활용 분야가 매우 다양하다. 특히 비행 조종 시뮬레이터는 전 세계 선진국의 방산업체를 중심으로 VR(Virtual Reality), AR (Augmented Reality), HMD(Head Mounted Display)와 같은 항공전자 기술을 필두로 경쟁하고 있으며, 민간개발은 다소 미흡한 실정이다. 특히 VR/AR 기반 비행 조종 시뮬레이션의 경우, 공군 조종사 양성에 많이 활용되고 있으나, 현재 초기단계에 머물러 있어 아직 실질적인 효과를 나타내지 못하고 있다[1,2]. 이러한 시뮬레이터를 이용한 항공 조종 훈련 시스템의 경우 돌발 상황이 발생하는 경우에 대비하여 이뤄지는 훈련인 비정상상황 회복훈련(Upset Prevention Recovery Training, UPRT[3])을 중점으로 개발이 되고 있으며, 안정적인 훈련 시스템 구축을 목표로 하고 있다.

그러나 항공 산업에 VR/AR 기술이 시뮬레이터 내부의 프로그램과 연동됨에 있어 VR/AR 기술의 호환성 지원율이 낮기 때문에 보편화가 이뤄지지 않는 실정이며, 기존 항공 시뮬레이터에는 모니터 시각 시스템을 기반으로 구성되어 있으며, 이로 인한 몰입감과 현실성의 한계가 있다[4,5]. 특히 개개인의 조종 특성에 맞춰지지 않은 시뮬레이터 프로그램의 특성으로 인해 실제 경험할 수 없는 다양한 상황에 대한 대처하는 연습량의 부족으로 실제 훈련 및 비행 중 사고 발생의 가능성이 높아지고 있기 때문에 맞춤형 훈련이 지원 가능한 조종사 훈련 플랫폼의 필요성이 높아지고 있다.

본 논문에서는 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼을 제안한다. 제안한 플랫폼은 다음과 같이 구성된다. 첫째, VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템은 VR 장비와 비행 시뮬레이션 프로그램을 연동하여 VR 모의비행을 수행하고 AR 디브리핑 디스플레이를 통해 훈련을 실시간으로 모니터링 할 수 있으며, 임무가 끝난 후에 리플레이를 통해 완료된 항행임무를 평가하는 시스템이다. VR 시뮬레이터 및 디브리핑 디스플레이 기반의 항행 훈련 시스템을 통해, VR 장비와 비행 시뮬레이션 프로그램을 연동하여 VR 모의비행을 수행하고, 모의비행 중 수집된 AR 디브리핑 디스플레이를 통해 훈련을 실시간으로 모니터링 및 항행임무를 평가할 수 있다. 둘째, 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템은 VR 비행 시뮬레이터를 통해 수집되는 조종사 훈련 데이터를 프로파일 처리하여 최적의 훈련 코스를 추천하는 시스템이다. 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템에서 사용되는 추천 알고리즘은 기존에 존재하는 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상 시키기 위해 RNN을 기반으로 한 Collaborative Deep Learning을 혼합한 기법을 사용한다.

특히, VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템에서 수집되는 조종사 훈련 데이터를 기반으로 최적의 훈련 코스를 추천하기 협업 딥러닝을 적용한 맞춤형 조종사 훈련 추천 알고리즘 제안하고 이에 대한 분석 및 검증을 제안한다.

본 논문의 구성은 다음과 같다. 2장은 관련연구로서, 맞춤형 조종사 훈련 시스템과 지능형 추천 시스템에 대해 서술한다. 3장은 제안하는 협업 딥 러닝 기반의 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼에 대하여 기술한다. 4장은 제안한 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼의 추천 알고리즘을 검증하기 위한 평가 및 분석 내용에 대해 기술하고, 마지막으로 5장에서 결론 및 향후 연구로 맺는다.

2. 관련연구

2.1 맞춤형 조종사 훈련 시스템

4차 산업 혁명 시대로 인해 항공 ICT 산업의 발전이 고도화 되면서 이에 항공 운항과 관련된 다양한 콘텐츠들을 제공하기 위한 시도가 이뤄지고 있다. 또한 국내외 항공 노선의 증가 및 PAV(Personal Aerial Vehicle)을 이용한 서비스를 구축하기 위해 조종사의 수요가 증가 하였으며, 이에 따른 모의 조종 훈련 시스템의 환경을 제공하는 조종사 훈련 시뮬레이터의 수요 또한 증가하고 있다. 조종사 훈련체계 변화와 발전 추세를 살펴보면 IT 기술 및 가상현실 기술의 급격한 발달에 힘입은 모의훈련체계를 도입하고 있다는 점 등을 특징으로 한다[6,7]. 가상현실 기술을 적용한 하드웨어를 통해 시뮬레이터를 구성하여 훈련자에게 몰입감과 현실감을 주어 실제 상황과 같은 체험을 할 수 있도록 한다. 이와 관련하여 정구문[8]은 VR HMD 기반의 모의 비행 장치를 통해 조종 훈련을 진행을 한 후, 이를 통한 조종사 훈련 효과에 대해 분석하였다. 소프트웨어적 측면으로는 조종사의 훈련 데이터를 확보하여 맞춤형 EBT(Evidence Based Training) 프로그램을 통해 조종사 개개인의 특성에 맞춘 기량 향상 및 안전운항 능력을 강화할 수 있도록 하는 맞춤형 조종사 훈련 시스템의 개발이 이뤄지고 있다. 이는 조종기술 및 절차에 중점을 두기 보다는 조종사의 역량(지식, 기량, 자세) 강화에 중점을 둠으로써, 과거 정기 훈련이 법정 요구 항목을 기준으로 하는 것이라면 EBT 프로그램은 기종별·노선별·사례별 맞춤형 훈련을 통해 조종사의 역량을 강화한다.

2.2 지능형 추천 시스템

추천 시스템이란 정보 필터링(Information Filtering, IF) 기술의 일종으로, 특정 사용자가 관심을 가질만한 정보를 추천하는 것을 말한다[9]. 추천 시스템에 사용되는 알고리즘은 콘텐츠 기반 필터링, 협업 필터링, 규칙 기반 필터링, 협업 필터링과 콘텐츠 기반 필터링을 조합하여 상호 보완적으로 개발된 하이브리드 필터링 등이 있다[10].

본 논문에서는 추천 알고리즘을 통해 조종사 및 트레이너/평가자에게 맞춤화된 훈련 정보와 훈련 결과를 분석하도록 고전적인 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN(Recurrent Neural Network)을 기반으로 한 협업 딥 러닝(Collaborative Deep Learning)을 사용하였다. 협업 딥 러닝은 딥러닝 알고리즘에서 뉴런 학습 과정에서 뉴런 간의 협업을 통해 유사한 뉴런의 가중치를 활용하는 방식을 사용한다. H. Wang[11]은 협업 계층을 추천 시스템에 적용하였으며, H. Ying[12]는 랭킹 알고리즘에 협업 딥 러닝을, X. Kong[13]은 강화 학습에 협업 계층을 적용하는 방법을 제안하였으며, H. Lee[14]는 이미지 라벨 예측 알고리즘에 협업 딥 러닝을 활용하며 협업 딥 러닝에 대한 연구도 활발히 진행되고 있다.

본 논문에서 제시한 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼을 연구하기 위해서는 조종사 훈련 프로파일을 기반으로 조종사에게 맞춤형으로 훈련 콘텐츠를 추천하기 위한 추천 시스템의 설계가 요구된다. 본 논문에서 제안한 협업 필터링은 많은 사용자들로부터 얻은 기호 정보에 따라 사용자들의 성향을 자동적으로 예측하도록 하여, 가지고 있는 이력이 유사한 사용자 또는 콘텐츠의 성질 중 공통되는 부분을 제외한 나머지 요소를 서로에게 추천하는 방법이다.

3. VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼

3.1 VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼

제안한 맞춤형 조종사 훈련 플랫폼은 VR 시뮬레이터와 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템과 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로 구성되어 있다.

Fig. 1 의 좌측면은 VR 시뮬레이터 및 디브리핑 디스플레이 기반의 항행 훈련 시스템을 나타낸 것으로, VR 장비와 비행 시뮬레이션 프로그램을 연동하여 VR 모의비행을 수행하고 AR 디브리핑 디스플레이를 통해 훈련을 실시간으로 모니터링 할 수 있으며, 임무가 끝난 후에 리플레이를 통해 완료된 항행 임무를 평가할 수 있다.

Fig. 1. VR/AR-base Customized Pilot Training Platform with Collaborative Deep Learning.

조종사는 개선형 VR 시뮬레이터를 통해 ①가상 항행 훈련을 수행하게 되며 실시간 훈련내용은 AR 기반 항행 디브리핑 시스템에 반영되어 시각화되고 시각화된 훈련 내용은 트레이너 및 평가자가 실시간으로 ⑨모니터링 및 평가할 수 있다. 모니터링 및 평가를 위해 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템의 분석을 통해 훈련 결과를 분석하여 해당 훈련 이후 수행하기에 적합한 훈련을 추천하고 해당 훈련 결과의 적합성을 다양한 각도에서 평가하기 위한 수치를 분석하게 된다. 우선 ②조종사의 프로파일 및 훈련 기록 프로파일을 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템으로 전송한다. 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템에서는 ③프로파일을 저장 및 관리하게 되는데, 이때 수집되는 프로파일은 텍스트 형태의 비정형 데이터이므로 전처리 및 프로파일 처리를 수행하여 저장하게 되며, 협업 딥러닝 기반의 분석을 위해 ④협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로 프로파일을 전송한다.

Fig. 1의 우측면은 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로, 훈련 기록 데이터를 프로파일 처리하여 빅데이터 및 AI 기반의 분석 알고리즘을 통해 훈련 패턴을 도출하고 최적의 훈련 코스를 추천할 수 있으며, 분석된 결과는 AR 디브리핑 디스플레이에서 평가할 수 있다. 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템에서는 ⑤훈련 내용을 분석하여 ⑥분석된 결과를 저장하고 분석 결과를 조종사 훈련 추천 시스템 시각화 및 동기화 모듈로 전송하고, 전송된 분석 결과를 ⑦시각화 처리하여 AR기반 항행 디브리핑 시스템으로 ⑧시각화 정보를 동기화하여 추천 결과를 AR을 통해 트레이너 및 평가자가 ⑨모니터링 및 평가할 수 있다. 모니터링 및 평가후에 ⑩트레이너 및 평가자의 피드백결과를 빅데이터 기반 조종사 훈련기록 프로파일 처리 시스템으로 전송되어 다음 훈련기록 분석을 위해 프로파일 처리되어 저장된다.

본 논문에서는 VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템 환경에서 수집된 훈련 데이터에 기반하여 프로파일 처리를 통해 훈련자에게 맞춤형으로 훈련 코스를 추천하는 시스템을 제안한다.

3.2 VR 시뮬레이터 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템

본 시뮬레이터의 구성요소는 VR 헤드셋 장비로 HTC VIVE, 정밀도가 높은 항공기용 조종간 요크 (yoke), 스로틀(throttle), 러더 페달(rudder pedal), 6개 자유도를 가진 모션 프레임으로 구성되어 있다. 기존의 VR 시뮬레이터로도 강력한 옆바람(crosswind), 악천후 상황, 엔진 고장으로 인한 비상착륙 등 위험한 조건의 비행교육이 이미 가능하지만, 본 연구에서는 비행 중 일어날 수 있는 비행착각(spatial disorientation) 및 야간 비행 중 비행착시(visual illusion)에 대한 훈련 시나리오도 포함하도록 한다.

AR 기반 항행 디브리핑 시스템은 마이크로소프트 홀로렌즈를 사용하며 VR 시뮬레이터와 실시간 연동되도록 한다. 사용자가 홀로렌즈 헤드셋을 착용한 상태에서 빈 공간상에 3차원 홀로그램으로 표현된 지형 및 항공기 궤적 그래픽을 상하좌우로 직접 이동하여 보면서 항행결과를 리플레이하여 분석하고 의견을 나눌 수 있도록 한다. 조종사가 VR 시뮬레이터에 탑승하여 비행 임무를 수행하는 동안 항행 평가자는 3차원 항행 디브리핑 시스템을 통해 항공기의 진행궤적을 실시간으로 모니터할 수 있으며, 임무가 끝난 뒤에는 리플레이하여 완료된 항행임무를 평가할 수 있다.

항행 디브리핑 시스템에는 비행과 관련한 여러 외적변수들을 그래픽으로 표현하여 항행 디브리핑에 적용하게 된다. 초기 비행경로 상에 생길 수 있는 폭풍 등의 악천후를 항행 디브리핑 시스템 상에 그래픽으로 표시하여 어떤 경로로 비행하는 것이 최적의 회피경로인지 평가할 수 있다. 또한 항공기 운항에 있어 나타날 수 있는 비상상황, 위험상황, 고난도 기동상황 등도 항행 디브리핑 시스템 상에 그래픽으로 표시한다.

항행 디브리핑 시스템은 사고 조사 시 블랙박스의 기록을 토대로 한 보다 정확한 사고 상황의 재조성도 가능하며 시스템 아키텍쳐는 Fig. 2와 같다. 수집된 기록과 프로파일 데이터들은 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로 전달되고, 이에 기반하여 훈련자의 취약점 및 항행 상태 등을 분석해서 AR 항행 디브리핑 시스템으로 실시간 전송을 해준다.

Fig. 2. Architecture of VR Simulator and AR Filght Debriefing System.

3.3 협업 딥러닝을 적용한 맞춤형 조종사 훈련 추천 시스템

빅데이터 기반의 조종사 훈련기록 프로파일 처리 시스템은 항행 훈련 기록 데이터를 프로파일로 저장하기 위해 정규화 및 전처리 과정을 거쳐 훈련 기록 데이터의 특성을 분류하고 DB에 저장 및 관리하는 시스템이다. 이를 위해 항행 훈련 기록 데이터를 수집하여 개인 맞춤형 추천을 위한 훈련기록 프로파일 생성을 위한 정규화 및 전처리 알고리즘 및 사용자의 훈련 기록과 패턴을 분석하고 개인 맞춤형 추천을 위해 프로파일을 처리 및 생성할 수 있는 알고리즘을 필요로 한다. 훈련 기록 프로파일은 훈련의 내용, 시간, 난이도, 훈련 기체 등으로 구성될 수 있다.

또한 조종사 훈련기록 프로파일을 기반으로 사용자의 훈련 패턴을 도출하여 훈련의 결과를 자동으로 평가하고 지도할 수 있는 빅데이터 기반의 훈련 패턴 분석 알고리즘을 포함한다. 개인 맞춤형 훈련 결과 분석 알고리즘은 사용자가 훈련에서 얻은 결과에서 올바르게 수행한 구간과 그렇지 않은 구간을 판단하여 평가하게 되며 이전 사용자들의 훈련 데이터를 기반으로 AI 모델을 생성하여 이후 훈련에서 더욱 중요하게 필요한 훈련 내용을 예측하고 추천할 수 있다.

빅데이터 기반의 조종사 훈련기록 프로파일 처리 시스템은 Fig. 3과 같이 도식화할 수 있다. 조종사 훈련 추천 시스템의 추천 결과를 시각화하여 표현하기 위한 모듈 및 AR 디브리핑 디스플레이에서 3D 및 혼합현실로 표현되기 위한 동기화 모듈을 통해 시각화 모듈은 빅데이터 기반의 조종사의 훈련 기록, 분석된 훈련 패턴 결과, 개인 맞춤형 훈련 결과 등을 수치화 및 그래픽화하여 AR 디브리핑 디스플레이에 동기화하여 화면에 표현된다. 또한 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템은 추천 알고리즘을 통해 조종사 및 트레이너/평가자에게 맞춤화된 훈련 정보와 훈련 결과를 분석할 수 있으며 추천 알고리즘은 Fig. 4와 같다.

Fig. 3. Customized Pilot Training Recommendation System with Collaborative Deep Learning.

Fig. 4. Pilot Training Recommendation Process with Collaborative Deep Learning.​​​​​​​

협업 딥 러닝을 적용한 VR/AR 기반의 개인 맞춤형 조종사 훈련 플랫폼의 추천 알고리즘은 고전적인 추천 필터링 방식인 협업 필터링과 규칙기반 필터링을 사용하며 추천의 정확도를 향상시키기 위해 RNN을 기반으로 한 Collaborative Deep Learning을 혼합한 기법을 사용한다. 또한 처음 훈련에 참가하는 초기 사용자로 인해 발생할 수 있는 Cold Start문제의 해결을 위해 초기 사용자는 이력 정보를 바탕으로 하는 Collaborative Deep Learning과정을 생략하고 필터링 과정을 통해 이력을 축적할 수 있다. 예를 들어, 기존에 없었던 새로운 유저가 추가되는 경우, 추천할 정보가 쌓일 때 까지 추천이 어려워지는 문제점이 발생하여 최적의 훈련 코스를 추천해주는 부분에 있어 어려움을 겪을 수 있다. 이때, RNN과 협업 필터링을 혼합하여 구성을 하면서, KNN 알고리즘을 통해 기존의 타 유저들과 유사도가 가장 비슷한 유저의 특성을 기반으로 하고, 새로운 데이터들에 대해서 RNN 알고리즘을 통해 추가적인 학습을 시킨 후 협업 필터링을 이용함으로써 모델의 성능과 추천의 정확도를 높일 수 있다. 이후 추천 결과가 조종사 및 트레이너/평가자에게 제공된 후 피드백을 통해 프로파일을 학습시켜 이후 추천 결과에 반영할 수 있으며, 알고리즘은 총 6단계로 순차적 수행 절차를 기반으로 설계되었으며 각각의 단계에서 처리되는 내용은 다음과 같다.

① 프로파일 생성(Create Profile)

프로파일은 빅데이터 기반 조종사 훈련 기록 프로 파일 처리 시스템에서 전처리 및 시각화 분석을 통해 정의된 6개의 테이블을 불러와 사용하고, 현재 모든 속성치를 포함하여 프로파일을 구축하였으나 일부 속성값의 경우 동일한 패턴을 가지고 있거나 분석에 불필요한 요소를 포함하고 있다. 이와 같은 속성들은 실제 항행 훈련 추천 알고리즘이 구현되고 실제 테스트를 수행한 후에 점진적으로 불필요한 속성을 제외할 예정이다.

② 새로운 사용자 처리(New User)

새로운 사용자의 경우 아무런 프로파일 정보를 가지고 있기 않기 때문에 이력을 기반으로 하는 협업 필터링이나 딥러닝을 통해서 추천하는 것이 불가능함. 이를 초기 사용자 문제 또는 Cold-Start 문제라고 칭한다.

따라서 설계한 알고리즘은 사용자의 이력을 확인하고 보유한 이력이 일정 이하일 경우 협업 딥 러닝 과정을 스킵하고 규칙 기반 필터링을 통해 바로 최적의 훈련을 추천해 주도록 한다. 그리고 규칙 기반 필터링만을 사용하여 일정이상 추천이 진행되고 이력이 쌓이게 되면 다시 협업 딥 러닝을 통해 추천이 되도록 설계하였다.

③ 협업 딥 러닝(Collaborative Deep Learning)

협업 딥 러닝은 대표적인 딥러닝 알고리즘인 RNN과 협업 필터링을 혼합하여 구현하였으며, 이 과정에서 KNN(K-Nearest Neighbors) 알고리즘을 통해 유사한 훈련 패턴을 분석하고 1차 추천리스트를 생성하였다. 1차 추천리스트는 이후 규칙기반 필터링에서 다시 한 번 정렬되어 더욱 정확도 높은 추천이 가능하도록 설계하였으며, Fig. 6의 형태로 나타낼 수 있다.

Fig. 6. Application of Collaborative Filtering Technique to RNN using KNN.​​​​​​​

KNN 알고리즘은 새로운 데이터가 들어왔을 때 기존 데이터의 그룹 중에 어떤 그룹에 속하는지 분류하는 문제를 해결하는데 사용되며 둘 사이의 거리를 계산하여 유사한 콘텐츠를 분석하는데 사용되는 알고리즘이다. KNN 알고리즘은 수식 (1)과 같이 계산되며 k는 몇 번째로 가까운 데이터까지 살펴볼 것인가를 나타내고, x 값과 y 값은 각각 입력된 데이터를 수직선 상에 나타내었을 때의 값을 나타낸다.

\(\sum_{i=1}^{k}\left|x_{i}-y_{i}\right|\)       (1)

딥러닝과 KNN을 통해 유사한 콘텐츠 그룹 패턴을 찾아내면 유사도를 이용하여 그룹간의 상호 추천이 가능한 협업 필터링 기법으로 1차 추천리스트를 생성하도록 설계하였으며, KNN외에 대표적인 유사도 분석 알고리즘으로는 거리 기반으로 유사도를 측정하는 유클리디언 알고리즘이 있으며 수식 (2)와 같이 계산된다. n은 데이터의 수를 나타내며, x와 y의 좌표 차를 구해 거리를 구하고 음수값과 양수값이 비교되는 것을 막기 위해 제곱 연산을 수행한다.

\(\sqrt{\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}}\)       (2)

④ 규칙 기반 필터링(Rule-based filtering)

규칙기반 필터링은 모델을 학습시켜 추천 리스트를 생성하는 기존의 다른 모델들과는 다르게, 개발자가 일정한 규칙을 미리 정하여 사용자에게 콘텐츠를 추천해주는 필터링 방식이다. 상세한 규칙은 조종사 훈련에서 발생하는 데이터의 편차를 파악하고 이에 대한 명확한 규칙이나 패턴이 확인된 후에 지속적으로 업데이트 된다.

⑤ 추천 리스트 제공(Recommend contents to user)

모든 필터링을 마친 후 최종적으로 생성된 추천 리스트를 사용자에게 제공하게 되며, 기본적으로 추천 정확도의 판단은 모든 측정값의 오차의 평균을 구하는 MAE(Mean Absolute Error)를 사용하며 MAE는 수식 (3)과 같이 계산된다. n은 오차의 개수를 나타내며, |di - di|는 절대 오차를 나타낸다. 각 측정값과 실제값 사이의 절대 오차를 구하여, 모두 더한 다음에 절대 오차의 개수로 나누어 계산한다.

\(\frac{1}{n} \sum_{1}^{n}\left|d_{i}-\hat{d}_{i}\right|\)       (3)

MAE는 실제 테스트 데이터에서 알고 있는 값과 예측치를 비교하여 추천의 정확도를 측정하는 방식으로, 모델을 만들 때 사용했던 실제 정답이 되는 값과 모델을 사용하여 정답이 되는 값을 추론한 값을 비교하여 추천의 정확도를 측정하도록 한다.

⑥ 피드백 반영(Reflecting Feedback)

마지막으로 최종 추천 리스트를 조종사 및 트레이너/평가자에게 제공한 후 피드백을 통해 프로파일을 갱신하게 되며, 피드백을 통해 갱신된 프로파일을 추천 알고리즘에 적용하여 실시간으로 맞춤형 조종 훈련 콘텐츠를 제공받을 수 있도록 설계하였다.

4. 평가 및 분석

VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼의 성능을 평가하기 위해 현재 켄트주립대학 항공학과에 재학 중인 조종사 훈련 과정생 30명을 대상으로 모의 조종 시뮬레이션을 수행하였다. 시뮬레이션 기반 프로그램인 X-Plane 11을 통해 운항 중 수집된 데이터를 기반으로 훈련생의 훈련 점수를 평가하는 방식으로 진행하며 훈련 과정생은 2개의 비행 평가와 비행 평가 훈련을 위한 20가지 훈련 코스를 기반으로 시뮬레이션을 진행하였다. 또한 훈련 시뮬레이션은 훈련 과정생 모두가 동일하게 하는 것이 아니라 20가지 훈련 코스를 선택하는 방식으로 6개의 그룹(각 5명)으로 나눈다. 각 그룹은 ① 훈련 코스를 추천 없이 스스로 선택하는 그룹, ② 내용 기반 필터링으로 추천 받는 그룹, ③ 협업 필터링으로 추천 받는 그룹, ④ 퍼셉트론 기반으로 추천 받는 그룹, ⑤ RNN 기반으로 추천 받는 그룹, ⑥ 협업 딥 러닝 적용한 맞춤형 조종사 훈련 플랫폼으로 추천 받는 그룹으로 나뉜다. 각 그룹의 훈련 과정생은 20가지 훈련 코스 중 10가지 훈련 코스를 시뮬레이션 하게 되며 이후 2개의 비행 평가를 통해 점수를 받게 되며 해당 점수를 비교하여 훈련이 적합하게 수행되었는지를 비교 및 평가하며, 테스트 환경은 Table 1과 같다.

Table 1. Test Environment​​​​​​​

∙ 훈련 데이터 셋 구성

- 모집단 30명(켄트 주립대학교 내의 항공학과 재학 중인 조종사 훈련 과정생 대상)

- 모의 항공 조종 시뮬레이션의 기반 프로그램인 X-Plane 11에서 운항 중 나타나는 데이터를 Fig. 7과 같은 내용으로 추출함

Fig. 7. Part of Data Set of Flight Training Records (Test Dataset).​​​​​​​

- 각 데이터들의 속성들과 타입, 테이블간의 관계는 Fig. 8과 같음

Fig. 8. ERD Diagram of Flight Training Records.​​​​​​​

․ vehicle_speed는 항공기 속도를 나타낸 테이블이며, vind_kias, vind_keas, vtrue_ktas 등의 속성을 포함하고 있음

․ vehicle_speed_mvg는 항공기의 마하속도, 수직속도, 하중 계수를 나타낸 테이블이며, mach_ratio, vvi_fpm, gloud_norml 등의 속성을 포함하고 있음

․ vehicle_prh 테이블은 항공기의 피치, 롤, 헤딩의 속성을 포함하고 있으며, vehicle_paths_deg는 항공기의 받음각, 사이드슬립, 비행방향을 나타낸 테이블이며, alpha_deg, beta_deg 등의 속성을 포함하고 있음

․ vehicle_xxtitude는 항공기의 위도, 경도, 고도를 나타내는 테이블이며, lat_deg, lon_deg 등의 속성을 포함하고 있음

․ vehicle_lo_vel_dist는 항공기의 위치, 속도, 이동거리를 포함하고 있음

- 2개의 비행 평가 및 20가지 훈련 코스는 Table 2과 같음

Table 2. List of 2 Flight Tests and 20 Training Courses​​​​​​​

- 비행평가는 비행착각/비행착시 야간 비행 및 비행착각/비행착시 악천후 비행이며, 훈련 코스는 “Vehicle”_“Time”_“Weather”_“Airport”임

각 훈련 과정생 그룹이 2개의 비행 평가를 위해 6개 그룹은 20가지의 훈련 코스 중에 10가지를 선택 또는 추천받아 수행하게 된다. 10가지 훈련 코스를 진행한 후 2개의 비행 평가를 받게 되며 비행 평가 점수의 비교를 통해 제안하는 조종사 훈련 플랫폼을 통해 훈련받았을 때 어느 정도의 훈련성 효율성을 보이는지를 평가한다. 이때, 훈련 과정생의 자질에 따라 실험 결과에 영향을 줄 수 있으므로 각 그룹은 훈련 성적을 기반으로 유사한 평균치를 가지도록 구분하였으며, 모든 훈련 과정생은 해당하는 2개의 비행 평가와 관련된 비행 훈련을 수행하지 않은 동일한 상태이다. 실험 결과는 Table 3과 같이 나타났다.

Table 3. Experiment Results​​​​​​​

우선 비행평가의 만점은 120점으로 직관적인 비교 분석을 위해 10점 만점으로 정규화하였다. FT1비행 평가에서는 추천을 받지 않고 직접 10개의 훈련 코스를 선택한 ①번 그룹의 최소, 평균, 최대 점수는 각각 5.9, 6.42, 6.7로 나타났고, ②번 그룹은 5.5, 5.86, 6.1, ③번 그룹은 5.7, 6.14, 6.7, ④번 그룹은 6.4, 6.6, 6.8, ⑤번 그룹은 6.7, 7.16, 7.5, ⑥번 그룹은 7, 7.52, 7.9로 나타났다. 가장 높은 점수를 받은 그룹은 제안하는 알고리즘을 통해 훈련 코스를 추천 받은 ⑥번 그룹이었으며, 가장 낮은 점수를 받은 그룹은 ②번 그룹이었다. 실험 결과를 보았을 때 내용 기반 필터링을 통해 훈련 코스를 추천받은 것이 훈련 과정생이 스스로의 판단으로 선택한 훈련 코스보다 더 효율이 떨어진다는 것을 의미한다. ②번 그룹 외에도 협업 필터링을 통해 훈련 코스를 추천받은 ③번 그룹 또한 직접 훈련 코스를 선택한 ①번 그룹보다 점수가 낮을 것을 볼 수 있다. FT2 비행 평가에서도 비슷한 양상을 보이며 ①번 그룹은 5.8, 6.02, 6.3, ②번 그룹은 5.6, 5.9, 6.6, ③번 그룹은 5.8, 6.26, 6.8, ④번 그룹은 6.2, 6.76, 7, ⑤번 그룹은 6.2, 6.82, 7.3, ⑥번 그룹은 6.9, 7.22, 7.8로 나타났다. FT1과 FT2의 비교 분석 결과는 Table 4.와 같다. 각 비행 별 최저 점수는 모두 ②번 그룹으로 나타났으며, 2순위 점수는 ⑤번 그룹으로 나타났다.

Table 4. Comparison of Performance Evaluation​​​​​​​

첫째, FT1의 경우, 최소 점수 부분에서는 제안하는 알고리즘을 적용한 그룹이 ②번 그룹과 비교하였을 시 27.3%, ⑤번 그룹과 비교했을 시 4.5%의 성능 향상을 보였다. 평균점수에서는 ②번 그룹과 비교했을 시 28.3%, ⑤번 그룹과 비교했을 시 5.0%의 성능 향상을 보였으며, 최고 점수에서는 ②번 그룹과 비교하였을 시 29.5%, 2순위인 ⑤번 그룹과 비교했을 시 5.3%의 성능 향상을 보였다.

둘째, FT2의 경우, 최소 점수 부분에서는 제안하는 알고리즘을 적용한 그룹이 ②번 그룹과 비교하였을 시 23.2%, 2순위인 ⑤번 그룹과 비교했을 시 11.3%의 성능 향상을 보였다. 평균점수에서는 ②번 그룹과 비교했을 시 22.4%, ⑤번 그룹과 비교했을 시 5.9%의 성능 향상을 보였다. 최고 점수에서는 ② 번 그룹과 비교하였을 시 18.2%, ⑤번 그룹과 비교했을 시 6.8%의 성능 향상을 보였다.

즉, 내용 기반 필터링은 훈련 코스의 콘텐츠에만 집중했으므로, 각 유저들 간의 유사한 내용의 훈련코스만을 추천해주어 추천의 범위가 코스 내용에만 한정되면서 추천 정확도가 낮아짐에 따라 훈련 과정생을 대상으로 여러 패턴을 학습시키는 것에서 약점을 보여 가장 낮은 점수를 보였고, 협업 필터링은 이력 기반이기 때문에 콜드 스타트 문제를 야기하여 이력이 없는 현 상황에서 높은 성능을 보이기 어려웠다. 딥러닝 기반의 퍼셉트론과 RNN 기반의 추천에서는 다른 필터링 기반보다 높은 성능을 보여주었지만 역시 모집단이 적은 경우에 높은 성능을 기대할 수는 없었다. 제안한 플랫폼은 초기 사용자 문제를 해결하고 데이터의 양과 속성에 학습을 통해 적응하는 맞춤형 추천이므로 훈련 과정생의 성향과 부족한 부분을 캐치하여 대상에게 적합한 훈련 코스를 제공하며 높은 점수를 받을 수 있었다. 모델 성능의 개선을 위해 더 정확한 학습을 통해 생성될 수 있도록 더 많은 양의 데이터가 축적되어야 하며, 축적되는 데이터의 수준에 따라 협업 딥 러닝 알고리즘의 파라미터 값에 대한 실험이 함을 확인할 수 있었다. 향후 다양한 패턴의 데이터와 예외 상황, 그리고 사용자가 증가함에 따른 대량의 데이터 축적에 대해 주기적인 모델의 추가 학습과 고도화된 추천 알고리즘의 추천 정확도 및 신뢰도, 만족도에 대한 평가 연구가 추가적으로 이루어질 예정이다.

5. 결론

VR/AR 환경의 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼은 VR 시뮬레이터와 및 AR 디브리핑 디스플레이 기반의 항행 훈련 시스템과 협업 딥러닝 기반의 맞춤형 조종사 훈련 추천 시스템으로 구성되어 있으며, 모의비행을 수행하고 훈련 기록 데이터를 프로파일 처리하여 협업 딥 러닝 추천 알고리즘을 통해 최적의 훈련 코스를 추천, 평가할 수 있다. 본 플랫폼을 통해 몰입감과 현실성의 한계를 극복하고, 훈련자들의 특성에 맞춘 훈련 코스를 추천하게 되어 시간적 경제적 비용의 절감이 이룰 수 있었다.

성능검증을 위해 켄트 주립대학 항공학과에 재학 중인 조종사 훈련 과정생 30명을 대상으로 6개의 그룹으로 나눠 20개의 훈련 코스를 선택 또는 추천받아 2개의 비행 평가를 수행하여 점수를 비교분석 하였다. 실험 결과는 FT1과 FT2가 유사하게 나타났으며 두 비행 평가 점수의 평균으로 보았을 때 제안한 협업 딥 러닝 알고리즘을 기반으로 평가한 ⑥번 그룹이 최소 점수 부분에서는 최저 점수인 그룹과 비교하였을 시 25.5%, 2순위 점수인 그룹과 비교했을 시 7.9%의 성능 향상을 보였고, 다음으로 평균점수에서는 최저 점수인 그룹과 비교했을 시 25.35%, 2순위 점수인 그룹과 비교했을 시 5.45%의 성능 향상을 보였으며, 최고 점수에서는 최저 점수인 그룹과 비교하였을 시 26.65%, 2순위 점수를 받은 그룹과 비교했을 시 6.05%의 성능 향상을 보였다.

향후 제안한 협업 딥러닝을 적용한 맞춤형 조종사 훈련 플랫폼의 성능 개선을 위해 더 정확한 학습을 통해 생성될 수 있도록 더 많은 양의 데이터가 축적되어야 하며, 축적되는 데이터의 수준에 따라 협업 딥 러닝 알고리즘의 파라미터 값에 대한 실험이 필요하다. 향후 다양한 패턴의 데이터와 예외 상황, 그리고 사용자가 증가함에 따른 대량의 데이터 축적에 대해 주기적인 모델의 추가 학습과 고도화된 추천 알고리즘의 추천 정확도 및 신뢰도, 만족도에 대한 평가 연구가 필요하며, 딥 러닝 기술을 적용한 만큼 학습 데이터의 양이 방대해지면서 분석 가능한 정보의 다양성이 높아질 것으로 예상되어, 이에 따른 정확도가 향상되어 높은 신뢰도의 추천이 가능해질 것으로 기대된다.