Optimization-based Collision Avoidance Algorithm for Urban Air Mobility Through Dynamic Programming

동적 계획법을 통한 Urban Air Mobility 최적화 기반 충돌 회피 알고리즘

Abstract

In this study, we propose a collision avoidance algorithm for Urban Air Mobility (UAM). The proposed algorithm uses Dynamic Programming (DP) techniques to optimize trajectory planning and collision avoidance strategies. The algorithm includes a dynamic and adaptive framework that can effectively manage a variety of unpredictable urban airspace scenarios. Through a comprehensive analysis of the surrounding environment, the algorithm formulates collision avoidance decisions by considering the state of the aerial vehicle. By utilizing DP, the algorithm optimally balances the trade-off between minimizing collision risk and ensuring efficient path planning. The effectiveness of the proposed algorithm is tested in various urban environments through simulations. These tests demonstrate its ability to manage complex airspace scenarios. The results show a significant reduction in collision risk while maintaining acceptable path efficiency, compared to other collision avoidance algorithms.

1. INTRODUCTION

Urban Air Mobility (UAM)은 차세대 도심 교통 시스템으로, 전기 수직 이착륙기 (electric Vertical Takeoff and Landing, eVTOL) 등을 포함한 항공기를 통해 안전하고 신속한 화물 및 사람의 운송을 목표로 한다 (Wang et al. 2023). UAM에 대한 자율 주행 알고리즘은 지상의 자율 주행 차량과 동일하게 인지, 판단, 제어의 3가지 모듈로 구분할 수 있다 (Dauptain et al. 2022). 인지 모듈의 경우 주변 환경 및 객체 등에 대한 인지를 통해 UAM의 위치 및 장애물에 대한 정보를 제공해준다. 이후, 앞선 인지 모듈에서 제공해준 정보를 바탕으로 경로 계획, 장애물 회피 및 수직 이착륙 등의 임무를 수행하며, 이러한 과정을 통해 UAM의 안전하고 신속한 자율 비행이 수행된다. 기술의 급속한 발전과 효율적인 교통 시스템에 대한 수요와 기대감이 증가하면서 UAM은 도시 지역에서 신속한 교통을 제공하는 좋은 솔루션으로 주목받고 있다 (Pak et al. 2024).

UAM은 3차원 공간을 활용하여 도시 교통의 문제를 해소할 수 있는 잠재력을 제공한다. 그러나 밀집된 도시 환경에서 UAM의 사용은 주요한 문제를 제기한다. 특히 도심 공간의 동적이고 복잡한 특성으로 인해 안전한 운용을 보장하는 것은 매우 중요하다 (Yasin et al. 2020). 건물이나 다른 항공기 및 예측할 수 없는 환경 요소로 인해 도심 공간은 동적 환경이다. 이로 인해 UAM으로 인한 사고가 해마다 급증하고 있는 추세이며, 접촉 사고가 대부분을 차지하고 있다 (Mohamed et al. 2023). 최근에는 건물 및 공중 설치물과의 충돌을 비롯해 여객기와의 충돌 사고까지 우려되고 있다 (Taye et al. 2024). 또한 UAM이 운반할 수 있는 에너지 모듈은 부피에 제한이 있다 (Pradeep & Wei 2019). 배터리의 제한으로 인해 정찰 지역의 선택적 부분을 감지하는 경향이 있으며, 특히 정찰 범위의 크기가 클 때 더욱 명백 해진다. 따라서 정찰 과정에서 효율적인 경로 계획은 에너지 효율성과 관련하여 중요한 문제이다. 일반적인 경로 계획 시스템은 주로 사전에 정의된 규칙과 휴리스틱을 활용하지만 (Dai et al. 2021, Tang et al. 2021, Neto et al. 2022, Causa et al. 2023), 이는 UAM이 변화하는 도시 공간이나 복잡한 환경에 대응하기에는 적합하지 않거나 확장 가능하지 않다.

UAM의 특성상 다양한 비행 객체가 좁은 공역에서 동시에 운항하기 때문에, 충돌 회피에 대한 연구는 많은 도전과제이다. 이 분야의 연구는 크게 최적화 기반, 학습 기반, 하이브리드 접근 방식으로 나눌 수 있다. 최적화 기반 접근법인 모델 예측 제어(Model Predictive Control, MPC)와 비선형 모델 예측 제어(Nonlinear MPC, NMPC)는 UAM의 복잡한 공역에서 충돌 회피 문제를 해결하는데 사용된다. MPC는 예측 모델을 통해 동적 제약을 준수하면서 비행 경로를 실시간으로 최적화한다 (Kuwata et al. 2014). NMPC는 비선형 동역학을 처리할 수 있으며, 도심 내 고층 빌딩이나 이동하는 장애물이 많은 복잡한 환경에서도 더 정확하고 유연한 충돌 회피 기능을 제공한다 (Frasch et al. 2013). 학습 기반 알고리즘에서는 심층 강화 학습(Deep Reinforcement Learning, DRL)과 모방 학습(imitation learning)이 UAM에서 충돌 회피 행동을 학습하는데 사용된다. DRL 접근법은 도심 공역에서 발생할 수 있는 다양한 상황에 대해 에이전트가 경험을 통해 학습함으로써 실시간으로 충돌 회피 행동을 학습하도록 한다 (Chen et al. 2017). 모방 학습은 전문가의 시범을 활용하여 학습 과정을 빠르게 하고 충돌 회피 성능을 향상시킨다 (Pfeiffer et al. 2018). 마지막으로 하이브리드 접근 방식은 A* 알고리즘과 인공 잠재 필드(artificial potential fields)와 같이 다양한 기법을 결합하여 장점을 극대화한다. A* 알고리즘은 도심 공역의 불규칙적이고 연속적인 공간에서 비행 경로를 효율적으로 탐색하는데 활용되며, 자율 주행에 효율적이고 효과적인 충돌 회피를 제공한다 (Dolgov et al. 2008). 인공 잠재 필드는 장애물로부터의 반발력과 목표 지점으로의 인력을 사용하여 경로를 계획하며, 최근에는 학습 알고리즘과 결합하여 실시간으로 동적으로 잠재 필드를 조정함으로써 (Khatib 1986), UAM의 복잡한 환경에서도 효과적인 회피 성능을 보장한다. UAM에서의 충돌 회피 알고리즘 선택은 실시간 응답성, 공역의 복잡성, 장애물의 예측 가능성, 비행체의 기동성 등 다양한 요소를 고려해야 한다. 이러한 알고리즘은 UAM이 안전하고 효율적으로 운행될 수 있도록 중요한 역할을 하며, 도심 공역에서의 원활한 통행을 가능하게 한다.

본 논문은 최적화 기법에 기반한 UAM용 충돌 회피 알고리즘을 제안한다. 이를 위하여 관심 영역이 적게 분산된 환경과 관심 영역이 장애물로 둘러싸인 복잡한 환경에서, UAM은 지정된 영역에서만 정찰이 가능하며, 제한된 에너지로 가능한 많은 관심 영역을 정찰하는 것으로 가정한다. 대상 지역의 지정된 지점에서 출발하는 최적화 문제를 설계하며, 동적 계획법(Dynamic Programming, DP) 알고리즘 (Ross 2014)을 사용하여 충돌 회피 및 정찰을 위한 경로 계획 문제를 해결한다. 이를 통해 UAM이 복잡한 공중 환경에서도 안전한 경로를 유지할 수 있도록 하여 충돌 회피 능력을 향상시킨다. 이 알고리즘은 다양한 예측할 수 없는 도시 공간 시나리오를 효과적으로 다룰 수 있는 결과를 보여준다. 동적 계획법의 활용을 통해 장애물의 충돌 위험을 최소화하고 효율적인 경로 계획을 보장한다. 이는 복잡한 지형 조건에 적합하며 관심 영역이 적게 분산된 환경에서도 적용 가능한 결과를 보여준다. 추가로, 본 논문에서 제안한 알고리즘을 다양한 시뮬레이션 환경에서 동적 계획법을 활용한 일반적인 방법과 비교한다.

본 논문의 구성을 다음과 같다. 2장에서는 UAM의 최적 경로 생성을 위한 알고리즘 모델링을 제안하고, 3장에서는 실험 결과를 제시하며, 4장에서 결론을 맺는다.

2. METHODOLOGY

2.1 Dynamic Programming

동적 계획법은 복잡한 문제를 작은 하위 문제들로 나누어 해결하는 알고리즘 설계 기법이다. 동적 계획법은 주로 최적화 문제에 사용되며, 주어진 문제의 해결을 위해 여러 경우의 수를 제한하고 그 중 최적의 해답을 찾는데 유용하다. 문제를 여러 개의 작은 하위 문제로 분할하여 각각을 풀고, 이 결과들을 저장하여 재사용함으로써 연산을 효율적으로 줄이는 특징이 있다. 본 논문에서 다루는 동적 계획법과 관련된 주요 용어들은 다음과 같다.

 1) 상태: 시스템의 현재 상황이나 위치를 나타내는 변수로, 특정 지점에서 시스템이 놓인 조건을 의미한다. 상태는 시간에 따라 변화하며, 최적 경로를 찾기 위해 고려해야 할 중요한 요소이다.

 2) 행동: 주어진 상태에서 선택할 수 있는 가능한 움직임이나 결정이다. 시스템이 특정 상태에 있을 때 수행할 수 있는 모든 행동들이 정의되며, 이 중 하나를 선택해 다음 상태로 이동하게 된다.

 3) 보상 함수: 각 상태에서 특정 행동을 수행할 때 얻는 보상을 정의하는 함수이다. 동적 계획법에서는 행동에 따라 달라지는 보상의 크기를 평가하여 최적의 행동을 선택한다. 또한 보상함수를 통해 최적의 경로는 찾기 위해 어떤 행동이 유리한지 평가한다.

 4) 상태 변환 함수: 현재 상태와 특정 행동이 주어졌을 때 다음 상태를 결정하는 함수이다. 동적 계획법은 상태 변환 함수를 사용하여 각 행동이 시스템의 다음 상태에 어떤 영향을 미치는지 예측하고, 연속된 행동의 결과를 추적할 수 있다.

 5) 가치 함수: 특정 상태에서 미래에 받을 것으로 기대되는 총 보상의 합을 나타내는 함수이다. 현대 상태에서의 보상뿐만 아니라 미래의 보상까지 반영하여 최적 경로를 계획하는데 사용된다.

 6) 할인 계수: 미래 보상의 현재 가치를 결정하는 파라미터로, 보통 0과 1사이의 값을 가진다. 할인 계수를 통해 미래 보상을 현재보다 낮게 평가하여, 즉각적인 보상을 더 중요하게 할지, 장기적인 보상을 중시할지를 조절한다.

2.2 Algorithm Design

동적 계획법에서 사용하는 일반적인 방법 (Wahab et al. 2020)은 탐색하고자 하는 전체 공간을 작은 규모의 그리드로 만든다. 여기서 각각의 그리드는 UAM이 비행할 수 있는 위치이며, 동적 계획법 알고리즘에서 이 그리드들은 각각 하나의 상태를 의미한다. 이후, 이러한 모델링 방법에서 생성된 각 상태에서 반복을 통해 최종 결과인 최적 경로를 얻을 수 있다. 하지만 이 알고리즘에는 몇 가지 단점이 존재한다. 우선, 이 알고리즘은 각 상태에 대한 반복적인 결과의 오름차순으로 최종 결과가 결정되기 때문에, 동일한 상태에 여러 번 접근이 불가능 하다. 또한, 복잡한 장애물 환경에서는 원하는 결과를 얻기 힘들다. 이 알고리즘은 이전에 지나온 상태에 다시 도달할 수 없기 때문에 UAM은 복잡한 장애물 환경에서는 탈출하기 어려워진다. 마지막으로 탐색하고자 하는 전체 공간을 매우 작은 단위의 그리드로 나눈 후, 각각을 구별하지 않고 반복하기 때문에 계산이 복잡하고 소요 시간이 길다.

본 논문에서는 앞서 제시한 동적 계획법 알고리즘의 문제들을 해소하기 위한 새로운 모델링 방법을 제시하며, 특히 넓은 영역에 특정 관심 영역이 존재하는 환경을 중점적으로 다룬다. Fig. 1은 본 논문에서 제안하는 알고리즘의 모델링을 위한 상태 공간을 보여준다. 각각의 개별 그리드를 N개의 영역으로 나눈 후, 장애물 영역과 관심 영역을 정의한다. 여기서 UAM이 각 영역내를 정찰하며 획득하는 보상은 양의 값으로 정의된다. 도심지 내부에는 빌딩과 같은 장애물이 복잡하게 분포되어 있으며, 이러한 환경만을 고려한다. 이렇게 분할된 영역은 UAM이 도심지 내부를 더 깊이 있게 탐색할 수 있게 해준다. 그 결과 UAM이 각 영역에서 획득할 수 있는 정보의 양과 품질이 향상된다. 또한 이 방법은 UAM의 이동 경로를 최적화 하는데 중요한 역할을 수행하게 된다. 해당 시스템을 통해 UAM은 도심지 내부에서 매우 효율적으로 비행하는 것이 가능하며, 관심 영역에 대한 정보를 효율적으로 획득할 수 있게 해준다.

Fig. 1. Grid sate space of general DP algorithm (left) and area sate space of the proposed DP algorithm (right).

2.3 Algorithm Modeling

일반적인 동적 계획법 알고리즘은 그리드 상태 공간에서 하나의 그리드를 가능 상태로 정의하고, 그리드 간의 이동은 인접한 상태 간의 이동으로 모델링 한다 (Wahab et al. 2020). Fig. 2는 일반적인 동적 계획법에서 사용하는 동작 상태를 보여준다. 하지만 본 논문에서 제안하는 동적 계획법 알고리즘에서는 영역 상태 공간에서 엣지 간의 이동을 동작 상태로 모델링 하며, Fig. 3은 하나의 엣지에서 동작 상태를 수직, 수평에 대해 각 8개씩 설계한 것을 보여준다. UAM의 경우 차량에 비해 비교적 행동이 자유롭기 때문에 이러한 동작 상태의 정의가 가능하다.

Fig. 2. General motion state of DP algorithm.

Fig. 3. New motion state of proposed DP algorithm. proposed motion state (left), and vertical/horizontal motion state of proposed (right).

\(5\times5\)의 area에 대해 동작 상태를 분할하는 방법은 총 60개의 엣지와 480개의 동작 상태로 구성될 수 있다. 각각의 엣지와 동작 상태는 전체 상태 공간을 형성하며, 이동 가능한 모든 경로를 제공한다. 각 엣지 간의 이동 단계에서 시간 단계 \(i\)가 소모되며, 상태 공간 \(s\)는 \(\left\{\left(x_1,y_1,u,n\right),\left(x_2,y_2,u,n\right),\ldots\right\}\)로 정의된다. 여기서 \(x\)와 \(y\)는 엣지의 좌표를 나타낸다. 또한, \(u \in A\)은 엣지 위의 8가지 동작 상태를 나타내고, 행동 공간 \(A\)는 \(\{1,\ 2,\ 3,\ 4,\ 5,\ 6,\ 7,\ 8\}\)로 정의되며, 각 상태의 다음 단계에서 UAM이 취할 수 있는 동작 상태를 나타낸다.

보상 함수는 \(r(s)\)로 표현되며, 상태 변환 함수는 \(f(s, a)\)로 표현된다. 상태 변환 함수는 특정 상태 \(s\)에서 행동 \(a\)를 취한 후 UAM이 도달하는 새로운 동작 상태를 의미한다. 가치 함수는 \(V(s)\)로 정의되며, 이는 하나의 특정 상태에서 정책 \(\pi\)를 취하여 얻을 수 있는 보상 합의 추정으로 정의된다. 이때 \(V(s)\)를 구하기 위해 Bellman Equation을 사용한다 (Bellman 1966). \(V(s)\)의 초기값은 0에서 시작하기 때문에 \(V_0\left(s\right)=0\)이며, 이는 모든 상태에서 동일하게 적용된다. 이를 식으로 나타내면 식 (1)과 같다.

\(V_{k+1} (s)={\max \atop {u ∈ A}} \left[ \gamma V_k \left(f(s,u) \right)+r (s) \right ]\)                                                                 (1)

여기서 \(\gamma\)는 할인 계수로 1보다 작은 값을 가진다. 최종 결과는 여러 번의 반복 계산이 완료된 이후의 최댓값인 \(V^\ast\left(s\right)\)이다. 이와 같은 \(V^\ast\left(s\right)\)에서 정책 \(\pi\)의 순서를 구할 수 있다. 각 시간 단계 \(i\)의 행동 \(a_i\)는 식 (2)와 같이 정의된다.

\(a_i=\pi^\ast (s_i)={{\rm argmax} \atop u∈A} \left [\gamma V^\ast (f(s_i, u)\right)+r(s_i)\)                                                       (2)

3. EXPERIMANTAL VALIDATION

3.1 Experiment Setting

본 논문에서 제안한 동적 계획법 알고리즘 모델링 방법의 성능을 실험하기 위해 일반적인 동적 계획법 알고리즘과의 비교 실험을 수행한다. 이를 위해 실험은 동일한 조건하에 진행되며, 동일한 크기와 구역 내에 관심 영역이 존재함을 가정한다. 관심 영역은 UAM이 정찰해야 하는 영역이며, 이 곳에 도달하면 높은 보상을 받을 수 있도록 한다. 이를 통해 제안한 알고리즘과 동적 계획법 알고리즘의 접근 성능을 비교할 수 있다. 이후, 장애물의 밀도와 관심영역의 크기가 증가된 더 복잡한 환경을 가정하여 실험을 확장한다. 빌딩과 같은 장애물이 복잡하게 분포된 환경을 고려하여 알고리즘의 성능을 더욱 심층적으로 확인한다. 이를 통해 본 논문에서 제안하는 동적 계획법 알고리즘이 실제로 다양한 환경에서 얼마나 효과적으로 작동하는지를 보다 체계적으로 확인하고자 한다. 이러한 실험 과정을 통해 본 논문에서 제안한 알고리즘이 현실 세계의 다양한 상황에서 실용적인 성능을 발휘할 수 있는지 확인할 수 있다. 실험 조건은 다음과 같이 설정한다. 할인 계수 \(\gamma\)는 0.9, 반복 임계값은 0.5, 알고리즘의 단계수는 최대 7단계로 제한되며, 관심 영역은 세 군데로 설정된다.

3.2 Sparse-distributed Environment

Fig. 4는 관심 영역이 적게 분산된 환경에서 각 알고리즘의 결과를 보여준다. 그림에서 start, goal은 각각 시작점과 목적지를 의미하며, area of interest를 관심 영역을, result of DP는 경로 계획 결과를 의미한다. 본 논문에서 제안하는 동적 계획법 알고리즘에서 UAM은 여러 방향의 영역을 탐색할 수 있으며, 첫번째 관심 영역에서 여러 경로를 탐색하게 된다. 경우에 따라 본 알고리즘의 결과는 여러 개의 최적 경로를 가질 가능성이 있지만, 본 논문에서는 편의상 하나의 결과만 제시한다. 다중 최적 경로의 결과가 약간 차이가 있더라도 모든 결과의 보상은 동일하다. 해당 알고리즘은 본 논문에서 새롭게 설계된 모델링을 사용하므로 상태 공간은 작은 노드가 아닌, 큰 엣지를 사용한다. 따라서 실험 결과 그래프에서 두 알고리즘의 실험 환경은 다르게 보일 수 있다. 하지만 이는 제안하는 동적 계획법 알고리즘이 기본 격자에 표시되기 때문이며, 실제로 두 알고리즘의 실험 조건은 정확히 동일하다. 실험 결과 일반 적인 동적 계획법 알고리즘의 경로는 한 개의 관심 영역에 대한 접근을 포기하기 때문에 두개의 관심 영역만을 정찰하는 결과를 보이며, 이후 더 많은 보상을 획득하지 못하고 터미널에 도달한다. Table 1은 두 알고리즘이 획득하는 보상값과 평균 계산 시간을 보여준다. 일반적인 알고리즘과 비교해 본 논문에서 제안하는 알고리즘의 보상 개선율은 45.5%로 더 나은 성능을 나타냄을 알 수 있다. 여기서 보상 개선율은 (proposed – general)/general로 계산되었다. 또한 큰 그리드의 관점에서 동작하기 때문에 계산 시간도 개선됨을 알 수 있다.

Fig. 4. The result of the general DP algorithm (top) and the result of the proposed DP algorithm (bottom) at sparse-distributed environment.

Table 1. Comparison of performance at sparse-distributed environment.

Metric	Total reward	Computation time
General Proposed Improvement	22 32 45.5 (%)	0.18 (sec) 0.15 (sec) 16.7 (%)

 

3.3 Complex Obstacle Environment

Fig. 5는 빌딩과 같은 장애물로 둘러싸인 복잡한 환경에 대한 두 알고리즘의 결과를 나타내며, 실험 전체 영역의 크기는 이전과 동일하다. 추가적으로 그림에서 collision은 빌딩과 같은 장애물을 의미한다. 일반적인 동적 계획법 알고리즘의 경우 UAM은 빌딩으로 둘러싸인 관심영역의 깊은 지역까지의 탐색을 포기한다. 하지만 본 논문에서 제안하는 동적 계획법의 경우 관심 영역의 깊은 지역까지 모두 탐색하고 더 많은 보상을 획득하는 결과를 보인다. Table 2는 두 알고리즘이 획득하는 보상값과 평균 계산 시간을 보여준다. 일반적인 알고리즘과 비교해 본 논문에서 제안하는 알고리즘이 더 높은 보상값을 갖게 된다. 이는 알고리즘이 같은 영역에 대해 여러 번 접근할 수 있기 때문에 가능한 결과이다. 따라서 본 논문에서 제안한 동적 계획법 알고리즘의 모델링 방법이 더 나은 성능을 보임을 알 수 있다.

Fig. 5. The result of the general DP algorithm (top) and the result of the proposed DP algorithm (bottom) at complex environment.

Table 2. Comparison of performance at complex environment.

Metric	Total reward	Computation time
General Proposed Improvement	20 30 50 (%)	0.15 (sec) 0.13 (sec) 13.3 (%)

 

4. CONCLUSIONS

본 논문에서는 복잡한 도시 환경에서 UAM의 경로 계획을 위해 새로운 동작 상태를 정의하고, 설계한 최적화 문제를 동적 계획법을 이용해 해결하는 방법을 제안한다. UAM 기술의 발전과 효율적인 교통 솔루션에 대한 수요가 증가함에 따라 안전하고 효율적인 자율 비행이 필수적인 요구사항이 되었다. 기존의 경로 계획 시스템은 주로 사전에 정의된 규칙과 휴리스틱을 사용하여 도시 공간의 변화와 환경 조건에 대응하는데 제한이 된다. 이를 해결하기 위해 본 논문에서는 UAM의 행동의 유연함을 이용해 새로운 동작 상태를 정의하고 이를 동적 계획법에 적용하여 더 우수한 경로를 계획했다.

본 논문에서 제안한 동적 계획법 알고리즘은 UAM 작업에 특화된 새로운 동작 상태를 도입함으로써 이러한 문제를 해결했다. 동적 계획법 알고리즘은 장애물과의 충돌 위험을 최소화하면서도 에너지 효율적인 경로를 계획했다. 실험 결과는 알고리즘이 예측할 수 없는 도시 시나리오를 효과적으로 다룰 수 있는 능력을 입증하며, 특히 관심 영역이 적게 분산된 환경에서도 우수한 성능을 보여주었다. 향후 해당 알고리즘의 능력을 실시간 데이터 업데이트 및 동적 환경 변화에 대응할 수 있도록 확장하는 연구가 필요하다. 또한 머신 러닝 기술을 적응형 경로 계획에 통합하여 높은 동적 도시 환경에서의 적응성과 탄력성을 향상시킬 수 있을 것으로 기대된다. 전반적으로 본 논문에서 제안한 동적 계획법 알고리즘은 복잡한 도시 환경에서 안전하고 효율적인 UAM 작업을 위한 솔루션으로, 자율 비행 운송 시스템의 발전에 기여할 것으로 기대된다.