무인항공기의 자동 착륙을 위한 LSM 및 CPA를 활용한 영상 기반 장애물 상태 추정 및 충돌 예측

Vision-based Obstacle State Estimation and Collision Prediction using LSM and CPA for UAV Autonomous Landing

Abstract

무인항공기의 영상 기반 자동 정밀 착륙 기술은 착륙 지점에 대한 정밀한 위치 추정 기술과 착륙 유도 기술이 요구된다. 또한, 안전한 착륙을 위하여 지상 장애물에 대한 착륙 지점의 안전성을 판단하고, 안전성이 확보된 경우에만 착륙을 유도하도록 설계되어야 한다. 본 논문은 자동 정밀 착륙을 수행하기 위하여 영상 기반의 항법과 착륙 지점의 안전성을 판단하기 위한 알고리즘을 제안한다. 영상 기반 항법을 수행하기 위해 CNN 기법을 활용하여 착륙 패드를 탐지하고, 탐지 정보를 활용하여 통합 항법 해를 도출한다. 또한, 위치 추정 성능을 향상시키기 위한 칼만필터를 설계 및 적용한다. 착륙 지점의 안전성을 판단하기 위하여 동일한 방식으로 장애물 탐지 및 위치 추정을 수행하고, LSM을 활용하여 장애물의 속도를 추정한다. 추정한 장애물의 상태를 활용하여 계산한 CPA를 기반으로 장애물과의 충돌 여부를 판단한다. 최종적으로 본 논문에서 제안된 알고리즘을 비행 실험을 통해 검증한다.

Vision-based autonomous precision landing technology for UAVs requires precise position estimation and landing guidance technology. Also, for safe landing, it must be designed to determine the safety of the landing point against ground obstacles and to guide the landing only when the safety is ensured. In this paper, we proposes vision-based navigation, and algorithms for determining the safety of landing point to perform autonomous precision landings. To perform vision-based navigation, CNN technology is used to detect landing pad and the detection information is used to derive an integrated navigation solution. In addition, design and apply Kalman filters to improve position estimation performance. In order to determine the safety of the landing point, we perform the obstacle detection and position estimation in the same manner, and estimate the speed of the obstacle using LSM. The collision or not with the obstacle is determined based on the CPA calculated by using the estimated state of the obstacle. Finally, we perform flight test to verify the proposed algorithm.

Ⅰ. 서론

무인항공기를 활용한 비가시권 배송 임무를 수행하는 데 있어 지정된 배송지에 물품을 배송하기 위해서는 모든 배송지에 수동 조종을 통한 착륙을 수행하기 어려우므로 자동 착륙 기술이 요구되며, 좁고 장애물이 많은 환경에 착륙하기 위해서는 정밀한 자동 착륙 기술 요구된다. 무인항공기의 자동 정밀 착륙 기술에는 위치 및 속도 정보를 얻기 위해 위성 항법 시스템이 일반적으로 사용되고 있다. 이에 따라 건물이 많은 도심과 같은 환경에서는 건물들에 의해 위성 신호가 단절되거나 멀티 패스 등의 이유로 항법 정밀도가 저하될 수 있으며, 이로 인해 착륙 지점 위치 추정 성능이 저하될 경우 영상 기반 항법을 통해 정밀한 착륙 지점 위치 추정 및 착륙 유도를 수행할 수 있다. 또한, 비가시권 배송 임무를 위해 자동 착륙을 수행하는 중, 배송지인 착륙 지점에 물체가 존재하거나 착륙 지점 근방에 보행자가 존재하는 등의 장애물이 존재하는 상황을 고려할 수 있다. 이에 따라 자동 정밀 착륙을 안전하게 수행하기 위하여 장애물 탐지 및 충돌 위험성을 인지하는 기술이 필요하며, 영상 기반 자동 정밀 착륙을 활용할 경우 영상을 통하여 장애물 탐지 또한 가능하다. 장애물과의 충돌 위험을 인지하기 위하여 장애물의 상태 정보를 추정하고, 추정한 정보를 활용하여 안전성을 판단하여 착륙을 유도하는 기술이 필요하다.

영상 기반 착륙 지점 탐지 및 위치 추정, 착륙 유도를 통한 자동 정밀 착륙 연구가 진행되고 있으며[1]-[6], 착륙 중 조우할 수 있는 장애물 탐지 및 안전성 판단을 위한 장애물의 위치 및 속도 추정, 충돌 위험성 판단 연구 등도 수행되고 있다[7]-[12]. 착륙 지점 및 장애물 탐지를 위한 영상 기반 물체 탐지 기술로써 합성곱신경망(CNN; Convolutional Neural Network) 기반의 기법을 활용할 경우, 학습을 통해 서로 다른 특징점을 가진 물체를 동시에 탐지할 수 있다는 장점이 있다. 장애물 상태 정보 추정 및 충돌 예측 기술에 각각 최소자승법(LSM; least-squares method)과 최근접점(CPA; Closest Point of Approach)을 활용할 경우, 기하학 정보를 바탕으로 간단한 수식을 통해 결과를 도출할 수 있다는 장점이 있다.

본 논문에서는 영상 기반 착륙 지점 위치 추정을 통한 무인 항공기 착륙 유도뿐만 아니라, 지상 장애물 탐지 및 상태 추정, 충돌 예측 등의 연구를 통하여 안전하게 자동 착륙 수행을 수행할 수 있는 무인항공기의 자동 정밀 착륙 기술을 구현한다. 영상 기반의 착륙 패드 및 장애물 탐지를 수행하기 위하여 CNN 기반의 영상처리 알고리즘을 활용하며, 탐지된 정보를 활용하여 무인항공기와의 상대 위치를 추정한다. 장애물과의 충돌 예측을 수행하기 위하여 LSM 기반의 장애물 속도 추정을 수행하며, 추정한 장애물의 상태를 활용하여 최근접점을 계산한다. 최근접점을 활용하여 예측한 충돌 여부에 따라 착륙 유도를 수행하며, 위치 추정 오차에 비례하여 착륙 유도를 위한 속도 명령을 생성함으로써 자동 정밀 착륙을 수행한다. 마지막으로 본 논문에서 제안한 알고리즘의 성능 검증 및 실제 운용 가능성 확인을 위해 비행 시험 환경 구성 및 실험을 수행한다.

Ⅱ. 착륙 패드 및 장애물 상대 위치 추정

2-1 착륙 패드 및 장애물 탐지

본 논문에서는 착륙 패드 및 장애물을 탐지하기 위하여 CNN 기반의 영상처리 알고리즘인 Yolov4-tiny를 적용하였다. 지상에 존재하는 착륙 지점에 존재하는 착륙 패드 및 보행자에 대한 데이터를 학습하였으며, 알고리즘을 통해 각 객체들의 중심 픽셀 정보 및 식별 정보를 획득할 수 있다. 그림 1은 객체들을 탐지한 결과를 나타낸다.

그림 1. 착륙 패드 및 지상 장애물 탐지 결과

Fig. 1. Landing pad and obstacle detection result

2-2 상대 위치 추정

상대 항법을 수행하기 위한 카메라와 관성좌표계를 그림 2에 나타내었다. 좌표계 {C}는 카메라의 초점이 원점이며, X_C, Y_C, Z_C 각각 카메라의 오른쪽, 아래, 정면 광학축 방향으로 정의하였다. 좌표계 {G}는 무인항공기의 시작 지점을 원점으로 정의한 NED 좌표계이다. 식 (1)은 좌표계 {G}와 {G}사이 회전 변환 관계를 표현하기 위한 식이며, R_x, R_y, R_z는 각 축에 대응하는 회전변환 행렬이다. 또한, ϕ, θ, ψ는 두 좌표계 간 회전을 정의하는 오일러각이다. 식 (2)에 두 좌표계의 관계식을 나타낸다. 좌측 윗첨자는 벡터가 정의된 좌표계를 나타낸다.

그림 2. 영상 및 기체 좌표시스템

Fig. 2. Vision and UAV coordinates system

CLSUBCLSUPG = R_x(ϕ)R_y(θ)R_z(ψ)       (1)

PLSUPG = CLSUBCLSUPG pLSUPC       (2)

영상처리를 통해 획득한 각 객체의 픽셀 중심점은 식 (3)과 같이 정의하며 u, v는 각각 수평축, 수직축 위치이다. 영상에서 탐지된 객체들의 중심 픽셀 위치 P_IM과 3차원 좌표계의 관계식은 식 (4)와 같다. 행렬 K는 3 × 3의 카메라 내부파라미터이며 사전 캘리브레이션을 통해 획득할 수 있다. 식 (4)에 1/zLSUPC은 카메라 좌표계에서 객체까지의 깊이 정보를 의미한다. 식 (5)는 카메라 내부파라미터로 지상에서 카메라 캘리브레이션을 통해 추정되었다.

P_IM = (u v 1)^T       (3)

\(\begin{aligned}p L S U P C=\frac{1}{z L S U P C} p L S U P C=K^{-1} p_{I M}\end{aligned}\)       (4)

\(\begin{aligned}K=\left(\begin{array}{ccc}804.14 & 0 & 371.19 \\ 0 & 812.90 & 316.55 \\ 0 & 0 & 1\end{array}\right)\end{aligned}\)       (5)

영상을 통한 3차원 공간에서의 상대 위치를 추정하기 위해 식별된 객체와의 깊이 정보가 요구된다. 본 논문에서는 깊이 정보를 획득하기 위해 별도의 측정 장치를 장착하지 않고 항법 해의 지면 고도를 활용한다. 실제 지면 고도를 활용하여 깊이 정보를 추정하게 될 경우, 식 (6)과 같이 L_e만큼의 수평 오차가 발생할 수 있다. 본 논문에서는 짐벌 카메라를 항상 지면과 수평을 유지하도록 제어하며 지상 장애물의 높이가 작다고 가정하여 L_e를 고려하지 않는다. 최종적으로 식 (7)을 통해 지상 객체에 대한 상대 위치를 추정한다.

\(\begin{aligned}\frac{1}{2} h_{o} \tan \left(\theta_{1}\right)=L_{e}\end{aligned}\)       (6)

\(\begin{aligned}\left|\frac{z L S U P G_{c}}{z L S U P G}\right| C L S U B C L S U P G p L S U P C=L S U P G p\end{aligned}\)       (7)

2-3 정밀 착륙을 위한 착륙 패드 상대 위치 추정 성능 개선

착륙 패드의 상대 위치 추정 시 실제 착륙 패드의 중심 픽셀 위치, 짐벌 자세 정보에 대한 잡음, 시스템 오차, 항법 오차, 카메라 모델에 대한 불확실성 등으로 인한 추정치의 잡음 및 편향이 발생한다. 편향의 경우 추후 지상 캘리브레이션 과정을 통하여 개선하고자 하며 본 논문에서는 편향에 대한 요소를 고려하지 않고 제어기 안정성에 영향을 줄 수 있는 잡음 요소만 고려하였다. 측정치의 잡음 요소를 가우시안 노이즈로 가정하고 통합 항법 해와 융합을 위한 칼만 필터를 설계하였다.

식 (8)과 같이 상태 변수는 착륙 패드와 무인항공기 간 3차원 상대 위치이다. 식 (9)와 같이 기체의 통합 항법 해의 속도 정보를 활용하여 예측(Prediction)을 수행한다. 또한, 잔차 공분산 행렬에 대한 예측도 식 (10)과 같이 수행한다. 행렬 Q는 상태 천이 시 발생하는 오차 성분인 통합 항법 해의 속도 정보의 불확실성을 고려하여 설정하였다. 식 (11)과 같이 칼만 필터의 칼만 이득 값을 결정하고 최종적으로 식 (12), (13)과 같이 상태 업데이트를 수행한다. 측정치의 잡음 공분산 행렬 R은 상대 위치 추정치의 실험치를 활용하여 설정하였으며, 각 행렬에 대한 정보는 표 1과 같다.

그림 3. 지면고도를 활용한 깊이 정보 추정 시의 오차

Fig. 3. Error when estimating depth information using ground altitude

표 1. 칼만 필터 변수

Table. 1. Parameter of kalman filter

X = pLSUPG_l = [xLSUPG_lyLSUPG_lzLSUPG_l]^T, u_t = p_cLSUPG_t       (8)

X_t|t-1 = AX_t-1 + Bu_t       (9)

P_t|t-1 = AP_t-1A^T + Q       (10)

K_t = P_t|t-1H^T(HP_t|t-1H^T + R)^-1       (11)

X_t = X_t|t-1 + K_t(z_t - HX_t|t-1)       (12)

p_t = (I - K_tH)P_t|t-1       (13)

그림 4는 상대 위치 추정치와 칼만필터를 적용한 결과에 대하여 나타내었다. 고도 15 m부터 착륙이 완료되는 시점까지의 실험 결과를 나타낸다. 붉은 파선은 RTK GNSS를 이용하여 측정한 참조값이며, 파란 점선은 상대 위치 추정 결과값으로 값이 0인 순간은 미탐지 상황을 나타낸다. 파란 실선은 칼만 필터를 적용한 결과를 보여준다. 칼만 필터를 적용한 결과에서 측정치의 불안정성이 감소되었으며, 일부 미탐지 구간에서도 상태 천이를 통해 상태를 추정하는 결과를 확인할 수 있다.

그림 4. 착륙 패드 상대 위치 추정 결과

Fig. 4. Landing pad relative position estimation result

Ⅲ. 장애물과의 충돌 예측

3-1 LSM을 활용한 장애물 속도 추정

장애물에 대한 위험도를 판단하기 위하여 장애물의 속도를 추정하고자 한다. 앞서 추정한 장애물 위치 추정 데이터 기반으로 최소자승법(LSM; least-squares method)을 식(14)과 같이 시간에 대한 북, 동쪽의 위치에 각각 적용하여 속도 v_N, v_E를 추정할 수 있다.

\(\begin{aligned}\left(\begin{array}{l}v_{o, N} \\ b_{o, N}\end{array}\right)=\left(\begin{array}{cc}0 & 1 \\ t_{s} & 1 \\ \vdots & \vdots \\ M_{s} & 1\end{array}\right)^{\dagger}\left(\begin{array}{c}p L S U P G_{x_{a_{i-k}}} \\ p L S U P G_{x_{o_{i-N+1}}} \\ \vdots \\ p L S U P G_{x_{o_{i}}}\end{array}\right)\end{aligned}\)      (14)

3-2 최근접점 계산

그림 5는 장애물의 충돌 위험도를 판단하기 위해 사용되는 기하학적 관계를 나타낸다. 장애물에 대한 위험도를 판단하기 위해, 착륙 패드와 장애물의 상대 위치 및 속도를 이용하여 최근접점을 계산하였다[11]. 착륙 패드와 장애물의 상대 위치 및 속도를 활용하여 최근접점에 도달하는 시간(t_CPA)을 식 (16)와 같이 계산할 수 있으며, 이를 이용하여 식 (17)과 같이 최근접점을 계산할 수 있다.

그림 5. 착륙 패드와 장애물 간의 기하학 관계

Fig. 5. Geometry between landing pad and obstacle

rLSUPG = pLSUPG_l - pLSUPG_o      (15)

\(\begin{aligned}t_{C P A}=-\frac{r L S U P G \cdot v L S U P G_{o}}{v L S U P G_{o} \cdot v L S U P G_{o}}\end{aligned}\)      (16)

pLSUPG_CPA = rLSUPG + vLSUPG_ot_CPA       (17)

3-3 충돌 예측

앞서 계산한 정보들을 활용하여 장애물에 대해 위험도를 판단하고, 착륙 수행 여부를 결정한다. 우선 위험도를 판단하기 위한 안전 경계의 경우, 착륙 패드의 중심점을 기준으로 원형태로 설정하였다. 안전 경계의 반지름은 인식된 착륙 패드 영역의 크기를 기준으로 식 (18)과 같이 설정하였다. 식 (18)에서 K_safe는 안전 경계 크기를 결정하기 위한 이득값이며 L_W, L_H는 인식된 착륙 패드 영역의 가로 크기와 세로 크기를 나타낸다. 최근접점이 안전 경계 바깥에 존재하면 장애물은 안전 경계 안으로 들어오지 않으므로, 식 (19)와 같이 최근접점과 착륙 패드 사이의 거리를 계산하여 위험도 판단에 활용하였다.

\(\begin{aligned}R_{\text {safe }}=\left\{\begin{array}{ll}K_{\text {safe }} L_{W} & \left(L_{W} \geq L_{H}\right) \\ K_{\text {safe }} L_{H} & \left(L_{W}<L_{H}\right)\end{array}\right.\end{aligned}\)       (18)

d = ║pLSUPG_CPA - pLSUPG_l║       (19)

\(\begin{aligned}t_{\text {enter }}=t_{C P A}-\frac{R_{\text {safe }}}{\left\|v L S U P G_{o}\right\|}, t_{\text {escape }}=t_{C P A}+\frac{R_{\text {safe }}}{\left\|v L S U P G_{o}\right\|}\end{aligned}\)       (20)

착륙을 위한 무인항공기의 하강 속도는 일정하다고 가정할 경우, 착륙까지 걸리는 시간(t_landing)을 계산할 수 있다. 또한, t_CPA를 활용하여 식 (20)과 같이 안전 경계 진입 시간(t_enter)과 탈출 시간(t_escape)을 계산할 수 있다. 이를 활용하여 표 2과 같이 충돌 여부를 예측하였으며, 표 3은 충돌 예측 결과 flag에 따른 하강 속도 명령을 나타낸다.

표 2. 충돌 예측 결과

Table. 2. Collision prediction result

표 3. 충돌 예측 결과에 따른 착륙 유도

Table. 3. Landing guidance based on collision prediction result

Ⅳ. 착륙 유도 알고리즘

무인 항공기의 자동착륙을 수행하기 위하여 추정한 착륙 패드의 위치와 무인 항공기의 위치 오차를 활용하여 속도 명령을 생성하였다. 유도 법칙은 식 (21)와 같다. 착륙을 위한 하강 속도는 식 (21)와 같이 일정한 속도 값을 사용하였다.

V_N,cmd = K_pxLSUPG_l, V_E,cmd = K_pyLSUPG_l, V_D,cmd = C       (21)

표 2와 같이 판단한 충돌 예측 결과인 flag를 활용하여 표 3과 같이 착륙 수행 여부를 결정하도록 하였다. Flag가 0일 경우에는 장애물과의 충돌 위험이 없으므로 기존에 설정한 하강 속도로 착륙을 수행한다. flag가 1일 경우에는 충돌이 발생하지는 않으나 충돌 위험이 있는 상황이므로 착륙은 중단하나 수평 유도는 수행하며, flag가 2일 경우에는 충돌이 예측되는 상황이므로 착륙 및 수평 유도를 중단하고 정지 비행을 수행한다. 이에 따른 전체적인 착륙 유도 알고리즘의 구성도는 그림 6과 같다.

그림 6. 착륙 유도 알고리즘 구성도

Fig. 6. Structure of landing guidance algorithm

Ⅴ. 알고리즘 검증

5-1 비행 시험을 통한 검증

본 연구에서 구현한 알고리즘을 실제 비행 시험을 통해 검증하기 위해 그림 7과 같이 기체 시스템을 구성하였다.

그림 7. 기체 시스템 구성도

Fig. 7. Structure of UAV system

비행제어컴퓨터(FCC; Flight Control Computer)는 Pixhawk와 PX4 Flight stack을 활용하였으며, 추가적으로 영상처리를 위한 Xavier NX 보드와 3축 자유도를 갖는 짐벌 카메라를 탑재하였다. 정밀 착륙을 수행하는 중 착륙 지점 위로 장애물이 지나가도록 실험 시나리오를 구성하여 비행 시험을 수행하였다. 비행 시험 결과는 그림 8-13과 같으며, 그림 8은 비행 실험 중 실시간 탐지 결과, 그림 9-11 위치 및 속도 추정 결과, 그림 12-13은 충돌 예측 및 착륙 유도 실험 결과를 보여준다.

그림 8. 비행 실험 시의 착륙 패드 및 장애물 탐지 결과

Fig. 8. Landing pad and obstacle detection result in flight test

그림 9는 실시간 착륙 패드의 상대 위치를 추정한 결과이며, 참조값은 RTK를 이용하여 측정하였다. 그림 9의 회색 파선은 착륙 유도 알고리즘에 따라 비행이 시작되는 시점을 나타낸다. 그림 9의 추정 결과를 확인해보면 칼만 필터를 적용하지 않은 상대 위치 추정치에 잡음 및 편향을 존재하는 것을 알 수 있다. 또한, 칼만 필터의 결과는 편향요소의 크기가 고도가 낮아짐에 따라 감소되고, 적용 전에 비해 잡음 요소의 크기가 작아진 결과를 확인할 수 있다. 그림 10은 장애물에 대한 상대 위치 추정 결과이며, 그림 11은 LSM을 통해 장애물의 속도를 추정한 결과이다. 장애물의 위치 및 속도 참조값은 GNSS/INS 시스템을 통해 측정하였다. 그림 10에 파선으로 구분된 구간은 영상 내의 장애물이 존재한 구간이며, 영상 내의 장애물이 존재하지 않을 경우, 추정값은 0이 도출된다. LSM을 추정하기 위해 필요한 데이터를 수집하는 1초 동안은 속도를 추정할 수 없으므로, 그림 11과 같이 탐지 시작 부분보다 약 1초 이후부터 추정치가 존재하는 것을 확인할 수 있다. 추정치는 참조값과 비교하였을 때, 최대 약 0.3 m/s의 오차가 존재하는 것을 확인하였다. 위치 및 속도 추정 알고리즘의 경우, 추후 편향 및 잡음에 대한 분석 및 보완을 통해 성능을 개선하고자 한다.

그림 9. 비행 실험 시의 착륙 패드 상대 위치 추정 결과

Fig. 9. Landing pad relative position estimation result in flight test

그림 10. 비행 실험 시의 장애물 상대 위치 추정 결과

Fig. 10. Obstacle relative position estimation result in flight test

그림 11. 비행 실험 시의 장애물 상대 속도 추정 결과

Fig. 11. Obstacle relative velocity estimation result in flight test

그림 12는 시간에 따른 충돌 예측 결과 flag를 나타내며, 그림 13은 착륙 유도 알고리즘의 속도 명령에 따른 무인항공기의 상태를 나타낸다. 그림 12에서 flag 1과 2가 주기적으로 바뀌게 되는 구간의 경우, 고도 20 m에서 장애물이 정지 상태에 존재하는 순간이다. 이는 고도 20 m에서 정지 물체에 대한 속도 추정치가 불안정하여 flag를 2인 상태로 유지하지 못하는 것으로 확인되었다. 그림 13의 회색 파선은 속도 명령에 따른 비행이 시작되는 지점을 나타낸다. 그림 13을 통해 충돌 예측 결과 flag에 따라 속도 명령이 생성된 것을 확인할 수 있으며, 속도 명령에 수렴하며 정상적으로 착륙이 유도된 것을 확인할 수 있다. 충돌 예측 및 착륙 유도 알고리즘의 경우, 추후 장애물 속도 추정치의 안정성 향상을 위한 연구를 통해 성능을 개선하고자 한다.

그림 12. 비행 실험 시의 충돌 예측 결과에 따른 flag

Fig. 12. Flag according to collision prediction result in flight test

그림 13. 비행 실험 시의 무인항공기 속도

Fig. 13. Velocity of UAV in flight test

Ⅵ. 결론

본 논문에서는 자동 정밀 착륙 기술을 위한 영상 기반의 항법과 착륙 안전성 판단을 위한 알고리즘을 제안하였다. 제안한 알고리즘은 CNN 기법을 활용한 착륙 패드 및 장애물 탐지를 수행하고, 탐지 정보를 활용하여 위치를 추정한다. 또한 칼만 필터를 활용하여 착륙 패드 위치 추정 성능을 개선하며, LSM을 활용하여 장애물의 속도를 추정한다. 마지막으로 착륙 패드와 장애물 간의 최근접점을 계산하여 충돌을 예측하며, 충돌 예측 결과에 따른 착륙 유도를 수행한다. 이와 같은 알고리즘을 검증하기 위해 기체 제작 및 비행 실험을 수행하였으며, 정상적으로 충돌 예측 및 착륙 유도가 수행됨을 확인하였다. 다만, 장애물이 착륙 패드 내에 정지한 경우, 높은 고도에서의 속도 추정 오차로 인해 충돌 예측 결과가 불안정한 것을 확인하였으며, 추후 위치 및 속도 추정 알고리즘의 성능 향상을 통해 알고리즘을 개선하고자 한다.