VTG based Moving Target Tracking Performance Improvement Method using MITL System in a Maritime Environment

해상환경에서 MITL 시스템을 활용한 VTG 기반 기동표적 추적성능 개선 기법

Abstract

In this paper, we suggest the tracking method of moving multi-objects in maritime environments. The image acquisition is conducted using IR(InfraRed) camera sensors on an airborne platform. Under the circumstance of maritime, the qualities of IR images can be significantly degraded due to the clutter influence, which directly gives rise to a tracking loss problem. In order to reduce the effects from the clutters, we introduce a technical approach under Man-In-The-Loop(MITL) system for enhancing the tracking performance. To demonstrate the robustness of the proposed approach based on VTG(Valid Tracking Gate), the simulations are conducted utilizing the airborne IR video sequences: Then, the tracking performances are compared with the existing Kalman Filter tracking techniques.

1. 서 론

MITL(Man-In-The-Loop) 기능은 무장데이터링크(Weapon Data Link, WDL)를 활용하여 무장의 탐색기가 전송하는 영상을 사수가 확인하여 타격 지점(designation point, DP)을 무장에 전송하면, 입력된 DP에서 가까운 표적을 타격하여 임무를 완수하기 위한 것이다. 무장은 무선 네트워크 기능이 탑재되어원격으로 임무통제 기능이 구현 가능한 무인 비행체로써 MITL 기능을 부여하여 기존의 발사 후 망각(fireand forget)의 무장체계에 비하여 비행 시작부터 임무 종료까지 임무 정보를 갱신할 수 있다는 장점으로 고가치 표적만 선별적으로 타격할 수 있는 효과가 있다[1,2]. 그러나 해상환경에서 사수로부터 지속적으로 표적을 입력받은 값을 처리하는 과정에서 조도의 변화, 해수면에서의 빛 반사, 항적(Wake)과 같은 해수면상에 나타나는 클러터로 인하여 왜곡된 탐지결과를 추적하는 상황이 발생됨에 따라[3,4], MITL을 활용하여 표적과 가까운 지점에 DP를 입력하더라도, 목표물에 대한 추적 성능을 보장하기 어렵다. 최근 임무성공률에 대한 관심이 높아짐에 따라 이러한 문제를 해결하기 위해 다양한 방법들이 연구되고 있다. 그러나 정확도를 높일수록 알고리즘 및 기법이 상당히 복잡하게 되고, 그에 따른 연산처리속도가 증가함에 따라 짧은 시간 안에 임무를 수행해야 하는 무장에 대해서는 객체와 환경변화에 민감한 고성능의 배경제거와 같은 전처리 알고리즘 및 탐지 알고리즘의 학습 환경에 지나친 대응으로 인하여 전체 시스템 성능에 영향을 미칠 수 있다[5,6]. 따라서 본 논문에서는 MITL기술을 적용하여 해상환경에서 비행하는 기체의 적외선 영상 센서로 부터 탐지한 표적을 추적하는데 있어 비교적 간단하고, 추적성능을 보장할 수 있는 기법을 제안한다. 본 논문의 구성은 다음과 같다.2장에서 제안하는 기법에 대한 시퀀스를 설명하고, 표적 탐지와 연관된 기술에 대하여 소개한다. 3장에서는 클러터를 제거하고 탐지된 결과에 대한 추적의 정확도를 높이기 위해 구현한 유효추적 영역 생성 알고리즘에 대하여 기술한다. 4장에서 실제 해상영역에서 획득한 적외선 영상을 적용하여, 제시한 기법의 타당성을 검증한다. 마지막으로 결론에서 본 연구의 한계점 및 향후 연구방향에 대하여 논의한다.

 

2. 제안기법

Fig.1은 본 논문에서 제안하는 기법을 적용한 추적 시스템의 시퀀스를 나타낸다. 연속된 영상 프레임에서 이전 영상 프레임을 \(t_{i-1}\), 현재 영상 프레임을\(t\)라고 할 때, 이후 순차적으로 입력된 영상 프레임 \(t_{i+3}\)까지 프레임이 입력되면 Fig.1의 시퀀스가 반복적으로 수행된다.Fig.1(a)와 같이 영상이 입력되면, 영상에서 해수면상의 기동 표적을 탐지하는 단계이전에 영상의 전경(foreground)과 배경(background)분리하는 단계를 수행한다. 본 연구의 구현을 위해 제안된 배경 모델링 방법에서는 효과적인 배경제거를 위해 픽셀 기반의 배경분리기법인 가우시안 혼합모델(GMM, Gaussian Mixture Model)을 주로 적용하였다[7,8].GMM에서는 짧은 프레임에서 배경 분리를 위해 각각의 독립적인 픽셀 값에 대해 시간에 따라 누적된 값을 통하여 각 픽셀 당 하나의 혼합가우시안 모델을 생성하는데, 이때 최적의 모델을 찾기 위해 EM(Expectation Maximum)의 반복적 절차를 이용하여 학습한다[9]. 픽셀 위치에 따른 픽셀들의 확률분포는 K개에 대한 가우시안 모델의 혼합으로 수식(1) 와 같다.

 

\(f\left(x_{t} | \mu, \sigma\right)=\sum_\limits{i=1}^{K} \pi_{i, t}* N\left(x_{t}, \mu_{i, t}, \sigma_{i, t}\right)\)       (1)

 

여기서 \(\pi_{i}\)는 \(i\)번째 가우시안 모델의 가중치이며 \(\sum_\limits{i=1}^{k} \pi_{i}=1\)이다. \(x_{t}\)는 픽셀의 gray-scale값으로써 \(t\)시간까지 누적된 데이터의 집합이다. 수식 (1)의\(N\left(x_{t}, \mu_{i, t}, \sigma_{i, t}\right)\)는 가우시안 확률 밀도 함수로 수식 (2)로부터 얻을 수 있다.

 

\(N\left(x_{t}, \mu_{i, t}, \sigma_{i, t}\right)=\frac{1}{(2 \pi)^{1 / 2} \sigma_{i, t}} \exp \left[-\frac{1}{2}\left(\frac{x_{t}-\mu_{i, t}}{\sigma_{i, t}}\right)^{2}\right]\)       (2)

 

\(\mu_{i, t}\)와 \(\sigma_{i, t}\)는 \(t\)시간에서의 \(i\)에 해당되는 가우시안의 평균과 분산 값이며, 매 장면마다 확률 값을 최대화(Maximum-Likelihood)하기 위해 EM을 반복적으로 학습하고 가우시안 배경모델을 갱신한다[10]. 위와 같이 입력 영상이 전경과 배경이 분리가 되면, 배경으로부터 분리된 전경물체에 대하여 모폴로지(morphology) 연산을 수행한다. 이는 사물의 형태를 구성하고 있는 구조적인 외형의 특징을 추출하기 위한 단계이며 Fig.1(b)와 같다. 모폴로지 연산을 통해객체의 픽셀분석을 이용한 blob 분석을 수행하여 통해 넓이, 둘레, 장⋅단축 길이와 같은 이미지 안에연결된 객체들의 물리적 면적 값을 기준으로 이미지분할(Segmentation)을 시행한다[11]. Fig.1(c)는 탐지 결과를 기반으로 제안하는 기법을 적용하는 단계로써 표적의 가로세로 값을 반영하여 유효 추적 창(VTG, Valid Tracking Gate)을 생성하고,VTG 영역 크기에 대응하는 마스크 필터가 VTG 외의 영역을 제거한다. 마스크 필터로 통과한 영역(yellowbox)에서 탐지 알고리즘이 시행되면, 사수가 MITL시스템을 통하여 입력한 DP를 기반으로 탐지된 물체(red box) 중심점과의 거리를 산출한다. 이때 DP와의 거리가 가장 가까운 값을 표적의 중심점으로 추적 점을 반환한다.Fig.1(d)는 표적추적 단계로 일반적인 추적 알고리즘인 칼만필터(Kalman-Filter)를 적용하였다. 프로그램의 구현상에는 추적 점에 해당되는 표적 중심점의 속도 및 위치 변화량 등의 상태변수를 측정하고, 이것의 평균 및 분산 값을 기준으로 이동 물체의 다음 위치를 예측하는 measure-mentupdate 결과로 나온 추정치를 추적하는 방식을 적용하였다[3]. 본 논문에서 제안하는 알고리즘 적용으로 추적 성능의 개선은 Fig.1에서와 같이 단계별 처리가 지속된다. 본 논문의 3장에서는 2장에서 개념적으로 기술한 유효 추적영역 생성기법에 대한 산술적 처리과정을 논한다.

 

Fig. 1. Flow chart of the proposed tracking method based on the MITL(Man-In-The-Loop) system.

 

3. 유효 추적영역 생성 알고리즘

Table 1. Valid Tracking Gate generate method

 

Table 1은 제안하는 기법의 유효 추적영역 생성 단계를 요약한 내용이다. 첫 번째로 VTG 생성을 위해 영상정보와 관련된 변수 설정이 필요하다. 영상의 해상도는 M×N이고 전체 영상 프레임이 시간 축으로 f까지 입력된다고 할 때, 이진영상 \(I(m \times n)\)에서 탐지된 데이터 정보를 \(D_{i}^{j}\) 라고 정의한다. \(D_{i}^{j}\)는 탐지객체의 중심좌표\({C p_{X i}}^{j}, {C p_{Y i}}^{j}\)와 객체를 나타내는 가로/세로 반폭의 픽셀의 길이 \(W_{i}^{j}, H_{i}^{j}\)로 구성된다. 이때i는 j번째 프레임에서 탐지된 객체의 트랙(Track)을 나타낸다. 다음으로 \(D_{i}^{j}\)가 설정되면, \(D_{i}^{j}\)의 데이터 정보를 이용하여 VTG 크기를 결정하는 \(V g_{i}^{j}\)를 구성한다. 이때 탐지되는 Track 개수를 \(\theta_{\mathrm{max}}\)로 설정한다. 이는 예상되는 track 개수로써, 알고리즘의 실시간 연산에 따른 처리속도를 줄이기 위함이다. \(V g_{i}^{j}\)에서 영역 크기를 결정하는 데에는 표적의 가로 세로에해당되는 픽셀크기 추정치가 기준이 되며, 탐지객체로 인정하는 최소 면적의 화소수를 반영하여 VTG크기를 결정하는 가로 반폭길이 추정치\(\alpha\), 세로 반폭길이 추정치\(\beta\)를 알고리즘 변수로 설정하였으며, 이는 탐지 결과가 입력되는 영상 프레임에서 지속적으로 VTG영역 중앙에 위치할 수 있도록 구현된다. 다음은 마스크필터를 생성하는 단계로 VTG 크기에 대응하는 \(V g_{i}^{j}\)가 결정되면 \(V g_{i}^{j}\)크기에 대응하는 마스크 필터를 생성한다. 결과적으로 마스크 필터가 만들어지면, 순차적으로 입력되는 이진영상과 곱하여 표적이 존재하는 영역이 생성된다. Table1과 같이 탐지객체 정보 \(V g_{i}^{j}\)를 반영하여 생성된 마스크 필터는 Fig. 2와 같다. 계속해서 순차적으로 입력되는 영상은 VTG 안에서만 지속적으로 탐지를 수행한다. 마지막으로 추적 점을 산출하는 단계에서는 마스크 필터가 생성된 이후 탐지과정에서 검출된 Track의 중심점 좌표와 MITL 시스템으로 부터 사수가 지정한 표적 픽셀좌표를 euclideandistance를 기준으로 비교한다[11]. 이때 최솟값을 필터(Kalman-Filter)의 추적 점으로 반환하며 수식 (3)과 같다.

 

\(\begin{aligned} &d i s t_{i}^{j}=\left[\left(x-{C p_{X i}}^{j}\right)^{2}+\left(y-{C p_{Y i}}^{j}\right)^{2}\right]^{1 / 2}\\ &S_{1, t}=\min \left[d i s t_{i}^{j}\right]\\ &\text { Tracking_Point }=\left[{C p_{X t}}^{j}, {C p_{Y t}}^{j}\right] \end{aligned}\)       (3)

 

여기서 x,y는 사수가 표적으로 지정한 픽셀좌표값이며, \({C p_{X i}}^{j}, {C p_{Y i}}^{j}\)는 유효추적 영역에서 탐지된 객체 중 x,y와의 euclideandistance 최솟값에 해당되는 중심점을 나타낸다.

 

Fig. 2. Conceptual image of the MaskFilter generation: (a)Binary image of the window MxN and detected object (b)Result of multiplications in the corresponding pixel on MaskFilter(red box).

 

4. 실험 시스템 환경 및 결과

 

4.1 실험환경

본 논문에서는 제안된 기법 검증을 위해 해상환경에서 비행하는 기체의 적외선 영상센서로 부터 전송되는 주간 적외선 영상을 적용하였으며, 전체 영상은 285프레임이고, 프레임 속도는 30 frames/sec(framesize 640× 480 pixels)이다. 약 1km 떨어진 상공에서 표적에 접근하는 비행을 모사한 것으로 길이 21m, 폭 10m가량으로 시속 70～90km의 속도로 기동하는 모양과 크기가 유사한 3개의 Track을 대상으로 제안하는 기법의 성능을 검증하였다.Fig.3은 실험환경을 묘사한 것이다. 본 논문에서 구현한 GMM의 파라메타는 GMM의 구현의 일반적인 설정 값[12]으로 실험영상 프레임수가 짧은 것을 고려하여 최근 5프레임에 대하여 3개의 가우시안 모델을 초기 설정하여 반복학습을 하였다. 이때, 반복학습의 초기 분산 값은 (30/255)^2로 설정하였다.

 

Fig. 3. Testing environment image model.

 

탐지 기준이 되는 blob면적의 최소 픽셀 수는 거리에 따른 실험객체의 크기를 고려하여 최소 20으로 설정하였다. Table 1에서 VTG 크기를 결정하는 가로 반폭길이 추정치\(\alpha\)는 3 세로 반폭길이 추정치 \(\beta\)는5로 적용했으며,Track 개수에 해당되는 \(\theta_{\mathrm{max}}\) 값은 3개로 설정하였다. 실험 시뮬레이션 환경에서는 MITL시스템의 사수가 센서에서 입력되는 영상을 보고DP를 지정한 것으로 가정하였으며 실험에서 DP는 Fig. 4와 같다.Fig.4(a)는 IR 이진영상에서 입력된 DP를 나타난다. 해당 DP 좌표는 Fig.4(b)와 같으며, Track1, Track2, Track3를 대상으로 (320, 240), (80, 300), (100, 100), (240,400), (320,30), (460,100), (500, 100), (600, 400)을 실험 데이터로 선정하였다.

 

Fig. 4. Target tracking point : (a) Designation Point in IR binary image (b) Corresponding pixel coordination.

 

4.2 실험결과

Fig.5의 (a)～(h)는 MITL 시스템으로부터 입력된 DP 좌표를 근거로 VTG 기법을 적용하지 않은칼만필터로 영상에서 탐지된 실험객체를 추적했을 때와 VTG 기법을 적용했을 때 칼만필터의 추적성능을 비교한 시뮬레이션 결과이다. 그래프에서 가로축은 시간 축 방향으로 진행하는 프레임 수이고, 세로축은 추적하는 객체 중심점 x 좌표의 위치를 나타낸다. Fig. 5(a)와 같이 MITL 시스템에서 사수가 입력한 DP의 지점이 Track과 매우 근접한 경우에는 VTG 알고리즘을 적용한 칼만필터의 추적 성능과VTG 기법을 적용하지 않은 칼만필터에서는 추적 성능의 큰 차이 없이 Track1에 대하여 객체를 놓치지 않고 추적한 것으로 나타난다. 그러나 DP지점이Track과 근접하지 않았을 경우에서는 Fig. 5(b)～(h)에 나타난 결과와 같이 VTG 알고리즘을 적용한 칼만필터의 추적성능이 일반적인 칼만필터를 사용했을 때보다 개선된 것으로 확인된다. 이는 VTG의 크기가 반영된 마스크 필터가 일시적으로 발생한 클러터를 제거하여 이진영상이 개선된 효과로 인해 나타난 결과이다. 반면,VTG 기법이 적용되지 않은 칼만필터의 추적에서는 적외선 센서가 해수면에 근접할수록 해수면의 반사되는 클러터가 증가로 인해 탐지의 오류가 발생함에 따라 지속적인 칼만필터의 추적이 보장되지 않은 것으로 나타났다.

 

Fig. 5. Performance comparison between the Kalman filter tracking method and VTG method : Designation Point pixel coordination(width, height) (a) DP=(320,240) (b) DP=(80,300) (c) DP=(100,100) (d) DP=(240,400) (e) DP=(320,30) (f) DP=(460,100) (g) DP=(500,100) (h) DP=(600,400)

 

다음의 Fig.6은 Track1을 추적하는 실험에서 프레임 232와 239의 이진영상을 비교한 것이다. VTG 기법이 적용되지 않은 이진영상에서는 Fig.6(b) 및 (d)와 같이 3개의 Track을 제외한 클러터가 발생하였다. 반면 동일한 프레임구간에서 VTG가 적용된 이진영상에서는 Fig.6(a) 및 (c)와 같이 클러터가 발생하지 않은 것으로 확인된다.

 

Fig. 6. Experiment result comparison between binary images: (a) VTG method (No. of frame 232) (b)Kalman filter Tracking Method (No. of frame 232 with clutter(redbox)) (c) VTG method (No. of frame 239) (d) Kalman filter tracking method (No. of frame 239 with clutter(redbox))

 

5. 결 론

본 연구는 기존의 탐지 추적이론을 기반으로 MITL기능이 적용된 무장에서, 사수가 지정하는 타격지점의 임무를 수행 시 해상환경에서 목표물에 대한 탐지추적 성능을 개선하기 위해 VTG 알고리즘을 설계하여 효과를 검증한 내용이다. 알고리즘의 효과를 검증하기 위해서 제안된 기법으로 영상을 개선했을 시의탐지추적 수행능력과 기존의 칼만필터 추적 알고리즘만을 적용했을 시의 비교연구를 수행하였으며, 시뮬레이션 환경으로는 해상환경에서 무장을 모사한 기체의 적외선 영상 센서로 회득한 영상을 적용하였다.

본 논문에서 제시하는 기법에서는 입력되는 영상에서 VTG가 적용되어,VTG 외에서 발생하는 클러터의 영향이 제거되어 해상환경에서 일시적인 클러터가 다수 발생할 경우에도 탐지결과에 반영이 되지 않음에 따라 추적성능을 개선한 효과가 있다. 이는 항시 표적의 명중률을 높이기 위한 군 무기체계에서 무장이 비행의 종말단계까지 추적의 안정성이 요구되는 임무수행에 효과적일 것으로 기대된다. 또한 일반적인 MITL 시스템에서 사수가 입력 영상 전반에거쳐 표적을 지정하는 방식과는 다르게 추적 대상이VTG를 반영한 마스크 필터를 통과한 물체로 제한됨에 따라 예상 요격지점을 선정하는 기존 사수의 전문성에 의존도를 낮출 수 있다. 그러나 Track 선정에 있어서는, MITL 시스템으로부터 입력되는 조준점정보 외에 Track의 방향성과 같은 탐지물체의 특징 정보가 반영되지 않음에 따라 목표표적을 정확히 선별해 내기가 쉽지 않다. 따라서 향후 연구에서는 이와 같은 제약사항을 고려하여 보완하는 연구가 필요할 것으로 판단된다. 또한 다양한 추적 알고리즘을 적용하여 클러터에 강인한 추적 성능향상 기법에 대한 후속 연구가 수행될 예정이다.