Performance Analysis of Automatic Target Recognition Using Simulated SAR Image

표적 SAR 시뮬레이션 영상을 이용한 식별 성능 분석

Abstract

As Synthetic Aperture Radar (SAR) image can be acquired regardless of the weather and day or night, it is highly recommended to be used for Automatic Target Recognition (ATR) in the fields of surveillance, reconnaissance, and national security. However, there are some limitations in terms of cost and operation to build various and vast amounts of target images for the SAR-ATR system. Recently, interest in the development of an ATR system based on simulated SAR images using a target model is increasing. Attributed Scattering Center (ASC) matching and template matching mainly used in SAR-ATR are applied to target classification. The method based on ASC matching was developed by World View Vector (WVV) feature reconstruction and Weighted Bipartite Graph Matching (WBGM). The template matching was carried out by calculating the correlation coefficient between two simulated images reconstructed with adjacent points to each other. For the performance analysis of the two proposed methods, the Synthetic and Measured Paired Labeled Experiment (SAMPLE) dataset was used, which has been recently published by the U.S. Defense Advanced Research Projects Agency (DARPA). We conducted experiments under standard operating conditions, partial target occlusion, and random occlusion. The performance of the ASC matching is generally superior to that of the template matching. Under the standard operating condition, the average recognition rate of the ASC matching is 85.1%, and the rate of the template matching is 74.4%. Also, the ASC matching has less performance variation across 10 targets. The ASC matching performed about 10% higher than the template matching according to the amount of target partial occlusion, and even with 60% random occlusion, the recognition rate was 73.4%.

Synthetic Aperture Radar (SAR)영상은 날씨와 주야에 관계없이 취득될 수 있어 감시, 정찰 및 국토안보 등의 목적을 위한 자동표적인식(Automatic Target Recognition, ATR)에 활용 가능성이 높다. 그러나, 식별 시스템 개발을 위해 다양하고 방대한 양의 시험영상을 구축하는 것은 비용, 운용측면에서 한계가 있다. 최근 표적 모델을 이용하여 시뮬레이션된 SAR 영상에 기반한 표적 식별 시스템 개발에 대한 관심이 높아지고 있다. SAR-ATR 분야에서 대표적으로 이용되는 산란점 매칭과 템플릿 매칭 기반 알고리즘을 적용하여 표적식별을 수행하였다. 먼저 산란점 매칭 기반의 식별은 점을 World View Vector (WVV)로 재구성 후 Weighted Bipartite Graph Matching (WBGM)을 수행하였고, 템플릿 매칭을 통한 식별은 서로 인접한 산란점으로 재구성한 두 영상간의 상관계수를 사용하였다. 개발한 두 알고리즘의 식별성능시험을 위해 최근 미국 Defense Advanced Research Projects Agency (DARPA)에서 배포한 표적 시뮬레이션 영상인 Synthetic and Measured Paired Labeled Experiment (SAMPLE) 자료를 사용하였다. 표준 환경, 표적의 부분 폐색, 랜덤 폐색 정도에 따른 알고리즘 성능을 분석하였다. 산란점 매칭 알고리즘의 식별 성능이 템플릿 매칭보다 전반적으로 우수하였다. 10개 표적을 대상으로 표준환경에서의 산란점 매칭기반 평균 식별률은 85.1%, 템플릿 매칭기반은 74.4%이며, 표적별 식별성능 편차 또한 산란점 매칭기법이 템플릿 매칭기법보다 작았다. 표적의 부분 폐색정도에 따른 성능은 산란점 매칭기반 알고리즘이 템플릿 매칭보다 약 10% 높고, 표적의 랜덤 폐색 60% 발생에도 식별률이 73.4% 정도로 비교적 높은 식별성능을 보였다.

1. 서론

자동표적 인식(Automatic Target Recognition, ATR)은 감시, 국토 안보 및 군사 업무와 같은 많은 응용 분야에서 중요한 연구 주제로, Synthetic Aperture Radar (SAR) 영상으로부터 지상 표적의 자동탐지 및 식별을 위한 SAR-ATR 기술은 1990년대 Moving and Stationary Target Acquisition and Recognition (MSTAR) 데이터가 공개된 이후에 많은 연구가 수행되고 있다(Bhanu and Jones, 2000; Kechagias-Stamatis and Aouf, 2021). MSTAR는 미국 Defense Advanced Research Projects Agency (DARPA)와 Air Force Research Laboratory에서 군사 표적을 식별하기 위하여 다양한 군사 표적과 다양한 클러터 지역에 대한 SAR 영상을 측정한 것이다.

SAR 영상은 관측각도나 표적 주변 환경에 따라 특징이 변화하기 때문에, 실제 다양한 환경에서 자동으로 표적을 식별하는 것은 매우 어려운 문제이다(Copsey, 2004). 또한 SAR 영상의 특징상 스펙클 잡음이 매우 강하여 넓은 영역에서 관심 표적을 한눈에 식별하기가 힘들고, 사용자가 영상 전체 정보를 직관적으로 사용하기 어렵다(Ross et al., 1999). 따라서 실질적인 활용을 위해서는 영상에서 관심표적의 특징을 추출하여 영상관측각도나 표적 주변 환경에 따른 특징변화에 강건한 SAR-ATR 기술개발이 필요하며, 다양한 환경에 대응하기 위해 여러 조건의 시험영상을 구축해야 한다(Lewis et al., 2019).

SAR 영상 수집은 현실적으로 원하는 조건에서 실제 표적과 SAR 센서를 마음대로 운용할 수 없기 때문에 제약이 따른다. 따라서 컴퓨터 연산을 통해 표적과 센서의 기하학적 관계는 물론 전자기학적 특성을 반영하여 시뮬레이션영상을 취득할 수 있는 도구가 필요하다. 상업적인 용도 또는 오픈소스로는 RaySAR, CohRaS, SARsim, SARViz 시뮬레이터 등이 있다(Lewis et al., 2019). 최근에는 산란점으로부터 추출된 다양한 관측벡터를 이용한 SAR 영상에서의 표적식별연구가 수행되고 있다. SAR 영상에서 산란점은 표적의 재료에 따라 고유한 전자기학적 특성을 나타내기 때문에 식별을 위한 특징벡터로서 매우 유용하며 실제와 유사한 Extended Operating Conditions (EOC) 환경에서도 식별성능이 우수한 것으로 알려져 있다(Tian et al., 2015; Ding et al., 2016; Fan and Tomas, 2018; Ding and Wen, 2018; 2019).

ATR 시스템 구축을 위해 필요한 템플릿 DB를 수집하는 것은 많은 노력과 비용을 요구한다. 최근 실제 SAR 영상 대신 시뮬레이션 영상으로 템플릿 DB를 구축하여 ATR을 수행하기 위한 연구의 관심도가 높아지고 있다. 실제 영상과 동일한 촬영조건으로 생성한 시뮬레이션 영상이라 하더라도 육안으로 관찰해 보면 픽셀의 밝기값과 스펙클 잡음정도 등 차이가 있는 것을 알 수 있다. 이는 사용한 Computer-Aided Design (CAD) 모델이 실제와 분명 차이가 있고, 시뮬레이션 방식에 따라 표적의 특성을 완전히 반영하지 못해 발생하는 현상이다. 이러한 차이를 줄이기 위해 SAR영상 모사 기법에 대한 연구는 최근까지 많이 진행되고 있지만, 실제와 어느정도 차이가 있는 표적 시뮬레이션 영상에도 대응할 수 있는 식별 기술에 대한 연구도 필요하다(Jihee and Junmo, 2021; Nathan et al., 2020). 본 연구에서는 시뮬레이션 영상을 이용한 SAR-ATR 시스템을 실제 상황에 적용하기 위해 산란점 기반의 점 매칭과 템플릿 매칭 기법을 구현하고 일부 변형하여 표적 식별성능을 비교 분석하였다.

2. 연구자료

본 논문에서는 표적 시뮬레이션 영상으로 Synthetic and Measured Paired Labeled Experiment (SAMPLE) 자료를 사용하였다. SAMPLE 자료는 미국 DARPA에서 지원한 사업 일환으로 제작되어 저자에게 요청하면 자료를 일부 받을 수 있으며, 이는 실제 SAR영상인 MSTAR 자료와 이를 시뮬레이션한 자료로 구성되어 있다(Lewis et al., 2019). 본 자료는 실제 MSTAR의 표적과 동일한 구성의 CAD모델을 이용하여 표적 구성 요소들의 상대적 배치(conffguration)나 배열(articulation)에 의한 영향을 최소화하고, 표적 표면의 재질 특성을 반영한 전자기적인 모사를 통해 제작된 것이다. MSTAR 자료 처리 시 사용된 -35dB의 테일러 윈도우를 적용하는 등 MSTAR 자료 취득조건과 동일하게 제작하였다. SAMPLE 자료에서 제공되는 10가지 표적의 종류에 따른 실제 영상과 시뮬레이션 영상의 예시는 Fig. 1과 같다.

Fig. 1. Example of an image of each vehicle in the SAMPLE dataset. The header row shows the kind of vehicles. The corresponding Electro Optical(EO) images are on the 1st row (Novak et al., 2000), the measured images are on the 2nd row, and the synthetic images are on the bottom row.

산란점은 각 SAR 영상으로부터 영상 도메인에서의 Point Spread Function (PSF)과 MSTAR영상 자료처리에 적용된 테일러 윈도우를 사용하여, CLEAN 알고리즘(Ozdemir, 2012) 기반으로 진폭값이 높은 순서대로 추출되었으며, 추출된 산란점 관측벡터를 이용하여 표적식별을 수행하였다. 영상으로부터 추출된 산란점 세트G는 식(1)처럼 N개의 점의 위치 x,y와 정규화된 진폭A^Norm으로 구성되어 있다. A^Norm은 추출된 산란점의 최대진폭값으로 나눈 값이다.

\(G = \{(x_i, y_i, | A_i^{Norm}|)|i=1,2,...,N\}\)     (1)

MSTAR 자료는 촬영 부각 15°, 17°, 30°, 45°, 표적 방위각 1°–360°의 범위에서 촬영된 영상으로 구성되어 있지만, 공개된 SAMPLE 자료는 촬영 부각 14°–17°, 표적 방위각 10°–70°의 범위로 비교적 제한적으로 구성되어 있다. 그동안 MSTAR자료를 이용하여 실제 상황과 유사한 EOC 환경에서의 표적식별 정확도를 향상시키기 위한 연구가 많았지만, 최근에는 실제 영상과 시뮬레이션 영상간의 식별기법 연구를 위해 SAMPLE 자료가 활발히 사용되고 있다(Araujo et al., 2022; Kechagias-Stamatis and Aouf, 2021). 본 연구에서는 실제영상과 시뮬레이션영상 간의 식별성능을 시험하고 분석하기 위해 Table 1과 같이 공통적으로 10개 표적 종류의 영상이 모두 공개되어 있는 촬영 부각 16°, 17°에 해당하는 자료만을 이용하였다. 촬영 부각 14° 자료는 4개의 표적 (M1,M2, M35, M548), 그리고 15° 자료는 3개의 표적(2S1, M60, ZSU23) 영상만 제공된다.

Table 1. The number of chips in each test and train sets used in experiments with SAMPLE dataset

3. 연구방법

1) 산란점 매칭

일반적으로 테스트와 템플릿 두 산란점간의 매칭은 점 개수가 동일한 상태에서 진행된다. 하지만 SAR영상으로부터 산란점 반사 강도를 기준으로 추출된 산란점의 개수는 대부분 표적 영상마다 다르다. 또한, 주변 환경으로 인한 표적의 가림, 표적과 센서의 기하관계, 전자기학적 특성, 스펙클 잡음, 해상도 등으로 인한 산란점 소실이 발생할 수 있어 두 점군 간의 매칭 시, 일대일 대응되지 않는 문제가 있다. 따라서 이러한 어려움을 극복하기 위한 방법으로 Tian et al. (2015)은 산란점 관측벡터의 World View Vector (WVV) 재구성, 이분법그래프, Hopcroff-Karp 알고리즘을 통한 매칭을 제안하였다. 산란점의 위치를 WVV 서술자로 재구성하여 두 점군 간의 구조적 유사성을 고려하였고, 일대일로 비교하면서 매칭 할 수 있게 하였다. MSTAR 자료를 이용하여 산란점의 소실정도에 따른 식별성능시험한 결과, 소실 50% 이상 발생해도 식별성능이 90% 이상 유지되는 것이 큰 특징이다(Tian et al., 2015).

산란점 매칭 시 또 다른 어려움은 두 점군 간의 유사도 측정에 있다. 동일한 표적의 SAR영상이더라도 추출된 산란점의 위치 및 크기, 산란점의 분포상태, 산란점의 밝기 등에 차이가 있기 때문이다. 이에 따라 Ding et al. (2016, 2017)은 유사도 측정 시 두 점군 간의 공간적 관계는 물론 매칭 이후 미탐지(Missing Alarm, MA)와 오탐지(False Alarm, FA) 개수를 고려하여 보다 견고한 유사도측정법을 고안하였다.

본 연구에서는 Tian et al. (2016)에서 제안한 WVV알고리즘을 기반으로 테스트와 템플릿 두 점군을 재구성 한 뒤, WVV기반 유사도를 가중치로 Weighted Bipartite Graph Matching (WBGM)을 수행하였으며 매칭스코어는 Ding et al. (2016)에서 제안한 가중치를 적용하여 표적을 분류하였다.

(1) WVV 서술자 재구성

WVV는 Murtagh (1992)에 의해 특징벡터 기반 패턴 인식을 위해 처음 사용되었다. WVV는 Fig. 2(b)와 같이 산란점의 위치(x, y) 정보를 극좌표계(r, θ) 로 변환한 뒤, i번째 점을 원점으로 나머지 산란점들의 크기와 각도로 구성된 N-1 개의 벡터로 정의하고 식(2)와 같이 표현된다.

\(​W V V_i=\left\{r_{i k} \mid k=1, \ldots, N ; k \neq i ; \theta_{i k} \leq \theta_{i k+1}\right\}​\)       (2)

이후 N-1 개의 벡터를 등각도(1°)로 직선 보간한 뒤 스케일에 영향을 받지 않기 위해 벡터 크기를 정규화하여 식(3)과 같이 360개의 관측벡터 ​​를 생성한다.

\(​W V V_i^{\text {interp }}=\left\{r_{i j}^{\text {Norm }} \mid j=1, \ldots, 360\right\}\)​​       (3)

이때 동일한 각도에 해당하는 점이 다수 존재하면 벡터크기를 그 중 최댓값으로 지정하였다. 이러한 과정을 산란점 개수만큼 반복하여 N개의 산란점은 식(4)와 같이 각각 360개의 관측벡터 집합으로 구성되어 있는 N개의 WVV로 재구성된다.

\(​G^{\prime}=\left\{\left(W V V_i^{\text {interp }},\left|A_i^{\text {Norm }}\right|\right) \mid i=1,2, \ldots, N\right\}\)       (4)

Fig. 2는 SAR영상에서 추출된 56개의 산란점으로부터 재구성한 56개의 WVV중, 23번째 WVV 예시이다. 23번째 산란점을 기준으로 1° 간격으로 직선 보간하여 360개의 ​​로 구성하였다. 이처럼 WVV는 공간영역에서 한 점을 원점으로 1° 간격마다 각 점과의 거리를 산출하였기 때문에, 두 점군 간 WVV 비교로 점의 위치에 대한 정보는 물론 구조적인 유사성을 판단할 수 있다는 장점이 있다(Tian et al., 2015).

Fig. 2. An example of the WVV-based feature reconstruction using scattering centers: (a) targe image and scattering center (red dot), (b) interpolated WVV vector.

(2) 유사도 계산

입력된 테스트 영상과 템플릿 영상의 유사도를 측정하기 위한 방법을 고안하는 것은 표적 식별에 있어서 매우 중요한 요소이다. 테스트의 WVV 세트인 G′_test와 T개의 템플릿 DB {B′_k|k=1,...,T}를 아래 식(5)의 S(G′_test, B′_k)로 비교하여 이 중에서 가장 높은 유사도를 보이는 표적으로 식별한다.

\(​\begin{aligned} S\left(G_{\text {test }}^{\prime}, \mathrm{B}_k^{\prime}\right)=& \sum s\left(g_l^{\prime}, b_l^{\prime}\right), l=1, \ldots, \min (m, n), \\ &{g_l^{\prime} \in G_{\text {test }}^{\prime}}b_l^{\prime} \in \mathrm{B}_k^{\prime} \end{aligned}\)       (5)

여기서, m은 템플릿의 산란점 개수, n은 테스트 산란점 개수이다.

본 연구에서는 먼저 두 점군의 매칭 스코어를 최대 가중치 합을 찾는 WBGM 수행 후 구하고, 산란점 개수와 매칭개수에 관련한 가중치를 적용해 유사도를 계산하였다. 이분법 그래프의 양쪽 vertex는 테스트와 템플릿의 산란점 개수 중 최대값으로 설정하고 식(6) WVV 간의 유사도 s(g′_i,b′_j)를 그래프 각 라인의 가중치로 부여한 후 매칭을 수행한다.

테스트와 템플릿 산란점간의 360개 WVV를 비교하여 두 점의 구조가 유사하면 할수록 값이 커지고, 각 점의 진폭 차를 exponential 함수로서 진폭 차이가 클수록 유사도가 급격히 낮아지도록 고려한다. 또한, 두 점 간의 유클리디안 거리 D(g′_i,b′_j)가 R 이상일 경우 매칭되지 않도록 F(g′_i,b′_j)값을 사용하였다.

매칭 허용거리 R은 SAMPLE자료의 해상도와 점 군의 물리적 거리를 고려하여 0.3, 0.4, 0.5로 산정하였으며, 최종 유사도는 각 매칭 허용거리로 식(7)을 이용해 유사도를 구한 후 평균값으로 계산된다.

\(​\begin{aligned} s\left(g_i^{\prime}, b_j^{\prime}\right)=& F\left(g_i^{\prime}, b_j^{\prime}\right)\left(360-\left\|W V V_{g'_i}^{\text {interp }}-W V V_{b'_i}^{\text {interp }}\right\|^2\right) \\ & * e^{\left(1-\left(A_{g'_i}-A_{b'_j}\right)^2\right)} /(360 \cdot e) \\ & \text { where, } F\left(g_i^{\prime}, b_j^{\prime}\right)=\left\{\begin{array}{l} 1, D\left(g_i^{\prime}, b_j^{\prime}\right) \leq R \\ 0, \text { otherwise } \end{array}\right. \end{aligned}\)       (6)

\(​\text { Matching Score }=\frac{S\left(G_{t e s t}^{\prime}, B_k^{\prime}\right)}{K_{\text {match }}} \cdot W_s \cdot W_a\)       (7)

앞서 구한 이분법그래프 매칭 짝의 유사도 합에 실제 매칭 개수 K_match(l에서 s가 0인 것을 제외, K_match≤l)로 나누어 평균을 구한 후, 미탐지(MA)와 오탐지(FA)를 고려한 W_s, W_a를 가중치로 곱하여 최종 유사도를 구한다. 이 때 MA와 FA는 각각 테스트 산란점 중 매칭되지 않은 점의 개수 s와 템플릿 산란점 중 매칭되지 않은 점의 개수 q를 의미한다.

W_s는 식(8)을 통해 계산한 R에 비례하는 값으로 Ding et al. (2016)에 제시된 그래프를 통해 정해지며, W_a는 식(9)와 같이 MA와 FA의 개수에 따라 계산된다. W_s는 매칭된 산란점 수의 비, W_a는 매칭되지 않은 산란점 수의 비율에 대한 정보를 반영한 가중치들이다.

\(​R=\frac{1}{\min (m, n)}\)          (8)

\(​W_a=1-\left(\frac{s+q}{m+n}\right)^2\)       (9)

SAR영상으로부터 추출된 산란점을 이용한 산란점 매칭 기반 표적식별 알고리즘 순서도는 Fig. 3과 같다. 테스트와 템플릿 산란점을 입력받아 WVV를 재구성 하고, 상호간의 WVV기반 유사도를 가중치로 WBGM을 수행한다. 이후, 매칭스코어에 가중치를 결합해 최종유사도를 계산한다.

Fig. 3. Flow chart of classification algorithm based on scattering center matching.

2) 템플릿 매칭

템플릿 매칭 기반 표적식별 알고리즘은 테스트와 템플릿 영상 사이의 화소값을 이용하여 유사도를 계산하는 방법이다(Kim et al., 2018). 본 연구에서는 Fan and Tomas (2018)와 Ding et al. (2018)의 영상 재구성을 통한 식별 알고리즘으로 수행하였다. 이들 방법은 기존 템플릿 매칭 알고리즘과 달리 표적 SAR 영상자체를 이용하지 않고, 표적영역에서 추출된 산란점을 이용한 시뮬레이션을 통해 재구성한 영상을 이용함으로써 배경잡음의 영향을 줄이고 표적만의 고유한 특성을 식별에 사용할 수 있다는 장점이 있다. 또한 산란점 매칭 방법의 주요한 단점인 서로 다른 개수의 점군 간의 매칭 문제를 피할 수 있다.

우선 테스트와 템플릿의 산란점에 인접 매칭(neighbor matching) 알고리즘을 적용하여 각 점을 기준으로 반경 이내의 인접한 산란점만을 선택하고, 선택된 산란점만으로 영상을 재구성한다. 이때, 영상 재구성은 Ozdemir(2012)에서 제안한 산란점의 Point Spread Function (PSF)를 생성한 후 복소수의 진폭값을 곱해 영상 영역에서 coherent 합을 수행하였다.

(1) 영상 재구성

SAR 영상의 표적영역 내에서 추출된 산란점 일부로 영상을 재구성한다. 모든 템플릿 영상에서 추출된 산란점으로 템플릿 DB를 구축해 놓은 상태에서 입력된 테스트 영상의 산란점이 추출되면, 각 템플릿 영상의 산란점 중 테스트 영상 산란점에 인접한 점들만 선택된다.

Fig. 4(a)와 같이 테스트 산란점이 기준일 때, 반경이 내의 템플릿 점만이 선택되고, 이때 선택된 점만으로 영상을 재구성하여 새로 템플릿을 만든다. 테스트 영상은 추출된 모든 산란점으로 영상이 재구성된다. 일반적으로 템플릿이 테스트와 동일한 종류의 표적인 경우 기준 반경 이내의 점이 많이 선택되고, 영역 외의 점은 적게 선택된다. 반대로 템플릿이 테스트와 다른 종류인 경우 반경 이내의 산란점이 비교적 적게 선택되고, 영역 외의 점은 많다. 테스트 각 점들을 기준으로 인접 매칭한 후, 영상 재구성은 템플릿에서 선택된 산란점과 전체 테스트 산란점으로 PSF를 수행하였다. 기존 실제 취득된 영상과 재구성된 영상은 Fig. 5에서 비교 가능하다. 재구성된 영상은 Fig. 5(b)와 같이 표적에서 추출된 산란점만으로 재구성되어 SAR영상의 스펙클 잡음에 영향을 받지 않는다.

Fig.4. The neighbor matching results between the 2S1 test Attributed Scattering Center (ASC) set and the template ASC setfrom different azimuth angle:(a) the neighbor matching result from template centers at the radius of 0.3 m, (b) the neighbor matching result from test centers at the radius of 0.3 m, and (c) the matched and unmatched ASCs.

Fig.5. Reconstruction using extracted attributed scattering centers(ASCs). (a) original image,(b)reconstructed image.

(2) 유사도 계산

표적의 소실 및 폐색 등 국지적인 변화를 반영하여 산란점의 민감한 변화에 영향을 덜 받기 위해 유사도는 재구성한 두 영상 간의 상관계수와, 기존 산란점 개수, neighbor matching에 의해 선택된 산란점 개수비를 반영하여 계산하였다. 재구성된 테스트 영상과 I_T와 템플릿 영상I_R간의 유사도는 식(10)과 같이 계산한다.

\(f_s\left(I_T, I_R\right)=\operatorname{Cor}\left(I_T, I_R\right) * \frac{M_s}{M} * \frac{N_s}{M}\)       (10)

M과 N은 각각 테스트, 템플릿 산란점 수이고 M_s와N_s는 앞서 인접 매칭에 의해 선택된 테스트, 템플릿 산란점의 수이다. Cor(I_T, I_R)는 식(11)로 계산되는 두 영상 간의 상관계수이다.

\(\begin{gathered} \operatorname{Cor}\left(I_T, I_R\right)= \\ \max \left(\frac{\sum_x \sum_y\left[I_T(x, y)-m_1\right]\left[I_R(x-\Delta x, y-\Delta y)-m_2\right]}{\left[\sum_x \sum_y\left[I_T(x, y)-m_1\right]^2\left[I_R(x-\Delta x, y-\Delta y)-m_2\right]^2\right]^{1 / 2}}\right) \end{gathered}\)       (11)

여기서 m₁과m₂는 I_T와I_R의 평균값이다. Δx, Δy는 x축 및 y축 방향에서의 이동량으로, 두 표적 영상 간의 좌표 정렬 오차를 고려하기 위한 변수이다.

Fig. 6은 산란점 기반의 영상 재구성을 통한 템플릿 매칭 알고리즘 순서도이다. 먼저 테스트와 템플릿 산란점이 입력되면, 인접 매칭을 수행하여 이때 선택되는 점의 비율을 가중치로 저장하고, 템플릿 산란점 중 테스트와 인접한 점만을 남긴다. 테스트 전체 산란점과 템플릿의 선택된 산란점은 다시 표적 영상으로 재구성되며 이 둘의 상관계수를 구한다. 마지막으로 두 영상간의 유사도는 상관계수에 인접 매칭 시 선택된 점의 비율을 곱해 계산하여 표적을 식별하는 데 이용한다.

Fig.6. Flow chart of classification algorithm based on template matching.

4. 표적 식별 결과

제안된 두 알고리즘과 Table1의 자료를 이용하여 10개 표적을 대상으로 먼저 표준 시험환경(Standard Operating Condition, SOC)에서의 식별을 수행하였다. 알고리즘에 입력되는 테스트 자료는 촬영 부각 17°의 실제 영상에서 추출된 산란점을 이용하였고, 템플릿으로는 촬영 부각 16°, 17°의 시뮬레이션 영상에서 추출된 산란점을 이용하였다. 이후 동일한 자료를 이용하여 EOC환경 중, 표적의 일부 폐색과 랜덤 폐색 정도에 따른 식별성능을 분석하였다.

Table2. Confusion matrix of scattering center matching algorithm on 10 targets in SOC environment (Average of P_cc = 85.08%)

1) 산란점 매칭 기반

(1) 표준환경에서의 결과

표준환경에서 실제 영상과 시뮬레이션 영상의 산란점 간의 매칭 기반 알고리즘 식별 성능은 Table 2와 같다. 표적 10종류의 평균 식별성능은 85.08%이다. 각 표적별 식별 결과를 보면, 입력 표적 BMP2는 2S1으로 오식별 되는 경우가 많지만 나머지 9개 표적은 모두 80% 이상의 식별률을 보인다. BMP2는 대부분 2S1으로 오분류되는데, 반대로 2S1의 BMP2로 오분류되는 경우는 현저히 적다. 이는 대부분 BMP2가 2S1에 비해 산란점 매칭 이후 MA, FA 개수가 많아 유사성이 떨어지기 때문이다.

(2) 표적의 부분 폐색 정도에 따른 결과

실제 상황에서 표적은 자연물이나 인공물에 의해 가려질 수 있고 표적의 객체이동 또는 교체 등에 따라 일부 달라질 가능성이 높다. 따라서 표적의 부분 폐색 영상을 생성하여 폐색 정도에 따른 식별성능시험을 수행하였다. 폐색영상은 영상분할 결과를 토대로 표적 지역일부를 마스킹하는 방법을 사용하여 상하좌우 랜덤한 방향에서 10%-50%까지 폐색된 영상을 생성하였다.

표적의 부분 폐색 정도에 따라 10%부터 50%까지의 자료로 식별성능시험을·수행하였다. 각 표적의 폐색 정도에 따른 평균 식별률은 Table 3과 같으며, Fig. 7은 표적의 종류별 성능 변화율을 보여준다. 폐색 정도에 따라 표적 10종류의 평균 식별률은 하강하는 추세를 보이지만, 폐색 20%에서 30% 발생할 때 급감한다. 하지만 BMB2, BM70, M548은 일부 구간에서 식별 성능이 유지된다. 표적별 식별성능 추이 분석 결과, M35는 표준환경에서 가장 식별률이 높은 표적이였으나 폐색 정도에 따라 성능이 급격히 저하되었으며 BTR70 표적은 폐색정도에 영향을 가장 적게 받는 것을 확인할 수 있다.

Table 3. Recognition rate of 10 targets using SC matching with respect to partial occlusion percentage

Fig. 7. Variation of recognition rate with respect to partial occlusion percent.

(3) 표적의 랜덤 폐색 정도에 따른 결과

SAR영상 특성상 동일한 표적의 영상이더라도 촬영 당시 표적과 SAR 센서의 운용조건, 잡음 등에 따라 민감하게 반응하기 때문에 표적을 식별하기 위해서는 랜덤 폐색에도 영향을 덜 받는 알고리즘이 필요하다. 따라서 입력 영상에서 추출된 산란점 개수의 10%-90%까지 랜덤으로 비복원 추출하여 표적의 랜덤 폐색, 즉 산란점 소실 정도에 따라 식별성능시험을 수행하였다. 표적 10종류의 랜덤 폐색 정도에 따른 식별률은 Table 4와 같고, Fig. 8은 표적의 종류별 성능 변화율을 보여준다. 랜덤 폐색 정도에 따라 폐색 60%에도 약 73%의 평균 식별률을 유지하며, 폐색 60%에서 70% 발생할 때 급감 한다. 평균적으로 식별률은 하강하는 추세를 보이지만, 최고 평균 식별성능을 보이는 M35는 랜덤폐색 영향에 거의 받지 않는다. Table 1과 같이 M35의 종류가 트럭이고 다른 표적영상과 비교했을 때 밝기값 분포 영역이 현저히 달라 추출된 산란점군에서 랜덤으로 추출해도 보존되어 있는 산란점 영역이 다르기 때문에 발생하는 현상인 것으로 판단된다.

Table 4. Recognition rate of 10 targets using SC matching with respect to random occluson percentage

Fig. 8. Variation of recognition rate with respect to random occlusion percent.

2) 템플릿 매칭 기반

(1) 표준환경에서의 결과

표준환경에서의 템플릿 매칭 기반 알고리즘 식별성능은 Table 5와 같다. 표적 10종류에 대한 평균 식별률은 74.4%이지만 표적별 성능편차가 심하여 성능 80%를 기준으로 극명히 두 그룹으로 나뉜다. 우수한 식별성능을 보이는 상위 3개 표적은 2S1, M1, M35로 98% 이상을 보이지만 BMP2, BTR70는 오분류율이 50%이상을 차지하고, T72는 53.9%로 낮은 성능을 보인다. 특히 BMP2는 2S1으로 오인하는 경우가 많고 BTR70은 2S1, ZSU23로 오인하는 경우가 많다. 특히 BTR70은 촬영 부각에 따라ZSU23과 비슷하게 보이는 경우가 많기 때문에 산란점으로 재구성한 템플릿 매칭 시 ZSU23으로 오인될 확률이 높다. Table 1에서는 두 표적 모두 동일한 촬영 부각에서 찍은 영상의 예시로 육안으로 식별이 가능해 보이지만, Fig. 9에서 ZSU23은 촬영 부각과 방위각에 따라 표적에서 부각되는 영역이 변하면서 입력영상인 BTR70과 비슷한 화소값 분포를 가지는 것을 볼 수 있다.

Table5. Confusion matrix of template matching algorithm on 10 targets in SOC environment (Average of P_cc=74.39%)

Fig.9. Comparison of BTR70 and ZSU23 images between different depression angle and azimuth angle(dep°, azimuth°). (a) BTR70 measured image at (17°,19°) (b)-(f) ZSU23 synthetic images at each (b) (16° 52°), (c) (16°, 65°), (d) (16%, 77°), (e)(17°,39°), (f) (17°,61°).

(2) 표적의 부분 폐색 정도에 따른 결과

앞서 생성한 폐색영상을 동일하게 이용하여 표적의 부분 폐색 정도에 따라 10%부터 50%까지의 자료로 템플릿 매칭을 이용한 식별성능시험을 수행하였다.각 표적의 폐색 정도에 따른 평균 식별률은 Table 6와 같으며, Fig. 10은 표적의 종류별 성능 변화율을 보여준다. 표적별 식별성능 추이를 보면, 표준환경에서의 식별성능이 80% 이상인 상위 6개 표적은 폐색 10% 발생해도 거의 변화가 없고 특히 M35는 20%까지도 100% 식별이 가능하다. 또한 ZSU23은 폐색 40% 발생까지도 60% 이상의 식별성능을 유지한다.

Table6. Recognition rate of 10 targets using template matching with respect to partial occlusion percentage

Fig.10. Variation of recognition rate with respect to partial occlusion percent.

(3) 표적의 랜덤 폐색 정도에 따른 결과

앞서 동일한 방법으로 산란점 개수의 10%-90%를 랜덤으로 제거하여 성능시험을 수행하였다. 표적 10종류의 랜덤 폐색 정도에 따른 식별률은 Table 7과 같고 Fig. 11은 표적의 종류별 성능 변화율을 보여준다. 폐색 10%-60% 발생까지 평균 식별률은 전체적으로 2% 내외로 감소하다가 폐색 70% 발생시 급격히 감소한다. 이는 산란점기반의 두 알고리즘이 랜덤 폐색에 영향을 덜 받는 것으로 나타난다. 표적별 성능 분석결과, M35와 M548은 폐색에도 불구하고 성능에 영향을 적게 받는다. M35는 기존 점군에서 90% 정도의 점들이 사라져도 식별성능은 90% 대를 유지하며 M548은 폐색 80% 발생까지 80% 이상의 성능을 보인다. 전체적으로 랜덤폐색 정도가 증가함에 따라 식별률은 낮아지지만, BT70의 경우 표적의 랜덤 폐색정도가 증가할수록 식별률이 높아지는 경향을 보인다. 이는 해당 표적의 산란점 중에서 랜덤으로 제거하면 할수록 2S1과 ZSU23으로 오분류 될 만한 점들이 사라진다는 것을 뜻한다.

Table7. Recognition rate of 10 targets using template matching with respect to random occluson percentage

Fig. 11. Variation of recognition rate with respect to random occlusion percent.

5. 토론

실제영상과 시뮬레이션 영상간의 식별 정확도 향상을 위해 개발한 두 알고리즘의 식별성능, 표적별 두 알고리즘에 대한 특징을 비교 분석할 필요가 있다. 표준 환경에서의 식별 결과, 템플릿 매칭기반 알고리즘의 평균식별률은 산란점 매칭 알고리즘보다 식별 정확도가 10%정도 낮으며, 모델별 표준편차도 더 심하다(Fig. 10, 11 참조). 특히 템플릿 매칭기반 알고리즘기반 식별결과 중, BMP2와 BTR70의 경우 식별률이 50% 미만으로 오분류율이 크다. 실제 표적의 종류와 다르게 산란점 매칭, 템플릿 매칭기반 알고리즘 모두에서 BMP2는 2S1으로 오분류하고 BTR70은 2S1과 ZSU23로 오인하는경우가 많다. 그렇지만, 산란점 매칭 시 BTR70은 87.8%의 식별률을 보여 템플릿 매칭보다 더욱 높은 평균 식별률은 보인다. 이는 산란점 매칭의 테스트와 템플릿간 유사도 계산시 WVV기반으로 점군의 공간적 관계에 대한 정보가 사용되었기 때문으로 판단된다.

Fig. 12는 템플릿 매칭시 입력영상을 잘못 분류하지만, 산란점 매칭 알고리즘으로는 식별을 수행하는 테스트 BTR70의 실험 결과이다. 테스트 영상과 템플릿 영상간의 상관계수 계산 결과 테스트와 다른 종류의 표적영상 중, 최대 0.60은 ZSU23이였고, 테스트와 같은 종류인 BTR70의 표적영상 중에는 최대 0.49로 테스트는 ZSU23으로 오분류되었다(Fig. 12(b), (d)). 앞서 Fig.9에서 설명한 것처럼 BTR70은 다른 표적에 비해 촬영 시 센서와의 기하학적 관계에 민감하게 변화는 특징이 있고, 특히 자신보다 ZSU23영상에서의 픽셀 값 분포와 비슷해지기 때문에 식별률이 낮은 것으로 판단된다. 그러나 동일 데이터로 산란점 매칭 알고리즘 수행 시 제대로 분류되는데, 이는두 점군의 유사도를 계산할 때, WVV로 점군의 구조와 더불어 미탐지(MA)와 오탐지(FA) 산란점 개수와 매칭 개수가 고려되기 때문으로 보인다.

Fig. 12. Anexample ofATRresults of BTR70testimage:(a)reconstructed testimage,(b)and (c)false matching between test and other types oftemplate, (d) and (e) true matching.

Fig. 13에서 보는 바와 같이 현재 개발된 산란점 기반 알고리즘은 영상 재구성을 통한 템플릿 매칭 기반 알고리즘에 비해 전체적으로 높은 식별율을 보이고 있다. 표적의 부분 폐색 정도에 따른 식별을 수행한 결과, 두 알고리즘의 성능 저하율은 비슷하다. 비록 템플릿 매칭 기반 알고리즘이 산란점 기반 알고리즘에 비해 낮은 식별율을 보이고 있지만, 산란점 랜덤 소실에 강건함을 보인다. 이는 템플릿 매칭 알고리즘은 영상 재구성 단계에서 인접해 있는 산란점의 누락에 의한 영향을 덜 받는 특성이 있기 때문으로 분석된다.

Fig.13. ATR results according to the degree of(a) partial occlusion of the targetand (b)random occlusion

SAMPLE자료를 이용한 최근 연구 중, Gustavo et al. (2022)는 산란점을 이용한 가설 모델기반의 알고리즘으로 영상 잡음정도(Signal-to-Noise Ratios,SNR) 10dB ~ -10dB에 따라 식별성능을 분석하였다. 기존 영상에 비해 SAR영상의 SNR정도가 감소할수록 추출되는 산란점 개수는 감소하고, 영상 밝기값 분포는 달라진다. 따라서 본연구에서의 표적의 랜덤 폐색정도에 따른 식별성능과 SAMPLE자료를 이용하여 수행한 기존 연구와 비교 가능하다. Gustavo et al. (2022)는 SAMPLE 자료 중 10개 표적들에 모두 포함되어 있는 동일한 표적 방위각 각도 영상들 만을 사용하여, 각 표적별 템플릿 개수는 23개, 따라서 총 템플릿 개수는 230개이다. 촬영부각 16°, 17°의 제공된 모든 표적 자료를 사용하는 본 연구에 비해 제한된 자료만을 사용하였다. 먼저 10개 표적에 대한 평균 식별률은 91.30%로 본 연구 85.08%보다 높은 수치이지만 시험에 이용한 자료의 차이를 고려해야 한다. SNR 정도에 따른 식별성능은 SNR 10dB에서 90.00%, 5dB에서 90.43%, 0dB에서 89.13%, -5dB에서 82.17%,-10dB에서 68.70%이다. 영상 잡음 정도와 산란점의 랜덤 소실 정도와의 관계가 불분명하기 때문에 직접적인 비교는 어렵지만, WVV 기반 식별 알고리즘은 추출된 산란점의 50% 랜덤 소실에도 72.2%의 식별율을 보이기 때문에 이러한 국외 연구들과 견줄 수 있을 것 으로 보인다.

6. 결론

시뮬레이션 영상에 기반한 표적식별 시스템 필요성이 증대함에 따라 SAR-ATR의 산란점 기반 알고리즘 식별 성능을 분석하였다. 연구자료는 SAMPLE을 이용하였으며 대표적으로 WVV 기반의 유사도를 이용한 산란점매칭 알고리즘과 영상 재구성을 통한 템플릿 매칭 알고리즘으로 식별을 수행하였다. 두 알고리즘은 표적의 고유한 전자기학적 특성을 나타내는 산란점 관측벡터를 기반으로, 매칭 이후 유사도 계산시, 매칭된 산란점의 개수와 FA, MA 정도를 추출된 산란점 개수와 비교하여 표적의 주변환경에 의한 변화에도 영향을 덜 받도록하였다.

개발한 두 알고리즘의 식별성능은 표준환경과 더불어 EOC환경 중, 부분 폐색, 랜덤 폐색 정도에 따른 식별률 추이를 분석하였다. 모든 실험 조건에서 WVV기반 산란점 매칭 알고리즘이 더 높은 식별 성능을 보였다. 표준환경에서는 산란점 매칭 알고리즘이 평균 식별률은 85.08%, 템플릿 매칭기반은 74.39%로 약 10% 정도 높았고, 부분 폐색정도에 따른 성능은 산란점 매칭알고리즘이 전반적으로 우수하였다. 또한 표적의 랜덤폐색 60% 발생에도 식별률이 73.4% 정도로 비교적 높은 식별률을 보였다. 이러한 결과는 WVV 기반 산란점 매칭알고리즘이 점군의 분포 패턴을 파악하는데 있어 보다지역적인 변화를 잘 반영하기 때문이다. 재구성된 영상을 이용한 템플릿 매칭은 60%까지의 랜덤 폐색에서 산란점 매칭보다 성능 저하률이 작은 것으로 나타났다.

본 연구는 산란점 기반의 두 알고리즘 식별성능 결과를 분석하여 SAR-ATR 시스템에 시뮬레이션 자료의 사용 가능성을 제시하여 실질적인 활용에 영향을 미칠것으로 기대된다. 표적을 식별하는데 있어 부분 폐색에 의한 영향을 덜 받도록 알고리즘 보완이 필요하다고 판단되며, 추후 SAMPLE자료 외에 다양한 시뮬레이션 자료를 이용한 연구가 필요하다.