Ensemble Learning for Underwater Target Classification

수중 표적 식별을 위한 앙상블 학습

Abstract

The problem of underwater target detection and classification has been attracted a substantial amount of attention and studied from many researchers for both military and non-military purposes. The difficulty is complicate due to various environmental conditions. In this paper, we study classifier ensemble methods for active sonar target classification to improve the classification performance. In general, classifier ensemble method is useful for classifiers whose variances relatively large such as decision trees and neural networks. Bagging, Random selection samples, Random subspace and Rotation forest are selected as classifier ensemble methods. Using the four ensemble methods based on 31 neural network classifiers, the classification tests were carried out and performances were compared.

1. 서 론

군사 기술의 발전과 함께 탐지/인식 장비의 무인화 및 자동화는 군의 전력 증강을 위해 역점을 두고 지속적으로 연구 개발되어야 할 기술이다. 국내에서의 표적신호 탐지/인식에 관한 연구는 예인음탐기 개발 등에서 특징정보 추출 및 분석을 통하여 일부 확보되어 있으나 능·수동 수중음향 표적신호의 자동인식에 대한 연구는 거의 이루어지고 있지 않은 실정이다. 더군다나 MEMS (Micro Electro Mechanical System) 기술의 발달과 함께 수백 개의 센서를 이용한 분산 센서망에서는 각 센서단의 저 전력, 저 기능으로 인해 탐지, 추적 및 통신 정도의 기능만 가능하고 센서단에서의 인식은 어려우므로 궁극적인 표적인식은 각 센서단에서 육상 데이터융합센터로 전송되는 신호를 기반으로 이루어져야 한다. 따라서 데이터융합센터에서 획득되는 신호를 기반으로 하는 표적인식 기술을 개발하기 위해서는 능·수동 표적신호의 자동인식을 위한 특징추출 및 패턴인식 기법에 대한 연구가 수행되어야 한다.

능동소나를 이용한 표적인식을 위해서는 기반 기술로서 반향음으로 부터 어떤 특징인자를 추출할 수 있는가와 어떤 형태의 패턴인식 기법을 적용할 것인가에 대한 연구가 필요하다. 이를 위해서는 시간 및 주파수 영역에서의 신호 해석 방법에 기반을 둔 특징 추출 기법과 더불어 강인한 특징인자 추출을 위해서 주성분 분석(Principal Component Analysis : PCA) 및 독립 성분 분석(Independent Component Analysis: ICA)[1]과 같은 다양한 고급신호처리 기법과 HMM(Hidden Markov Model)[2,3], SVM(Support Vector Machines)[4] 등의 다양한 패턴인식 기법에대한 연구가 수행되어왔다. 최근에는 능동소나에서 주로 사용되는 LFM(Linear Frequency Modulation) 신호의 시간에 따른 변화를 잘 반영하는 Fractional 푸리에 변환 영역에서 특징벡터를 추출하고 이를 이용한 식별 방법이 소개되었다[5,6].

하지만, 수중환경에서의 수중음향 신호가 시간·공간적으로 특성이 변화하며 천해 다중경로 환경을 반영하는 복잡한 특성을 보이는 점으로 인해 능동표적인식 기술은 매우 어려운 기술로 여겨져 왔다. 이러한 수중환경에서의 표적인식의 어려움을 극복하기 위해서 본 논문에서는 식별기 앙상블 학습방법을 능동소나 표적인식에 적용하였다. 앙상블 시스템이란 두 개 이상의 분류자들을 사용하여 결과를 예측하는 데이터 마이닝 기술 중 하나이다[7]. 식별기 앙상블 방법은 다양한 식별기의 결과를 결합함으로써 좀 더 안정적이고 신뢰성 높은 인식결과를 얻을 수 있게 한다. 여러 연구를 통해 식별기 앙상블 방법이 단일 식별기에 비해 우수한 식별 성능을 보인다는것이 증명 되었다[8-10].

본 논문에서는 수중환경이라는 특성으로 인하여 관련 연구를 위한 실제 해상 데이터를 이용한 표본수집이 어렵기 때문에 실험에는 UCI machine learning repository[11]에서 공개한 DB중 하나인 UCI 소나 데이터를 사용하였다. 사용된 식별기 앙상블 학습방법으로는 Bagging [12], Random selection samples[10], Random subspace [13], Rotation forests [14]의 총 4가지 방법을 사용하였고, 기본 식별기로 31개의 오류역전파 신경회로망(Backpropagation Neural Network : BPNN)들을 사용하여 인식 실험을 수행하고 결과를 비교하였다.

 

2. 식별기 앙상블 학습

식별기 앙상블은 기계 학습 분야에서 연구되는 최근의 기술로, 시스템의 성능을 향상 시킬 수 있고 새로운 아이디어를 만들어낼 수 있는 장점을 가져 최근 많이 연구되는 분야이다. 일반적으로 사람들은 중요한 의사결정을 할 때 여러 사람들의 의견을 들어 종합적으로 판단하게 된다. 중한 병에 걸렸을 때, 병원을 여러 곳 방문하여 여러 의사의 진단과 처방을 들은 후 최종결정을 한다. 출연자가 정답을 모를 때 시청자를 대상으로 실시간으로 의견 조사할 기회를 한번 주는 TV 퀴즈 프로그램이 있다. 이러한 방식을 기계 학습에 적용한 것이 식별기 앙상블이다. Fig. 1은 대표적인 식별기 앙상블의 개념을 보여준다. 어떤 임의의 입력에 대해 대하여 서로 다르거나 또는 같은 여러 식별기를 이용하여 인식결과들을 얻어내고, 결합 알고리즘이 그들을 결합하여 최종 인식 결과를 도출해내는 방법이다.

Fig. 1.Concept of classifier ensemble.

지금까지 식별 성능을 향상시키기 위해서 Bagging, Random selection samples, Random subspace, Rotation forests 등의 다양한 앙상블 학습 방법이 소개되었다. 이들 방법은 기본적으로 전체 훈련 데이터를 재표본(resampling)하거나 훈련 데이터를 수정하여 앙상블을 구성하는 식별기들을 훈련시키고, 개별 식별기들의 결과를 결합하여 최종 식별 결과를 도출하게 된다. 개별 식별 결과들을 결합하는 방식에는 다양한 방법들이 존재하는데, 일반적으로 단순 다수투표(simple majority voting) 또는 가중 다수투표(weighted majority voting)방법을 사용하게 된다.

2.1 Bagging(bootstrap aggregating) 방법

앙상블을 구성하는 대표적인 방법으로 Bagging [12]이 있다. Bagging은 앙상블에 사용된 식별기들의 결과를 투표하여 결론을 도출하는 방법으로 앙상블 학습에 있어서 가장 널리 알려지고, 또한 가장 많이 사용되는 기술이다. Bagging은 기본적으로 훈련데이터에서 재표본 기법으로 얻어진 데이터를 이용하여 각각의 식별기를 훈련시키게 된다. 이때 Bagging은 관측값이 동일한 가중치를 갖는 분포에서 추출된 데이터에서 식별기가 형성된다. 전체 훈련데이터 Z=(Z1,Z2,Z3, ...,Zn)에서 붓스트랩 복제(bootstrap replica)를 이용하여 재표본된 훈련데이터 를 만들어 낸다. 여기서 m은 앙상블에 사용되는 식별기의 인덱스를 나타낸다. 즉, 사용되는 식별기 수만큼 재표본을 반복 수행하여 훈련 데이터를 얻은 다음, 이를 이용하여 개별 식별기를 훈련시키게 된다. Bagging의 기본적인 수행 알고리즘은 Fig. 2와 같다.

Fig 2.The bagging algorithm.

2.2 RSS(Random Selection Samples) 방법

RSS [10] 방법은 Bagging의 일종으로 재표본된 훈련 데이터의 크기가 다르다는 점을 제외하면 Bagging과 동일하다. Bagging의 경우, 원래의 전체훈련 데이터에서 미리 정해진 랜덤 선택 비율 R%(예를 들어 전체 훈련데이터의 75% 정도)만큼 랜덤하게 선택된 샘플과 사전에 미리 선택해놓은 (100-R) % 만큼의 샘플을 합쳐서 최종 재표본된 훈련 데이터를 만들게 된다. 따라서 재표본된 훈련 데이터의 크기는 원래 훈련 데이터의 그것과 동일하다. 이에 비해 RSS 방법은 미리 정해진 랜덤 선택 비율 R%만큼의 크기를 가지게 된다. 이 방법은 특징벡터의 수가 아주 많을 경우에 차원의 저주(Curse of Dimensionality)를 피하기 위한 좋은 방법으로 알려져 있다.

2.3 RS(Random Subspace) 방법

RS [13] 방법은 미리 정해진 비율로 랜덤하게 샘플을 선택하는 것은 RSS 방법과 동일하다. 하지만 훈련데이터 전체에서 정해진 비율로 재표본화 하지않고 특징벡터 전체 차수에서 정해진 비율만큼의 차수로 랜덤하게 재표본 하게 된다. 즉, p차원의 특징벡터 차수를 가지는 원래 훈련 데이터 집합 Z에서 랜덤하게 재표본된 r차원의 특징벡터로 구성된 새로운 훈련데이터 Zm을 생성한다. 여기서 일반적으로 p ＞r 이다. Fig. 3은 RS의 기본적인 수행 알고리즘을 보여주고 있고, Fig. 4는 RS 방법에서 전체 특징벡터 차수에서 일정부분만 재표본 하는 과정을 보여주고 있다.

Fig 3.The random subspace algorithm.

Fig. 4.Resampling process in random subspace.

2.4 RF(Rotational Forests) 방법

RF [14] 방법은 가장 최근에 소개된 앙상블 구성방법으로 성능이 가장 우수한 것으로 알려져 있다. 기존의 재표본 방법과 달리 훈련데이터 전체를 사용하면서도 재표본 효과를 볼 수 있도록 데이터 축을 회전시키는 방법을 사용하고 있다. 훈련 데이터의 축을 회전시키면 같은 훈련 데이터라 할지라도 축이 변할 때마다 각기 다른 훈련 데이터를 얻을 수 있게된다. Fig. 5는 RF 방법에서 전체 훈련 데이터 축을 회전시켜 재표본하는 개념을 보여주고 있다. 데이터의 축을 회전시키기 위해서 Rotation Forests에서는 회전행렬(Rotation Matrix)을 사용하는데, 이 회전행렬은 PCA 방법을 사용하여 만들어 지게 된다. 훈련 데이터를 구성하는 특징벡터에 PCA를 적용하여 회전행렬을 구하고, 이를 특징벡터에 곱해주어 축을 회전시키는 효과를 얻게 된다. 이러한 과정을 앙상블의 수만큼 반복하게 된다. 회전행렬을 구하는 과정을 제외하고는 기본적인 알고리즘은 다른 앙상블 방법과 동일하다. RF에서 회전행렬을 구하는 과정은 Fig. 6에 나타나 있다.

Fig. 5.Rotation of training data axes using PCA in rotation forests.

Fig. 6.Algorithm for rotation matrix.

 

3. 실험 결과

3.1 UCI Sonar 데이터

UCI 소나데이터는 총 208개의 수중표적 반향신호에서 얻어진 신호에서 추출된 특징벡터로 구성되어있다. 208개의 패턴은 실제 수중 표적(target)에 해당하는 111개의 메탈 실린더로부터의 반향신호와 97개의 비슷한 모양의 비표적(non-target)에 해당하는 바위로부터의 반향신호에 대한 패턴으로 구성된다 [15]. 즉 식별 클래스가 표적과 비표적의 두 가지로된 이진 식별 데이터 이다. Fig. 7은 각각 표적과 비표적에 해당하는 메탈 실린더와 바위로부터의 반향신호의 예를 시간영역에서 보여주고 있다. UCI 소나데이터 208개는 각 표적의 다른 각도에서 수신된 반향신호에 대한 특징벡터들을 모두 포함하도록 구성되어있다. 각 반향신호에 대해 일정 영역단위로 단구간 푸리에 변환(Sort-term Fourier Transform)을 구한 후 시간영역과 주파수영역에서 정해진 구간을 적분하여 60개의 특징벡터를 얻는다. 각 특징벡터는 0에서 1사이의 값으로 정규화된 60차의 스펙트럼 값을 나타낸다.

Fig. 7.Typical return from the cylinder and the rock as a function of time [15].

3.2 앙상블 학습을 통한 식별 실험

앞서 소개한 Bagging, RSS, RSM 그리고 RF 4가지 앙상블 학습 방법을 이용하여 식별실험을 수행하고 그 결과를 비교하였다. RSS에서 랜덤 선택 비율 R 은 75로 설정하였다. RSM 방법에서의 특징 차수 수인 r과 p는 45와 60으로 각각 설정되었다. BPNN 식별기는 훈련 데이터의 훈련 상태에 따라 인식율이 매번 달라진다. 앙상블 구성에 사용되는 식별기의 숫자가 적을 경우 한 번의 낮은 인식율이 전체 성능에 영향을 미칠 수도 있기 때문에 식별기 수를 늘려서 이러한 위험을 줄이고자 하였다. 이에 따라 총 31개의 BPNN 식별기를 사용하여 앙상블을 구성하였다. 사용된 BPNN 인식기는, 24개의 노드를 가지는 은닉층을 가지는 60-24-2 구조를 가지도록 하였다. 훈련에서 최대 반복횟수는 10000번으로 제한하였고, 오류율은 0.0001로 설정하였다. 실제 실험결과 최대 반복횟수에 도달하기 전에 대부분 설정된 오류율에 도달하여 훈련을 끝낼 수 있었다. 전체 208 UCI sonar 데이터 중에 100개를 훈련 데이터로 사용하였으며, 나머지 108개를 테스트로 사용하였다. 식별 앙상블의 최종 인식 결과는 다수투표(majority voting) 방식을 이용하여 결정하도록 하였다. 일반적으로 다수투표 방식은 아래의 3가지로 분류된다.

실험에서는 이 3가지 방식 중에서 simple majority 방식을 선택하였다. 즉, 개별 인식기가 인식이 성공하면 1을, 실패하며 0을 부여하고, 전체 31개의 결과들에서 1의 숫자 가 16개 이상이면 성공으로 간주하였다. Fig. 8은 식별실험에서 사용된 식별기 앙상블의 전체구조를 보여주고 있다. 4가지 앙상블 방법에 따른 31개의 BPNN 식별기들의 개별 인식율은 Table 1에 나타나 있다. Table 2는 4가지 앙상블 방법에 따른31개 BPNN 식별기들의 전체 평균 인식율( Rave )과 최종 다수투표 인식율(Rmv )결과를 비교하여 나타내고 있다.

Fig. 8.Structure of classifier ensemble for the experiment.

Table 1.Results of recognition rate of 31 BPNN classifiers [%]

Table 2.Comparison of average recognition rates of 31 BPNN classifiers and final majority voting results [%]

실험결과, RF 방법이 Rmv 및 Rave 두 경우 모두 다른 앙상블 방법에 비해 약간 우수한 인식율 결과를 보였고, RSS 방식이 가장 좋지 않은 인식율 결과를 나타내었다. 이는 RSS 방법이 다른 앙상블 방법에 비해 가장 작은 훈련 데이터 집합을 가지는 것에 기인하는 것으로 판단된다. Table 2에서 확인 할 수 있듯이, 식별기 앙상블을 이용한 인식율 결과인 Rmv가 모든 경우에 있어서 Rave 보다 더 우수한 인식율 결과를 보임을 확인할 수 있었다.

 

5. 결 론

수중환경에서의 수중음향 신호가 시간·공간적으로 특성이 변화하며 천해 다중경로 환경을 반영하는 복잡한 특성을 보이는 점으로 인해 능동 표적인식 기술은 매우 어려운 기술로 여겨져 왔다. 이러한 수중환경에서의 표적인식의 성능을 향상시키기 위해 본 논문에서는 여러 식별기의 결과를 결합함으로써 좀 더 안정적이고 신뢰성 높은 인식결과를 얻을 수 있는 식별기 앙상블 학습방법을 능동소나 표적인식에 적용하였다.

실험에는 UCI machine learning repository에서 공개한 UCI 소나 데이터를 사용하였고, 사용된 식별기 앙상블 학습 방법으로는 Bagging, Random selection samples, Random subspace, Rotation forests의 총 4가지 방법을 사용하였다. 또한, 앙상블 구성에 사용되는 식별기의 숫자가 적을 경우 한 번의 낮은 인식율이 전체 성능에 영향을 미칠 수도 있기때문에 식별기 수를 늘려서 이러한 위험을 줄이고자 하였다. 이를 위해, 기본 식별기로 31개의 BPNN 식별기들을 사용하여 인식 실험을 수행하고 결과를 비교하였다.

실험결과, 식별기 앙상블을 이용한 방법이 단일식별기를 사용할 때보다 안정적인 인식결과를 보인다는 장점을 확인할 수 있었다. 이런 장점은 BPNN과 같이 훈련 데이터의 훈련 상태에 따라 인식율이 매번 달라지는 경우에 매우 효과적일 것으로 판단된다. 향후, BPNN 이외의 다양한 식별기를 사용한 추가적인 실험을 수행할 계획이다. 또한 식별기 결합에 본 논문에서 사용한 단순 다수투표 방식 이외의 다양한 방법을 적용하여 성능을 비교 평가할 계획이다.