Band Selection Algorithm based on Expected Value for Pixel Classification

픽셀 분류를 위한 기댓값 기반 밴드 선택 알고리즘

Abstract

In an embedded system such as a drone, it is difficult to store, transfer and analyze the entire hyper-spectral image to a server in real time because it takes a lot of power and time. Therefore, the hyper-spectral image data is transmitted to the server through dimension reduction or compression pre-processing. Feature selection method are used to send only the bands for analysis purpose, and these algorithms usually take a lot of processing time depending on the size of the image, even though the efficiency is high. In this paper, by improving the temporal disadvantage of the band selection algorithm, the time taken 24 hours was reduced to around 60-180 seconds based on the 40000*682 image resolution of 8GB data, and the use of 7.6GB RAM was significantly reduced to 2.3GB using 45 out of 150 bands. However, in terms of pixel classification performance, more than 98% of analysis results were derived similarly to the previous one.

드론과 같은 임베디드 시스템에서 데이터를 서버로 전송해 실시간 분석을 진행함에 있어진행하는 데 초분광 영상 전체를 저장, 전송, 분석하는 데 전력 소모와 시간이 많이 소요되어 어려움이 있다. 그래서 초분광 영상 데이터는 차원 축소 또는 압축 전처리를 통해 서버로 전송하게 된다. 분석에 필요한 밴드만 보내기 위해서는 피처 선택 기법을 사용하는데 이러한 알고리즘은 대게 효율은 높더라도 영상 크기에 따라 처리 시간이 매우 소요가 크다. 본 논문에서는 밴드선택 알고리즘의 시간적인 단점을 개선하여한 기댓값 기반의 알고리즘을 제안한다. 실험 결과 8GB 데이터의 40000*682 해상도 이미지 기준 평균 소요 시간인 24시간을 60~180초 내외로 감소시키고, 150개 밴드 중에 45개를 활용하여 7.6GB 램 사용을 2.3GB로 크게 감소시켰다. 시간은 크게 줄였음에도 픽셀 분류 성능은 기존과 유사하게 98% 이상의 분석 결과를 도출하였다.

Ⅰ. 서론

초분광 영상은 물체에 반사된 연속적인 수백 개의 스펙트럼의 분광 밴드를 가진 해상도가 높은 이미지 영상이다. 초분광 영상을 활용하여 개체의 성분을 식별하거나 검출하는 것으로 대상의 각 픽셀에 대한 고유의 스펙트럼을 얻을 수 있다^[1]. 초분광 영상에서 분석과 영역을 추출하는 기법들은 특징 추출 또는 특징 선택 알고리즘 등의 전처리 기법이 적용된다. 일반적으로 밴드선택이나 차원 추출 방식으로 주성분 분석, 시뮬레이티드 어닐링 기법이 널리 사용된다^[2]. 하지만 영상의 크기가 커질수록 분석에 대한 데이터 처리에 있어 연산 시간이 오래 걸리는 단점이 있다^[3].

본 논문에서는 기존 전처리 과정을 기댓값을 활용한 밴드 선택 알고리즘으로 대체하여 적용해 전처리 적용 시간을 개선하여 초분광 영상을 실시간으로 분석하고자 한다.

제안 알고리즘은 초분광 영상의 밴드의 기댓값을 활용해 부분집합으로 분류해, 각 집합에서 무작위로 하나씩 밴드를 뽑아 분류된 부분집합 개수만큼 밴드 선택하는 알고리즘이다. 제안 알고리즘을 적용 시, 8GB 용량 이상의 초분광 영상의 차원 축소로 특징 선택의 대표적인 알고리즘인 시뮬레이티드 어닐링 기법과 비교했을 때 전처리 알고리즘 적용 시간을 줄이면서, 픽셀 분류에 높은 정확도를 유지할 수 있었다.

Ⅱ. 관련 연구

1. 초분광 이미지 주성분 분석 기법 적용

주성분 분석은 대표적인 차원 축소 기법으로 변수 간에 존재하는 상관관계를 이용해 특정 축 기준으로 투영시켜 차원을 축소하는 기법이다. 기존 데이터의 정보 유실을 최소화시키기 위해 가장 높은 분산을 가진 데이터 축을 선택한다^[4]. PCA 5일 때 가장 높은 분산을 가졌다. 밴드 전체와 제안하는 기법으로는 0.998 이상으로 원래 정보의 99% 이상 표현할 수 있었다.

그림 1. 누적 분산과 주성분 수의 관계 그래프

Fig. 1. Please put the title of figure here. Please put the title of figure here

그림 2. 주성분의 두 개의 피처 PCA 1 와 PCA 5

Fig. 2. Two main components: PCA 1 and PCA 5

2. K-평균 군집화

가. K-평균 군집화(K-Means Cluster)

K-MEANS 알고리즘은 데이터를 K개의 군집으로 묶는 알고리즘으로 데이터의 유사도를 바탕으로 데이터를 그룹에 할당하여 라벨링을 만들어내는 기계학습의 비지도 학습이다. 초기에 초기 클러스터의 중심을 설정으로 클러스터 개수 k를 선정한다^[5].

나. K 클러스터링

클러스터의 중심을 설정으로 클러스터 개수 K를 선정하기 위해서 엘보우(Elbow) 기법 또는 실루엣 분석을 통해서 가장 알맞은 군집화가 될 개수를 구한다^[6]. 아래 그래프를 참고하면 K가 6 또는 7로 피처들을 군집화시켜 라벨링 된 결과를 Ground Truth로 활용했다. 라벨링은 임의로 0부터 6까지로 라벨링을 진행했다.

그림 3. K-평균 군집화 클러스터링 개수

Fig. 3. K-Mean Clustering Count

K-평균 클러스터링을 학습시키고 추론하는데 1323.4초 소요되었다^[7][8].

표 1. K-평균 군집화 클러스터링 기법으로 Ground Truth에 해당하는 라벨 구성

Table 1. K-Mean clustering for configuring labels corresponding to Ground Truth

3. 시뮬레이티드 어닐링(Simulated Annealing)

시뮬레이티드 어닐링은 담금질 기법으로 불리며, 전역 최적화 문제에 대한 확률적인 메타 알고리즘으로 탐색 공간에서 목적 함수의 전역 최적 해에 대한 근사해를 찾는 방식이다^[9]. 해P(x)를 반복적으로 개선하여 주어진 함수의 값과 전역 인자로 온도에 해당하는 T 값을 서서히 작게 만들어 변화를 최소화시킨다.

\(P(x)=e^{\frac{-\Delta f(x)}{k T}}\)       (1)

4. 바서슈타인 거리(Wasserstein Distance)

바서슈타인 거리는 두 확률 밀도 함수 간의 차이를 나타내는 값으로 한 분포에서 다른 분포로 변환되도록 전송하는데 필요한 질량 값으로 표현할 수 있다^[10][11]. 생성적 적대 신경망 모델에서 바서슈타인 거리를 손실 함수로 활용하여, 모델 붕괴와 같은 문제를 해결하기도 한다^[12].

\(\begin{aligned}(W\left(P_{r}, P_{q}\right)=\inf _{r \in \Pi\left(P_{r}, P_{q}\right)} E_{(x, y) \sim \gamma}\left[\begin{array}{ll}\|x-y\|\end{array}\right]\\\end{aligned}\)       (2)

Ⅲ. 3 제안 기법

1. 기댓값을 활용한 밴드선택

가. 밴드선택 알고리즘

초분광 데이터 분석에서 차원 축소를 위해 중복되거나 유사도가 높은 데이터를 제거하는 데 분석 목적에 필요한 파장 대역의 데이터만 선택하여 사용된다. 초분광 영상에서 대상 물체별로 밴드별 파장 그래프가 유사한 형태를 가지고 있다^[8]. 한마디로 밴드별로 특정 파장에 대한 반사율이 큰 값과 낮은 값이 있다는 것이다. 비슷한 영역 대의 파장의 밴드는 비슷한 반사율의 값들로 밴드가 구성되어 있고, 그 특징을 활용하여 밴드선택 알고리즘을 제안한다. 각 그룹에서 무작위로 밴드를 하나 선택하여 총 45개의 밴드를 선택한다.

나. 밴드별 바서슈타인 거리측정

각 밴드의 반사율에 대한 픽셀값들의 기댓값을 십의 자리에서 반올림하여 밴드를 분류한 결과 150개 밴드는 45개로 분류되었다.

모든 밴드 간의 Wasserstein_distance 거리를 측정한 결과는 아래 그래프와 같다. 비슷한 기댓값을 가져 같은 그룹으로 분류된 밴드는 거리는 0.2 이하로 낮으며, 다른 그룹의 거리 값은 상대적으로 큰 것으로 확인했다. 초분광 영상의 밴드별 기댓값은 모든 데이터를 표현하지 못하더라도 각 밴드의 평균값의 크기로 전반적으로 데이터의 분포 성향을 파악하며 분류할 수 있다는 것을 확인했다.

그림 4. 반올림 기댓값이 다른 밴드들과 같은 밴드들의 바서슈타인 거리 정규화 비율 비교

Fig. 4. Comparison of Wasserstein distance normalization ratios for bands with rounding expected Value

Ⅳ. 실험 및 결과

1. 실험 데이터

초분광 영상 데이터는 Corning사의 microHSI 410 라인 스캐닝 분광계로 구성된 SHARK 초분광 카메라를 활용하여 측정하였다. 150개의 밴드와 40000*682의 해상도를 가지며, 가시광선에서 근적외선 영역까지 작동하며 스펙트럼 파장 영역은 400~1000nm이다.

그림 5. 좌(초분광 RBG 영상) 중(제안 기법 예측 결과) 우(전체 밴드 적용 예측 결과)

Fig. 5. Left (Hyper-spectral image RGB conversion) Middle (Proposed method predicted result) Right (Full band predicted result)

2. 결과

제안 기법 적용으로 45개의 그룹이 생겼으며, 각 그룹에서 무작위로 하나의 밴드를 선택했을 때 150개의 밴드 중 45개 밴드로 추출할 수 있었다.

가. 픽셀 분류 결과

제안된 기법 결과로 도출된 45개 밴드를 주성분 분석으로 5가지 성분으로 축소하여 K-최근접 이웃 분류기에 7:3으로 학습과 추론결과를 비교하였다. 0부터 6까지의 7가지 라벨링 된 픽셀에 대해서 F1-Score 기준으로 10회 수행한 결과 평균적으로 98% 이상의 분류 정확도를 도출할 수 있었다.

그림 6. k-최근접 이웃 분류기 결과 비교-상(제안 기법) / 하 -(전체 밴드)

Fig. 6. k-Nearest Neighborhood Classifier Predict Results- UP (Proposal Method) / Down (Full Band)

나. 적용시간 분석 및 램 사용 비교

제안 기법과 시뮬레이티드 어닐링(SA) 기법 모두 같은 밴드 수 45개로 밴드 선택된다는 가정하에 비교하였다. 밴드 수가 같은 제안 기법과 SA는 주성분 분석부터 분류기학습과 추론시간이 유사한 처리 속도를 보인다. 하지만 기법 적용시간에서 160초와 24시간 차이로 크게 소요시간을 단축할 수 있었다^[12]. 전처리를 하지 않은 모든 밴드를 활용할 시에는 평균적으로 2배의 주성분 분석과 모델 학습과 추론시간이 소요되었다. 또한, 전 처리된 데이터를 올리는 데 램을 2.3GB 소요하였고, 전체 밴드는 7.6GB 용량을 차지하였다.

표 2. 단계별 소요시간 비교

Table 2. by Step Time comparison

Ⅴ. 결론

초분광 영상은 밴드들의 분산에 따른 정보 중복이 높다는 것을 바서슈타인 거리측정을 통해 간접적으로 확인할 수 있었다. 영상 자료의 크기가 클수록 데이터 처리와 분석을 위해서는 차원 축소가 필수적으로 수행되어야 한다. 본 논문에서는 차원이 높은 초분광 데이터의 밴드선택 알고리즘의 시간적 단점을 개선하기 위해서 밴드 픽셀의 기댓값을 활용한 밴드선택 알고리즘을 제안하였다. 초분광 영상의 실시간 분석을 위해 차원 축소 알고리즘의 소요시간을 최소화시켜 실시간 분석에 대한 가능성을 보여준 실험이며, 임베디드 시스템에서 서버로 데이터 전송 시 제안된 기법 결과의 밴드들을 압축하며 전송하는 압축 오프로딩에 대해 연구할 계획이다.