초분광 이미지 픽셀 분류를 위한 풀링 연산과 PSNR을 이용한 최적 밴드 선택 기법

Optimal Band Selection Techniques for Hyperspectral Image Pixel Classification using Pooling Operations & PSNR

Abstract

본 연구를 통해 임베디드 시스템(Embedded System)에서 뉴럴 네트워크(Neural Network) 인풋의 차원 감소 방식으로 복잡한 연산량을 줄여 초분광 대용량 데이터 특징 정보의 활용률을 개선하기 위해, 전체 밴드를 밴드별 최댓값과 최솟값 차이로 부분집합으로 군집화하여, 각 부분집합에서 밴드 선택 알고리즘을 적용한다. 특징 추출과 특징 선택 기법 중에, 특징 선택 기법을 통해, 파장 범위와 관계없이 데이터세트에 맞는 최적의 밴드 수와 기존 알고리즘 적용 소요 시간과 성능을 향상하고자 한다. 이 실험을 통해 기존 밴드 선택 기법보다 1/3~ 1/9배 소요 시간을 단축했음에도 불구하고 K-최근접 이웃 분류기를 통한 성능 면에서는 약 4% 이상 향상된 의미 있는 결과를 도출하였다. 실시간 초분광 데이터 분석 활용에는 어렵지만, 개선된 가능성을 확인했다.

In this paper, in order to improve the utilization of hyperspectral large-capacity data feature information by reducing complex computations by dimension reduction of neural network inputs in embedded systems, the band selection algorithm is applied in each subset. Among feature extraction and feature selection techniques, the feature selection aim to improve the optimal number of bands suitable for datasets, regardless of wavelength range, and the time and performance, more than others algorithms. Through this experiment, although the time required was reduced by 1/3 to 1/9 times compared to the others band selection technique, meaningful results were improved by more than 4% in terms of performance through the K-neighbor classifier. Although it is difficult to utilize real-time hyperspectral data analysis now, it has confirmed the possibility of improvement.

Ⅰ. 서론

1. 연구 내용

임베디드 시스템(Embedded System)^[1]에서 뉴럴 네트워크 인풋(Input) 데이터인 초분광 이미지의 전체 밴드를 사용하기에는 복잡한 연산으로 인해 방대한 전력 소모가 된다. 이미지 처리 분야를 비롯해 다양한 분야의 뉴럴 네트워크(Neural Network)의 설계된 모델들은 일반적으로 컴퓨터에서 개발되지만, 실제 수행은 기기의 온보드 시스템(Onboard System)^[1]에서 이루어진다. 일반적인 데스크톱보다 성능적, 환경적 한계가 있는 미션 컴퓨터(MC)^[2]에서 수행하게 된다. 하지만 미션 컴퓨터에서 포팅(Porting)된 모델을 가지고 측정된 이미지를 추론할 수 있지만, 연산 오프로딩 기법^[3]을 통해 누적 전력이 최소화되는 최적 레이어(Layer) 지점에서 서버나 클라우드로 전송하여, 복잡한 연산을 서버에서 수행해, 임베디드 기기의 전력 효율을 높이기도 한다. 그리고 임베디드 시스템에서 딥러닝 네트워크 경량화 연구 방식 중에 모델 가중치^[4]와 엑티베이션(Activation)^[4]을 경량화하는 기법 [4]과 모델 구조 자체를 변형하는 연구도 있지만, 모델 인풋인 특징(Feature)의 차원 감소 방식으로, 복잡한 연산량을 줄이는 알고리즘도 또 다른 방식이다.

차원 감소 방식(Dimension Reduction^[5]으로, 크게 특징 추출(Feature Extraction)^[6], 특징 선택(Feature Selection)^[7]으로 나눠진다. 초분광 이미지 는 밴드를 단위로 밴드를 사용하는데, 특징 선택을 밴드 선택(Band Selection)이라고 부르기도 한다. 밴드 선택 알고리즘에 있어, 몇 개의 밴드 수를 선택할 것이며, 측정에 사용되는 초분광 카메라 사양과 관계없이 활용할 수 있는지, 다른 측정 물체 대상에도 적용할 수 있는지 등 일반성을 가져야 실용성이 높으며, 임베디드 시스템에서 측정 대상에 대해 특정 스펙트럼 영역에 잘 검출되는지 기기에서 판단이 어려워서, 기존 밴드 선택 기법^[9]으로 성능은 높게 나오지만, 알고리즘 적용 시간이 상당히 소요된다. 이를 개선점으로 실험을 통해 본 논문에서는 초분광 데이터 정보 활용률을 높이기 위해서 전체 밴드를 밴드별 최댓값과 최솟값의 차이를 활용한 임계값을 부분집합의 분류 기준으로 전체 밴드들을 부분 집합(Subset)별로 분류^[10]하여 각 부분집합에서 최적 밴드를 선택하는 방법으로, 파장에 무관하게 초분광 이미지 픽셀 분류를 위한 알고리즘을 제안할 예정이다. 2장에서는 관련 선행 연구와 3장과 4장에서는 제안한 실험에 관련한 방식과 실험내용을 제시하며, 5장에서 실험 결과로 마무리할 것이다.

Ⅱ. 관련 연구

1. 차원 감소(Dimension Reduction)^[5]

대량의 하이퍼 스펙트럼 데이터 때문에, 원래의 하이퍼 스펙트럼 데이터의 순서대로 축소 계산은 효율이 낮다. 이미지의 공간 해상도가 높을수록 특징이 풍부해진다. 특징을 선택하는 방법은 분류에서 중요한 역할을 하며 높은 가치의 카테고리로 큰 의미가 있다.

가. 특징 추출(Feature Extraction)

원복 데이터를 투영된 공간으로, 변환하여 특징을 가져오는 방법으로, 주성분 분석 기법(Principle component analysis)^[11] , 독립 성분 분석(Independent Component Analysis)^[12] 등 기법이 있다. 주성분 기법은 변수들의 공분산 행렬 및 상관관계 행렬을 통해, 원래 변수들을 선형 결합으로 투영하여, 새로운 주성분을 생성한다. 변수들을 전체 분산으로 설명 가능한 차원 축소 방법이다.

나. 특징 선택(Feature Selection)

주로 상호 정보량^[13,21]을 활용하여, 특징이 유사한 군집형 부분집합에서 밴드 선택의 관련 연구가 많으며, 상호 정보량이란 두 확률변수가 서로 어떤 관계를 맺고 있는지 나타내는 정보량 중 하나로 밀접한 관련이 있는지 계량화하여 판단할 수 있는 수치이다. 기존 연구^[14]에서 상호 정보량을 활용해 데이터의 실제값(Ground Truth)와 유사한 값(Ground Truth Approximated)^[14]를 생성하여, 이미 선택된 형상의 상호 정보량이 아래 수식(1) 을 통해 큰 값을 가진 특징들이 픽셀 분류 오류 확률이 감소한다는 것을 입증했다.

\(I(A, B)=\sum_{A \in A, B \in B} p(A, B) \log \frac{p(A, B)}{p(A) p(B)}\)      (1)

2. 최적화 알고리즘(Optimization Algorithm)

밴드 선택 기법 적용하면서, 최적의 밴드 수와 밴드들을 선택하기 위해서, 유전 알고리즘(Genetic Algorithm)^[15], 시뮬레이티드 어닐링(Simulated Annealing)^[9,16] , 파티클 스웜 알고리즘(Particle Swarm Algorithm) [20] 등 최적화 알고리즘이 주로 활용된다.

가. 시뮬레이티드 어닐링(Simulated Annealing)

Simulated Annealing(SA)^[9,16]은 탐색공간에서 주어진 함수나 문제에 대해서 전역 최적점에 대한 가까운 근삿값을 찾아, 점진적으로 해에 가까운 방향으로 이동하려 예상되는 곳으로 접근하는 일반적인 확률적 휴리스틱 방식이다. 원리는 고체를 녹여 다시 완전한 격자 상태의 결정체가 될 때까지 식히는 물리적인 과정을 모태로 만들어졌다.

나. 맥스 풀링 연산(Max Pooling Operation)^[17,19]

특징 맵(Feature Map)을 필터를 통해, 필터 안에서 가장 큰 값을 뽑아내는 방식으로, 풀링 연산을 통해 인풋 크기를 줄일 수 있어 다운샘플링 효과로 뉴럴 네트워크 학습에 있어 과적합을 피하는 데 도움이 된다. 그리고 연산에 사용되는 컴퓨팅 자원이 적어지고, 특징을 잘 추출할 수 있다. 입력 데이터에 대한 필터의 크기와 스트라이드(Stride) 크기에 따라서 특징 맵크기가 결정해, 입력데이터의 높이(H), 폭(W), 필터의 높이(FH), 폭(FW), 스트라이드 크기(S), 패딩 크기(P)를 통해 출력 데이터 크기를 수식(나)을 통해 계산할 수 있다.

\(\text { Output } H(W)=\frac{(H+2 P-F H(F W))}{S}+1\)           (2)

다. 신호 대 잡음 비(Peak Signal to Noise Ratio)^[18]

신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타낸 것이다. 주로 영상 또는 동영상 손실 압축에서 화질 손실 정보를 평가할 때 사용된다. 최대 신호 대 잡음 비는 신호의 전력에 대한 고려 없이 아래 수식(다)을 통해 평균 제곱 오차(MSE)를 이용해서 계산할 수 있다. 손실이 적을수록 큰 값을 가지며, 무손실 영상은 MSE가 0 이기 때문에 신호 대 잡음 비(PSNR)는 정의되지 않는다.

\(P S N R=10 \log \frac{S^{2}}{M S E}(S=\text { Max Value })\)          (3)

Ⅲ. 초분광 데이터셋

1. 데이터셋

가. Indian Pines(IP)

북서부 인도파인즈 시험장 위에 AVIRIS센서로 수집된 파장 범위 0.4~2.510-6m의 (145, 145) 픽셀과 220 개의 스펙트럼 반사 대역 밴드로 구성되어있다. 16개의 클래스로 구성되어있다.

나. Pavia University(PU)

ROSIS 센서가 이탈리아 북부 파비아를 비행하는 동안 획득한 장면이다. 파비아 센터는 (1096, 715) 픽셀로 구성되고, 9개의 클래스로 구성되어있다.

그림 1. Ground Truth (좌 : IP, 우 : PU)

Fig. 1. Ground Truth (Left : IP, Right : PU)

2. 데이터셋 분석

데이터세트를 분석하여 문제의 복잡성을 파악하는 것이 중요하다^[19] . IP 경우 40 밴드 이전에 곡선들이 넓게 분포한 경향이 있고, 이후에는 대부분 클래스별 특징들이 수렴한다. 하지만, PU 경우 거의 모든 밴드에서 클래스별 스펙트럼 특징들이 다른 영역보다 멀리 떨어져 있음을 알 수 있다. 각 스펙트럼 특징은 클래스에 해당하기 때문에, 곡선이 더 넓게 분포는 대역이 픽셀 클래스 분류에 좋은 성능의 분리성을 제공한다. 그래서 밴드 선택 기법을 하기 전 K-최근접 이웃 분류기 성능은 IP경우보다 PU가 0.825로 클래스별 분류성능이 높았다.

그림 2. 밴드별 클래스별 반사율 그래프 (데이터셋 : IP)

Fig. 2. Reflectivity Graph by Band Class (데이터셋 : IP)

Ⅳ. 제안 기법

논문에서는 두 가지 방식으로 알고리즘을 제안한다.

1. 제안 기법 프레임워크

가공되지 않은 초분광 이미지 밴드를 제안한 기법을 통해, 전처리 되며, 밴드 선택된 밴드를 가지고 K-최근접 이웃 분류기 학습에 적용한다.

그림 3. 제안된 밴드 선택 알고리즘 플로우 차트

Fig. 3. Proposed Band Selection Algorithm Flow Chart

2. 제안된 밴드 선택 알고리즘

첫 번째(Proposed 1)로 X는 알고리즘 적용 인풋 (Input)인 전체 밴드며, Y는 밴드에 따른 정답 값(GT)에 해당한다. 밴드별로 1차원으로 나열해(Flatten), 밴드에서 최솟값과 최댓값의 차이(G)를 반올림한다. 차이를 가진 리스트를 생성해 리스트 길이(C)만큼 부분집합(D)을 생성한다. 리스트의 요소인 임계값(G)을 부분집합(D)의 분류 기준으로 전체 밴드들을 부분 집합(Subset)별로 분류하여 각 부분집합에서 무작위로 하나의 밴드를 선택하여 밴드 후보군(x)을 생성한다. 생성한 밴드 후보군을 풀링(Pooling) 연산을 통해 밴드 크기를 2배로 축소된 특징(xx)를 분류기 0.3 비율로 학습한 결괏값이 높은 밴드 후보(x)를 선택한다.

그림 4. 제안된 밴드 선택 알고리즘

Fig. 4. Proposed Band Selection Algorithm

두 번째 방식(Proposed 2)은 첫 번째 방식에 이어, 로그(Log)를 취한 예측한 이미지(Predict(xx))와 GT(y) 간의 PSNR값을 더해, 제일 큰 값의 밴드 후보군을 선택한다. 후보군을 생성하는 이터레이션(Iteration)은 500(100)으로, 풀링 연산은 텐서플로의 Max Pooling 2D 함수를 활용하여, 필터 크기는 3*3, 스트라이드는 2*2 조건으로 실험을 진행하여, 전처리 이전 이미지 크기보다 두 배 축소하여 진행했다.

그림 5. 제안된 밴드 선택 알고리즘 이미지화

Fig. 5. Proposed Band Selection Algorithm Image

3. 밴드 수^[9,20]

측정하는 대상이 특정 파장에 특징이 두드러지고, 특징의 크기가 다르므로 같은 밴드 수로 전체 밴드에서 알고리즘을 적용할 수 없다. 본 논문에서는 4.2에서 제시한 알고리즘으로 임계값을 통해 부분집합 수가 정해지게 되는데, 각 부분집합에서의 하나의 밴드를 선택하여, 유동적으로 3장의 데이터세트 기준으로 IP는 15개, PU는 10 개로 선택된다.

표 1. 데이터셋 별 알고리즘 적용된 밴드 결과

Table 1. Band Results with Algorithm by Dataset

Ⅴ. 실험 및 결과

1. 알고리즘 적용 소요 시간 비교

알고리즘 적용 시간을 비교했을 때, 시뮬레이트 어닐링 기법 기준으로, 전역 최적점에 대한 가까운 근삿값을 찾을 때까지 계속 진행되므로, 상당한 시간이 소요된다. 초분광 이미지 크기에ㅤ따라 알고리즘 적용 시간이 결정되며, 크기와 적용 시간은 비례한다. IP 경우 이미지 크기가 145*145 크기의 이미지이므로 3~5분 내외로 적용되지만, PU 경우 이미지 크기가 1096*715이므로 30분 이상 소요된다. 하지만 기존기법에 비하면 상당히 약 1/3 ~ 1/9배 감소했지만, 성능은 더욱 향상된 결과로 나타냈다.

그림 6. 제안한 알고리즘과 기존 기법 소요시간 비교

Fig. 6. Comparison of time required Proposed Algorithm and Existing Methods

2. 실험 결과

실험을 통해, 제시한 전처리 알고리즘 적용 전과 후로 비교했을 때, IP 경우 20%, PU 경우 5% 이상의 향상된 결과를 보여줬다. K-최근접 이웃 분류기^[19] 를 통해 테스트하여, K=7, 11일 때 아래 그래프와 같은 결과를 얻을 수 있었다. 기존 밴드 선택 기법(Band Selection)으로는 SA로 시뮬레이티드 어닐링 기법으로, 실험의 제안 기법이 더 좋은 결과를 얻었다.

그림 7. 제안한 알고리즘 적용 전후와 기존기법 성능 비교

Fig. 7. Performance Comparison Proposed Algorithm and Existing Methods

3. K-최근접 이웃 분류기 결과 비교^[19]

3장 데이터세트 기준으로, 밴드 선택 알고리즘 전과 4장 제안 기법을 비교했을 때, IP는 K=7일 때 밴드 선택적용 성능은 0.755로, K=11일 때 0.885로 성능개선이 월등히 개선된 점을 확인할 수가 있으며, 이외 다른 K 옵션일 때도 그래프를 통해 전반적으로 향상된 점을 확인할 수 있다.

그림 8. 제안한 알고리즘 적용한 예측 이미지 결과

Fig. 8. Predictive Image Results with the Proposed Algorithm

그림 9. K-최근접 이웃 클래스파이어별 알고리즘 적용 전후 비교

Fig. 9. Comparison before and after applying K-NN Classifier Algorithm

Ⅵ. 한계점

일반적으로 최적화 알고리즘을 활용하여 밴드 집합에서 GT와 인풋 밴드 간의 상호 정보량이 높은 유사한 특징을 가진 밴드를 선택하여 알고리즘 적용 전보다 유사하거나 높은 성능을 제시하지만, 기존 최적화 알고리즘은 무작위적으로 탐색공간에서 주어진 함수나 문제에 대해서 전역 최적점에 대한 가까운 근삿값을 찾아가기 때문에 상황마다 상당한 소요 시간이 발생한다. 본 논문에서 밴드별로 최댓값과 최솟값을 활용해 부분집합으로 분류하여, 각 밴드에서 알고리즘을 적용해, 탐색공간을 좁히는 효과로 알고리즘 적용 시간이 단축되며, 밴드 크기를 풀링 연산을 함으로써 과적합 되는 학습을 줄여, 성능을 개선한다. 추가로, 2번째 제안 기법으로 신호 대 잡음 비를 활용해, 1/2배로 축소된 GT와 밴드별 값을 반영하여, 성능을 조금 더 향상되었다. 하지만 실시간에 적용하기에는 아직 어렵지만, 소요 시간을 상당히 줄임으로써 가능성을 확인할 수가 있었다.

※ 본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었습니다(과제번호 21DPIW-C153746-03)