A New Image Analysis Method based on Regression Manifold 3-D PCA

회귀 매니폴드 3-D PCA 기반 새로운 이미지 분석 방법

Abstract

In this paper, we propose a new image analysis method based on regression manifold 3-D PCA. The proposed method is a new image analysis method consisting of a regression analysis algorithm with a structure designed based on an autoencoder capable of nonlinear expansion of manifold 3-D PCA and PCA for efficient dimension reduction when entering large-capacity image data. With the configuration of an autoencoder, a regression manifold 3-DPCA, which derives the best hyperplane through three-dimensional rotation of image pixel values, and a Bayesian rule structure similar to a deep learning structure, are applied. Experiments are performed to verify performance. The image is improved by utilizing the fine dust image, and accuracy performance evaluation is performed through the classification model. As a result, it can be confirmed that it is effective for deep learning performance.

본 논문에서는 회귀 매니폴드 3-D PCA 기반 새로운 이미지 분석 방법을 제안한다. 제안된 방법은 대용량 이미지 데이터 입력 시 효율적인 차원 축소를 위해 개선된 매니폴드 3-D PCA와 PCA의 비선형 확장이 가능한 오토인코더를 기반으로 설계된 구조로 회귀분석 알고리즘으로 구성된 새로운 이미지 분석 방법이다. 오토인코더의 구성으로는 이미지 픽셀 값을 3차원 회전을 통한 최전의 초평면을 도출하는 회귀 매니폴드 3-D PCA와 딥러닝 구조와 유사한 Bayesian Rule 구조를 적용한다. 성능 검증을 위해 실험을 수행한다. 미세먼지 이미지를 활용하여 이미지를 향상되며, 이를 분류 모델을 통한 정확도 성능 평가를 수행한다. 그 결과 딥러닝 성능에 유효함을 확인할 수 있다.

Ⅰ. 서론

최근 인공지능(Artificial Intelligence, AI)을 활용한 다양한 연구가 진행된다. AI 기술은 이미지 프로세싱 분야에 존재하던 문제를 해결하였다. 특히 딥러닝 (Deep-Learning) 또는 심층 학습 분야의 발달은 이전 다양한 방법을 사용하여 이미지 프로세싱 발전 시간보다 더 짧은 시간으로 더 많은 발전을 보여주었다. 딥러닝을 통한 이미지 프로세싱을 이미지 분류, 검출, 변환, 생성, 향상 등 다양한 분야 성능을 향상시켰다. 특히, 이미지 향상(Image Enhancement, IE) 이미지 프로세싱이라는 기술 분야에서 굉장히 중요한 부분을 차지하고 있으며, 인간의 시각처럼 이미지를 분석하는 AI를 활용한 이미지 인지력은 높은 정확도를 가진 이미지 분석할 수 있는 기반이 되었다.^[1-3]

그러나, 기존 딥러닝 모델은 내부에 무수한 매개변수와 격자가 있어, 일일이 설명하기 어려운 블랙박스형 모델이다. 이미지 컴퓨터 비전 분야 입장에서 AI 의존성이 높아 차후 이미지 분석에 대한 발전에 장애가 될 가능성이 있다. 따라서 최근에는 딥러닝 이전에 사용하던 다양한 방법을 다시 활용한 방법이 나타나고 있다. 이미지 향상 방법에서 이러한 연구들이 진행된다.^[4-6] 이전의 이미지 향상 방법은 크케 두 가지 방법으로 나뉜가. 직접 향상 방법(Direct Enhancement Mmethod)과 간접 향상기법(Indirect enhancement method)이다. 직접 향상 방법의 경우에는, 미리 정의된 어떠한 대비 수치에 의해서 이미지의 대비가 표현이 되며, 이 측정된 대비 수치를향상시키기 위한 알고리즘이다. 대표적으로 멱급수 변환, 로그함수 변환, 그레이 레벨 분할 방식 등이 있다. 그리고 간접 향상 기법은 특정 대비 조건을 정하지 않고, 확률밀도를 재분배해서 대비를 향상시키는 방법이다. 대표적인 방법은 히스토그램 명확화(Histogram specification), 히스토그램 평활화(Histogram Equalization), 단일 픽셀처리(Histogram Modification) 등이 있다.^{[7, 8]} 이러한 방법들은 딥러닝과 달리 결과 도출 과정을 설명 가능하여 이미지 발전에 많은 기여할 수 있으나, ^[9] 대부분의 매개변수가 사람에 의존하여 생성된 매개변수로 이미지프로세싱 발전시간이 오래 걸린다. 따라서 이미지 프로세싱 발전시간 단축고 데이터 추출할 수 있는 방법이 필요하다.^[10-15]

본 논문에서는 회귀 매니폴드 3-D PCA Bayes Rule 기반 새로운 픽셀 이미지 분석 방법을 제안한다. 제안한 방법은 알아보기 힘든 세세한 부분까지 분석하기 위한 이미지 향상 방법이다. 이 방법은 효율적인 주선분 분석을 통한 고유벡터를 계층적으로 투영하여 이미지를 향상시키는 방법이다. 성능 검증을 위해 실험을 수행한다. 미세먼지 이미지를 활용하여 이미지를 향상시켜 이미지 분석 성능을 향상시킨다. 성능 검증을 위해 실험을 수행한다. 미세먼지 이미지를 활용하여 이미지를 향상시며, 이를 분류 모델을 통한 정확도 성능 평가를 수행한다.

Ⅱ. 회귀 매니폴드 3-D PCA 기반 새로운 이미지 분석 방법

본 논문에서 제안된 회귀 매니폴드 3-D PCA Bayes Rule 알고리즘은 딥러닝에서 사용되는 비선형 함수를 통해 도출된 결과에 대한 원인 설명이 어렵다는 블랙박스형 모델의 단점을 해결하는 방법이다. 즉, 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형을 만드는 것이 이미지 분류 및 검출의 핵심으로, 딥러닝에서는 선형 연산인 합성곱(Convolutional layer, Conv) 계층에 비선형 함수인 활성화 함수(Activation function)를 적용 후 계층을 깊이 쌓아 데이터를 잘 설명할 수 있는 집합 모형으로 만든다. 그러나, 깊어진 계층으로 인해 도출된 결과의 원인을 직관적으로 설명하기 어렵다. 그 이유는 결과까지 도출하는 각 계층의 값이 데이터의 특징 일부분만 설명하기 때문이다.

그림 1. 3차원 회전을 적용한 차원축소

Fig. 1. Dimension reduction with 3-D rotation.

1. 회귀 매니폴드 3-D PCA 기반 최적의 고유 벡터추출

제안하는 이미지 분석 방법은 매니폴드 기반 3-D PCA 알고리즘 기반으로 설계한다. 매니폴드 기반 3-D PCA 알고리즘은 초평면을 종축, 횡축, 수직축(Roll, Pitch, Yaw) 값 기준으로 좌표를 이용한 차원 축소를 통해 딥러닝 성능에 유효한 유의미한 데이터를 도출하는 방법이다. 최적의 초평면 좌표는 G. Qu et al(2011)의베이즈 룰(Bayes Rule, BR) 방법을 적용한다. BR 알고리즘은 결과를 도출하는 것뿐만 아니라 도출된 결과의 임의의 값이 정답일 확률에 대한 분포를 도출한다. 이렇게 확률분포를 도출하였을 경우 얻을 수 있는 장점은 불확실성을 알 수 있다는 것이다. 이 방법을 통한 최적의 고유벡터를 추출한다.

2. 회귀 매니폴드 3-D PCA 기반 이미지 재구성알고리즘

최적의 고유벡터를 활용한 이미지 재구성 알고리즘은 머신러닝 또는 딥러닝에서 사용되는 오토인코더 (Autoencoder)과 PCA 간의 아키텍쳐 유사성을 이용한 알고리즘이다. 오토인코더는 입력 내부를 표현하는 인코더(Encoder)와 내부 표현을 출력을 변환하는 디코더 (Decoder)로 구성되는 각각 인코더와 디코더는 서로 반전된 구조로 설계되며, 이러한 오토인코더는 PCA 기능과 유사하며 PCA의 공간을 비선형 공간으로 확장하는 특징을 가지고 있으며, 이를 그림 2와 같이 표현한다. 그림 2의 Encoding 부분은 매니폴드 3-D PCA를 이용한 초평면을 p를 입력한다. 입력된 초평면은 p 가중치 노드 W_i,j,i = 1,...,andj =1,...,p의 노드를 이용하여 인고팅 레이어 출력 z=g(Wx)을 도출할 수 있다.

그림 2. 5차원 데이터를 2차원 기능으로 인코딩하는 간단한 선형 자동 인코더

Fig. 2. A simple linear automatic encoder that encodes 5D data into 2D functions

x는 입력이고 W는 가중치 행렬이며, 함수 g는 활성화 함수다. 활성화가 선형인 경우 이는 PCA의 주요 점수와 동일하다. 그림 2의 Decoding 부분은 출력된, g(Wx)를 재구성하며, 디코딩 레이어의 크기는 입력 데이터의 크기 p와 같으며, 이를 재구성하면 \(\hat{x}=g\left(W^{\prime} z\right)\)를 도출할 수 있다. 일반적으로 PCA에서는 \(\hat{x}=W^{T} z\)로 표현할 수 있다. 이를 시각적으로 표현하면 그림 3과 같이 표현할 수 있다.

그림 3. PCA와 비교한 단일 레이어 오토인코더

Fig. 3. A single layer autoencoder compared to PCA

Ⅲ. 실험 및 분석

제안된 매니폴드 기반의 3-D PCA 알고리즘의 성능검증을 위해 Liu et al.(2016)에서 활용된 중국의 베이징, 상하이 그리고 미국의 피닉스의 이미지를 활용하여 미세먼지 오염도 PM2.5 추정을 수행하였다. 전문가지식에 근거하여 이미지에 포함된 정보들인 이미지 대비 (contrast), 하늘의 매끈함(smoothness) 및 색상 (color), 태양의 위치, 각종 지리정보, 날짜, 시간, 기상 상태 등과 같은 다양한 메타정보를 구축하고 이미지 처리 기반의 분석 정보를 활용하여 오염도를 측정된 데이터셋이다. 대부분의 딥러닝 학습의 가장 큰 문제는 방법론적 문제보다는 이미지의 샘플 수가 충분하지 않다는 점에 있다. 그러나 제안된 이미지 향상 방법을 활용하여 이미지 샘플 수를 늘리는 방법 등을 활용하여 보완할 수 있었다. 그 결과적으로 이미지를 학습하여 분류기로서 실제 활용되기 위해서는 통상적으로 약 80% 정도의 정확도를 보여야 하나, 이미지 샘플 수 부족 등의 문제로 83.38%의 정확도를 보였다.

그림 4. 미세먼지 오염도 측정 데이터셋

Fig. 4. Data set to measure the pollution level of fine dust.

표 1. 최적의 매니폴드 좌표 결과

Table 1. The optimal manifold coordinate results.

두 번째 실험에서는 제안한 알고리즘이 오토인코도와 비교하여 유효한 성능을 가졌음을 확인한다.

실험 결과 기존의 오토인코더 보다 향상됨 결과를 확인할 수 있었다.

그림 5 오토인코더 아키텍쳐 알고리즘 비교 평가

Fig. 5. Comparative evaluation of autoencoder architecture algorithm.

Ⅳ. 결론

본 논문에서는 회귀 매니폴드 3-D PCA 기반 새로운 이미지 분석 방법을 제안하였다. 제안한 방법은 기존의 블랙박스형 모델인 딥러닝을 통한 결과를 신뢰하기에는 구조적으로 어려운 문제를 해결하기 위한 방법으로 3-D PCA 기반으로 딥러닝 성능에 유효한 검출 방법을 설계하였다. 설계된 구조는 회귀 매니폴드 3-D PCA를 이용한 최적의 초평면을 추출하며, 기존의 오토인코더의 유사성 특징을 이용한 회귀 매니폴드 3-D PCA 기반 이미지 재구성 알고리즘에 초평면을 입력하며, 초평면 p 가중치 데이터를 통한 인코딩 출력 레이어와 출력값을 통한 재구성 레이어를 통해 이미지 분석에 용이한 이미지재구성을 수행한다. 이를 통해 중요한 영역의 정보를 가져가며, 불필요한 영역은 버리는 방법으로 효율적인 이미지 분석을 할 수 있으며, 이를 검증하기 위해 중국의 베이징, 상하이 그리고 미국의 피닉스의 이미지를 활용하여 미세먼지 오염도를 측정하였으며, 실제 오염도 값과 제안된 알고리즘을 통한 예측 오염도 값 비교 결과 83.38% 정확도를 보였다. 이를 통해 딥러닝 보다 높은 성능을 일부는 낮은 성능을 보였다. 그러나, 대부분 유사한 성능임을 확인할 수 있었으며, 데이터 변환 및 분석을 수학적으로 설명 가능함은 XAI 구조임을 확인할 수 있었다.