Image Label Prediction Algorithm based on Convolution Neural Network with Collaborative Layer

협업 계층을 적용한 합성곱 신경망 기반의 이미지 라벨 예측 알고리즘

Abstract

A typical algorithm used for image analysis is the Convolutional Neural Network(CNN). R-CNN, Fast R-CNN, Faster R-CNN, etc. have been studied to improve the performance of the CNN, but they essentially require large amounts of data and high algorithmic complexity., making them inappropriate for small and medium-sized services. Therefore, in this paper, the image label prediction algorithm based on CNN with collaborative layer with low complexity, high accuracy, and small amount of data was proposed. The proposed algorithm was designed to replace the part of the neural network that is performed to predict the final label in the existing deep learning algorithm by implementing collaborative filtering as a layer. It is expected that the proposed algorithm can contribute greatly to small and medium-sized content services that is unsuitable to apply the existing deep learning algorithm with high complexity and high server cost.

1. 서론

4차 산업혁명시대가 도래하면서 서비스 고도화를 위해 인공지능 기술을 적용하는 사례가 늘고 있다. 특히 콘텐츠 제공 서비스에서 사용자에게 맞춤형 정보를 제공하기 위해 인공지능 기술을 적용한 추천 기술을 활용하고 있다[1]. 대표적으로 넷플릭스와 유튜브 등이 있으며 사용자의 이력과 콘텐츠 정보를 활용하여 사용자에게 적합한 영상을 추천해 준다. 이러한 추천 서비스에서 주로 활용하는 알고리즘은 협업 필터링이나 내용 기반 필터링을 이용하여 사용자가 이전 이력으로 이용했던 콘텐츠를 기반으로 유사한 콘텐츠를 분석하여 추천해 주며, 최근에는 필터링 기술의 고도화를 위해 딥러닝과 머신러닝 알고리즘을 적용한 연구가 활발히 진행되고 있다[2-4]. 그 중 이미지를 기반으로 하는 추천에 적합한 딥러닝 알고리즘으로는 합성곱 기반의 인공 신경망(Convolution Neural Network, CNN)이 있다. CNN은 전연결 계층(Fully Connected Layer, FCL) 기반의 알고리즘을 개선한 알고리즘이다[5]. CNN은 1차원 배열 형태의 이미지만 분석 가능한 FCL을 개선하기 위해 등장하였으며 2차원 이상의 이미지(칼라 이미지의 경우 3차원)를 공간 정보의 손실 없이 분석 가능하도록 개선된 알고리즘이다[6]. 최근에는 CNN의 성능을 개선시킨 R-CNN[7], Fast R-CNN[8], Faster R-CNN[9]이 등장하여 이미지 분석 연구가 활발히 진행되고 있다. 알고리즘이 빠른 속도로 개선되면서 이미지 분석 정확도가 크게 상승하였지만 그에 비례하여 알고리즘의 복잡도 역시 크게 상승하면서 일반적인 중소 규모의 콘텐츠 서비스에 적용하기에는 무리가 있다. 즉, 인공지능 기반의 알고리즘은 은닉층과 은닉층의 성능을 개선하기 위한 다양한 형태의 계층을 배치하여 성능을 개선시키는데, 은닉층을 적절히 증가시키면 좋은 성능을 기대할 수는 있지만, 중소규모의 콘텐츠 서비스에서 발생하는 적은 양의 데이터와 낮은 성능의 서버로는 활용이 어려운 것이 현실이다[10]. 적은 데이터의 양으로는 딥러닝의 성능을 끌어낼 수 없으며, 적은 데이터에 맞게 구현하기 위해 은닉층의 수가 적은 인공지능 알고리즘을 사용하기에는 추천의 정확도가 현저히 떨어지므로, 현재 중소규모 콘텐츠 서비스에서 활용 가능한 인공지능 알고리즘이 전무하다고 볼 수 있다.

본 논문에서는 이러한 중소규모의 콘텐츠 서비스에서 활용 가능하도록 적은 데이터의 양을 적용하더라도 알고리즘 복잡도가 낮고 높은 성능을 기대할 수 있는 협업 계층을 활용한 합성곱 신경망 기반의 이미지 라벨 예측 알고리즘을 제안하고자 한다. 제안하는 알고리즘은 추천 서비스에서 주로 사용되는 협업 필터링을 하나의 계층으로 구현하여 CNN에 활용하는 방식으로, CNN의 마지막 부분의 전결합 계층(FCL)으로 주로 사용되는 신경망(Neural Network, NN)을 협업 계층으로 대체하여 알고리즘의 연산 복잡도를 최소화시키는 것이 목적이다. 제안하는 알고리즘은 최소한의 합성곱 계층을 활용하고 연산 복잡도가 높은 신경망부분을 협업 계층으로 대체하여 알고리즘 복잡도와 연산속도를 적절히 보장할 수 있으며, 필터링 기법 기반의 협업 계층을 활용함으로써 적은 데이터로도 분석이 가능하여 중소규모의 콘텐츠 서비스에 활용 가능할 것으로 기대한다.

2. 관련연구

추천 서비스에서 사용되는 알고리즘은 협업 필터링, 내용 기반 필터링, 규칙 기반 필터링, 여러 필터링을 혼합하여 사용하는 하이브리드 필터링 등이 있다. 본 논문에서 협업 계층을 구성하기 위해 사용한 협업 필터링은 가지고 있는 이력이 유사한 사용자 또는콘텐츠를 찾아서 가지고 있는 이력 중 공통되는 부분을 제외한 나머지를 서로에게 추천해주는 방식이다[11].

합성곱 신경망(CNN)은 인공지능 기반의 이미지 분석 알고리즘 중 가장 대표적인 알고리즘으로, 합성곱 계층(Convolution Layer, CL)을 사용하여 이미지의 특징(Feature)을 임의의  \(n \times n\) 크기의 Filter를 이용하여 추출하고 추출된 특징을 기반으로 신경망을 이용하여 분류하는데, 이 때 Feature값이 \(n \times n\)의 배열형태이므로 연산이 합성곱으로 이루어지기 때문에 합성곱 신경망으로 불리고 있다. 최근에는 CNN의 성능을 개선하기 위해 신경망의 개수를 늘리거나 합성곱 계층의 수를 늘린 R-CNN, Fast R-CNN, Faster R-CNN 등이 연구되고 있다[12]. R-CNN의 기본적인 방향은 특징을 추출하기 위해 이미지의 구역(Region Proposal, RP)을 나누고 각 구역에 대해 합성곱을 일일히 수행하고 추출된 특징을 분류하기 위해 Bounding Box Regressor(BBR)를 사용한다. Fast R-CNN과 Faster R-CNN은 R-CNN의 너무 많은 연산량으로 인해 발생하는 병목(bottleneck)현상을 개선하기 위해 등장하였으며, Region Proposal Net(RPN)이라는 계층을 이용하여 RP의 물체 영역후보를 생성하여 물체 유사성 점수를 부여하여 각각의 클래스로 분류하는 방식을 사용하였다[13]. 앞서 언급한 고도화된 알고리즘들은 높은 성능을 기대할 수 있으나 알고리즘의 복잡도가 너무 높고 기본적으로 대량의 데이터를 학습에 요구하므로 중소규모의 콘텐츠 서비스의 사용이 어렵다고 볼 수 있어 복잡한 계층을 최소화 하면서도 최대한의 성능을 낼 수 있는 이미지 분석 알고리즘의 연구가 필요한 실정이다.

본 논문에서 제안하는 알고리즘은 협업 계층을 적용한 합성곱 신경망(CNN) 기반의 이미지 라벨 예측 알고리즘이다. 과거에도 이와 유사하게 협업 필터링을 고도화 하기 위한 연구 및 협업 개념을 딥러닝과 융합하는 연구도 다수 진행되었다[14-18]. H. Wang[14]은 Stacked Denoising Auto-Encoder(SDAE)기반의 고도화된 협업 필터링 기법을 제안하였으며 협업 과정을 딥러닝과 같이 은닉층을 이용하여 분석하는 방법을 제안하였다. H, Ying[15] 및 Y. Wu[16] 역시 SDAE 기반의 협업 딥 러닝을 활용한 추천 알고리즘을 제안하였으며 예측치에 Ranking을 매겨 추천 리스트를 생성하는 방법을 제안하였다. X.He[17]은 딥러닝의 각 뉴런에 협업 개념을 적용한 고도화된 협업 필터링 기법을 제안하였으며, C. K. Hsi도[18]은 rating과 이미지 태그를 이용한 고도화된 협업 필터링 기반의 이미지 분석 알고리즘을 제안하였다. [14-18]에서 수행한 연구들은 모두 협업 필터링의 고도화와 딥러닝과의 융합을 제안하였으며 본 논문에서 제안하고자 하는 중소규모의 서비스에 적합한 형태의 알고리즘은 아니다. 본 논문에서 제안하는 알고리즘은 CNN의 협업 계층과 협업 필터링의 유사도를 활용한 데이터 마이닝 기법을 활용하여 중 소규모의 콘텐츠 분석에 적합한 알고리즘이다.

3. 협업 계층을 적용한 합성곱 신경망 기반의 이미지 라벨 예측 알고리즘

제안하는 협업 계층을 적용한 합성곱 신경망 기반의 이미지 라벨 예측 알고리즘은 기본적인 CNN의 구조와 동일하게 합성곱을 통한 특징 추출 단계까지는 동일하게 동작한다. CNN과의 차이점은 추출한 특징을 인공지능 신경망을 통해 라벨을 예측하는 것이 아닌 Filter를 통해 추출된 각각의 특징을 하나의 이력으로 사용하여 동일한 라벨을 가진 이미지간의 협업을 통해 라벨을 예측하도록 하는 것이다. 즉, 제안하는 알고리즘은 Fig. 1과 같은 계층구조를 가지며 기존 CNN에서 동작하는 Input layer, Padding layer, Convolution layer, Pooling layer를 통해 특징을 추출한 후 해당 특징을 협업 필터링에서 사용하는 이력과 같이 사용하여 동일한 라벨을 가진 이미지 간 유사도를 비교하여 라벨이 되지 않은 이미지에 가장 확률이 높은 라벨을 예측해내는 것이다.

Fig. 1. Layer structures of the proposed algorithm.

• 계층별 수행 내용

- Input Layer : 분석에 사용되는 입력 데이터(이미지) 계층

- Padding Layer : 이미지의 외곽부분의 데이터 유실을 막기 위해 입력값 주위로 0값을 넣어서 입력값의 크기를 인위적으로 키우는 계층. 이미지의 특징을 추출할 때 이미지의 가장 외곽이 되는 부분은 3 x 3의 필터를 사용할시 외곽 부분의 패턴은 필터의 외곽으로만 연산되어 가중치가 의도치 않게 떨어질 수 있으므로, padding을 부여하여 외곽부분을 필터의 중앙 부분에 인식 가능하도록 함.

- Convolution Layer : 입력 데이터로부터 특징을 추출하는 계층으로, 임의의 Filter를 이용하여 특징을 추출하고 필터 값을 비선형 값으로 바꾸어주는 활성화 함수로 이루어짐. 대표적인 활성화함수로는 ReLU(Rectified Linear Unit) 등이 있음

- Pooling Layer : 추출한 특징을 서브 샘플링(Sub sampling)하는 과정으로 모든 특징을 다 사용할 필요는 없으므로 추출된 특징을 임의로 줄이는 방법. Pooling 방법으로는 Max pooling, Ave pooling, L2-norm pooling 등이 있으며 대표적으로 Max pooling을 주로 사용함

- Collaborative Layer : 본 논문에서 제안하는 계층으로 추출된 특징을 이미지의 이력으로 보고 라벨이 없는(unlabelled) 이미지가 가지는 이력(=특징)을 바탕으로 유사한 이미지(라벨이 있는, labelled)를 탐색하고 해당하는 유사한 이미지의 라벨을 unlabelled 이미지 일 것이라고 예측하는 계층

본 논문에서 제안하는 협업 계층은 추천 알고리즘에서 주로 사용되는 협업 필터링(Collaborative Filtering)을 응용한 계층으로, 라벨이 없는 콘텐츠 A와 유사한 이력을 가진 콘텐츠를 필터링하고, 만약 그 결과로 콘텐츠 B가 유사하다고 판단되면 콘텐츠 B의 라벨과 콘텐츠 A와 동일하다고 보는 개념이다. 즉, 콘텐츠간의 이력 데이터를 바탕으로 협업하여 라벨이 없는 콘텐츠의 라벨을 예측하는 것이다. 협업 계층의 동작 원리는 Fig. 2와 같이 설명할 수 있다.

Fig. 2. Concept of the Collaborative Layer.

협업 계층은 합성곱 계층에서 추출된 데이터를 이력으로 사용하기 때문에 이력 기반의 이미지간 유사도를 비교할 때 추출된 특징의 배열 크기만큼의 차원을 가지게 된다. 따라서 유사도 알고리즘은 다차원의 유사도 비교가 가능한 유클리디안 유사도(Uclidean Similarity) 알고리즘을 사용하였다. 유클리디안 유사도 알고리즘은 수식 1과 같이 계산된다.

\(d(a, b)=d(b, a)=\sqrt{\sum_{i=1}^{n}\left(a_{i}-b_{i}\right)^{2}}\)       (1)

수식 (1)에서 \(d(a, b)\)와 \(d(b, a)\)는 이미지 \(a\)가 가진 특징 \(i\)와 이미지 \(b\)가 가진 특징 \(i\)의 거리를 계산하는 것을 의미하며, 두 속성간의 거리 차를 구한 후 제곱을 하기 때문에 이미지 \(a\)와 \(b\)의 순서는 바뀌어도 상관없다. 또한 \(i\)는 이미지의 특징 이력 정보이므로 \(n \times n\) 크기의 배열이므로, 수식에서는 합성곱을 수행하게 된다.

협업 계층을 적용한 합성곱 신경망 기반의 이미지라벨 예측 알고리즘은 Input layer 단계인 이미지를 불러오는 것으로 시작한다. 다음으로 외곽 이미지의 손실을 막기 위해 Padding을 부여한 후 합성곱 계층을 수행하기 위해 임의의 Filter를 생성하고 1칸(1 stride)씩 필터를 이동시켜 특징(feature)을 추출한다. 추출한 특징은 Max Pooling을 수행하여 불필요한 특징을 분별한다. 협업 계층을 수행하는 구간으로 합성곱 계층에서 추출한 특징을 각 이미지의 이력 정보로 생성하고, 이력 정보를 바탕으로 유사한 이미지를 탐색한다. 이후 라벨이 없는 이미지에 예측 라벨을 부여하게 된다. 제안하는 협업 계층을 적용한 합성곱 신경망 기반의 이미지 라벨 예측 알고리즘은 Fig. 3과 같이 동작한다.

Fig. 3. The proposed image label prediction algorithm based on CNN with collaborative layer.

4. 실험 및 검증

본 절에서는 제안하는 협업 계층을 적용한 합성곱신경망 기반의 이미지 라벨 예측 알고리즘의 성능을 검증하기 위해 CNN, R-CNN, Fast R-CNN, Faster R-CNN 알고리즘과 분석 정확도를 비교하는 실험을 진행한다. 실험은 크게 세 부분으로 진행되며, 첫 번째 실험은 모델의 학습과정에서 각 epoch마다 수행시간 및 정확도를 비교하여 모델이 학습할 때 마다 걸리는 수행시간과 정확도를 비교한다. 두 번째 실험은 생성된 모델에 test 데이터를 적용한 정확도를 비교한다. 세 번째 실험은 중소규모의 데이터를 입력값으로 넣었을 때의 성능을 비교하기 위해 기존 training 데이터의 33.3%만 사용하여 모델을 생성하여 그 성능을 비교한다. 알고리즘간의 비교에서 공정성을 유지하기 위해 모든 계층을 최소한의 개수로만 활용하여 실험을 진행하였다. 각 알고리즘에 사용되는 계층 구조는 Fig. 4와 같으며 적용한 계층별 개수는 Table 1과 같다.

Table 1. Number of each layers of algorithms

R-CNN, Fast R-CNN, Faster R-CNN의 경우 Region Proposal(RP, 특징 추출을 위해 나눈 이미지의 구역)의 수에 따라 합성곱 계층의 수가 결정되기 때문에 우선 최소한의 성능을 보장하기 위해 RP는 3 고정값을 사용한다. 활성화 함수는 모두 동일하게 ReLU를 적용하고 Padding은 2로 고정한다. 각 알고리즘이 최적의 분석 모델을 생성하기 위한 분석 수(Epoch)는 10번으로 동일하게 적용한다. 그러나 제안하는 알고리즘 외에 CNN, R-CNN 등 알고리즘이 신경망 모델을 생성하기 위해 n번 이상의 epoch을수행해야 하는 것과 달리 제안하는 알고리즘은 협업 필터링을 기반으로 모델을 생성하기 때문에 단 한번의 모델 생성으로 높은 정확도를 보일 가능성이 있다. 따라서 연산시간은 명확한 비교를 위해서 제안하는 알고리즘 역시 최상의 추천 정확도를 보일 때까지 분석을 10번 수행하고 10번의 수행 시간을 합친 것으로 비교하도록 한다.

실험에 사용되는 데이터는 파이썬에 내장된 MNIST 데이터 셋을 사용하였으며 실험은 아래의 실험환경에서 수행하였다.

• 구현 환경

- 운영체제 : MacOS Mojave v10.14.6

- 프로세서 : 2.5 GHz Intel Core i7

- 메모리 : 16GB 1600 MHz DDR3

- GPU : AMD Radeon R9 M370X 2GB, Intel Iris Pro 1.5GB

- 개발언어 : Python(Tensorflow), XCode

• 데이터 셋 구성

- Python 내장 MNIST dataset (Training data(labelled) 60,000, Test data(unlabelled) 10,000)

첫 번째 실험을 통해 비교할 지표는 예측한 라벨의 정확도와 연산시간으로, 실험결과에서 주목해야 할 부분은 제안하는 알고리즘이 비교 대상 알고리즘들의 추천 정확도와 큰 차이를 보이지 않으면서 지연속도에서 성능적 우위를 보이는가이다. 실험 결과는 Table 2와 같으며 수행시간(exe. time)은 epoch이 수행될 때 마다 누적된다.

Table 2. 1^st Experiment Results of Input Training data for Model Learning

실험결과에서 볼 수 있듯이 CNN은 10번의 Epoch을 통해 0.9889(98.89%)의 정확도를 보였으며 총 8m 35.4212s의 수행시간을 소모하였고, R-CNN, Fast R-CNN, Faster R-CNN은 적은 데이터수의 영향과 은닉층 개수를 제한하였기 때문에 오히려 CNN보다 낮은 성능을 보였다. 제안하는 알고리즘의 정확도는 CNN과 유사하게 0.9813(98.13%)로 측정되어 CNN보다 미약하게 낮은 정확도를 보였으나, 총 3 m 3.1124s의 수행시간을 소모하여 CNN보다 약 2.6배 가량 수행시간을 단축하였다. 한 가지 더 주목할 점은 epoch 1에서부터 제안한 알고리즘은 정확도 97.99%와 약 17초의 수행시간을 보여 CNN 및 개선된 CNN 알고리즘에 비해 우수한 성능을 보이고 있다는 것이다. 제안하는 알고리즘은 협업 필터링을 기반으로 설계되었기 때문에 분석 모델을 개선하기 위한 여러 번의 epoch을 수행할 필요가 없으며 첫 번째 분석에서부터 높은 성능을 보여주었다.

두 번째 실험은 첫 번째 실험에서 학습된 각 알고리즘의 모델을 기반으로 test 데이터를 입력하였을 때의 정확도를 비교하였으며, 결과는 Table 3과 같다.

Table 3. 2^nd Experiment Results of Input Test data for Performance Evaluation

실험결과를 보면 CNN의 경우 98.90%로 가장 높은 정확도를 보였고, R-CNN이 98.05%로 가장 낮은 정확도를 보였다. Fast R-CNN과 Faster R-CNN은 각각 98.31%의 정확도를 보였는데, 가장 고도화된 알고리즘에도 불구하고 다소 낮은 정확도를 보인 것은 6만개의 training 데이터도 다소 부족하였기 때문으로 판단된다. 제안하는 알고리즘은 98.62%의 정확도를 보이며 두 번째로 높은 정확도를 보였다.

세 번째 실험은 실험에 사용되는 알고리즘들이 소규모 데이터를 입력값으로 주었을 때 성능을 유지할 수 있는지를 확인한다. 실험을 위해 기존에 생성된 모델을 모두 초기화하고 첫 번째 실험에 사용한 training 데이터의 33.3%인 20,000개를 사용하여 모델을 생성하고 동일한 test 데이터 10,000개에 대한 예측을 수행하였으며 실험 결과는 Table 4와 같다.

Table 4. 3^rd Experiment Results of Input 33.3% of Training & Test data

실험 결과에서 볼 수 있듯이 모든 알고리즘이 모델 학습에 대한 training 데이터를 6만개 사용했을 때 보다 저하된 성능을 보였다. R-CNN이 모델 정확도는 1.43% 하락한 96.13%, test 데이터에 대한 정확도는 1.68% 하락한 96.37%로 가장 많은 성능저하를 보였고, CNN은 모델 정확도가 0.88% 하락한 98.01%, test 데이터에 대한 정확도는 0.69% 하락한 98.21%를 보였다. Fast R-CNN과 Faster R-CNN은 모델정확도가 각각 0.23%, 0.22% 하락한 97.92%와 97.83%, test 데이터에 대한 정확도는 각각 0.19% 하락한 98.12%를 보였다. 제안하는 알고리즘은 모델 정확도가 0.02% 하락한 98.11%, test 데이터에 대한 정확도는 0.03% 하락한 98.59%로 가장 적은 성능저하를 보였다.

5. 결론

본 논문에서는 기존의 복잡도가 높은 이미지 분석 인공지능 알고리즘의 복잡도를 낮춰 지연시간을 대폭 감소시키면서 높은 정확도를 보장할 수 있는 협업 계층을 적용한 합성곱 신경망 기반의 이미지 라벨 예측 알고리즘을 제안하였다. 제안한 알고리즘의 성능 검증을 위하여 대표적인 이미지 분석 인공지능 알고리즘인 CNN과 R-CNN, Fast R-CNN, Faster R-CNN과 정확도, 수행시간, 소량의 입력데이터에 따른 정확도를 비교하였으며, 첫 번째 실험인 모델 학습과정에서 CNN은 98.13%의 정확도와 8m 35.4212s의 수행시간을 보였고, R-CNN, Fast R-CNN, Faster R-CNN은 각각 97.56%(17m 43.1982s), 98.05%(13m 2.1176s), 98.05%(9m 17.3671s)로 측정되었고 제안하는 알고리즘은 98.13%의 정확도와 3m 3.1124s의 수행시간을 보이며 높은 정확도와 낮은 수행속도를 나타냈다. 두 번째 실험인 test 데이터에 대한 정확도실험에서는 각각 CNN(98.90%), R-CNN(98.05%), Fast R-CNN(98.31%), Faster R-CNN(98.31%)의 정확도를 보였고, 제안하는 알고리즘의 복잡도가 낮음에도 불구하고 고도화된 딥러닝 알고리즘과 비교하여 98.62%의 정확도를 보이며 준수한 성능을 보였다. 세 번째로 첫 번째 실험 입력값의 33.3%를 적용한 성능검증 실험에서는 R-CNN이 가장 큰 성능저하(training : -1.43%, test : -1.68%)를 보였으며 제안하는 알고리즘은 모델 학습에서 0.02% 하락한 98.11%, test 데이터에 대한 정확도는 0.03% 하락한 98.59%로 가장 적은 성능저하를 보였다. 제안하는 알고리즘은 비교적 적은 데이터와 소규모의 서버에서 적합한 것으로 보여 중소규모의 콘텐츠 서비스의 분석에 용이하게 사용될 것으로 기대된다. 향후 연구로는 제안하는 알고리즘이 대규모의 데이터 분석에서 다른 이미지 라벨 예측 알고리즘과 비교하였을 때 어느 정도의 성능을 보일 수 있는지에 대한 분석을 수행하고 개선할 수 있는 방향에 대해 연구를 수행할 예정이다.