Hierarchical CNN-Based Senary Classification of Steganographic Algorithms

계층적 CNN 기반 스테가노그래피 알고리즘의 6진 분류

Abstract

Image steganalysis is a technique for detecting images with steganographic algorithms applied, called stego images. With state-of-the-art CNN-based steganalysis methods, we can detect stego images with high accuracy, but it is not possible to know which steganographic algorithm is used. Identifying stego images is essential for extracting embedded data. In this paper, as the first step for extracting data from stego images, we propose a hierarchical CNN structure for senary classification of steganographic algorithms. The hierarchical CNN structure consists of multiple CNN networks which are trained to classify each steganographic algorithm and performs binary or ternary classification. Thus, it classifies multiple steganogrphic algorithms hierarchically and stepwise, rather than classifying them at the same time. In experiments of comparing with several conventional methods, including those of classifying multiple steganographic algorithms at the same time, it is verified that using the hierarchical CNN structure can greatly improve the classification accuracy.

1. 서론

스테그아날리시스(Steganalysis)는 텍스트, 사진, 비디오와 같은 멀티미디어 매체에 전달하고자 하는 데이터를 삽입하는 기법인 스테가노그래피(stega-nography)[1]가 적용된 영상을 검출하는 기법이다. 스테그아날리시스는 스테가노그래피의 적용으로 인해 영상에 남은 흔적을 바탕으로 데이터가 삽입된 영상(커버 영상)과 데이터가 삽입되지 않은 영상(스테고 영상)을 분류한다. 초기의 스테그아날리시스 방법은 스테가노그래피의 적용으로 인해 발생한 통계적 수치의 변화를 바탕으로 스테고 영상을 검출하는 RS-analysis[2]와 같은 방법을 사용했다.하지만 스테가노그래피가 검출을 피하기 위해 정교화된 스테가노그래피가 적용된 영상의 데이터 분포는 커버 영상과의 차이가 감소해 상대적으로 검출이 어렵게 되었다. 스테그아날리시스는 정교한 스테가노그래피를 검출하기 위해 방향성을 가지는 고역통과 필터를 이용해 데이터가 주로 삽입되는 고주파 영역의 픽셀을 바탕으로 커버 영상과 스테고 영상을 분류하는 방법을 도입하였다.

최근 스테그아날리시스 기법은 CNN(Convolution Neural Network)기반의 구조를 이용해 스테고 영상을 검출한다. CNN기반의 스테그아날리시스 방법은 일반적으로 전처리계층, 합성곱계층, 완전연결 계층으로 구성된다. 전처리계층은 CNN기반의 방법 이전에 사용되었던 고역통과필터를 이용한 영상의 전처리 방법[3]을 그대로 도입했다. 전처리된 입력 영상은 합성곱계층에서 영상을 작은 커널단위로 순회하면서 각 단계의 특징을 추출한다. 몇 개의 합성 곱 계층을 지난 영상은 1x1의 크기를 가지는 N개의 특징 맵이 된다. 이 특징맵은 완전연결 계층을 통해 각 클래스에 해당하는 확률 값을 도출한다.

스테그아날리시스는 일반적으로 커버영상과 스테고영상을 분류하는 2진 분류 문제이다. 2012년 AlexNet[4] 이후, CNN구조에 대한 다양한 연구가 진행되었다. 그 중 ResNet[5]은 합성곱계층의 입력을 계층의 출력에 다시 더해주는 방법을 이용해 CNN 구조의 분류 성능을 크게 향상시켰다. ResNet의 방법을 도입한 스테그아날리시스[6]에서는 이전까지의 CNN기반 방법에 비해 정교한 스테가노그래피 알고리즘을 훨씬 더 잘 분류하는 결과를 보였고 약 90%에 가까운 평균 분류정확도를 보인다. ResNet은 비교적 간단한 방법으로 네트워크의 성능을 향상시켰지만, ResNet의 구조는 계층의 깊이가 깊어진 만큼 필요한 파라미터의 수가 증가하는 문제가 발생했다. 이후 ResNet의 문제점을 개선한 DenseNet[7], PeleeNet[8]과 같은 방법들은 이전 단계의 특징을 다음 단계로 직접 전달하는 방법을 사용해, 파라미터의 수를 감소시켜 ResNet과 비슷하거나 높은 성능을 유지하면서 더 가벼운 네트워크 구조를 설계했다. Dense Net과 PeleeNet방법을 스테그아날리시스에 적용할 경우 기존의 ResNet기반 방법보다 네트워크 학습효율과 전체적인 분류정확도가 향상될 것으로 기대된다.

기존의 스테그아날리시스 2진 분류는 영상에 적용된 스테가노그래피 알고리즘의 방법에 상관없이 커버 영상과 스테고영상으로 분류하기 때문에 CNN기반의 스테그아날리시스 방법에서 어떠한 스테가노그래피 알고리즘으로 구조를 학습시켰는가에 따라서 스테고 영상을 커버영상으로 예측하는 문제가 발생할 가능성이 있다. 예를 들어 상대적으로 약한 스테가노그래피 알고리즘인 PVD[9]로 학습한 CNN 구조의 경우, 상대적으로 강한 LSB[10]나 WOW[11], S-UNIWARD[12], MIPOD[13] 스테가노그래피 알고리즘을 잘 분류하지 못한다. 따라서 커버영상과 스테고 영상의 2진 분류는 학습한 스테가노그래피 알고리즘에 따라서 분류 정확도의 차이가 발생할 가능성이 있다. 또한 영상을 커버, 스테고로 분류하기 때문에 스테고 영상이 검출된다고 해도 어떠한 스테가노그래피 알고리즘이 적용되었는지 알 수 없다.

스테고 영상으로부터 삽입된 데이터를 검출하기 위해서는 영상에 어떠한 스테가노그래피 알고리즘이 적용되었는지를 분별할 수 있어야 한다. 이를 본위해 본 논문에서는 기존의 스테그아날리시스 분야의 일반적인 문제인 커버영상과 스테고영상 사이의 2진 분류를 넘어서, 커버영상과 여러 스테가노그래피 알고리즘에 의해 생성된 스테고 영상을 분류하기 위한 방법을 제안한다.

유사한 예로, [14]에서는 COVER, WOW, S-UNIWARD의 3진 분류를 위한 구조에 대해 연구했다. [14]의 결과는 3개의 클래스를 분류할 수 있었지만, 단일 CNN네트워크에서 4개 이상의 클래스를 분류할 경우 Overfitting 문제가 발생하여 특정 클래스가 분류되지 않거나, 정확도가 크게 감소하는 문제가 있었다.

[15,17]는 복수의 CNN네트워크를 이용해, 스테가노그래피 알고리즘들의 군을 나누어 5개의 클래스(COVER, LSB, PVD, WOW, S-UNIWARD)를 분류하기 위한 계층적 CNN구조를 제안했다.그 중 [15]에서는 스테가노그래피 알고리즘들의 군을 나누어 분류하는 방법에 ResNet구조를 적용해 [14]와 달리더 많은 수의 클래스를 분류할 수 있었다. 하지만 [15]에서 사용한 스테가노그래피 알고리즘의 군을 나누는 방법은 먼저 커버영상과 스테고영상을 분류하고 스테가노그래피 알고리즘의 삽입방법에 따라 순차 알고리즘(LSB, PVD)과 왜곡 함수를 정의한 알고리즘(WOW, S-UNIWARD)의 군을 나눈 후 하위계층에서 각각의 알고리즘을 분류하는 과정을 가진다. 스테가노그래피 알고리즘들의 군을 나누는 방법은 스테가노그래피 알고리즘들의 군을 나누는 기준을 스테가노그래피 알고리즘들의 상대적인 검출정도를 고려하지 않고 데이터 삽입 방법의 유사함에 따라 결정했기 때문에 분류 성능이 감소할 가능성이 있다.

본 논문에서는 [15]를 개선하고 더 다양한 스테가노그래피 알고리즘을 효과적으로 분류하기 위해 개선된 계층적 CNN구조를 제안한다. 본 논문에서 제안하는 계층적 CNN구조는 COVER, PVD, LSB, WOW, S-UNIWARD, MIPOD를 분류하기 위해 스테가노그래피 알고리즘들을 CNN구조를 통한 상대적인 검출정도에 따라 스테가노그래피 알고리즘의 분류 순서를 결정한다. 예를 들어, 상대적으로 검출이 잘되는 PVD로 학습한 네트워크의 경우, 다른 스테가노그래피 알고리즘 대부분을 커버영상으로 분류한다. 이를 이용해 각 계층에서 특정 알고리즘을 분류하는 방법을 사용한다. 계층적 CNN구조의 성능분석을 위해 제안 방법과 동시분류 방법, 각각의 스테가노그래피 데이터로 학습한 단일 구조를 병렬적으로 배치한 방법의 3가지를 비교했다.실험에 사용한 데이터는 BossBase1.01의 512×512 회색조 영상을 동일한 크기로 4분할해 256×256의 영상을 생성했다. 네트워크의 학습에는 30,000장, 검증에는 10,000장의 영상을 이용해 실험을 진행했다.

2. 실험 설계

2.1 CNN구조의 성능 분석

CNN구조를 스테그아날리시스에 적용한 XuNet[16]이후 많은 방법들에서 CNN기반의 스테그아날리시스 구조를 사용했다. 그 중 [5]을 사용한 스테그아날리시스는 커버, 스테고 2진 분류에 있어서 상당히 높은 분류 정확도를 보였다. 하지만 그 이후의 방법들에 대한 스테그아날리시스에의 적용 연구는 부족한 편이다. 제안 방법에서는 ResNet과 Res Net 이후의 CNN구조인 DenseNet, PeleeNet(Fig.1)을 스테그아날리시스에 적용해 각 구조의 성능을 분석한다. 성능 비교는 커버, 스테고 2진 분류를 진행하는데 스테고 영상은 LSB, PVD, WOW, UNIWARD가 동일한 비율로 구성되어있다.2진 분류를 통해 가장 효과적인 방법을 결정한 후 계층적 구조에 적용한다.

Fig. 1. Shortcut method comparison of ResNet, Dense Net, and PeleeNet.

2.2 계층적 네트워크 구성

스테가노그래피 알고리즘을 분류하기 위해서는 단일 네트워크 보다는 다수의 네트워크를 사용해 분류하는 것이 효과적이다. CNN구조 기반의 스테그아날리시스는 커버, 스테고 2진 분류를 하기 때문에 각 구조에서 학습된 스테가노그래피 알고리즘에 따라 다른 스테가노그래피 알고리즘의 검출 정도가 달라진다. 제안 방법에서는 이러한 특성을 이용해 CNN 네트워크를 계층적으로 구성하여, 복수의 스테가노그래피 알고리즘을 분류하기 위한 구조를 사용한다. 제안 방법의 계층적 구조는 PVD, LSB, UNIWARD, WOW/MIPOD/COVER의 순서로 각 클래스를 분류한다. 각 클래스를 분류하는 순서는 데이터들의 교차검증에 따른 상대적 분류정도를 통해 결정했다. 계층적 구조는 Fig. 2에 나타난 것과 같이 각 계층에서 특정한 스테가노그래피 알고리즘을 분류하는 구조를 가진다. 사용한 계층 네트워크의 수에 따라 3계층부터 5계층까지의 방법을 사용한다. 그중 5계층의 경우 계층적 구조를 사용할 때의 성능 향상보다 계층구조의 오류누적이 더 커져 단일구조의 결과와 비슷하거나 약간 낮은 결과를 보였다.

Fig. 2. Hierarchical CNN structure.

3. 실험 결과

3.1 CNN기반 스테그아날리시스 네트워크 구성

3.1.1 CNN 네트워크 성능 비교

본 절에서는 ResNet, DenseNet, PeleeNet 구조에 따른 분류 성능을 비교한다. 성능의 비교를 위해 커버 영상 30,000장과, 스테고영상을 각 스테가노그래피 별로 6,000장씩 30,000장으로 구성한 후 2진 분류를 수행했다. Table 1은 각각의 네트워크에 따른 분류 결과이다. ResNet의 경우 약 84%의 평균 분류 성능을 보였고, DenseNet은 약 83%로 ResNet보다 오히려 감소한 결과를 보였다.3가지의 방법 중 PeleeNet은 약 86%로 가장 좋은 성능을 보였다. 3.1절의 결과를 바탕으로 6진 분류를 위한 구조에서는 PeleeNet을 기반으로 네트워크를 구성한다.

Table 1. Comparison of classification rates of different CNNs in classifying cover and stego images.

3.1.2 스테가노그래피 알고리즘 교차검증

CNN기반의 스테그아날리시스 네트워크는 학습한 스테가노그래피 알고리즘에 따라서 스테고 영상의 검출 정도가 달라진다. 예를 들어 상대적으로 약한 PVD 스테가노그래피로 학습한 네트워크는 다른 스테가노그래피 알고리즘을 검출하지 못한다. Table 2는 PeleeNet을 각각의 스테가노그래피 데이터로 학습한 후 다른 스테가노그래피 데이터를 검출한 결과이다.

Table 2. Cross validation of each steganographic method using PeleeNet. Table 3. Quinary classification rates.

Table2에서 WOW와 MIPOD을 제외한 우상단의 수치는 대부분 0에 가까운 결과를 보인다.이를 이용해 스테가노그래피를 검출하기 위한 네트워크를 계층적으로 구성하면 효과적으로 스테고 영상을 분류할 수 있다. 제안 방법에서는 PVD, LSB, UNIWARD는 따로 데이터를 분류하고 상대적으로 분류가 잘되지 않는 WOW, MIPOD은 동시에 분류한다.

3.1.3 제안방법과 [15]의 5진 분류 결과 비교

제안 방법은 [15]와 같이 계층적 구조를 가지는 CNN 네트워크를 사용하지만 분류 방법에 있어서 차이가 있다. COVER, LSB, PVD, WOW, S-UNIWARD의 5진 분류를 이용해 제안방법과 [15]의 분류 성능을 분석했다.

Table 3의 결과에서, 제안방법이 [15]의 방법보다 훨씬 높은 분류 정확도를 보인다. 클래스의 수가 증가할수록 평균 분류정확도는 감소하나, [15]의 방법에 비해 제안방법이 복수의 스테가노그래피 알고리즘을 분류하는데 훨씬 효과적이다.

Table 3. Quinary classification rates

3.2 실험 결과 비교

제안 방법의 성능을 분석하기 위해 동시분류 방법과 병렬분류 방법에 대한 실험을 통해 결과를 비교했다. 동시분류의 경우 단일 네트워크에서 6개의 클래스를 모두 동시에 분류하는 방법이고, 계층분류의 경우 여러 개의 단일 네트워크에 각각의 스테가노그래피 알고리즘을 2진 분류로 학습한 후 데이터를 분류했을 때 각 네트워크의 결과 중 최댓값을 가지는 예측을 결과로 사용했다. Table 4는 PeleeNet을 이용해각 스테가노그래피 알고리즘의 2진 분류 결과이다. 계층적 네트워크의 구성은 Table 4의 결과를 바탕으로 각 단계에서 가장 높은 성능을 보이는 네트워크로 변경해가며 결과를 구성한다. 실험에 사용한 데이터는 각 스테가노그래피 알고리즘 별로 학습 30,000장,검증 10,000장을 사용한다.

Table 4. Binary classification rates using PeleeNet.

병렬분류는 각각의 스테가노그래피 알고리즘으로 학습된 복수의 2진 네트워크에서, 영상을 각각의 네트워크를 통해 분류한 후 각 확률값 중 가장 큰 값을 해당 데이터의 예측 클래스로 사용한다(Fig. 3). Table 5에서 병렬분류의 분류 결과는 각 네트워크의 2진 분류 성능에 비해 현저히 낮은 정확도를 보인다. Table 6에서 각 데이터의 분류 결과를 분석했을 때, 많은 수의 데이터가 커버영상으로 분류되었음을 볼 수 있다. 결과적으로 병렬분류는 각각의 네트워크에 따라서 커버, 스테고의 분류 성능이 달라지기 때문에 복수의 스테가노그래피 알고리즘 분류에는 적절하지 않다.

Fig. 3. Parallel classification method.

Table 5. Senary classification rates of the parallel classification method using PeleeNet.

Table 6. Detailed analysis of the parallel classification method using PeleeNet.

Table 7은 6개의 클래스를 단일 CNN 네트워크에서 분류한 결과이다(Fig. 4).동시분류의 결과는 병렬분류의 분류정확도보다는 상당히 상승된 결과를 보인다. 하지만 각 스테가노그래피 알고리즘의 2진 분류 성능에 비교해볼 때, 스테고 영상의 분류정확도가 크게 감소하고 특히, LSB의 분류정확도는 크게 감소한 것을 알 수 있다. 동시분류 방법의 경우 단일 네트워크에서 스테고 영상들 사이의 미소한 차이를 분별해야 하기 때문에 기존의 2진 분류에 비해 분류정확도가 감소한 결과를 보인다.

Table 7. Classification rates when classifying six classes using a single CNN.

Fig. 4. Classifying six classes using a single CNN.

Table 8은 계층분류의 분류 결과이다. 계층분류는 복수의 네트워크를 이용해 스테가노그래피 알고리즘을 계층적으로 분류하는 구조이다(Fig. 5). 각 계층에서 타겟 스테고영상을 분류한 후 마지막 계층에서 커버 영상과 남은 스테고영상을 분류한다. 계층분류는 계층의 수에 따라 3계층, 4계층으로 나뉜다. Table 9는 각 계층을 구성하는 네트워크를 의미한다. 네트워크의 구성 중 Pelee10은 Pelee구조에서 전처리 필터의 수를 10개로 증가시킨 것이고, Resnet_pre는 Resnet구조에서 Conv계층의 순서를 Conv, ReLU, BN에서 BN, ReLU, Conv으로 변경한 것을 의미한다. LSB의 경우 PeleeNet보다 ResNet에서 더 높은 성능을 보여 3계층과 4계층에서 ResNet을 사용했다. 4계층분류는 PVD, LSB, UNIWARD의 순서로 스테고영상을 분류하고 최하위 계층에서 COVER, WOW, MIPOD을 분류한다.3계층분류는 PVD, LSB를 분류하고 최하위 계층에서 COVER, WOW, UNIWARD, MIPOD을 분류한다. 4계층분류와 3계층분류 모두 동시 분류 방법에 비해 전체적인 분류정확도가 상승했다. 특히 3계층분류의 경우 동시분류 방법에 비해 약 3%에 가까운 평균 정확도가 상승했다. 4계층분류와 3계층분류의 결과를 비교분석해보면 3계층 분류의 성능이 오히려 높은 것을 알 수 있다.이는 계층의 수의 증가에 따른 오류의 누적으로 인해 발생한 것으로 보인다.

Table 8. Classification rates when classifying six classes using hierarchical CNNs.

Fig. 5. Classifying six classes using hierarchical CNNs.

Table 9. Network configuration of the hierarchical CNN structure.

계층분류는 동시분류 방법과 달리 각 계층에서 분류하려는 스테가노그래피 알고리즘에서 높은 성능을 보이는 구조를 사용하고, 복수의 네트워크를 사용하기 때문에 스테가노그래피 알고리즘을 분류하기 위한 네트워크의 파라미터의 복잡성을 줄일 수 있다. 계층분류는 계층의 수에 따른 오류가 증가할 수 있으나 일반적으로 동시분류 방법에 비해 더 효과적으로 스테가노그래피 알고리즘들을 분류할 수 있다.

4. 결론

계층적 CNN구조는 복수의 스테가노그래피 알고리즘을 분류하기 위해 CNN 네트워크를 계층적으로 구성한 방법이다. 스테가노그래피 알고리즘의 분류는 기존의 스테그아날리시스에서 커버, 스테고의 2진 분류의 문제점을 개선하고 검출된 스테고영상으로부터 삽입된 데이터를 검출하기 위한 첫 단계이다. 복수의 스테가노그래피 알고리즘을 분류하기 위해서 6개의 클래스를 계층 구조의2진 분류, 동시에 분류하는 동시 분류와 결과를 비교했다. 동시분류 방법이 평균 78%정도로 스테고 영상들을 분류하기는 했지만 기존의 2진 분류 방법에 비해 분류정확도가 크게 감소하는 것에 비해 계층분류 방법은 스테고 영상을 분류하기 위한 네트워크의 복잡도를 다수의 네트워크를 계층적으로 구성해 감소시켜 평균 81%의 정확도로 동시분류 방법에 비해 3%정도 상승된 결과를 얻었다. 계층적 CNN구조 기반의 스테그아날리시스는 기존 단일 CNN구조 기반의 스테그아날리시스의 커버, 스테고 2진 분류에서 발생할 수 있는 스테고알고리즘의 구분 불가한 문제를 해결하고 이전의 계층적 방법과 달리 스테가노그래피 알고리즘들의 상대적인 검출 정도를 이용해 분류 순서를 결정함으로써 구조의 전체적인 성능을 향상시킬 수 있었다.