HEVC 기반의 실감형 콘텐츠 실시간 저작권 보호 기법

Real-Time Copyright Security Scheme of Immersive Content based on HEVC

Abstract

본 논문에서는 HEVC(High Efficiency Video Coding) 기반의 실감형 콘텐츠에 대한 실시간 스트리밍 저작권 보호 기법을 제안한다. 기존의 연구는 저작권 사전 보호와 저작권 사후 보호를 위해 암호화와 모듈러 연산을 사용하기 때문에 초고해상도의 영상에서 지연이 발생한다. 제안하는 기법은 HEVC의 CABAC 코덱만으로 스레드풀 기반에서 DRM 패키징을 하고 GPU 기반에서 고속 비트 연산(XOR)을 사용하여 병렬화를 극대화하므로 실시간 저작권 보호가 가능하다. 이 기법은 세 가지의 해상도에서 기존 연구와 비교한 결과 PSNR은 평균 8배 높은 성능을 보였고, 프로세스 속도는 평균 18배의 차이를 보였다. 그리고 포렌식마크의 강인성을 비교한 결과 재압축 공격에서 27배 차이를 보이며, 필터 및 노이즈 공격에서는 8배 차이를 보였다.

In this paper, we propose a copyright protection scheme for real-time streaming of HEVC(High Efficiency Video Coding) based realistic content. Previous research uses encryption and modular operation for copyright pre-protection and copyright post-protection, which causes delays in ultra high resolution video. The proposed scheme maximizes parallelism by using thread pool based DRM(Digital Rights Management) packaging with only HEVC's CABAC(Context Adaptive Binary Arithmetic Coding) codec and GPU based high-speed bit operation(XOR), thus enabling real-time copyright protection. As a result of comparing this scheme with previous research at three resolutions, PSNR showed an average of 8 times higher performance, and the process speed showed an average of 18 times difference. In addition, as a result of comparing the robustness of the forensic mark, the filter and noise attack, which showed the largest and smallest difference, with a 27-fold difference in recompression attacks, showed an 8-fold difference.

Ⅰ. 서론

실감형 콘텐츠는 K-ICT 표준화 전략맵에서 ‘ICT를 기반으로 인간의 감각과 인지를 유발하여 실제와 유사한 경험 및 감성을 확장하는 기술’로 정의하고 있으며, 오락, 문화, 방송, 교육, 국방, 의료 등 다양한 분야에서 보고, 듣고, 만지고, 공감할 수 있는 체험형 콘텐츠로도 설명한다[1]. 이러한 콘텐츠에서 사용자가 이질감을 느끼지 않을 정도의 몰입형 경험을 제공하려면 UHD(Ultra High Definition) 이상의 초고해상도가 필요하다. 초고해상도의 비디오 콘텐츠들은 기존의 영상에 비해 수배 혹은 수십 배에 달하는 데이터량 때문에 초고화질 실시간 서비스 구현을 위해서는 데이터 통신 트래픽 증가 및 저장공 간의 문제가 해결되어야 한다. 이러한 문제를 해결하고자 등장한 것이 HEVC(High Efficiency Video Coding)이다[2,3].

HEVC는 2013년 1월에 ITU-T(International Telecommunication Union Telecommunication Standardization Sector)의 Video Coding Experts Group과 Moving Picture Experts Group이 공동으로 개발한 차세대 압축 기술 표준이다. HEVC는 AVC (Advanced Video Coding)의 후속 표준 기술로 병렬 프로세싱을 제공하고, AVC 대비 최대 50% 이상의 압축률을 보인다[4]. JCT-VC(Joint Collaborative Team on Video Coding)은 이러한 표준 기술을 빠르게 보급하기 위해 라이센스 정책을 완화하였고 이로 인해 4K와 8K 같은 UHD 스트리밍 시장이 급격히 성장하였다. 하 지만, 최근 디지털화된 콘텐츠는 저작자의 의도와는 상관없이 얼마든지 원본의 콘텐츠가 쉽게 복제되고 조작될 수 있다. 이러한 디지털 콘텐츠의 불법 조작을 막기 위해 저작권 보호기술이 필요하다[5,6]. 과거에는 저작권 침해 탐지 및 예방을 위한 사전 차단 기술에 초점을 두었지만, 최근에는 불법으로 유포된 이후 이를 추적하는 사후 차단 기술까지 중점을 두고 있다. 사전 차단 기술 중 하 나인 DRM(Digital Rights Management) 패키징은 디지털 콘텐츠를 암호화하고 허가된 사용자만이 콘텐츠를 이용할 수 있도록 통제한다[7]. 사후 차단 기술 중 하나인 포렌식마킹은 저작권자 정보뿐만 아니라 구매자의 정보까지 삽입하고 해당 콘텐츠가 불법 유통되었을 경우 포렌식마크를 추출하여 불법 배포가 누구에게서 시작됐는지 추적이 가능하다[8]. HEVC 기반의 콘텐츠에 적용된 저작권 보호 연구도 다양하게 존재한다[9-13]. 기존의 연구 중 Dawen등이 제안한 기법은 특정 QTC (Quantized Transform Coefficient) 수정 방법을 사용하여 데이터를 임베딩하고 인베딩된 값에 영향을 주지 않으면서 비디오에 왜곡을 시킬 수 있는 QTC, Motion Vector Difference(MVD) 그리고 Intra Prediction Mode(IPM)계수들을 스트림 암호화 방식으로 암호화한다. 이는 숨겨진 정보를 암호화된 도메인과 해독된 도메인 모두에서 추출이 가능한 장점이 있다. 하지만, 인코딩된 콘텐츠에 데이터를 삽입하기 위해서는 전체 과정에 대한 디코딩과 재인코딩 과정이 소요되어 대용량 고화질의 콘텐츠에 저작권 보호를 실시간으로 제공하기 어렵다[9].

본 논문에서는 UHD 실감형 콘텐츠의 저작권을 보호를 실시간으로 처리 가능한 DRM패키징 기법과 포렌식 마킹 기법을 제안한다. 저작권 침해 사전 차단을 위한 DRM 패키징은 스레드풀 기반의 병렬구조로 정보은닉 연산을 처리하고 저작권 침해 사후 차단을 위한 포렌식마킹은 GPU(Graphics Processing Unit) 멀티코어 기반에서 CABAC(Context Adaptive Binary Arithmetic Coding) 코덱만을 이용하여 병렬구조로 포렌식마크를 삽입한다. 이로 인해 실시간 스트리밍에서 UHD 실감형 콘텐츠의 저작권 보호가 가능하다.

Ⅱ. 관련 연구

1. Dawen’s Scheme

Dawen등에서 제안된 방식은 선택적 암호화와 데이터 임베딩의 두 부분으로 구성된다[9]. 선택적 암호화는 QTC, MVD, IPM 세 가지 정보를 암호화한다. QTC 영역에서 0이 아닌 부분은 영상정보의 민감한 정보를 나타낸다. Dawen등은 해당 정보를 스트림 암호 알고리즘을 사용하여 암호화한다. 스트림 암호화는 식 (1)과 같이 XOR 연산을 통해 PRNG(pseudorandom number generator)에서 발급된 비트의 비밀키 스트림과 QTC 비트를 결합한다.

\(C_{i}=Q T C_{i} \oplus K e y_{i}\)       (1)

MVD는 HEVC 인코딩 모드 중 랜덤 액세스 모드에서 중요한 역할을 한다. 랜덤 액세스 모드는 B와 P 프레임으로 구성되어 이웃 프레임 간의 강한 연관성을 갖는다. HEVC에서는 AMVP(Advanced Motion Vector Prediction)가 사용되며, 여기에서 모션벡터 예측을 위한 여러 후보가 공간 및 시간적 이웃 프레임으로부터 결정된다. MVD의 암호화는 QTC 암호화와 같은 방법으로 전체를 암호화한다. IPM의 계수는 33개의 각도 예측 모드와 평면 및 DC 예측 모드를 포함하여 총 35개의 방향성을 사용한다. 인코딩 과정에서 IPM은 압축률이 가장 높은 방향성을 선택한다. 따라서 모든 CU가 같은 방향성 을 가질 수 없다. 그런데 XOR 연산을 이용한 스트림 암호를 사용할 경우 암호화된 상태에서 인코더와 디코더 사이에 불일치가 발생하게 된다. 이를 해결하고자 Dawen등은 방향성을 식 (2)와 같이 4그룹으로 나누어 같은 각각 다른 암호화를 적용하는 기법을 제안하였다.

\(\begin{array}{l} G_{1}=2,3,4,5,15,16,17,18,19,20,21,31,32,33,34 \\ G_{2}=22,23,24,25,27,28,29,30 \\ G_{3}=6,7,8,9,11,12,13,14 \\ G_{4}=0,1,10,26 \end{array}\)       (2)

적용된 암호화 기법은 식 (3)과 같이 모듈러 연산을 사용하였다. R_n은 식 (2)의 방향성 그룹의 인덱스 값을 나타내고 Ix는 방향성의 값을 나타낸다.

\(\begin{array}{l} G_{1}: R_{n}=\left(I x_{1} \%\left(R_{n} \% 15\right)\right) \% 15 \\ G_{2}: R_{n}=\left(I x_{2} \%\left(R_{n} \%\right)\right) \% 8 \\ G_{3}: R_{n}=\left(I x_{3} \%\left(R_{u} \%\right)\right) \%_{0} \\ G_{4}: \text { No Encryption } \end{array}\)       (3)

Dawen 등이 제안한 데이터 임베딩 방식은 CABAC의 특정 QTC 수정 기반 알고리즘이다. 데이터 임베딩은 암호화와 완전히 분리되어 동작할 수 있도록 Coefficient Absolute Level Remaining 값만을 참조한다. CABAC 인코딩 과정 중 QTC는 정규 코딩 모드에서 확률모델에 따라 계속 변형되지만, 우회코딩은 같은 확률모델을 사용하므로 고정된 변형을 한다. Coefficient Absolute Level Remaining 값은 우회 코딩에서만 사용되고 영상 복호화를 위한 정보 중 하나인 absCoeffLevel을 계산하기 위해 사용된다. 우회 코딩 값만을 참조하여 임베딩하기 때문에 QTC에 미치는 영향이 적고 화면의 시각적 왜곡이 낮다. 또한, 데이터 임베딩 후에 용량의 변화를 최소한으로 줄이기 위해 식 (4)와 같이 모듈로 연산을 이용하였다.

\(\begin{aligned} &E=\{e(i) \mid i=1,2, \ldots, K, e(i) \in\{0,1\}\}\\ &=\left[\begin{array}{c} \text { abs CoeffLevel ife }_{i}=0 \text { coeff_abs_level_remining } \% 2=0 \\ \text { abs Coeff Level }-1 \text { if } e_{i}=0 \text { coeff_abs_level_remining } \% 2=1 \\ \text { abs CoeffLevel ife }_{i}=1 \text { coeff_abs_level_remining } \% 2=1 \\ \text { abs Coeff Level }+1 \text { i f } e_{i}=1 \text { coeff_abs_level_remining } \% 2=0 \end{array}\right] \end{aligned}\)       (4)

식 (4)에서 E는 임베딩할 바이너리 데이터값이다. 수정되는 QTC는 P 프레임 내에서만 구현되고 I 프레임에 서 그대로 유지된다. I 프레임은 비디오 신호에 중요하므로 데이터 임베딩으로 인해 I 프레임에서 왜곡 발생하면 문제가 된다. P 프레임은 모션 보상 및 엔트로피 코딩을 사용하여 고도로 압축되기 때문에 용량이 적어 일반적으로 임베딩에 많이 사용된다.

Ⅲ. 제안하는 실시간 저작권 보호 기법

HEVC의 높은 연산복잡도 때문에 HEVC로 압축된 초고화질 콘텐츠가 실시간 스트리밍에서 저작권 보호를 할 수 없었던 문제를 해결하기 위해 본 논문에서 CPU와 GPU의 상호작용을 통해 병렬성을 확대했다.

1. 스레드풀 기반의 DRM 패키징

제안된 사전 차단 기술은 기존 표준 암호화 기반 암호화 및 복호화 기술을 사용하여 실감형 콘텐츠를 패키징하는 대신 콘텐츠 관리 시스템에 등록된 HEVC 코덱을 기반으로 대용량 영상 데이터를 효율적으로 패키징한다. 그림 1과 같이 제안한 DRM 패키징의 전체 프로세스는 패키징과 라이센스 관리의 두 부분으로 나뉜다.

그림 1. 제안된 DRM 패키징과 라이센스 관리 정책

Fig. 1. Proposed DRM Packaging and License Management Policy

그림 2에서 보는 바와 같이 DRM 패키징 서버에서 실시간 패키징을 위해 PRN-Based SFPT(Pseudo Random Number-Based Selective Frame Packaging Technique)을 적용하고 이를 스레드풀 기반에서 병렬화 연산을 한다. 이는 영상 내 모든 프레임에 대한 DRM 패키징을 적용하는 것과 달리 DRM 패키징을 수행할 프레임을 선택하여 패키징을 수행함으로써 패키징 적용이 안 된 일반 프레임의 유출 시, 기존의 고화질의 실감형 콘텐츠가 아닌 저화질의 실감형 콘텐츠를 시청하기 때문에 고화질의 실감형 콘텐츠 원본은 시청할 수 없게 되는 장점이 존재한다. 제안된 기법은 HEVC에서 참조프레임 을 가지지 않는 I 프레임을 선택하여 GOP(Group Of Picture) 단위로 CUDA(Compute Unified Device Architecture) 코어에 할당하여 GPU에서 병렬처리를 한다. 병렬처리를 할 수 없는 GOP 구조 파싱은 CUP에서 처리하고 처리된 GOP는 스레드풀 구조와 같이 GPU의 VRAM(Video Random Access Memory))에 미리 GOP 단위 작업을 할당해 놓는다. 그리고 CUDA 코어의 스레드에게 태스크을 할당한다. 태스크를 다 처리한 스레드들은 다시 VRAM에게 결과 값을 전달한다.

\(\begin{array}{l} H(\text { DRMmeta }) =H(\text { IDType\|...||metaTypel|metaSize) } \end{array}\)       (5)

그림 2.제안된 스레드풀 기반의 DRM 패키징 구조

Fig. 2. Proposed thread pool based DRM packaging scheme

삽입 알고리즘은 그림 3의 CABAC 디코딩 후계수 양자화 변환과정을 거쳐서 나온 QTC (L,L)영역의 계수들과 식 (5)와 같이 DRM메타데이터를 해시 연산하여 얻은 다이제스트 값을 XOR 연산한다. DRM 패키징 과정에서 DRM 패키징 키(H(DRMmeta))를 관리하는 데이터베이스에게 키 정보를 전달하는 것으로 DRM 패키징의 모든 과정은 종료되고, 구독자의 요청에 따라 DRM 라이선스 Proxy 서버를 통해 사용자 인증과 권한 정보를 확인 후 해당하는 실감형 콘텐츠에 대한 DRM 언패키징 키 정보를 제공하면, 구독자 단말 장비에서 이를 이용하여 언패 키징 작업을 수행하여 구독자에게 실감형 콘텐츠를 보여주게 된다. 실감형 콘텐츠에 대한 DRM 패키징을 수행하기 위해 DRMmeta내 해당 콘텐츠의 멀티캐스트용 채널 ID를 미리 지정하여 탑재한 후, 이에 대한 정보를 DRM 패키징 키 정보로 전송하기 때문에 그룹 및 채널 관리를 DRM 라이선스 Proxy 서버 내에서 독립적으로 운영하더라도 별도의 문제가 발생하지 않게 된다.

그림 3. 주파수 특성 기반 QTC 서브블록

Fig. 3. QTC sub-block based on frequency characteristics

2. GPU 멀티코어 기반의 포렌식마킹

제안된 사후 차단 기술은 그림 5와 같이 HEVC의 CABAC 병렬도구인 Tile을 이용하여 GPU CUDA코어 기반에서 처리되며, 포렌식마크 비트스트림의 n-bits와 키 기반의 의사난수 n-bits를 XOR 연산하여 삽입한다.

그림 5. 주파수 특성 기반 QTC 서브블록

Fig. 5. QTC sub-block based on frequency characteristics

포렌식마크 정보는 불법 유포 시 추적을 할 수 있도록 해당 구매자의 고유정보로 만든다. 이 정보들은 구매자마다 다르게 두기 위해 그림 4와 같이 해시함수를 통해 256비트의 서로 다른 비트 스트림을 생성하고 구매자가 임의로 변경할 수 없으며 다운로드 시에 관리자에 의해서만 통제된다

그림 4. 포렌식마크 생성 프로세스

Fig. 4. Forensic Mark Generation Process

삽입 과정은 화면 내 병렬화 삽입과 화면 간 병렬화 삽입 두 단계로 나누어진다. 화면 내 병렬화 삽입은 입력되는 콘텐츠의 I 프레임을 Tile 단위로 분할하여 CUDA 스레드에 할당한다. 이와 동시에 CPU는 화면 간 병렬화 삽입을 위해 화면 간 예측함수에서 시간적 상관도가 높은 CU 정보를 고려하여 문맥 모델을 미리 선택한다. 사전에 계산된 문맥 모델을 이용하여 CABAC에서 화면 간 병렬 처리가 가능하므로 시간적 상관도가 높은 B와 P 프레임을 CUDA의 스레드에 할당하여 삽입한다.

화면 내 삽입과 화면 간 삽입으로 모든 프레임에 포렌 식마크가 삽입됨으로써 일부 프레임이 제거되어도 원본 포렌식마크를 추출이 가능하다. 삽입 연산은 포렌식마크 생성기에서 생성되는 비트스트림의 정보를 전달받아 XOR 연산을 통해 QTC 계수에 삽입한다. 연산되는 QTC 계수는 비가시성을 높이고 포렌식마크를 영상 전체에 균등하게 삽입하기 위해서 루마 영역의 32x32 QTC 중 zero 값을 갖는 비트이다.

원본 콘텐츠 복원 모듈은 그림 6과 같이 포렌식마크가 삽입된 콘텐츠를 입력으로 받아 삽입 단계와 동일하게 QTC 계수에 접근한다. 포렌식마크 관리 데이터베이스에 저장되어있는 포렌식마크 비트스트림과 포렌식마크가 삽입된 QTC 계수를 XOR 연산하여 원래의 QTC 계수를 복원하고, 복원된 QTC 계수와 포렌식마크가 삽입된 QTC 계수를 XOR 연산하여 포렌식마크를 추출한다. 유출된 콘텐츠의 경우 해당 과정을 통해 최초 유포자에 대한 추적이 가능하다.

그림 6. 포렌식마크 추출과 원본 콘텐츠 복원 구조

Fig. 6. Forensic Mark Extraction and Content Reconstruction scheme

Ⅳ. 실험 및 결과

본 논문에서 제안한 HEVC 기반의 실감형 콘텐츠 실시간 스트리밍 저작권 보호 기법의 성능을 평가하기 위해 다양한 척도로 실험하였다. 실험에 사용된 실감형 콘텐츠는 FullHD (1080p60FPS), 4K60FPS, 8K60FPS의 360도 영상이다.

1. 최대 신호 대 잡음비

본 실험에서는 영상의 품질을 정량적으로 평가하기 위해 PSNR(Peak Signal to Noise Ratio)을 비교하였다. 일반적으로 사람이 판단했을 때 차이가 없다고 느낄 때 PSNR은 30dB이상을 나타낸다. 표 1은 Dawen등의 기법과 제안한 기법 간의 PSNR을 비교한 것이다. 원본 영상과 암호화된 영상 간의 PSNR은 Dawen등의 기법에서는 평균 8.372dB이지만, 제안한 기법에서는 평균 1.877dB 수치를 보인다. 제안된 기법에서 암호화는 DRM 패키징에 해당하며 기존의 방법보다 약 8배의 차이가 나타난다. 그리고 원본영상과 복호화된 영상 간의 PSNR은 Dawen등의 기법에서는 평균 39dB로 완벽한 복원이 되지 않지만, 제안된 기법에서는 0dB로 완벽한 복원 가능하다.

표 1. 해상도별 암호화 및 복호화 영상의 PSNR 비교

Table 1. Comparison of PSNR of encrypted and decrypted video by resolution

Dawen등에서 제안한 기법은 데이터 임베딩과 암호화를 병렬로 두기 위해서 영상 왜곡에 영향을 많이 주는 I 프레임은 제외하고 P 프레임만을 대상으로 수행된다. 그리고 QTC 정보 이외의 값들도 암호화한다. QTC는 CABAC코덱에 의해 입력과 출력이 되는 정보로 무손실이지만, 다른 정보들은 인코딩과 디코딩과정에서 손실이 발생할 수 있다. 따라서 암호화가 완벽히 복호화되지 않는다. 하지만 본 논문에서 제안된 기법은 I 프레임만을 대상으로 하고 QTC의 영역만을 DRM 패키징하기 때문에 암호화했을 때 왜곡이 크며 복호화가 완벽히 이루어진다.

2. 프로세스 속도

그림 7은 Dawen등의 기법과 제안된 기법 간의 전체 프로세스 속도를 비교한 것이다.

그림 7. 제안된 시스템과 Dawen등의 시스템 프로세스 속도 비교

Fig. 7. Process speed comparison between the proposed scheme and Dawen's scheme

8K에서는 21배의 차이로 가장 크고 4K에서는 16배, FullHD에서는 19배 차이를 나타낸다. 기존 Dawen등의 기법은 인코딩 과정에서 암호화와 데이터 임베딩이 되므로 인코딩된 콘텐츠의 데이터에 접근하기 위해서는 전체 과정에 대한 디코딩과 재인코딩 과정이 소요되어 대용량 고화질의 콘텐츠에 저작권 보호를 실시간으로 처리하지 못한다. 하지만 제안된 기법은 HEVC의 CABAC코덱만 을 이용하고 GPU의 멀티코어를 활용하여 대규모 병렬처리를 하므로 실시간 저작권 보호가 가능하다.

3. 강인성 평가

디지털 콘텐츠가 불법으로 유포되거나 복제되었을 때 콘텐츠에 삽입되어 있는 정보로 해당 유포자를 추적할 수 있다. 따라서 콘텐츠에 삽입된 정보는 어떠한 공격에도 변형이 되어서는 안 된다. 이를 평가하기 위한 지표로 강인성 테스트를 한다. 표 2는 4가지 공격에 대하여 Dawen등의 기법과 제안된 기법 간의 강인성을 비교한 것이다.

표 2. 제안된 시스템과 Dawen등의 시스템 간의 강인성 비교

Table 2. Robustness comparison between the proposed scheme and Dawen's scheme

실험한 결과 재압축 공격에서 약 27배 차이로 가장 크고, 회전 공격에서 약 16배, 노이즈 및 필터 공격에서 약 8배 차이가 나타난다. Dawen등의 기법은 영상에 공격을 받으면 인코딩에서 일부 Intra 4×4 매크로블록이 Intra 16x16로 변경될 수 있어 16×16 디코더가 동기화를 잃게 된다. 하지만 제안된 기법은 데이터를 삽입할 때 전체 과정에 대한 디코딩과 재인코딩을 사용하지 않고 CABAC코덱만으로 삽입하기 때문에 영상의 공격에도 포렌식마크를 유지가 가능하다.

Ⅴ. 결론

본 논문에서는 HEVC 실감형 콘텐츠에 대해 실시간 스트리밍이 가능한 저작권 보호기술을 제안한다. 제안된 기법은 실시간 저작권 사전 차단을 위해 스레드풀 기반으로 DRM 패키징을 병렬화하여 기존의 단순 암호화 기법보다 PSNR이 약 8배 차이를 보였다. 그리고 저작권 침해 사후 차단을 위한 GPU 기반의 포렌식마킹은 기존의 모듈러 연산의 데이터 임베딩보다 강인성이 27배로 높은 성능을 가진다. 향후 콘텐츠 제작 디바이스들이 고성능화될수록 콘텐츠는 대용량 고화질로 제작될 것이다. 이에 따라 1인 미디어 및 방송 관계자들은 제안된 저작권 보호기술을 통해 실시간에서도 그들의 권익을 보호할 수 있게 된다.