도메인 변환 및 H.265/HEVC를 이용한 디지털 홀로그램 비디오의 압축효율에 대한 연구

A Study on the Compression Efficiency of a Digital Hologram Video using Domain Transforms and H.265/HEVC

Abstract

최근 거의 완벽한 3차원 영상정보를 갖고 있는 디지털 홀로그램에 대한 연구가 활발히 이루어지고 있어 조만간 디지털 홀로그램의 서비스가 시작될 것으로 보인다. 따라서 본 논문에서는 이 서비스에 사용될 수 있는 디지털 홀로그램 동영상을 압축하는 기술을 제안한다. 이 방법은 가장 최근에 국제표준으로 제정된 2차원 동영상 압축 기술인 H.265/HEVC를 사용하는데, 디지털 홀로그램의 화소 간 상관성을 높이기 위하여 도메인 변환 방법을 사용한다. 또한 압축효율을 높이기 위해 H.265/HEVC의 다양한 압축 파라미터들을 고려한다. 본 논문의 목적은 다양한 도메인 변환 방법, 도메인 변환 단위, 압축 파라미터들 중 가장 압축효율이 좋은 최적의 압축조건을 실험을 통하여 구하는 것이다. 이렇게 구해진 조건을 만족하는 압축방법을 기존의 방법들과 비교하여 본 논문에서 제시하는 방법의 우수성을 보인다.

Recently, many researches on digital holograms, which retain almost perfect 3 dimensional image information, have been performed actively that it seems for them to be serviced soon. Accordingly, this paper proposes a data compression technique for a digital hologram video for this service. It uses H.265/HEVC, the most recent international 2 dimensional video compression standard, for which we consider various domain transform methods to increase the correlation among the pixels in a digital hologram. Also we consider the various parameters on H.265/HEVC. The purpose of this paper is to find empirically the optimal condition for the domain transform method, the size of transform unit, and the H.265/HEVC parameters. The proposed method satisfying the optimal parameter set found is compared to the existing methods to prove that ours shows better performance.

Ⅰ. 서 론

2009년 말, 3D영화 ‘아바타’의 상영으로 실감영상에 대한 욕구가 또다시 촉발되었으며, 과거와는 달리 이 사건은 대중들이 더 높은 실감성을 요구하는 계기가 되었다[1]. 이에 안경식 스테레오스코픽(stereoscopic) 영상의 안경착용의 불편함과 시점의 제한을 극복하고자 무안경식 다시점(multiple viewpoints) 영상이 연구되어 왔으나[2], 시점변환의 부자연스러움, 무안경식 3D영상의 어지러움, 다시점을 위한 해상도 등의 문제를 여전히 완전히 해결하지 못하고 있다. 따라서 1940년대부터 꾸준히 연구되어온 홀로그램(hologram)에 대한 관심도가 최근 급상승하고 있다.

홀로그램은 물체에서 반사되는 광파(물체파, object wave)에 기준이 되는 광파(기준파, reference wave)를 간섭시켜 그 결과로 발생되는 프린지 패턴(fringe pattern)들로 구성되며, 이 프린지 패턴을 디지털 데이터로 획득한 것이 디지털 홀로그램(digital hologram, DH)이다. 따라서 홀로그램은 2D 데이터이지만 물체파와 기준파의 위상차이로 물체까지의 거리정보를 포함하는 3D 데이터이다[3]. 이 홀로그램에 기준파를 조사하면 원 위치에 원 물체 영상이 재현된다. 따라서 홀로그램 영상은, 시야각의 제약은 있지만, 3차원 영상을 디스플레이하기 때문에 궁극적인 3D영상으로 간주되고 있으며, 최근 국내에서도 2020년 상용화를 목표로 범정부차원의 국책과제를 진행하고 있다[4].

지금까지의 홀로그램 또는 DH에 대한 연구는 홀로그램을 획득 또는 생성하는 분야와 홀로그램 영상을 디스플레이하는 분야에 집중되어 왔고, 홀로그램을 서비스하기 위한 분야에는 상대적으로 적은 연구만 진행되어왔다. 본 논문의 목적이 DH를 서비스하기 위한 압축부호화에 대한 것이기 때문에 여기서는 이 분야의 기존연구만을 소개한다. Yoshikawa 등은 DH를 복원한 영상의 해상도가 인간의 시각시스템에 비해 너무 높기 때문에 DH의 해상도를 줄이고, 대신에 영상을 복원할 때 보간법 등을 이용하도록 정보량을 줄이는 방법을 제안하였다[5][6]. 또한 DH를 다수개의 1차원적 segment로 나누고 각각에 이산코사인변환(discrete cosine transform, DCT)을 수행하여 동영상 압축 표준인 MPEG-1과 MPEG-2로 압축한 방법들이 제안되었다[7][8]. Javidi 등은 DH를 무 손실 부호화 방식으로 압축하는 방법[9]을 제안하였고, 무손실부호화 방식을 손실부호화 기술과 결합한 형태의 기술[10]도 제안하였다. 이 팀에서는 또한 실시간 전송을 위해서 비트 패킹 동작에 의한 복소수 스트림을 양자화하는 압축방식[11]을 제안하기도 하였다.

DH의 압축에 다양한 디지털 신호처리 기술을 사용한 방법들도 제안되었다. DH를 분할하고 각 부분DH를 상관성이 높은 정보로 DCT 또는 이산웨이블릿변환(discrete wavelet transform, DWT)한 후 변환된 부분DH를 시퀀스(sequence)로 만들어 MPEG2 또는 MPEG4 H.264/AVC의 손실압축과 ZIP 등의 무손실압축을 혼용한 압축방식[12]을 제안하였으며, DH 비디오를 대상으로 DCT 또는 DWT된 부분DH를 압축효율이 최적이 되도록 시퀀싱하는 방법[13]을 제안하기도 하였다. 또한 DCT 변환된 부분DH 영상을 집적영상(integrated image)으로 만들어 그 결과를 MPEG2로 압축하는 방법[14]을 제안하기도 하였다. DH를 부분DH로 분할한 후 그 결과를 DCT 변환하고, 그 결과를 1차원으로 시퀀스를 만들어 motion-compensated temporal filtering (MCTF) 방법으로 압축하는 방법[15], Mallat-tree 기반의 DWT와 Bandelet 변환을 사용하여 프린지 패턴의 방향성에 따라 압축을 수행한 방법[16]이 제안되었다. Liebling 등은 DH를 프레넬 변환(Fresnel transform, FT)과 웨이블릿(wavelet) 변환을 결합하여 다해상도 영상으로 분해하는 프레넬릿(Fresenelet) 변환(FLT)방법을 제안[17]하였는데, [18]에서는 이 프레넬릿 변환된 각 부대역을 양자화하는 양자화기를 설계하여 압축하는 방법을 제안하였다.

본 논문에서도 [13]~[16], [17]과 비슷하게 DH 비디오를 도메인 변환하고 그 결과를 2차원 동영상 압축 기술로 압축하는 방법을 다룬다. 도메인 변환으로는 DCT([13][14]에서 DCT가 DWT보다 압축효율이 좋은 결과를 보였으므로 여기서는 DCT만 고려함), FT, 그리고 FLT를 고려하며, 2차원 비디오 압축 기술은 가장 최근에 국제표준으로 제정된 H.265/HEVC(high efficient video coding)[19]를 사용한다. 본 논문의 목적은 DCT, FT, FLT 중 압축효율이 가장 좋은 도메인 변환과 그 변환 파라미터 및 압축 파라미터들을 찾는 것이다. 본 논문에서 사용하는 도메인 변환 파라미터들은 DCT와 FT는 부분DH의 크기, FLT는 변환 레벨(level)이며, 압축 파라미터는 HEVC 압축 파라미터들이다.

본 논문은 다음과 같이 구성된다. 2장에서는 본 논문에서 사용하는 DH의 도메인 변환들을 설명하고 3장에서는 이 도메인 변환을 이용한 DH 비디오 데이터의 압축 방법을 제안한다. 4장은 제안한 압축 방법들에 대한 실험과 그 결과들을 보이고 이를 기반으로 5장에서는 본 논문의 결론을 맺는다.

 

Ⅱ. 디지털 홀로그램의 도메인 변환

본 논문에서는 DH 비디오의 압축도구로 2D 비디오 압축 기술인 H.265/HEVC를 사용한다. HEVC는 공간적·시간적 중복성을 제거하고 상대적으로 고주파성분이 인간의 시각시스템에 덜 민감하다는 특성을 이용한다. 그러나 DH를 구성하는 간섭현상의 프린지패턴은 원 물체정보의 작은 변화에도 상당히 다른 형태의 패턴을 형성한다. 따라서 2D 비디오 압축 기술을 DH 압축에 사용하기 위해서는 DH를 먼저 공간적·시간적 상관성이 높은 데이터로 변환하여야 한다. 이것은 공간 도메인에서 다른 도메인으로 변환하여 얻을 수 있는데, 본 장에서는 본 논문에서 사용할 도메인 변환 방법인 DCT, FT, FLT 각각에 대해 그 변환방법과 변환결과의 특징에 대해서 설명한다.

1. 2차원 이산 코사인 변환

DCT는 공간영역의 영상을 코사인의 각 주파수 대역 성분의 값으로 재편하는 변환방식이다. 따라서 가장 저주파 성분은 0 주파수 성분(평균값, DC값)이며, 최고주파 성분은 매 인접하는 데이터가 크고 작음을 반복하는 성분이다. 영상 데이터는 2차원 데이터이므로 영상에 대해서는 DCT를 가로방향과 세로방향의 2차원적으로 DCT를 적용하여 코사인 성분의 주파수 대역 데이터로 변환하는데, 이것을 2차원 코사인 변환(2-dimensional discrete cosine transform, 2DDCT)이라고 한다. 식 (1)은 f(i, j)의 공간영역의 영상을 F(u, v)의 주파수영역으로 2DDCT를 수행하는 식을 보이고 있는데, 여기서 M과 N은 각각 가로방향과 세로방향의 2DDCT 대상 영상의 크기, i와 j는 각각 가로방향과 세로방향의 화소의 위치(정수값), 그리고 u와 v는 각각 i와 j에 해당하는 주파수 도메인에서의 위치좌표값을 나타낸다. C(u), C(v)는 정수기저(integral basis)값으로, u 또는 v가 0일 때는 그 외의 경우는 1을 갖는다.

그림 1은 DH에 대한 2DDCT 결과의 예를 보이고 있다. (a)와 (b)는 원영상정보로서 빛의 세기와 깊이정보를 각각 나타내고 있고, 두 영상의 해상도는 모두 200×200이다. (c)와 (d)는 (a)와 (b)로 획득된 DH의 실수부와 허수부를 각각 나타내고 있는데, 이 홀로그램은 간섭현상을 모델링한 수식[3]으로 생성된 CGH(computer generated hologram)로, 해상도는 1,024×1,024이다. 이 그림에서 디지털 홀로그램과 2DDCT 결과로 생성되는 실수부-허수부의 쌍((c와 d), (g와 h), (k와 l))과 크기-위상의 쌍((e와 f), (i와 j), (m과 n))을 모두 보이고 있다. 또한 DH 전체에 대한 2DDCT(g부터 j까지) 뿐만 아니라 DH를 가로와 세로방향으로 각각 1/2로 나눈 각 부분DH에 2DDCT를 수행한 결과(k부터 n까지)도 보이고 있다. 이 두 경우를 비교하면 홀로그램이 작아짐에 따라 변환결과 영상에 나타나는 물체도 크기가 작아짐을 알 수 있고, 홀로그램 크기와 상관없이 2DDCT 결과는 각 홀로그램의 중심이 그 시점임을 알 수 있다. 예를 들어 k부터 n까지 영상의 좌상위 2DDCT 결과는 g부터 j까지 영상에 비해 시점이 좌상위로 이동한 결과를 보이고 있다.

그림 1.디지털 홀로그램의 2DDCT 결과의 예: 원 물체 정보; (a) 빛의 세기, (b) 깊이, 디지털 홀로그램 평면; (c) 실수, (d) 허수, (e) 크기, (f) 위상, 전체 홀로그램의 2DDCT 결과 평면; (g) 실수, (h) 허수, (i) 크기, (j) 위상, 1/4 부분홀로그램의 2DDCT 결과 평면; (k) 실수. (l) 허수, (m) 크기, (n)위상 Fig. 1. Examples of 2DDCT results from a digital hologram: original object information; (a) light intensity, (b) depth, digital hologram planes; (c) real, (d) imaginary, (e) magnitude, (f) phase, 2DDCT result planes from the whole hologram; (g) real, (h) imaginary, (i) magnitude, (j) phase, 2DDCT result planes from 1/4 partial holograms; (k) real, (l) imaginary, (m) magnitude, (n) phase

2. 프레넬 변환

DH를 영상으로 복원하기 위해서는 DH에 기준파를 조사하여 프린지 패턴에 의한 빛의 회절(diffraction)현상을 일으켜야 하는데, 이것은 공간광변조기(spatial light modulator, SLM)와 같은 특별한 장치를 사용하여야 가능하다. 그러나 이 회절현상 또한 모델링되어 특정 거리에서 홀로그램 영상을 복원할 수 있는데, 이것은 시뮬레이션 등의 목적으로 주로 사용되고 있다. 이 식을 프레넬 회절(Fresnel diffraction) 또는 변환(FT)이라고 하며, 디지털 홀로그램 f(i, j) 를 G(x, y)로 FT하는 식을 식 (2)에 나타내었다.

여기서, (i, j)와 (x, y)(i, j, x, y 모두 정수)는 DH와 FT된 결과 화소의 위치, Δi와 Δj는 DH의 가로방향과 세로방향 화소크기, Δx와 Δy는 FT평면의 가로방향과 세로방향의 화소크기, z는 DH평면과 FT평면과의 거리, λ는 사용한 빛의 파장을 각각 나타낸다. 이 식에서 디지털 홀로그램의 해상도는 M×N 이다.

그림 2는 그림 1의 DH를 FT한 결과를 실수, 허수, 크기, 위상평면으로 보이고 있다. (a)~(d)는 전체 DH에 대한 결과이고, (e)~(h)는 1/4 부문DH 각각에 대한 결과이다. 마찬가지로 (e)~(f)의 각 FT 결과는 (a)~(d)의 결과에 비해 해당 DH의 중심으로 시점 이동한 결과를 보이고 있다.

그림 2.그림 1의 DH에 대한 FT 결과: 전체 홀로그램을 FT한 결과 평면; (a) 실수, (b) 허수, (c) 크기, (d) 위상; 1/4 부분홀로그램을 FT한 결과 평면; (e) 실수, (f) 허수, (g) 크기, (h) 위상 Fig. 2. FT results from a DH in Fig. 1: FT result planes from the whole hologram; (a) real, (b) imaginary), (c) magnitude, (d) phase, FT result planes from the 1/4 partial holograms; (e) real, (f) imaginary, (g) magnitude, (h) phase

3. 프레넬릿 변환

프레넬릿 변환(FLT)는 FT와 DWT를 결합한 변환방식[17]이다. 따라서 이 변환에서는 저대역 통과 필터링(ZL)과 고대역 통과 필터링(ZH)을 각 방향으로 수행하게 되는데, 이 두 필터링을 식 (3)과 (4)에, 각 필터링에 사용되는 필터(F0, F1)를 식 (5)와 (6)에 각각 나타내었다. 또한 식 (7)과 (8)은 FLT의 역변환에 사용되는 저대역 통과(F0*)와 고대역 통과(F1*) 필터를 각각 나나태고 있다. 두 필터링 모두 1차원 필터링을 수행하기 때문에 가로방향과 세로방향으로 해당 필터링을 각각 수행하여 2차원 데이터를 변환한다. DH도 2차원 데이터이기 때문에 양방향으로 필터링을 수행하여야 한다.

FLT가 원 데이터에 저대역과 고대역 통과 필터링을 각각 수행하기 때문에 필터링 결과를 모두 보유하면 원 데이터의 2배에 해당하는 데이터를 갖게 된다. 따라서 각 통과대역 필터링 결과에서 1/2 sub-sampling(decimation)하여야 원 데이터와 동일한 양의 데이터를 가질 수 있다[12][17]. DH는 2차원 데이터이므로 가로방향과 세로방향 각각에 대해 필터링을 수행하여야 하는데, 이 경우는 가로와 세로방향 모두 1/2 decimation을 수행하며, 결과적으로 LL, LH, HL, HH의 4개의 부대역(subband)이 형성된다(그림 3(a)). 여기서 부대역 XY(X와 Y는 L 또는 H)는 가로방향으로 F0, 세로방향으로 F1을 각각 통과시킨 결과를 뜻한다.

그림 3.FLT의 두 형태; (a) 1-레벨 FLT, (b) 2-레벨 Mallat-tree FLT, (c) 2-레벨 quad-tree FLT Fig. 3. Two types of FLT: (a) 1-level FLT, (b) 2-level Mallat-tree FLT, (c) 2-level quad-tree FLT

FLT의 가로와 세로 한 쌍의 필터링을 한 레벨(level)이라 하며, 두 레벨 이상의 필터링을 수행할 경우 두 가지 형태가 가능하다. 그림 3에 이 두 형태를 보이고 있는데, (b)의 Mallat-tree FLT는 그 전 레벨의 부대역 중 최저 주파수 대역, 즉 LL 부대역만 레벨 2에서 FLT를 수행하고, (c)의 quad-tree FLT는 그 전 레벨의 모든 부대역에 대해 FLT를 수행한다. 그림 3(b) 또는 (c)에서 부대역 이름 WXYZ(W, X, Y, Z는 L 또는 H)는 레벨 1에서 가로방향으로 W, 세로방향으로 X, 레벨 2에서 가로방향으로 X, 세로방향으로 Z 필터링을 수행할 결과를 나타낸다. 본 논문에서는 더 세밀한 주파수대역 분할을 위하여 quad-tree FLT만을 고려한다. n-레벨 FLT를 수행하면 총 4n개의 부대역이 생성된다. 그림 4는 그림 1의 DH에 대해 quad-tree FLT를 수행한 결과의 예를 보이고 있다. 마찬가지로 실수, 허수, 크기, 위상평면을 모두 보이고 있으며, (a)~(d)는 1-레벨 FLT 결과, (e)~(h)는 quad-tree 2-레벨 FLT 결과를 각각 보이고 있다. DCT나 FT와는 달리 의 1-레벨 FLT 결과와 2-레벨 FLT결과가 모두 동일한 시점을 갖는다는 것을 알 수 있는데, 이것은 모든 부대역이 전체 DH에 대해 가로와 세로의 주파수대역만 다르기 때문이다.

그림 4.그림 1의 DH에 대한 quad-tree FLT 결과: 1-레벨 FLT 평면; (a) 실수, (b) 허수, (c) 크기, (d) 위상, 2-레빌 FLT 평면; (e) 실수, (f) 허수, (g) 크기, (f) 위상 Fig. 4. Quad-tree FLT results from DH in Fig. 1: 1-level FLT planes; (a) real, (b) imaginary, (c) magnitude, (d) phase, 2-level FLT planes; (e) real, (f) imaginary, (g) magnitude, (h) phase

표 1은 1-레벨 FLT로 생성되는 부대역들의 실수부, 허수부, 크기가 갖는 상대적인 에너지 분포를 보이고 있다. 표 1에서 보는 바와 같이 FLT 결과 값을 복소수로 표현하였을 때 실수평면과 허수평면은 각 부대역의 에너지 분포에 큰 차이가 없으나, 크기와 위상으로 표현하였을 때 크기의 에너지는 LL 부대역에 집중되는 것을 볼 수 있다.

표 1.1-레벨 FLT 부대역의 에너지 분포 Table 1. Energy distribution for 1-lewel FLT subbands

 

Ⅲ. 디지털 홀로그램 비디오 데이터의 압축

본 절에서는 2D 비디오 압축부호화기를 사용하여 DH 비디오 데이터를 압축부호화하는 방법을 제안하는데, 이것을 그림 5에 흐름도로 나타내었다. 이 그림은 압축부호화 과정, 복호화 과정 및 화질을 평가하는 과정을 모두 보이고 있다. 먼저 DH를 필요에 따라 분할하여 부분DH로 만들고, 각 부분DH를 데이터 상관도를 높이기 위하여 앞 절에서 설명한 도메인 변환을 수행한다. 그 결과는 비디오 시퀀스로 만들어 2D 비디오 압축기인 H.265/HEVC로 압축을 수행한다. 압축된 결과는 복호화하고 도메인 역변환 과정을 거쳐 분할된 부분DH를 결합하여 원 DH의 크기로 만든다. 화질평가는 DH 자체에 대한 평가와 FT으로 영상을 복원한 결과에 대해 각각 압축률 대비 화질을 평가한다.

그림 5.제안하는 DH 비디오 데이터 압축, 복호화 및 화질평가 과정 Fig. 5. The proposed procedure to compress, decompress a DH video data and the quality evaluation

1. 도메인 변환

앞에서 언급한 바와 같이 DH 데이터가 프린지 패턴으로 구성되어 있어서 데이터의 상관성이 아주 낮기 때문에 HEVC의 화면 내 예측(intra prediction)이나 화면 간 예측(inter prediction)에서 효율이 많이 떨어진다. 따라서 DH의 데이터 상관성을 높이기 위하여 도메인 변환을 먼저 수행한다.

그림 5에 보인 바와 같이 본 논문에서는 2DDCT, FT, FLT의 세 변환방법을 사용한다. 이 중 2DDCT 또는 1DDCT는 이미 이전 발표에서 사용한 바 있다[7,8,12~15]. 그러나 본 논문에서 이 도메인 변환 결과와 본 논문에서 제안하는 도메인 변환인 FT와 FLT의 결과와 비교하기 위하여 포함시켰다.

2DDCT와 FT는 변환결과가 원 데이터와 동일한 크기의 하나의 데이터가 생성된다. 그러나 FLT는 가로방향과 세로방향으로 1/2 decimation을 수행한다고 가정하면, 한 레벨 FLT는 동일한 양의 결과 데이터를 만들어내지만 이 데이터는 동일한 크기의 네 주파수 부대역으로 나누어진다. 앞에서 언급한 것과 같이 본 논문에서는 보다 세밀한 주파수대역 분할을 위해서 quad-tree 방식의 FLT를 사용하며, 따라서 n-레벨 quad-tree FLT를 수행하면 4n개의 동일한 부대역으로 나누어진다. 본 논문의 목적 중 하나가 최적의 압축조건을 구하는 것이므로, FLT의 레벨을 증가함에 따른 압축효율 변화도 실험을 통해 확인한다. 마찬가지로 2DDCT와 FT도 원 DH를 동일한 크기의 여러 부분DH로 분할한 후 도메인 변환을 수행하여 부분DH 크기의 변화에 따른 압축효율의 변화도 확인한다.

2. 비디오 시퀀스 형성

도메인 변환된 데이터를 HEVC와 같은 2D 비디오 압축기로 압축하기 위해서는 이 데이터를 영상 시퀀스로 만들어야 한다. 먼저 그림 6(a)와 같이 DH 전체를 2DDCT 또는 FT한 경우는 원 DH 비디오 시퀀스대로 시퀀스를 형성한다. 그러나 DH을 부분DH로 분할하여 2DDCT 또는 FT로 변환한 경우에는 동일한 위치의 부분 DH별로 시퀀스를 형성한다. 그림 6(b)에 DH가 1/4로 분할되는 경우를 보이고 있는데, 이 경우는 4개의 독립된 시퀀스가 형성된다. [13]에서 분할된 부분DH에 대해 3차원으로 지그재그(zig-zag) 스캔하는 방법을 제안하였는데, 이 논문의 결과와 본 논문의 결과는 다음 절에서 비교하기로 한다. 한편 FLT의 경우는 1 레벨 변환만 수행하여도 크기가 1/4인 4개의 부대역이 생성된다. 이 경우는 그림 6(c)의 예(1-레벨 FLT)에서 보인 바와 같이 동일한 부대역끼리 시퀀스를 형성한다.

그림 6.비디오 시퀀싱: (a) DH 전체를 2DDCT 또는 FT한 경우, (b) 부분 DH를 2DDCT 또는 FT한 경우, (c) FLT한 경우 Fig. 6. Video sequencing: (a) when 2DDCT or FT is performed for the whole DH, (b) when 2DDCT or FT is performed for partial DHs, (c) when FLT is performed

3. 데이터 압축 부호화

시퀀스가 형성된 데이터는 2D 비디오 압축기로 압축하였으며, 본 논문에서는 HEVC를 사용하였다. DH은 HEVC의 인트라 프레임 주기(intra period) 단위로 동일위치의 부분DH 또는 FLT 부대역 시퀀스를 차례로 입력하였다. 이 때 압축부호화 모드는 저지연(low delay) 모드와 임의접근(random access) 모드를 모두 고려하였으며, CTU(coding-tree unit)는 가능한 모든 크기를 모두 고려하였다. 또한 압축률은 비트율과 QP(quantization parameter)값을 변경하여 조정하였다[19].

4. 압축 복호화 및 평가

압축된 데이터는 압축률 대비 화질을 평가하기 위하여 복호화한다. 복호화는 부호화의 역 과정, 즉 먼저 HEVC 복호화를 수행하고 그 결과를 도메인 역 변환하여 분할된 경우는 결합하여 전체 DH 프레임을 형성한다.

압축률 대비 회질평가는 DH 자체와 복원영상에 대해서 모두 시행한다. DH을 영상으로 복원하는 방법은 DH을 FT하여 수행하는데, 이 때 복원거리는 물체의 중심거리로 한다.

 

Ⅳ. 실험 및 결과

앞 절에서 제안한 DH의 압축방법의 압축 효율을 판단하기 위하여 본 절에서는 다양한 환경에서 실험을 수행하고, 그 결과를 기존의 방법과 비교한다.

1. 실험환경

그림 5의 모든 과정은 PC에서 수행하였으며, 사용한 PC는 Intel Core(TM) i7-3770 CPU를 사용하고 GPU는 NVIDIA GeForce GTX 970 카드 한 장을 사용하였다. 그림 5의 과정 중 도메인 변환은 GPU를 사용하였고, HEVC 압축은 HM16.0을 사용하였으며, 나머지는 C/C++로 구현하였다.

DH은 광원+깊이정보의 원 비디오 데이터를 사용하여, 빛의 간섭현상을 모델링한 수식으로 CGH를 만들어 사용하였다. 이 CGH 생성에 사용한 파리미터들을 표 2에 나열하였는데, DH는 단색(monochromatic)으로 원 영상의 Y성분을 추출하여 빛의 세기로, 깊이영상을 깊이정보로 각각 사용하였다.

표 2.CGH 생성 파리미터 Table 2. CGH generation parameters

CGH로 만든 원 비디오 클립(clip)들은 표 3에 나열하였다. 먼저 본 연구진이 제작한 영상/비디오 획득 시스템[20]으로 획득한 4개의 비디오를 사용하였다. 이 획득시스템은 수직리그(vertical rig)를 사용하며, 하나의 수직리그에 RGB 카메라와 깊이카메라 각각 1대씩 장착되어 있는데, 깊이카메라의 해상도가 176×144이어서 RGB 영상 또한 깊이카메라로 해상도에 맞춰 사용하였다. 이 외 Windmill[21]과 MPEG4 MVC(multiview video coding)의 테스트 시퀀스 중 Ballet와 Breakdancers를 사용하였다. MPEG 테스트 시퀀스를 제외한 영상들은 배경이 없는 영상들이어서 배경이 있는 영상에 대한 DH 및 압축을 실험하기 위하여 MPEG 테스트 영상들을 사용하였으며, DH를 생성하기 위해서는 깊이정보가 필요하기 때문에 MVC 테스트 영상들을 사용하였다. 모든 비디오 클립들은 176×144로 해상도를 맞춰 실험하였으며, 사용한 프레임 수도 200 프레임으로 동일하게 하였다.

표 3.사용한 비디오 데이터 Table 3. Original video data used

그림 5의 압축과정 중 본 논문에서 사용한 H.265/HEVC는 참조 소프트웨어 HM-16.0의 main 프로파일을 사용하였다. 생성한 DH 비디오의 실수부와 허수부는 각각 독립적인 DH 홀로그램으로 간주하여 처리하였다. 이 때 고려한 파라미터들을 표 4에 나열하였다. 먼저 도메인 변환에서 2DDCT와 FT는 원 DH(1,024×1,024)부터 64×64 부분DH(프레임 당 256개의 부분DH)까지 분할하여 실험하였고, FLT의 경우는 3레벨까지(프레임 당 64개의 부대역) 실험하였다. HEVC는 CTU 크기를 64×64, 32×32, 16×16의 세 경우를 고려하였다. 압축모드는 저지연모드와 임의접근모드를 모두 고려하였고, 두 모드 모두 GOP(group of prediction)는 4와 8로 수행하였으며, 인트라 프레임 주기는 공히 16프레임으로 하였다. 압축률 조정은 QP값 또는 비트율을 조정하여 수행하였다.

표 4.압축 관련 파라미터 Table 4. Parameters related to compression

2. 실험결과

먼저 압축을 수행한 결과 DH와 복원영상의 예들을 그림 7에 보였다. 이 예들은 DH(1,024×1,024)를 1-레벨 FLT하여, CTU 크기를 64×64, 인트라 프레임 간 간격을 16, GOP 4의 저지연 방식으로 압축하였으며, 압축률은 비트율로 조정하였다. 여기에는 원 데이터((a)(e)(i))와 200:1((b)(f)(j)), 500:1((c)(g)(k)), 1000:1((d)(h)(l))로 압축한 데이터를 보이고 있으며, 맨 위 열((a)(b)(c)(d))은 복원한 영상, 가운데 열((e)(f)(g)(h))은 DH의 실수부, 맨 아래 열((i)(j)(k)(l))은 DH의 허수부를 각각 보이고 있다. 원 데이터에 대한 각 영상의 PSNR 값(각 열의 맨 좌측 영상에 대한)은 표 6에 나열하였다. 압축결과를 보면 복원영상에 비해 DH 데이터의 PSNR이 많이 떨어지는 것을 볼 수 있는데, 이것은 DH가 다량의 프린지 패턴으로 이루어졌으므로 고주파 성분을 다량 포함하고 있기 때문으로 판단된다. 그러나 복원영상들은 1000:1의 고압축에도 PSNR이 40[dB]을 넘는 값을 보여 매우 좋은 압축효율을 보이고 있음을 알 수 있다.

그림 7.압축결과의 예: (a)(e)(i) 원 데이터, (b)(f)(j) 200:1로 압축한 결과, (c)(g)(k) 500:1로 압축한 결과, (d)(h)(l) 1000:1로 압축한 결과; (a)(b)(c)(d) 복원한 영상, (e)(f)(g)(h) DH 실수부, (i)(j)(k)(l) DH 허수부)(j)(k)(l) imagi Fig. 7. Examples of compression results: (a)(e)(i) original data, (b)(f)(j) 200:1 compressed result, (c)(g)(k) 500:1 compressed result, (d)(h)(l) 1000:1 compressed result; (a)(b)(c)(d) reconstructed images, (e)(f)(g)(h) real part of DH, (inary part of DH

표 5.그림 6 영상들의 PSNR 값 Table 5. PSNR values of the images in Fig. 6

표 6.각 변환방법에 대한 최적 압축조건 Table 6. The optimal compression condition for each transform

본 논문에서 고려한 압축관련 파라미터들 중 첫 번째로 부분DH의 크기(2DDCT와 FT) 또는 변환레벨(FLT)에 대한 압축효율을 그림 8에 보였다. 이 데이터는 각 변환 후 HEVC로 압축할 때 CTU 크기를 64×64, 인트라 프레임 간 간격을 16, GOP 4의 저지연 방식의 동일한 조건으로 압축한 결과이다. (a)(b)(c)는 2DDCT, (d)(e)(f)는 FT, (g)(h)(i)는 FLT를 사용한 압축결과이며, (a)(d)(g)는 압축 후 복원한 영상, (b)(e)(h)는 압축 후 DH의 실수부, (c)(f)(i)는 압축 후 DH의 허수부에 대한 결과인데, 압축률 대비 원본 데이터에 대한 PSNR값들로 나타내었다. 2DDCT나 FT는 원본 DH 자체를 변환할 수 있지만, FLT는 1-레벨 변환하면 4개의 부대역으로 나누어지고, 각 부대역이 원 데이터의 1/4로 크기가 줄어들기 때문에 FLT의 한 레벨 결과 부대역의 크기가 2DDCT 또는 FT의 부분DH 512×512에 해당한다. 따라서 FLT는 3-레벨까지만 수행하였다.

그림 8.부분DH의 크기 또는 변환레벨에 따른 압축결과: 변환종류별; (a)(b)(c) 2DDCT, (d)(e)(f) FT, (g)(h)(i) FLT, 데이터별; (a)(d)(g) 복원영상, (b)(e)(h) DH 실수부, (c)(f)(i) DH 허수부 Fig. 8. Compressed results for the size of partial DH or transform level: for the kind of transform; (a)(b)(c) 2DDCT, (d)(e)(f) FT, (g)(h)(i) FLT, for the kind of data; (a)(d)(g) reconstructed image, (b)(e)(h) real part of DH, (c)(f)(i) imaginary part of DH

세 변환 모두 복원한 영상의 PSNR 값이 DH 자체 데이터보다 훨씬 높은 값을 나타내고 있는데, 이것은 DH 데이터가 프린지 패턴으로 이루어져 있어 고주파 성분이 많기 때문인 것으로 판단된다. 2DDCT와 FT에서는 분할하지 않은 전체 DH를 도메인 변환한 것이 가장 압축효율이 좋았고, FLT는 1-레벨 변환한 것이 가장 좋았다. 부분DH의 크기 또는 변환레벨에 따른 압축효율 변화는 2DDCT가 가장 작았고, FT와 FLT는 비슷한 정도를 보였다. 전체적으로 FT를 이용한 결과가 가장 높은 압축효율을 보였고, 그 다음이 FLT였으며, 2DDCT가 가장 나쁜 결과를 보였다.

다음은 HEVC의 CTU 크기에 따른 압축효율이며, 그림 9에 그 결과를 보이고 있다. 이 그림에는 복원영상에 대한 데이터만 보이고 있는데, 이것은 DH의 실수부와 허수부에 대한 결과가 복원영상에 대한 데이터와 거의 같기 때문이다. 또한 이 데이터는 그림 8에서 실험한 결과 중 가장 좋은 결과를 보인 경우, 즉 2DDCT와 FT는 전체영상을 변환한 경우, FLT는 1-레벨 변환한 경우에 대해서만 나타내었다. 이것은 부분DH 또는 더 높은 레벨에 대해 실험한 결과가 그림 8의 결과와 같은 결과를 보였기 때문이다. 그림에서 보듯이 CTU 크기 64×64와 32×32가 근소한 차이를 보이기는 했지만, 세 변환 모두에서 64×64가 가장 좋은 압축효율을 보였다.

그림 9.HEVC의 CTU 크기에 대한 압축결과 복원영상: (a) 2DDCT, (b) FT, (c) FLT Fig. 9. Compressed results of the reconstruction image for the CTU size in HEVC: (a) 2DDCT, (b) FT, (c) FLT

다음은 HEVC 의 압축모드와 GOP 크기에 따른 압축효율로, 그림 10에 그 결과를 보이고 있다. 이 그림 역시 그림 9와 동일한 이유로 복원영상에 대한 실험결과만을 보이고 있다. 압축모드는 임의접근모드와 저지연모드를 고려하였으며, 임의접근모드와 저지연모드 모두 GOP 4와 GOP 8을 고려하였다. 세 변환 모두 압축모드나 GOP 크기에 대해 큰 차이를 보이지는 않았으나, 모든 변환에 있어서 임의접근모드의 GOP 4가 가장 높은 압축효율을 보였다.

그림 10.HEVC의 압축모드와 GOP에 따른 압축결과 복원영상: (a) 2DDCT, (b) FT, (c), FLT Fig. 10. Compressed results of reconstructed image for the mode and GOP size in HEVC: for the kind of transform; (a) 2DDCT, (b) FT, (c) FLT

각 변환방법에서 최적의 조건에서의 압축효율을 비교하기 위하여 위에서 고려한 파라미터들의 최적 압축조건을 표 6에 나타내었고, 그 때 압축률 대비 PSNR 값을 그림 11에 다시 나타내었다. 최적의 압축조건에서 FT가 가장 좋은 효율을 보였으며, FLT는 FT와 상대적으로 큰 차이를 보이지 않았으나 2DDCT는 많은 차이를 보였다. 압축률이 증가할수록 세 방법의 차이가 줄어들었으며, 1000:1 압축에서 DH 데이터는 세 방법이 큰 차이를 보이지 않았으나, 복원영상에 대해서는 2DDCT의 PSNR이 상대적으로 많이 떨어지는 것을 볼 수 있다. 가장 효율이 좋은 FT의 경우 1000:1의 압축에서 복원영상이 39.17[dB], DH 실수부가 24.17[dB], 허수부가 23.97[dB]의 높은 PSNR 값을 보이는 것을 알 수 있다.

그림 11.각 변환방법의 최적 압축조건에서의 압축효율 비교, (a) 복원영상, (b) DH 실수부, (c) DH 허수부 Fig. 11. Comparison of compression efficiency in the optimal condition for each transform, (a) reconstructed image, (b) real part of DH, (c) imaginary part of DH

3. 기존 연구와의 비교

앞에서 구한 최적의 압축조건으로 압축한 결과와 기존 논문의 압축결과를 표 7에 비교하였다. 참고문헌 중 실제 의미 있는 압축을 수행한 문헌은 [9]~[15]인데, [9]~[11]과 [14]는 압축률 대비 화질이 많이 떨어지거나 실제 데이터를 싣지 않았기 때문에 여기서는 이들은 제외하고 상대적으로 성능이 우수한 [12][13][15][16]과 비교한다.

표 7.기존 연구와의 성능 비교 Table 7. Comparing the performance evaluation with pervious works

표에서 보는 바와 같이, 각 논문에서 제시한 평가 측정값이 달라 제안한 방법에 대해서 앞에서 설명한 PSNR 이외에 NC(normal correlation)와 NRMS(normalized root mean square)[16]값을 모두 계산하여 첫 번째 행에 나열하였다. 표에서 ‘-’로 표시한 곳은 해당 논문에서 값을 제시하지 않았다는 뜻이다. 비교대상 논문들에서 제시한 최대 압축률이 200:1이었기 때문에 표 7에는 최대 200:1까지 수록하였다. 논문에 따라 연속적인 데이터를 제시한 곳도 있지만 대부분 특정 압축률들에 대해서만 데이터를 제시하였기 때문에 여기서는 50:1, 100:1, 200:1의 대표적인 값들만 비교하였으나, 나머지 데이터들은 이들과 매우 유사한 경향을 보였다. 표 7에서 괄호안의 수는 디지털 홀로그램 데이터에 대한 값들이며, 괄호 밖의 값들은 복원한 영상에 대한 값들이다. [15]의 데이터에서 복원영상에 대한 데이터가 DH에 대한 데이터보다 낮은 성능을 보이고 있는데, 이것은 이 논문에서 영상을 복원할 때 프레넬 변환을 사용하지 않고 광학적으로 복원한 것으로 보인다.

표에서 보듯이 제안한 방법이 기존의 방법보다 월등히 좋은 성능을 보이는 것을 알 수 있다. 이것은 본 논문에서 2차원 동영상 압축 기술로 H.265/HEVC를 사용한 반면 [12][13][15]에서는 H.264/AVC를 사용한 이유가 어느 정도는 작용한 것으로 보인다. 일반적으로 H.265/HEVC가 H.264/AVC보다 동일 화질에서 1.5배 정도 높은 압축률을 보인다고 알려져 있다. 그러나 [15]에서 디지털 홀로그램의 PSNR 값이 200:1에서 24.87[dB]이었는데, 제안한 방법이 이 값을 가지는 압축률은 약 540:1 정도이어서 제안한 방법이 화질 대비 압축률이 약 2.7배 높았다. 또한 [13]이 100:1 압축률에서 NC값 0.946을 보이고 있는데([12]는 100:1의 데이터를 제시하지 않았고, 50:1 압축률에서 [13]보다 성능이 떨어지므로 [12]는 제외하였음), 이 NC값을 가지는 제안한 방법의 압축률은 약 850:1 정도이어서 제안한 방법이 8.5배 압축률이 높았다. 그리고 [16]에서 100:1 압축률에서 NRMS값이 0.575를 보였는데, 제안한 방법으로 1000:1 압축했을 때에도 이보다 낮은 0.438값을 가져, [16]에 비해 제안한 방법이 최소 10배 이상의 높은 압축률을 보였다.

표 8은 앞에서 구한 최적의 조건 중 H.265/HEVC의 파라미터들을 제외한 조건을 H.264/AVC와 H.265/HEVC에 적용한 결과를 보이고 있다. 여기에서는 100:1과 200:1의 데이터만 보이고 있으나, 이 두 경우에서 H.265/HEVC가 평균적으로 약 3[dB] 정도 높은 값을 보이고 있다. 압축률 100:1의 경우 [13]은 0.946의 NC값을 보였으나 제안한 방법을 H.264/AVC로 압축하였을 때 NC값이 0.9625이다. [15]와 비교하면, 200:1로 압축한 DH의 PSNR이 24.87[dB]이었으나, 제안한 방법에 의해 H.264/AVC로 압축한 결과의 PSNR은 평균 25.662[dB]이었고, 100:1로 압축한 경우는 [15]가 25.83[dB], 제안한 방법이 29.675[dB]를 보이고 있다. 이 값들의 차이만큼 2차원 압축기에 의한 효율증가가 아닌 제안한 방법 자체의 효율증가를 나타내는 것으로 사료된다.

표 8.Table 8. Comparing the results by applying our method to H.264/AVC and H.265/HEVC

따라서 제안한 방법의 성능은 2차원 동영상 압축 기술을 사용한 이유보다 훨씬 우수한 성능을 보이고 있으며, 이것은 제안한 방법에서 사용한 압축과정 및 도메인 변환 방법과 압축 파라미터들이 최적으로 선택되었기 때문인 것으로 판단된다.

 

V. 결 론

본 논문에서는 디지털 홀로그램 동영상을 효과적으로 압축하는 방법을 제안하였다. 압축 기술로는 2차원 동영상 압축 기술인 H.265/HEVC를 사용하였으며, 디지털 홀로그램의 화소 간 상관도를 높이기 위해 도메인 변환 방법인 2차원 이산 코사인 변환, 프레넬 변환, 프레넬릿 변환을 고려하였다. 또한 H.265/HEVC의 압축 파라미터인 CTU 크기, 압축모드, GOP의 크기를 고려하여 이 중 가장 최적의 파라미터들을 실험을 통해 결정하였다.

도메인 변환 방법으로는 프레넬 변환이 가장 우수한 성능을 보였으며, 압축 파라미터들로는 CTU 크기는 64×64, 압축모드와 GOP 크기는 임의접근 모드의 GOP 4가 가장 우수한 성능을 보였다. 이 변환방법과 파라미터들로 실험한 결과 1000:1의 압축률에서 PSNR이 39.17[dB]의 높은 화질을 보였다. 기존 논문들과 비교한 결과에서도 동일한 화질을 가질 때 제안한 방법의 압축률이 최소 2배 이상으로 나타나 기존의 방법들보다 월등히 우수한 성능을 보였다.

따라서 제안한 방법은 향후 더 고화질의 디지털 홀로그램을 서비스할 때 데이터 압축방법으로 매우 유용하게 사용될 수 있을 것으로 사료되며, 특히 이 방법은 2차원 동영상 압축 기술을 사용하므로 현존하는 동영상 서비스 플랫폼을 그대로 사용할 수 있어 더욱 유용하리라 판단된다.