A New 3D Depth Reconstruction Method Adaptive to Various Environments

환경 적응적 3D 깊이 재구성 방법

Abstract

The recent development of the HD (High Definition) and UHD (Ultra High Definition) technology allowed the growth of 3D contents market. Yet the majority of the 3D contents in the market are strictly for 6.5 cm inter-ocular distance, causing various visual discomforts for the viewers who have different inter-ocular distance. Moreover, because the 3D contents are created for a fixed viewing distance, the change of the viewing distances when watching 3D contents can also cause visual conflicts. To solve this problem, we devised techniques that consider the environmental information of the viewer watching 3D contents. By analyzing the relationship between viewing distance, inter-ocular distance, and perceived depth, we created an adaptive content viewing system that reflects the viewer's environment to minimize any conflicts in watching 3D contents. From our experiments, we found that the performance of our adaptive content viewing system was reasonable.

1. 서 론

최근 HD(High Definition) 및 UHD(Ultra High Definition) 디스플레이(Display)의 보급이 가속화되면서 일반 가정에서 S3D(Stereoscopic 3D) 영상을 감상할 수 있는 인프라는 점차 확대되고 있지만 상대적으로 가정용 3D 콘텐츠(contents) 시장의 성장은 정체되어 있다. 이 원인을 3D 콘텐츠의 구현 원리로 부터 찾아보면 3D 콘텐츠는 인간이 사물을 바라볼 때 안간거리(Inter-ocular Distance)에 따라 발생하는 두 영상의 차이를 통해 깊이를 느끼는 점에 착안하여 이를 모사한 2대의 카메라로 영상을 촬영하여 두 눈에 비춰주는 것이다. 이 때 현실에서의 돌출거리는 시청자의 안간거리와 시청거리에 따라 결정되는 디스패리티(Disparity)를 통해 구성되게 되는데, 영상 콘텐츠의 디스패리티는 영상 제작 단계에서 고정되기 때문에 실제 시청자의 생체특성(안간거리)과 시청 환경(시청 거리)에 따라 에러가 발생하게 되고 이에 따라 콘텐츠 제작자가 의도하지 않은 영상을 시청자가 보게 되어 피로감이 발생하게 된다.

이러한 시차를 해결하기 위해 영화 상영관의 경우 스크린과 좌석의 거리, 시점의 높낮이 등의 가이드라인을 제공하여 최적의 환경을 구성하고 있지만 일반 가정 환경에서는 상대적으로 짧은 시청거리 때문에 시청자의 위치에 따른 편차가 커지며 동시에 안간거리의 영향도 커져 상영관에서보다 큰 피로감을 느끼기 때문에 시청자의 신체적 특성과 시청 환경에 대한 능동적 분석을 수행하고 생체적/환경적 특성에 맞는 객체들의 디스패리티를 재구성하여 제공해야 한다.

이를 위해 우리는 우선 검안기를 통해 환경 정보와 디스패리티 간의 상관관계를 정의하였다. 또한 키넥트(Kinect) 장비의 스테레오 카메라의 획득 정보를 통해 실시간으로 시청거리와 안간거리를 계산하고 시청자의 위치나 안간거리에 상관없이 동일한 깊이감을 느낄 수 있는 시스템을 설계하였다. 또한 이를 응용하여 시청자 스스로 최상의 몰입감을 제공받을 수 있도록 시각피로를 최소화할 수 있는 깊이 범위를 산출하여 이를 기반으로 깊이를 재조정할 수 있도록 하였다. 이러한 과정을 통해 시청자에게 최적화된 콘텐츠를 제공하여 3D 영상 감상에 대한 거부감을 줄이고 편안한 시청 환경을 구성하게 된다.

Fig. 1.System overview. Object depth change with the left and right image disparity, viewing distance and eye distance. It is possible to control the depth through a movement of the objects. And a blank space (blue area) is filled up by image inpainting.

Fig. 2.Depth Position Movement between Inter-Ocular Distance and Viewing Distance.

본 연구는 크게 3 단계의 과정을 통해 수행되었다.

1. 안간거리와 시청거리, 영상의 디스패리티를 통해 표현되는 객체의 돌출거리의 상관관계를 도식화하고 실험을 통해 검증한다.

2. 실제 디스플레이 환경에서 물리적 거리와 픽셀(Pixel)의 크기의 비례관계를 정의하고 이동시킬 객체의 픽셀 디스패리티의 크기를 결정한다.

3. 결정된 디스패리티 크기만큼 객체를 이동시키기 위한 객체검출과 이동 후 생성되는 공백영역에 대한 사후처리를 통해 영상을 재구성하고 검증한다.

 

2. 관련연구

2.1 디스패리티(Disparity)

실제 환경에서 사람이 사물을 볼 때에는 두 눈 사이의 거리에 따라 물체를 바라보는 각도가 달라지게 되는데 이를 양안 시차라 하고, 이에 따라 바라보는 사물의 거리가 변화하게 되면 두 눈의 초점도 따라 변화하게 되는데 이러한 안구 움직임을 폭주(Convergence)와 조절(Accommodation)반응이라 한다[5]. 3D 콘텐츠는 이러한 안간거리와 물체의 깊이 변화에 따라 다르게 맺히는 두 눈의 상을 모사하여 2개의 카메라를 통해 각각의 영상을 촬영해 보여주게 된다. 하지만 이는 특정 거리에 대한 디스패리티를 가정하여 촬영된 영상이기 때문에 실제 시청 시의 환경과의 차이로 인해 눈의 피로감을 유발하는 요인이 된다[11].

2.2 중요도 영상(Saliency Map)

영상의 구성 객체를 HVS(Human Visual System) 관점에서 예측하기 위한 중요도 영역 분석 분야는 수십년에 걸쳐 꾸준히 진행되어 왔다. 특히 삼차원 영상에서는 인간 인지적 측면에서 디스패리티를 통해 얻어낸 깊이 단서(depth cue)를 중요 객체 분류의 중요한 특징으로 활용하고 있다[6]. 기존의 연구들은 일반적으로 하향식 검출 방법을 통해 깊이 단서를 추정하여 영상내의 사물의 움직임을 분류하고 그 움직임을 추적하는 등 깊이 단서의 밝기를 중요도의 크기로 사용하거나[17], 반대로 Niu[23] 등은 스테레오 영상에서 중요도 영상을 기반으로 Global Disparity Contrast를 계산하여 깊이 단서를 추정하여 사용하였다. 즉 삼차원 영상의 깊이 단서는 영상의 중요 객체와 직접적인 연관이 있기 때문에[3] 정교한 깊이 단서의 추정이 필요하다. 최근에는 키넥트 카메라(Kinect)가 보급됨에 따라 실시간 스테레오 영상 획득 및 깊이 단서 추정이 비교적 손쉽게 이루어 지고 있다[8].

2.3 물체 분류(Object Segmentation)

중요도 영상은 본 연구에서 객체 분할을 위해 이용된다. Zhang 등[9]은 중요도 영상의 퍼지 영역에 따라 사각형의 중요 객체 영역을 검출하였고 이후 이미지 분할 특징을 학습시킨 SVM(support vector machine)을 이용하여 중요 영역을 선택한 후 그 영역들을 모아 객체를 검출하였다. Achanta[19] 등은 mean-shift segmentation을 통해 영상 내의 평균 중요도 가중치를 계산하고, 적응적 임계값(Threshold)을 이용해 객체를 추출하였다. 그 외에도 Cheng[16]등은 10,000개의 이미지 데이터 집합을 이용한 그래프 알고리즘(Grabcut) 방식을 통해 중요 객체 영역을 검출하였다.

2.4 이미지 인페인팅(Image Inpainting)

검출된 객체의 디스패리티를 변화시킨 뒤의 빈 영역을 메우기 위해서는 주변 정보를 이용하여 해당 영역에 대한 추정이 이루어져야 한다. 이러한 이미지 인페인팅 방법은 초기 연구단계에서 강도확산 방식으로 공식화 되었고 이후 영상 콘텐츠의 중복성을 고려하여 텍스쳐(Texture) 합성 기반의 접근 방식이 제안되었다. 최근 연구에서는 인페인팅을 위한 발산, 텍스쳐 합성, 내용 일관성이 고려된 포괄적인 구조가 제안되었다[1,18].

2.5 시각적 편안함(Visual Comfort)

초점심도 범위 안팎에 영상이 존재하더라도 객체가 움직임에 따라 스텝 펄스 함수(a Step Pulse Function)에 따라 시각적 피로도가 발생한다. 정적인 영상은 디스패리티의 범위가 시각적인 편안함에 크게 영향을 미치고, 다이나믹한 장면은 수평적인 모션의 이동과 디스패리티의 범위가 큰 영향을 미쳤다. 즉 장면전환 후의 시간적 디스패리티의 연속성이 시각적인 불편함을 유도하기 때문에 디스패리티의 조절에 있어 별도의 장치가 필요한데 그 중 하나가 수평 이미지 변환이다[12,20].

우리는 이러한 일련의 연구들에 기반하여 시청자의 신체특성과 시청 환경을 능동적으로 반영할 수 있는 3D 깊이 재구성 툴을 개발하였다. 이를 이용하여 3D 영화 영상을 재구성하고 실제 시청자로 하여금 영상을 감상하게 하여 변형된 돌출거리를 측정하고 설문을 통해 시청시의 피로도 변화를 검증한다.

 

3. 제안 기법

본 연구의 목적은 시청자 개인의 특징과 환경에 따라 능동적으로 대응할 수 있는 3D 콘텐츠 감상 환경을 구축하여 시청자의 피로감을 감소시키고 보다 자연스럽고 정확한 3D 깊이감을 제공하는 것이다. 이를 위해 3D 콘텐츠 영상 신호에 대해 시청 환경 및 개인별 생체 특성, 디스플레이 특성에 따라 달라지는 3D 깊이감 인지 특성에 의한 몰입감 저하 및 시각 피로도를 해결하기 위한 시청자 환경 정보 획득방법과 3D 콘텐츠의 디스패리티 재구성 방법을 제안한다.

3.1 시청거리, 안간거리와 돌출거리의 관계 분석

3D입체영상 시청환경에 있어 시청자가 입체 콘텐츠를 시청할 수 있는 것은 안간거리(6∼7cm)에 따른 좌,우 두 눈이 받아들이는 영상간의 정보 차이를 뇌에서 공간적 깊이로 해석해주기 때문이다. 이는 3D 입체영상 콘텐츠 깊이 측정 시스템의 가장 중요한 설계요소로서, 사람이 어떤 이미지를 보면서 입체감을 느끼는 원인으로는 여러 가지가 있지만 현재 상영되는 3D입체영상의 구현 시점을 기준으로 할 때 제작되는 콘텐츠의 좌,우(L ,R)영상에 등장하는 객체의 x좌표값의 차이(Disparity)가 깊이 즉, 돌출거리를 결정한다. 여기에 시청자의 안간거리와 시청거리가 유기적으로 결합하여 돌출거리를 결정하는 하나의 관계식을 이루게 된다. 이를 확인하기 위해 4가지 변수를 각각 제한하여 실험을 통해 데이터를 추출해 보았다. 아래 그래프 3과 4는 동일한 안간거리를 가질때의 시청거리와 디스패리티, 돌출거리의 관계를 나타낸다.

위 Fig. 3과 4는 6.5cm의 안간거리를 기준으로 측정된 데이터에 대한 그래프이다. 한 픽셀의 크기는 0.0276cm로 Fig. 3은 시청거리가 63cm일때의 디스패리티(y축, Pixel)와 돌출거리(x축, cm)의 관계를 나타낸다. Fig. 4는 22cm의 돌출거리를 가질 때 디스패리티(y축, Pixel)과 시청거리(x축, cm)간의 관계를 나타낸다. 이 두 그래프를 돌출거리가 22cm, 시청거리가 63인 지점에서 교차시켜보면 이때의 디스패리티의 크기는 44pixel이며 돌출거리와 시청거리에 있어 전 구간에 대해 동일한 비율의 곡선을 그리게 된다. 이 관계비율을 통해 시청거리에 따라 동일한 돌출거리를 표현할 수 있는 디스패리티 크기를 구할 수 있다. 이 관계를 그림을 통해 정리하면 아래 Fig. 5와 같다.

Fig. 3.Graph between Disparity and Ejecting Distance.

Fig. 4.Graph between Viewing Distance and Ejecting distance.

Fig. 5.The geometry of the 3D recognition. P : Disparity, ED : Ejecting Distance, VD : Viewing Distance, ID : Interocular Distance.

이때 디스패리티(P)가 주어진 경우 식 (1)과 같이 표현할 수 있고, 돌출거리(ED)가 주어지는 경우 식 (2)와 같이 디스패리티(P)를 구할 수 있다.

이를 실제 시청환경에서 적용하기 위해서는 시청자의 시청 환경에 대한 정보(시청자의 안간거리와 시청거리)를 획득해야 한다. 이를 위해 키넥트 카메라에서 제공하는 스테레오 비전 함수를 이용하여 시청거리를 구하고, AAM(Active Appearance Model) 마스크[21]를 통해 카메라에 잡힌 시청자의 안간거리를 측정하였다(Fig. 9의 “Viewer” 영역).

3.3 중요도 영상과 깊이 특징의 필요성 및 생성 방법

3D입체영상에 등장하는 객체의 디스패리티를 변화시키기 위해서는 좌우 영상에 존재하는 객체를 잘라내어 수평 이동시켜야 한다. 빠른 시간에 결과물을 얻기 위한 방법으로 영상에 등장하는 객체의 깊이 정보를 나타내는 깊이 특징 영상에서 해당 객체 영역의 깊이 값을 변화시키는 방법으로, 깊이 특징 영상은 이미지를 픽셀 단위, 영역 단위 또는 객체 단위로 구분하여 물리적인 변화(이동)를 가능하게 한다. 깊이 영상을 추출하기 위해서는 스테레오스코픽(Stereoscopic)을 이용하는 방법이 있다. 깊이 특징은 좌우영상의 대응하는 객체 또는 픽셀간의 디스패리티 값을 0∼255단계의 깊이 값으로 대체한 것으로 음화와 비슷한 흑백의 영상물로 거리에 따라 밝아지거나 어둡게 표현된 8bit 이미지 또는 동영상으로 구현된다. 중요도 영상은 물건이나 사람, 동물 등과 같이 어느 영역이 영상 내에서 중요한 영역이고 사람들의 눈길을 끄는지를 측정한 것이다. 영상 내에서 주로 시선을 끄는 영역은 주변의 영역과 다른 텍스처를 갖거나 확연한 색상의 차이를 갖는 영역이다. 따라서 효과적인 객체 분할을 위해서 영상 내의 중요 영역을 검출하는 기술이 매우 중요하다. 컬러 히스토그램 기반의 2D 영상 중요도 영상 추출을 위해 히스토그램을 기반으로 하여 색상 통계량을 통해 영상 내의 색상 대비를 계산하였다(Fig. 6).

Fig. 6.Saliency Map Creation Using Color Quantization.

3.4 객체 검출 및 레이블링(Labeling)

중요 영역 검출을 위해 기존 영상 내 색상 대비를 이용하는 방법에 더해 텍스처 정보와 스테레오 영상의 중요한 특징 중 하나인 3D 깊이 정보를 활용하여 중요 영역을 추출한다. 깊이 정보 반영을 위한 깊이 특징 영상을 추출하기 위해서 색상 대비를 이용해 구한 2D 중요도 영상을 깊이 정보를 이용해 스테레오 영상으로 확장하기 위해 support-weight를 이용한 윈도우 기반의 깊이 특징 영상 추출 알고리즘을 활용하고, 영상의 텍스처 정보를 추출하기 위해서는 Local Binary Pattern(LBP)[9]을 사용했다.

색상 대비 기반의 2D 중요도 영상, 깊이 영상의 깊이 정보, LBP 특징을 이용한 텍스처 정보를 결합하여 최종적인 스테레오 영상에서의 중요도 영상을 추출한다. Fig. 8은 이 과정을 도식화하여 나타낸 것이다. 이후 최종적으로 얻은 중요도 영상을 이용하여 중요 객체 검출을 하여 배경과 분리시킨 후, 블롭 레이블링(Blob Labeling)을 이용하여 영역을 지정한다. 아래 Fig. 9는 이를 구현하여 레이블링을 수행한 결과 영상이다.

Fig. 7.Left two columns : Input Images(left, right), 3rd column : color based saliency map, right column : stereo depth map.

Fig. 8.Object segmentation process.

Fig. 9.Blob Labeling Result (3rd column).

3.5 시청환경에 따른 객체 이동

3.2에서 설명한 획득한 데이터를 바탕으로 키넥트 카메라로 입력받은 시청자의 시청환경(시청거리, 안간거리)에 따라 최적화된 돌출거리를 제공하기 위해 분리된 객체의 깊이를 조정한다. 이때, 객체가 이동함에 따라 홀(Hole)이 발생하게 된다. 발생된 홀을 이미지 인페인팅(Image Inpainting)기술[18]을 이용하여 홀을 배경과 어울리게 메워주어 디스패리티 변화 후의 안정적인 영상을 생성하였다.

 

4. 실험 결과

본 실험은 삼성 32인치 3D 모니터와 키넥트를 고정시켜 카메라와 시청자간의 시청거리와 AAM 마스크를 통해 산출한 안간거리를 측정하여 시청자의 신체적 특성과 시청 위치의 변화에도 동일한 깊이감을 느낄 수 있도록 영상의 디스패리티 변형하였다. 이를 3D 안경을 통해 감상하며 전 후로 이동하여 영상 내 객체의 깊이 변화를 확인하였다. Fig. 10은 정지 영상에서의 디스패리티 조정 결과를 예시로 나타내고 있다. 식 (2)에 의해 이동할 디스패리티의 픽셀 크기가 결정되면 레이블링된 객체를 좌우로 각기 이동시키게 되며, 이때 발생하는 홀이 Fig. 10의 초록색 영역이 된다. 이 홀 영역을 원 영상에 매칭시킨 후 인근 배경 영역의 정보를 기반으로 채워 넣게 되면 Fig. 10의 우측 영상과 같은 결과를 얻어낼 수 있다. Fig. 11은 실제 애니메이션에서의 실험 결과를 나타낸다. 상단의 그림 4장은 스테레오 영상에 대한 연속된 프레임에서의 인페인팅 결과이다. 1, 3번 그림의 시청거리는 85cm, 2, 4번 그림의 시청거리는 55cm로, 시청 중 시청거리를 변화시키게 되면 거리 관계를 나타내는 식 (2)에 따라 각각 61픽셀과 70픽셀에 해당하는 객체(로봇)의 디스패리티 이동이 이루어지게 되고 이에 따른 인페인팅이 수행되었다. 그 결과 중요 객체의 영역이 정확히 분할되었고(Fig. 11의 좌하단), 이 객체가 이동하며 발생한 홀 영역이 자연스럽게 채워진 것을 확인할 수 있다(Fig. 11의 우하단).

Fig. 10.Image Inpainting Process. Filling Occlusion Area(Green Region) Using Neighbor Patches.

Fig. 11.Testing in a Real Environment. Top : 3D Movie Clip for Robot in the Desert. Bottom Left : Segmented Binary Depth Map. Bottom Right : Inpainting Results.

 

5. 결론 및 한계

우리는 본 실험을 통해 시청자의 환경에 따라 변화하는 객체의 깊이를 조절하여 누가 어느 위치에서 영상을 감상할 때라도 동일한 시청환경을 제공하고 자 하였다. 키넥트 장비를 통해 실시간으로 시청거리와 안간거리를 측정하고 콘텐츠 제작단계에서 설계한 기준(6.5cm의 안간거리)에 맞춘 최적의 디스패리티를 산출한 뒤, 영상의 중요 객체를 추출하여 재배치하는 방법을 통해 시청자 맞춤형 콘텐츠로 재구성 하였다. 실제 환경에서의 실험 결과 거리 변화에 따라 객체의 깊이가 변화하며 유지되는 것을 확인할 수 있었지만 빠르게 움직이는 영상이나 복잡한 배경의 경우 객체의 경계선에 모션 블러(Motion Blur)이 발생하여 정교한 인페인팅을 수행하지 못해 영상 감상 시 2겹으로 보이는 고스트 현상이 발생한다. Fig. 12의 좌측은 헬리콥터의 로터(Rotor)와 랜딩스키드(Landing Skid) 주변에 모션 블러가 발생하여 정확한 객체 검출이 이뤄지지 않아 디스패리티를 조절하였을 때 홀 영역이 끊어지는 형태의 결과 영상이며, 우측 그림은 큰 객체의 모션 블러로 인해 검출된 객체 경계가 실제 객체 안쪽에 자리잡아 홀 영역이 잘못 채워지는 결과 영상이다. 이는 사전에 입력 영상에 대한 프레임 단위의 움직임 보정(Debluring)을 수행하고 이를 기반으로 객체 경계 검출을 강화하여 인페인팅을 수행하는 것으로 해결 가능할 것으로 보인다. 또한 많은 객체가 포함된 영상의 경우 깊이 특징 영상을 만드는 시간이 길어 사전에 프레임 단위로 깊이 특징 영상을 생성하여 사용하였는데 향후 GPU 병렬 연산을 통한 속도의 개선을 통해 이를 보완하려 한다.

Fig. 12.Failure Results From Motion Blur.