• 한국정보통신학회논문지
• /
• 제16권7호
• /
• pp.1477-1486
• /
• 2012

본 논문에서는 가상시점 깊이영상 생성 기법을 이용한 다양한 시점의 CGH(computer generated hologram) 생성 시스템을 제안한다. 제안한 시스템에서는 먼저 TOF(time of flight) 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 획득하고 카메라 보정 과정을 통해 기준시점 카메라들의 카메라 파라미터를 추출한다. 가상시점 카메라의 위치가 정의되면 기준시점 카메라와의 거리와 위치를 고려하여 최적의 기준시점 카메라들을 선택한다. 가상시점 카메라와 가장 가까운 기준시점 카메라를 주 기준시점으로 결정하고 가상시점 깊이영상을 생성한다. 주 기준시점 카메라와 위치가 반대인 기준시점 카메라를 보조 기준시점으로 선택하여 가상시점 깊이영상을 생성한다. 주 기준시점을 통해 생성된 가상시점 깊이영상에 나타나는 가려짐 영역을 보조 기준시점으로 생성된 가상시점 깊이영상으로부터 찾아 보상한다. 보상이 되지 않고 남은 홀영역은 주변값 중 가장 작은 값으로 채워 최종 가상시점 깊이영상을 생성한다. 최종 가상시점 깊이 영상을 이용하여 CGH를 생성한다. 실험을 통해 기존의 기법보다 제안하는 가상시점 깊이영상 합성 시스템의 성능이 우수함을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.451-453
• /
• 2012

2D영상을 3D영상으로 변환하기 위해서는 영상 내의 깊이 정보를 알 수 있는 깊이지도(depth map)가 필요하다. 깊이지도를 획득하기 위해 다양한 시각적 특성들이 이용되는데, 본 논문에서는 영상에서 아래는 가깝고 위는 멀다는 가정을 기반으로 하는 상대적 높이(relative height) 특성을 이용하여 깊이지도를 생성하는 방법을 제안한다. 기존의 상대적 높이 특성을 이용한 방법들은 왼쪽이나 오른쪽으로 거리가 멀어지는 영상에 대해서 부정확한 깊이지도를 생성한다. 따라서 제안하는 방법에서는 문제점을 개선하기 위해 입력 영상을 소실점 위치에 따라 분류하여 깊이지도를 생성한다. 소실점이 왼쪽이나 오른쪽에 위치할 때는 영상을 회전시켜 소실점을 상단으로 보내 상대적 높이 가정에 맞도록 영상을 변환하고 소실점이 중앙에 위치할 때는 하늘 검출 방법을 통해 실내, 실외를 판별한 후 각 특성에 맞는 초기 깊이 모델을 적용한다. 실험 결과, 제안하는 방법이 상대적 높이 가정을 만족하지 않는 영상도 적합한 깊이지도를 생성할 수 있음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.356-358
• /
• 2011

본 논문에서는 깊이영상 기반의 영상합성과 다시점 영상 생성 기술을 이용하여 3차원 입체 콘텐츠를 제작하는 방법을 제안하였다. 이를 위해 깊이영상을 촬영한 후에 깊이정보를 조절하고, 레이어 기반의 영상으로 합성한 후에 이를 이용하여 다시점 영상을 생성하였다. 깊이카메라와 RGB 카메라로 구성된 카메라 시스템을 이용하여 객체들을 촬영함으로써 객체에 대한 3차원 정보를 획득하고 이를 데이터베이스화하여 3차원 영상을 합성하고 생성하는데 이용한다. 3차원 영상의 위치 및 거리를 고려하여 객체의 3차원 정보를 조절하고, 레이어 기반으로 하나의 영상으로 합성한다. 합성된 영상은 다시점 영상 생성 도구를 이용하여 원하는 시점만큼의 다시점 영상들로 생성된다. 본 논문에서는 객체와 사람의 영상을 합성하였고, 이들을 이용하여 각각 37시점의 다시점 영상을 생성하였다.

• 한국정보통신학회논문지
• /
• 제15권8호
• /
• pp.1704-1713
• /
• 2011

본 논문에서는 깊이영상 기반의 영상합성과 다시점 영상 생성 기술을 이용하여 3차원 입체 콘텐츠를 제작하는 방법을 제안하였다. 이를 위해 깊이영상을 촬영한 후에 깊이정보를 조절하고, 레이어 기반의 영상으로 합성한 후에 이를 이용하여 다시점 영상을 생성하였다. 깊이카메라와 RGB 카메라로 구성된 카메라 시스템을 이용하여 객체들을 촬영함으로써 객체에 대한 3차원 정보를 획득하고 이를 데이터베이스화하여 3차원 영상을 합성하고 생성하는데 이용한다. 3차원 영상의 위치 및 거리를 고려하여 객체의 3차원 정보를 조절하고, 레이어 기반으로 하나의 영상으로 합성한다. 합성된 영상은 다시점 영상 생성 도구를 이용하여 원하는 시점만큼의 다시점 영상들로 생성된다. 본 논문에서는 객체와 사람의 영상을 합성하였고, 이들을 이용하여 각각 37시점의 다시점 영상을 생성하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.240-241
• /
• 2014

3D 입체영상 변환 기술은 콘텐츠 확보의 측면에서 그 중요성이 대두되고 있다. 하지만 입체변환 기술은 매 프레임마다 모두 수작업을 거치기 때문에 다수의 인력과 오랜 작업 시간이 필요하여 생산성 문제가 발생하고 있다. 그 중 깊이영상의 외곽선을 벡터 곡선으로 그리는 작업이 수작업을 통해 이루어지고 있으며 오랜 작업시간이 걸리게 한다. 본 논문에서는 기존의 입체영상 변환 과정의 자동화율을 높이기 위한 깊이영상 양자화 및 베지어 곡선 생성 방법을 제안한다. 연속적인 깊이값을 갖는 깊이영상을 입력으로 받아 선형 또는 비선형 기반의 양자화 방법을 이용하여 깊이영상을 양자화 한다. 이 때 경계부분에 발생하는 페더를 제거하여 양자화 깊이영상의 경계를 보정한다. 양자화 깊이영상에서 같은 깊이를 잇는 등심선을 생성하고 방향 변화가 큰 지점인 굴곡점들을 추출하여 등심선을 다수의 곡선으로 구분한다. 각 곡선의 양 끝의 굴곡점과 그 사이의 중간점을 이용하여 3차 베지어 곡선의 제어 포인트를 계산한다. 같은 수행 단계를 모든 등심선에 적용하여 사용자가 미세보정하기 쉬운 3차 베지어 곡선들을 생성한다. 실험 결과를 통해 제안하는 기법의 우수성을 확인하였다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.127-130
• /
• 2012

본 논문에서는 자유시점 또는 오토스테레오스코픽 비디오나 홀로그래픽 비디오 서비스 들을 목표로 가상시점 영상을 빠르게 생성하는 방법을 제안한다. 이 방법에서 좌/우 깊이영상이 주어졌다고 가정하고, 두 깊이 영상을 이용하여 깊이 값과 변위를 계산 한 후 깊이 당 변위증분을 계산하여 사용한다. 계산된 깊이 값 당 변위증분과 해당 픽셀의 깊이정보를 이용하여 텍스쳐 이미지를 원하는 가상 시점으로 이동시킨다. 좌영상과 우영상을 원하는 가상시점으로 각각 생성한 후, 잡음과 disocclusion을 효과적으로 제거하기 위하여 두 영상을 결합한다. 그 다음 남은 홀을 효과적인 hole-filling으로 제거하여 가상 시점 영상을 생성한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.275-278
• /
• 2012

본 논문에서 2D-3D 자동 영상 변환을 위하여 2D 상으로부터 깊이 지도(depth map)을 생성하는 방법을 제안한다. 제안하는 방법은 보다 정확한 깊이 지도 생성을 위해 영상의 전경 깊이 지도(foreground depth map)와 배경 깊이 지도(background depth map)를 각각 생성 한 후 결합함으로써 보다 정확한 깊이 지도를 생성한다. 먼저, 전경 깊이 지도를 생성하기 위해서 라플라시안 피라미드(laplacian pyramid)를 이용하여 포커스/디포커스 깊이 지도(focus/defocus depth map)를 생성한다. 그리고 블록정합(block matching)을 통해 획득한 움직임 시차(motion parallax)를 이용하여 움직임 시차 깊이 지도를 생성한다. 포커스/디포커스 깊이 지도는 평탄영역(homogeneous region)에서 깊이 정보를 추출하지 못하고, 움직임 시차 깊이 지도는 움직임 시차가 발생하지 않는 영상에서 깊이 정보를 추출하지 못한다. 이들 깊이 지도를 결합함으로써 각 깊이 지도가 가지는 문제점을 해결하였다. 선형 원근감(linear perspective)와 선 추적(line tracing) 방법을 적용하여 배경깊이 지도를 생성한다. 이렇게 생성된 전경 깊이 지도와 배경 깊이 지도를 결합하여 보다 정확한 깊이 지도를 생성한다. 실험 결과, 제안하는 방법은 기존의 방법들에 비해 더 정확한 깊이 지도를 생성하는 것을 확인할 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2012년도 춘계학술발표대회논문집
• /
• pp.426-427
• /
• 2012

본 논문은 부호화된 저해상도의 깊이 영상과 고해상도의 색상 영상을 입력으로 고해상도의 깊이 영상을 생성하는 새로운 방법을 제안한다. 제안하는 방법은 결합 양측 필터를 이용하여 저해상도 깊이 영상의 경계 정보를 향상시킨다. 그런 다음, 깊이 영상 보간 단계에서 향상된 경계 정보를 참조하여 고품질 고해상도의 깊이 영상을 생성한다. 실험을 통한 깊이 영상과 합성영상의 화질 평가에서, 제안하는 방법이 기존의 3DV-ATM 깊이 영상 보간법보다 높은 성능을 보인다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.363-373
• /
• 2012

본 논문에서는 자유시점 또는 오토스테레오스코픽 비디오나 홀로그래픽 비디오 서비스 등을 목표로 중간시점 깊이영상을 생성하는 방법을 제안한다. 이 방법에서 좌/우 깊이영상이 주어졌다고 가정하고, 이 깊이영상들은 카메라 보정과 영상보정이 수행되었다고 가정한다. 제안한 방법은 깊이 당 변위증분을 계산하여 사용하며, 이 변위증분은 일반적인 상황을 고려하여 좌/우 깊이영상을 스테레오 정합하여 계산한다. 계산된 변위증분을 사용하여 해당 깊이값의 위치를 원하는 중간시점 깊이영상에서 찾는다. 중간시점 깊이영상은 좌영상과 우영상으로부터 각각 생성하며, 잡음을 제거하고 홀 필링을 수행한 후 두 영상을 결합하여 최종 중간시점 깊이영상을 생성한다. 제안한 방법을 구현하여 여러 테스트 시퀀스에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 33.84dB이었으며, HD급 중간시점 깊이영상을 초당 한 프레임 정도 생성하는 속도를 보였다. 이 화질은 테스트 시퀀스들의 비균질성을 고려할 때 상당히 좋은 화질이라 판단되며, 향후 수행속도를 더욱 향상시키면 제안한 방법은 중간시점 깊이영상을 생성하는 좋은 방법이 될 것으로 사료된다.