• 방송공학회논문지
• /
• 제14권2호
• /
• pp.164-177
• /
• 2009

DIBR(depth image-based rendering) 기법은 한 장의 칼라 영상과 그에 대응하는 깊이맵을 이용하여 수신측에서 가상의 좌우 영상을 생성하여 시청자에게 깊이감을 제공해주는 방법이다. 이 때 생성되는 좌우 영상의 화질과 깊이감은 좌우 영상의 시점에 해당하는 가상 카메라의 간격에 영향을 받게 된다. 본 논문에서는 가상 카메라의 간격 조절을 통해 양질의 깊이감을 제공하는 기법을 제안한다. 영상의 기하 분석에 따르면 스테레오스코픽 영상의 변이가 증가할수록 영상의 왜곡이 줄어들어 깊이감이 좋아지게 되나, 이 경우에는 그에 따른 영상의 열화가 고려되지 않았다. 실험결과에 따르면 영상열화나 시역형성의 제한 등으로 인해 변이의 증가폭에 제한이 있음을 알 수 있다. 변이 증가폭을 늘리기 위해서는 영상의 열화 현상을 줄여야 하므로 깊이맵의 전처리 과정을 추가하였다. 제안하는 방법은 시청자의 요구에 따라 카메라의 위치와 시점을 추가적으로 조절할 수 있게 하는 양방향 서비스를 추가로 제공하므로 3차원 TV 뿐만 아니라, DMB와 같은 이동형 방송 시스템에도 적용이 가능하다.

• 한국통신학회논문지
• /
• 제37A권11호
• /
• pp.918-926
• /
• 2012

3차원 비디오 전송에 있어서, 렌더링에 사용되는 깊이 맵은 압축 효율을 위하여 일반적으로 낮은 해상도로 다운샘플링 되어 전송된다. 이때, 다운샘플링 과정에서 발생하는 오류는 디코딩 후의 적절한 업샘플링 기법을 통하여 효과적으로 복구할 수 있다. 하지만 기존의 연구들은 이러한 오류를 줄이기 위하여 여러 업샘플링 기법에 대해서만 초점이 맞춰져 있었다. 본 논문에서는 사람의 인지적인 화질을 보다 제고시키기 위하여 동적인 객체와 정적인 배경에 서로 다른 다운샘플링 비율을 적용시키는 새로운 하이브리드 깊이 맵 다운샘플링 기법을 제안한다. 실험적인 결과는 제안하는 방법이 시각적인 품질과 PSNR 측면에서의 이득이 있음을 보여준다. 또한 제안하는 방법은 여러 업샘플링 기법들과 호환이 가능하다.

• 방송공학회논문지
• /
• 제16권1호
• /
• pp.44-53
• /
• 2011

본 논문에서는 depth layer partition을 이용한 2D 동영상의 자동 3D 변환 기법을 제안한다. 제안하는 기법에서는 먼저 2D 동영상의 장면 전환점을 검출하여 각각의 프레임 그룹을 설정하여 움직임 연산 과정에서의 오류 확산을 방지하여 깊이맵(depth map) 생성과 정에서 오차를 줄여준다. 깊이정보는 두 가지 방법으로 생성되는데 하나는 영역 분할과 움직임 정보를 이용하여 깊이맵을 추출하는 것이고 다른 하나는 에지 방향성 히스토그램(edge directional histogram)을 이용하는 방법이다. 제안하는 기법에서는 객체와 배경을 분리하는 depth layer partition 과정을 수행한 후 생성된 두 개의 깊이맵을 원 영상에 최적이 되도록 병합하게 된다. 제안된 기법으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있다는 것을 다양한 실험 결과를 통해 알 수 있다.

• 방송공학회논문지
• /
• 제16권4호
• /
• pp.584-595
• /
• 2011

최근 RGB 영상과 깊이맵이 동시에 제작되어 공급되고 있다. 깊이맵은 사용자의 용도에 따라 다양한 형태로 변환되어 입체영상 제작에 사용된다. 깊이맵을 활용하는 기법이 새로이 소개되고 있는데, 한 예로 의료 분야에서 2D 영상의 컬러를 변환하여 지각 깊이감을 개선하는 영상처리 기술에 대한 관심이 높아지고 있다. 본 논문에서는 기존의 컬러 변환을 통한 2D 영상의 지각 깊이감 개선을 입체영상에 적용하여, 3D 지각 깊이감을 동시에 향상시키는 방법을 제안한다. 이를 위해 대조 변환 및 배경 다크닝 방법을 제안하고, 실험을 통해 제안 방법이 상기 목적을 얻을 수 있는 것을 검증하였다. 주관적 실험에서는 입체감 향상 및 피로도 측정을 통해 제안 방법의 성능 및 단점을 제시하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 3부
• /
• pp.170-175
• /
• 2007

영상 재투영이란, 깊이 맵을 투영하여 임의의 시점에서 본 이미지를 생성해내는 기법을 말한다. 기존의 CPU를 이용한 영상 재투영 기법들의 가장 큰 단점은 CPU와 GPU 간의 데이터 복사가 일어나고 재투영 연산 자체의 속도가 느리기 때문에 실시간 렌더링이 불가능 하다는 것이다. 따라서 본 논문에서는 GPU를 이용하여 영상 재투영을 구현하고 실시간에 이미지를 렌더링하는 기법을 소개한다. 우리의 기법은 입력으로 참조 이미지와 해당 이미지의 깊이 맵이 주어졌을 때, 임의의 시점에서 보이는 새로운 이미지를 실시간으로 생성한다. 임의의 시점에서 이미지를 생성하기 위해, 각 픽셀에서 참조 이미지에 해당하는 평면을 렌더링하여 시점 반대 방향의 광선을 생성한다. 이 광선을 참조 이미지의 투영 공간으로 변환한 후, 광선과 깊이 맵간의 교차점을 찾는다. 이렇게 찾아낸 깊이 맵의 교차점과 일치하는 참조 이미지의 픽셀 색으로 새로운 시점의 이미지를 만들어 낼 수 있다. 이와 같은 기법은 기하 정보의 복잡도와 관계없이 수십 프레임의 속도로 실시간 렌더링이 가능하다.

• 방송공학회논문지
• /
• 제19권3호
• /
• pp.362-371
• /
• 2014

카메라 초점에 의해 발생하는 흐림(blur)의 변화는 깊이값을 측정하는데 사용한다. DFD(Depth from Defocus)는 깊이값과 흐림의 비례 관계를 이용하여 흐림의 양을 측정하는 기술이다. 기존 DFD 방법은 입력으로 두 장의 비초점 영상(defocused image)을 사용하는데, 기술적인 문제로 낮은 품질의 복원된 초점 영상(infocused image)과 깊이맵을 얻고 있다. 상기 문제점을 해결하는 방법으로 초점영상과 비초점 영상을 이용함으로써 복원된 초점 영상의 품질 저하를 해결한다. 제안 방법에서는 Subbaro가 제안한 DFD 방법에 새로운 에지 흐림 측정 방법을 결합하여 보다 정확한 흐림 값을 구한다. 또한 명암의 변화가 적은 영역에서는 흐림의 양을 측정하기가 어렵기 때문에, 관심맵(saliency)을 이용하여 비에지 영역을 채울 수 있도록 하였다. 실험에서는 초점 조절 기능이 있는 카메라로부터 20장의 2K FHD 해상도의 초점 및 비초점 영상을 생성한 후에 제안 방법을 이용하여 깊이맵을 생성하고, 마지막으로 입력 초점 영상과 깊이맵으로부터 3D 입체영상을 제작하였다. 3D 모니터로 시청한 결과 안정된 3D 공간감과 입체감을 얻을 수 있었다.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.31-43
• /
• 2014

깊이맵은 3D 입체영상의 생성을 위해 중요한 요소이다. 하지만 깊이 카메라를 이용하여 획득한 깊이맵들은 낮은 해상도를 갖는 단점이 있기 때문에 이를 고해상도로 변환하는 연구들이 활발하게 진행되고 있다. 이러한 연구들은 일반적으로 PSNR, Sharpness Degree, Blur Metric 등과 같은 객관적인 평가방법으로 성능을 검증해왔다. 이러한 평가방법 이외에 DIBR로 가상시점(virtual view)을 생성하여 주관적으로 평가하는 연구도 있으나, 입체영상을 생성하여 깊이맵 업샘플링의 성능을 분석하는 것은 많지 않다. 본 논문에서는 다양한 깊이맵 업샘플링 방법들을 이용하여 생성된 입체영상의 주관적 평가와 업샘플링 방법의 객관적 평가 결과의 상관관계 및 선형회귀법을 이용하여 관련성을 분석한다. 실험결과에서는 에지 PSNR이 시각적 피로도와의 상관관계가 가장 높고, Blur Metric은 가장 낮다는 것을 보여준다. 또한 선형회귀에서는 최적의 입체영상을 얻을 수 있는 객관적 평가의 가중치를 구하고, 기존 또는 새로운 업샘플링 알고리즘의 3D성능을 예측할 수 있는 공식을 보여준다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
• /
• pp.424-427
• /
• 2007

스테레오 영상으로부터 3차원 구조를 복원하기 위해서는 깊이맵에 해당하는 시차맵을 생성해야 한다. 시차맵 생성을 위해서는 정합비용을 계산하고, 집성한 후에 시차를 계산하는 절차로 이루어진다. 본 논문에서는 스테레오 영상으로부터 빠르고 안정된 시차맵을 생성하기 위해서 후처리 과정으로 각 스캔라인에 대해서 분산을 이용하여 세그멘테이션을 한 후에 세그멘테이션 별로 평균을 내어 객체간의 구분을 명확히 한다. 조밀 시차맵을 생성하기 위해서는 시차 계산에 실패한 화소들에 대해서도 시차를 계산해야 하는데 본 논문에서는 간단하게 인접 화소의 값을 복사하는 방법으로 홀을 메우는 방법을 제안한다. 실제 환경에서의 다양한 스테레오 영상에 대한 실험 결과들은 제안된 시차맵 생성과 홀을 메우는 방법이 기존의 시차맵 생성 기법만큼 빠르고 기존의 방법보다 좀더 안정적이고 다양한 컴퓨터 비전 시스템응용에 적용될 수 있음을 보여준다.

• 방송공학회논문지
• /
• 제16권2호
• /
• pp.274-292
• /
• 2011

본 논문에서는 실제 영상과는 다른 특성을 지니는 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 깊이정보 맵은 객체 내부 혹은 배경 부분에서 상당히 완만한 특성을 지니지만, 객체 경계 부분에서는 아주 날카로운 에지 성분이 존재한다는 특징이 있다. 그리고 깊이정보 맵을 비트평면 단위로 분리하였을 때, 비트평면 간 완전일치/반전일치되는 특성이 객체 경계 부분에서 자주 발생한다는 특징이 있다. 그래서 본 논문에서는 객체 경계 부분에서 비트평면의 이진 영상간 일치여부를 적절하게 이용하기 위하여 깊이정보 맵을 비트평면 단위로 분리하여 비트평면 간 적응적 XOR 연산을 이용한 블록 기반 비트평면 부호화 방법을 제안한다. 또한 비트평면 단위 영상 부호화 방법과 DCT 기반 동영상 압축 방법(H.264/AVC)의 장점을 적절하게 이용하기 위하여 블록 단위 비트평면 부호화 방법과 기존의 블록 단위 동영상 부호화 방법을 적응적으로 선택하여 부호화하였다. 실험 결과 제안하는 방법이 H.264/AVC보다 BD-PSNR이 0.9 dB ~ 1.5 dB 향상되었고 BD-rate가 11.8 % ~ 20.8 % 감소되었다. 또한 제안하는 방법이 블록 기반 적응적 깊이정보 맵 부호화 방법보다 BD-PSNR이 0.5 dB ~ 0.8 dB 향상되었고 BD-rate가 7.7 % ~ 12.2 % 감소되어 제안하는 방법의 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상 영상 간의 비교에서 제안하는 방법이 DCT 기반 동영상 압축 방법보다 주관적 화질이 향상된 것을 확인할 수 있었으며, 블록 기반 적응적 깊이정보 맵 부호화 방법과 비교하여 주관적 화질이 비슷하다는 것을 확인 할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제49권2호
• /
• pp.83-93
• /
• 2012

본 논문에서는 다시점의 컬러 영상 및 깊이 정보 맵을 효율적으로 압축하는 방법을 제안한다. 제안하는 다시점 컬러 영상과 깊이 정보 맵 압축 방법을 통하여, 컬러 영상과 깊이영상이 각각 동일시점 내에서 화면 간 참조를 수행함은 물론, 확장 시점의 컬러 영상과 깊이 정보 맵이 이웃한 시점의 컬러 영상과 깊이 정보 맵을 각각 참조하는 시점 간 참조를 추가적으로 수행함으로써 부호화 효율을 높일 수 있다. 제안한 방법을 통하여 실험을 수행한 결과 2시점의 경우 컬러 영상은 각 시점의 영상을 시점간 부호화 하지 않은 영상에 비하여 약 55%의 부호화 이득이 있었으며 깊이 정보 맵은 약 12%의 부호화 이득이 있었다. 3시점의 경우에는 컬러 영상에 대하여 바깥 시점은 화면 간 예측 부호화를 하지 않은 영상에 비해 54%, 중간 시점은 56%의 비트를 절약할 수 있었다. 또한, 3시점의 깊이 정보 맵에 대하여 예측 부호화를 하지 않은 영상에 비해 약 11%의 바깥 시점 부호화 성능과 13%의 중간 시점 부호화 성능을 얻을 수 있었다.