• 한국통신학회논문지
• /
• 제40권12호
• /
• pp.2530-2538
• /
• 2015

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.452-454
• /
• 2015

본 논문에서는 다시점 깊이영상 기반 3 차원 영상시스템에서 깊이영상의 해상도에 따른 압축성능을 비교 실험한다. 다시점 깊이영상 시스템에서 깊이영상은 중간시점 합성을 위해 사용되며, 깊이영상은 중간영상의 화질에 큰 영향을 미치게 된다. 본 논문에서는 3 차원 영상시스템에서 깊이영상 해상도에 따른 중간영상의 화질변화를 분석하고, dilation filter 로 인한 성능변화를 비교 분석한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.620-624
• /
• 2009

본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.

• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.375-384
• /
• 2016

본 논문에서는 스테레오 영상과 스테레오 영상 바깥 시점의 위성 영상 그리고 상응하는 깊이 영상이 입력으로 주어질 때 이 입력 영상들을 압축에 적합한 포맷으로 변환하고 활용하여 중간시점 영상을 합성하는 새로운 기법을 제안한다. 송출 단에서 깊이 영상들은 하나의 global 영상으로, 위성영상은 시점 이동 시에 발생하는 프레임 밖의 영역 및 가려짐 영역과 같은 홀 영역에만 해당하는 residual 영상으로 변환 후에 데이터 량을 줄이기 위하여 다운샘플링하고 주시점의 스테레오 영상과 더불어 HEVC 코덱으로 부호화 한 후 전송한다. 수신 단에서 복호화된 각 입력 영상들을 이용하여 스테레오 영상 간 그리고 스테레오 영상과 위성 영상간의 중간시점 영상을 합성한다. 실험을 통하여 제안한 포맷을 이용하여 합성한 중간 시점 영상을 MVD(Multiview Video plus Depth) 포맷을 이용하여 합성한 중간 시점 영상과 비교했을 때 전송하는 데이터의 비트율(bit-rate) 대비 객관적 그리고 주관적 화질이 뛰어남을 확인하였다.

• 방송공학회논문지
• /
• 제21권6호
• /
• pp.878-888
• /
• 2016

본 논문에서는 3차원 비디오 시스템에서 손상된 깊이영상으로 인하여 합성된 가상시점 영상에서 발생하는 경계 잡음을 효과적으로 제거하는 방식을 제안한다. 제안 방식에서는 손실 압축에 의한 깊이영상의 잡음으로부터 발생하는 경계 잡음의 특징을 분석하고, 이를 바탕으로 픽셀 도메인과 주파수 도메인에서의 convex set을 설정하여 해당 조건들을 반복적으로 사영시키는 projection onto convex sets (POCS) 기법을 활용하여 올바른 정보는 유지한 채 경계 잡음만을 제거한다. 이 논문에서 제안한 방식은 영상합성 과정에서 생성되는 컬러 및 깊이영상에 모두 적용하였다. 실험 결과 제안 기법은 경계 잡음을 효과적으로 제거하여 가상시점 영상의 화질을 향상시켰음을 확인하였다.