• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.620-624
• /
• 2009

In this paper, we present a new camera system combining a high-quality 3-D scanner and hybrid camera system to generate a multiview video-plus-depth. In order to get the 3-D video using the hybrid camera system and 3-D scanner, we first obtain depth information for background region from the 3-D scanner. Then, we get the depth map for foreground area from the hybrid camera system. Initial depths of each view image are estimated by performing 3-D warping with the depth information. Thereafter, multiview depth estimation using the initial depths is carried out to get each view initial disparity map. We correct the initial disparity map using a belief propagation algorithm so that we can generate the high-quality multiview disparity map. Finally, we refine depths of the foreground boundary using extracted edge information. Experimental results show that the proposed depth maps generation method produces a 3-D video with more accurate multiview depths and supports more natural 3-D views than the previous works.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.219-222
• /
• 2009

자유시점 비디오는 단순히 수동적으로 비디오를 보는 것이 아니라 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 일반적으로 다양한 위치 및 다양한 각도에 위치하는 다수의 카메라로부터 촬영된 영상을 이용하여 제작하는데, 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 한 장의 영상을 가상 카메라와 깊이맵을 이용하여 영상 내부를 네비게이션하는 자유시점 입체 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 사진 내부를 탐험하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전처리과정으로 전경 마스크, 배경영상, 및 깊이맵을 자동 및 수동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 투영 영상들을 획득한다. 배경영상과 전객객체의 3D 모델링 데이터를 기반으로 가상 카메라의 3차원 공간 이동, yaw, pitch, rolling의 회전, look-around effect, 줌인 등의 다양한 카메라 기능을 활용하여 자유시점 비디오를 구현한다. 또한 깊이정보의 특성 및 구조에 따라 놀라운 시청효과를 전달하는 카메라 기능의 설정 방법을 소개한다. 소프트웨어는 OpenGL 및 MFC Visual C++ 기반으로 구축되었으며, 실험영상으로 조선시대의 작품인 신윤복의 단오풍정을 사용하였고, 입체 애니메이션으로 제작되어 보다 실감있는 콘텐츠를 제공한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.21-22
• /
• 2010

본 논문에서는 디지털 홀로그래피 방식의 비디오 서비스를 위한 서비스 시스템의 구조를 제안하고자 한다. 실사 영상의 디지털 홀로그래피 서비스를 위해서 레이저를 이용한 광학적인 홀로그램 획득이 아닌 실사 기반의 홀로그램 획득 방법을 이용한다. 실사 기반의 홀로그램 획득 방법에는 스테레오 및 다시점 카메라, 그리고 깊이 카메라를 이용하는 것들이 포함된다. 각 카메라 시스템으로 획득된 정보는 깊이와 RGB 정보로 만들어진 후에 컴퓨터 생성 홀로그램(computer-generated hologram, CGH) 과정을 거치면서 홀로그램이 된다. 생성된 홀로그램은 SLM(spatical light modulator)를 통해서 복원되어 영상 서비스를 제공한다. 또한 디지털 홀로그램 기반의 비디오 서비스를 위한 신호처리 기법들을 종합적으로 논의하고, 마지막으로 스테레오 및 깊이 카메라 기반의 홀로그램 생성 결과들을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.93-96
• /
• 2006

2D 및 입체 영상 콘텐츠의 공급이 많아지면서 실감 콘텐츠에 대한 관심이 더욱 높아지고 있다. 실감 콘텐츠는 다시점 카메라로부터 획득한 다시점 비디오, 깊이 카메라에서 얻은 RGB 영상과 컴퓨터 그래픽스와 같은 synthetic data를 합성하여 보다 실감나게 제작된다. 다시점 카메라를 이용하면 다시점 비디오를 쉽게 획득할 수 있으나 제작비용이 많이 들고, 깊이 카메라를 사용하면 시스템 구성은 상대적으로 용이하나 시점 영상이 하나라는 단점이 있다. 본 논문에서는 깊이 카메라에서 얻은 RGB 텍스쳐 데이터와 깊이 데이터로부터 가상 다시점 영상을 생성하고, 생성된 영상에 컴퓨터 그래픽스를 합성하는 방법을 제안한다. 제안한 방법은 다시점 카메라 시스템을 사용하지 않고도 시점에 따른 가상 시점 화상을 용이하게 제작하여 그래픽 객체를 합성한다. 합성된 다시점 3D 모니터나 입체 모니터를 이용하여 3차원으로 실감나게 시청할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.212-213
• /
• 2022

내시경 검사는 내장기관의 이상 유무를 점검할 수 있는 효과적인 의료 기술이다. 해당 논문에서는 자가지도 방식의 직접 감쇠 모델(DAM, Direct Attenuation Model)[3]을 사용한 내시경 비디오 기반 깊이 예측을 제안한다. 단안 카메라의 비디오 영상에서 DAM 을 이용한 빛의 밝기에 따른 깊이 변화 정보와 Normal 정보를 사용하여 깊이와 자세 예측 네트워크 모델 학습을 효과적으로 수행한다. 실험을 통해 제안하는 방법은 기존의 깊이 추정 네트워크 대비 다양한 내시경 비디오 영상에서 더 정확하게 깊이를 추정함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.234-236
• /
• 2010

본 논문에서는 한 장의 영상을 가상 카메라와 깊이맵을 이용하여 영상 내부를 네비게이션하는 입체 자유시점 비디오를 제안한다. 이 분야는 한장 또는 여러장의 사진 내부를 탐험하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전처리과정으로 전경 마스크, 배경영상, 및 깊이맵을 자동 및 수동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 투영 영상들을 획득한다. 배경영상과 전객객체의 3D 모델링 데이터를 기반으로 가상 카메라의 3차원 공간 이동, yaw, pitch, rolling의 회전, look-around effect, 줌인 등의 다양한 카메라 기능을 활용하여 자유시점 비디오를 구현한다. 소프트웨어는 OpenGL 및 MFC Visual C++ 기반으로 구축되었으며, 실험영상으로 조선시대의 작품인 김홍도의 무이귀도를 사용하였고, 입체영상으로 제작되어 보다 실감있는 자유시점 콘텐츠를 제공한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.40-42
• /
• 2019

색상 영상과 이에 상응하는 깊이 영상으로 3차원 비디오를 만드는 방법은 최근 키넥트 깊이 카메라와 같이 저가임에도 불구하고 높은 성능을 보이는 카메라가 시중에 출시되면서 다양한 형태의 응용분야에 많이 사용되기 시작했다[1]. 본 연구는 TOF(Time Of Flight) 카메라와 RGB 카메라가 같이 있는 키넥트를 이용해서 깊이 영상에서 보행자를 탐지한다. 전처리 작업으로 배경 깊이 맵을 미리 저장하고, 깊이의 차이로 보행자 유무를 알아낸다. 보행자를 지속적으로 탐지하기 위해 CAMShift 알고리즘을 사용해 라벨링과 보행자 추적을 하며, 보행자의 진행 방향과 속도를 탐지하기 위해 Dense Optical Flow를 사용해 보행자의 벡터 정보를 저장한다. 보행자가 깊이 맵 밖으로 나가면 해당 보행자에 대한 탐지를 종료한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.186-189
• /
• 2013

최근 다양한 3D 콘텐츠들에 대한 사용자의 요구에 따라 HD(High Definition)화질 및 이를 넘어서는 고해상도(FHD(full high definition), UHD(ultra high definition))의 고품질 3D 방송 서비스에 대한 연구가 진행되고 있으며, 차세대 영상 기술로 주목되고 있는 3차원 비디오 기술은 사용자에게 실감 있는 영상을 제공할 수 있다, 하지만 많은 시점을 전부 촬영하는 것은 한계가 있으므로, 카메라의 깊이 정보를 이용하여, 전송하는 시점을 줄이고, 시점영상을 합성함으로써 사용하는 카메라의 수보다 더 많은 시점을 생성하는 방법이 필요하다. 현재 국제 표준화 기구인 MPEG(Moving Picture Experts Group)의 3차원 비디오 부호화(3D Video Coding, 3DVC)에서는 깊이영상을 가지는 3차원 비디오영상에 대한 효과적인 부호화 기술들에 대해 표준화가 진행되고 있다. 이에 본 논문은 HEVC 기반의 3D-HEVC에서 사용하는 표준 기술들에 대하여 소개하고, 현재 사용되고 있는 기술들에 대한 성능 평가를 분석 하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1188-1193
• /
• 2006

본 논문에서는 동적 객체의 3 차원 정보를 표현하는 깊이 영상의 노이즈 필터링 방법을 제안한다. 실제 객체의 동적인 3 차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 이용하여 실시간으로 획득되며, 일련의 깊이 영상, 즉 깊이 비디오(depth video)로 표현될 수 있다. 하지만 측정환경의 조명조건, 객체의 반사속성, 카메라의 시스템 오차 등으로 인해 깊이 영상에는 고주파 성분의 노이즈가 발생하게 된다. 이를 효과적으로 제거하기 위해 깊이 영상기반의 모델링 기법(depth image-based modeling)을 이용한 3 차원 메쉬 모델링을 수행한다. 생성된 3 차원 메쉬 모델은 깊이 영상의 노이즈로 인해 경계 영역과 형상 내부 영역에 심각한 형상 오차를 가진다. 경계 영역의 오차를 제거하기 위해 깊이 영상으로부터 경계 영역을 추출하고, 가까운 순서로 정렬한 후 angular deviation 을 이용하여 불필요하게 중복된 점들을 제거한다. 그리고 나서 2 차원 가우시안 스무딩 기법을 적용하여 부드러운 경계영역을 생성한다. 형상 내부에 대해서는 경계영역에 제약조건을 주고 3 차원 가우시안 스무딩 기법을 적용하여 전체적으로 부드러운 형상을 생성한다. 최종적으로 스무딩된 3 차원 메쉬모델을 렌더링할 때, 깊이 버퍼에 있는 정규화된 깊이 값들을 추출하여 원래 깊이 영상과 동일한 깊이 영역을 가지도록 저장함으로서 전역적으로 연속적이면서 부드러운 깊이 영상을 생성할 수 있다. 제안된 방법에 의해 노이즈가 제거된 깊이 영상을 이용하여 고품질의 영상기반 렌더링이나 깊이 비디오 기반의 햅틱 렌더링에 적용할 수 있다.