• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.875-880
• /
• 2013

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.39-41
• /
• 2011

본 논문에서는 깊이 영상의 해상도와 품질을 향상시키는 방법을 제안한다. 일반적으로 2D-plus-Depth 구조의 3D 콘텐츠에서는 깊이 영상의 품질이 매우 중요하다. 최근 들어 Time-of-Flight (TOF) 방식의 깊이 센서가 깊이 영상 획득에 많이 사용되고 있는데 TOF 깊이 센서가 제공하는 깊이 영상은 저해상도이기 때문에 고해상도 3D 콘텐츠를 제작하기 위해서는 깊이 영상의 해상도를 상향 변환하는 것이 필수적이다. 또한 고품질의 깊이 영상을 얻기 위해서는 물체 간의 경계를 정교하게 보존하는 것이 중요하다. 최근에는 깊이 영상의 해상도 상향 변환을 위해서 Joint Bilateral Upsampling(JBU) 방식이 많이 사용되고 있다. 본 논문은 깊이 영상의 해상도를 높임에 있어서 우선 보간법을 수행하여 영상의 상향 변환 시에 생긴 빈 홀들의 값을 채워준 후 Bilateral Filtering을 수행함으로써 성능을 높인다. 일반적으로 영상을 상향 변환을 할 때 다양한 방법들이 있는데 본 논문에서는 Nearest Neighborhood(NN), Gaussian과 경계 보존 보간법, 경계 보존 보간법과 Fast Curvature Based Interpolation(FCBI)를 결합한 보간법을 사용하였다. 실험 결과 제안 방법이 기존 방법보다 우수한 성능을 가짐을 보여준다. 또한 경계 보존 보간법과 FCBI를 결합한 보간법을 이용해서 상향 변환을 수행한 결과가 다른 보간법들에 의한 결과보다 우수하다는 점을 알 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1188-1193
• /
• 2006

본 논문에서는 동적 객체의 3 차원 정보를 표현하는 깊이 영상의 노이즈 필터링 방법을 제안한다. 실제 객체의 동적인 3 차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 이용하여 실시간으로 획득되며, 일련의 깊이 영상, 즉 깊이 비디오(depth video)로 표현될 수 있다. 하지만 측정환경의 조명조건, 객체의 반사속성, 카메라의 시스템 오차 등으로 인해 깊이 영상에는 고주파 성분의 노이즈가 발생하게 된다. 이를 효과적으로 제거하기 위해 깊이 영상기반의 모델링 기법(depth image-based modeling)을 이용한 3 차원 메쉬 모델링을 수행한다. 생성된 3 차원 메쉬 모델은 깊이 영상의 노이즈로 인해 경계 영역과 형상 내부 영역에 심각한 형상 오차를 가진다. 경계 영역의 오차를 제거하기 위해 깊이 영상으로부터 경계 영역을 추출하고, 가까운 순서로 정렬한 후 angular deviation 을 이용하여 불필요하게 중복된 점들을 제거한다. 그리고 나서 2 차원 가우시안 스무딩 기법을 적용하여 부드러운 경계영역을 생성한다. 형상 내부에 대해서는 경계영역에 제약조건을 주고 3 차원 가우시안 스무딩 기법을 적용하여 전체적으로 부드러운 형상을 생성한다. 최종적으로 스무딩된 3 차원 메쉬모델을 렌더링할 때, 깊이 버퍼에 있는 정규화된 깊이 값들을 추출하여 원래 깊이 영상과 동일한 깊이 영역을 가지도록 저장함으로서 전역적으로 연속적이면서 부드러운 깊이 영상을 생성할 수 있다. 제안된 방법에 의해 노이즈가 제거된 깊이 영상을 이용하여 고품질의 영상기반 렌더링이나 깊이 비디오 기반의 햅틱 렌더링에 적용할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.109-112
• /
• 2008

최근 MPEG(moving picture experts group)에서 표준화를 진행하고 있는 3차원 비디오 시스템은 다시점 영상과 깊이영상을 동시에 이용하여 사용자가 임의의 시점을 선택하거나 스테레오스코픽 장치와 같은 3차원 영상 재생장 치를 동해 3차원 영상을 제공하는 차세대 방송 시스템이다 제한된 시점수를 이용하여 보다 많은 시점의 영상을 제공하려면 중간시점의 영상을 보간하는 장치가 필수적이다. 이 시스템의 입력정보인 깊이값을 이용하면 시점이동을 쉽게 할 수 있는데, 보간한 영상의 화질은 이 깊이값의 정확도에 따라 결정된다. 깊이맵은 대개 컴퓨터 비전을 기반으로 한 스테레오 정합기술을 이용 획득하는데, 객체의 경계와 같은 깊이값 불연속 영역에서 주로 깊이값 오류가 발생하게 된다. 이런 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 발생시킨다. 기존의 방법에서는 측정한 깊이법의 객체 경계와 영상의 객체 경계가 일치한다는 가정으로 중간영상을 합성했다. 그러나 실제로는 깊이값 측정 과정에서 두 가지 경계가 일치하지 않아 전경의 일부분이 배경으로 합성되어 잡음을 발생하는 것이다. 본 논문에서는 깊이맵을 기반으로 중간시점의 영상을 보간할 때 발생하는 경계 잡음을 처리하는 방법을 제안한다. 중간영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용함으로써 경계 잡음을 처리할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.348-350
• /
• 2013

본 논문에서는 깊이영상의 특징을 이용하여 깊이영상에 보다 적합한 움직임 예측방법에 대한 방식을 제안한다. 기존 컬러영상 기반으로 제안되었던 대부분의 움직임 예측 방법들이 깊이영상에 적용할 경우 local minimum 에 빠지게 되어 이에 따른 압축 성능 저하가 있음을 확인하였다. 본 논문에서는 이러한 문제점들이 깊이영상의 오브젝트 경계 영역에서 나타나게 됨을 분석하며, 이러한 문제점을 해결하기 위해 깊이영상의 경계 영역에 대해 feature matching 방식을 이용한 full search 방식을 제안한다. 실험적인 결과는 제안방식이 기존 full search 방식과 비교하여 성능은 비슷하게 유지한 채 복잡도를 크게 개선할 수 있음을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.26-28
• /
• 2012

본 논문에서는 깊이 영상의 해상도를 향상시키는 기법을 제안한다. 최근 TOF(time-of-flight) 방식의 깊이 센서가 깊이 영상 획득에 많이 사용되고 있다. 그러나 TOF 깊이 센서가 제공하는 깊이 영상은 대부분 저해상도이기 때문에 고해상도의 콘텐츠 제작을 위해서는 깊이 영상의 해상도를 향상시켜주는 것이 필수적이다. 본 논문에서는 깊이 영상의 해상도를 높이기 위하여 적응적 가중치 보간법을 적용한 후, Bilateral 필터링을 수행하여 품질을 높인다. 일반적으로 영상의 해상도를 높일 때 보간법을 많이 사용하는데, 본 논문에서는 이러한 보간법들을 사용하여 깊이 영상의 해상도를 높였을 때보다 제안하는 기법의 성능이 우수함을 실험을 통해 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.289-292
• /
• 2013

최근 많은 영상처리 연구자들 사이에서 마이크로소프트사의 실시간 깊이센서 '키넥트'가 상당한 관심을 받고 있다. '키넥트'는 실시간으로 깊이정보를 제공함과 동시에 별도의 센서를 부착하지 않고도 컴퓨터와의 인터렉션할 수 있는 가능성을 제공한다. 하지만 '키넥트'의 깊이영상은 홀 영역, 부정확한 경계, 낮은 해상도등의 많은 문제점을 지니고 있다. 이러한 부정확한 깊이 정보는 3차원 렌더링, 가상시점 영상 합성, 모션 인식 등에서 성능 저하를 야기한다. 따라서 본 논문에서는 깊이 정보 품질 향상기법에 관하여 깊이영상 신뢰도를 이용한 도메인 변환기반 해상도 상향 알고리듬을 제안한다. 정확하고 빠르게 홀 영역정보를 추정하기 위해 도메인 변환 기반의 경계 보존 필터링이 사용된다. 또한 다양한 깊이 영상의 노이즈를 효율적으로 제거하기 깊이 영상의 신뢰도를 이용한다. 실험결과를 통하여 제안하는 방법이 효율적으로 홀 영역을 채우고, 부정확한 경계를 제거하여 깊이 영상의 품질을 향상시키는 것을 확인할 수 있다.

• 방송과미디어
• /
• 제27권2호
• /
• pp.35-42
• /
• 2022

3차원 깊이 영상은 시점으로부터 객체까지의 거리와 관련된 정보를 제공하는 영상으로 최근 자율주행 자동차, 스마트 드론, 로보틱스, 증강 현실, 의료 영상 등에 핵심 정보로 활용되는 매우 중요한 정보이다. 이에 따라 컴퓨터 비전 분야에서는 2차원 영상으로부터 3차원 깊이 정보를 획득하는 연구가 계속되어 왔고, 최근 인공지능 기술의 발달에 힘입어 그 성능도 나날이 향상되고 있다. 그 중에서도 스테레오 영상 간의 매칭을 통하여 깊이 정보를 획득하는 스테레오 매칭 기술은 데이터베이스 구축이 비교적 용이하고 획득 환경이 제한적이지 않다는 장점으로 인해 널리 활용되고 있다. 하지만 텍스쳐가 없는 영역, 패턴이 반복되는 영역, 가림 영역 등에서 성능에 한계를 보이기 때문에, 깊이 영상의 신뢰도를 추정하는 스테레오 깊이 영상의 신뢰도 추정 기술을 이용하여 깊이 정보를 효과적으로 복원할 수 있다. 본 고에서는 스테레오 매칭을 통하여 획득한 깊이 영상의 신뢰도 추정 기술의 발전 동향을 살펴보고 현재 기술의 한계점과 향후 나아갈 방향에 대해서 토의한다.