• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.89-91
• /
• 2016

본 논문에서는 실사 영상 기반으로 3D 영상을 생성하기 위하여 효율적으로 다시점 영상을 획득하는 시스템을 제안한다. 기존의 시스템은 대부분 다수의 카메라를 이용하여 다시점 영상을 획득하는 구조이다. 이 경우 각 카메라 간의 정합(calibration)을 수행해야 할 뿐만 아니라 스테레오 매칭을 통해 깊이 정보를 추출하는 과정이 필요하다. 제안하는 시스템에서는 카메라는 고정시킨 상태에서 촬영하고자 하는 객체를 턴테이블 위에 놓고 회전시키면서 촬영한다. 카메라는 Microsoft에서 출시한 컬러 정보와 깊이 정보를 동시에 얻을 수 있는 키넥트(Kinect) v2를 사용한다. 실험을 통하여 제안하는 시스템이 기존 시스템보다 다시점 영상을 효율적으로 생성하는 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.135-138
• /
• 2014

본 논문에서는 2대의 Kinect 카메라를 이용하여 실세계의 3차원 객체에 대한 복원을 수행하는 방법을 제안한다. 먼저 깊이 가중치가 추가된 계층적 결합형 양방향 필터를 이용하여 Kinect로부터 얻은 원본 깊이 영상을 보정한다. 그리고 카메라 캘리브레이션을 이용하여 카메라의 내부 파라미터와 외부 파라미터를 획득한다. 이를 이용해 3차원 워핑을 수행하여 각 시점의 데이터를 3차원 공간에 점군 모델로 복원하고 표면 모델링 방법을 이용하여 3차원 객체의 매끄러운 표면 모델을 생성한다. 실시간에 가까운 속도를 내기 위해서 계층적 결합형 양방향 필터와 3차원 워핑을 병렬 처리 프레임워크인 CUDA로 구현하여 고속화하였다. 실험을 통해 분리된 각 시점에서의 깊이 정보를 하나의 통합된 3차원 공간에 복원할 수 있었고 초당 5 fps의 속도로 동작하는 것을 확인하였다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.22-28
• /
• 2012

스마트미디어가 보편화되면서 고화질의 3차원 영상과 깊이맵에 대한 필요성이 대두되고 있지만, 현재 기술로는 완벽한 깊이맵을 직접 획득하는 것이 불가능하다. 스테레오 정합으로 획득된 깊이맵은 모호한 텍스처를 갖는 영역에서 낮은 정확도를 가지며, 깊이 카메라를 통해 직접 깊이맵을 획득한 경우에는 센서 잡음이나 낮은 해상도 등의 문제가 발생하게 된다. 본 논문에서는 이미 획득된 깊이맵의 화질을 향상시키거나 고해상도로 변환하는 기술 동향을 살펴본다. 초기에 개발된 깊이맵만을 이용한 기술부터 대응되는 색상 영상 정보를 함께 이용한 기술을 소개하고, 최근 활발히 연구되고 있는 복합형 카메라를 이용하여 깊이맵 화질을 향상시키는 기술을 자세히 살펴본다.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.796-803
• /
• 2008

본 논문에서는 사용자에게 보다 실감있고, 사용자가 선호하는 다시점 3D 영상의 3D 입체감을 제공할 수 있는, 다시점 3D 동영상의 인식 깊이감을 조절하는 기법을 제안한다. 카메라 배열을 변경하는 기존의 방법들과 달리, 제안한 기법은 사용자가 요청하는 깊이 범위의 스케일링을 활용하기 위하여 영상의 깊이 데이터를 활용한다. 다시점 영상 및 해당 시점의 깊이 영상을 입력받아 각 화소의 변이로 변환하고, 각 화소의 변이를 조절함으로써 인식되는 깊이감을 조절하게 된다. 제안 방법은 다시점 카메라로부터 획득한 다시점 영상의 처리가 가능하며, 또한 2-시점 입체영상부터 다시점 영상까지 적용이 가능하다. 실험에서는 제안한 방법을 통하여 깊이감이 조절된 다시점 동영상을 다시점 3D 모니터로 시청하였을 때, 깊이감이 사용자가 선호하는 깊이에 따라서 스케일되는 것을 DSCQS(Double Stimulus Continuous Quality Scale)으로 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.131-133
• /
• 2012

최근 3D 입체 영화 및 3D 방송 기술의 개발과 더불어, 사용자의 몰입감을 극대화하기 위하여, 3D 입체영상과 사용자의 인터랙션 효과를 융합하는 3D 증감 방송 기술에 대한 요구가 높아지고 있다. 본 논문에서는 3D 증강방송을 위해, 3DTV 환경에서의 사용자 인터랙션 서비스에 대한 시나리오에 대해서 분석하고, 이를 바탕으로 제한된 시나리오를 위한 객체 인지 및 제어 기술에 대해서 소개한다. 본 논문에서 깊이 정보와 연계된 3D방송 환경을 가정하고, 이를 TV 환경에 적용했을 경우의 인터랙션 시나리오에 제시하였으며, 다 수의 깊이 카메라를 이용하여 시나리오에 필요한 객체 인지 방법에 대해서 제시한다. 키넥트 카메라를 이용한 구현을 통해 객체 인지 및 시점 전환 구현 결과를 보여준다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.

• 한국HCI학회논문지
• /
• 제1권1호
• /
• pp.53-61
• /
• 2006

본 논문에서는 다시점 카메라를 이용하여 실내환경의 3D 복원을 위한 새로운 방법을 제안한다. 지금까지 다양한 양안차 추정 알고리즘이 제안되었으며, 이는 활용 가능한 깊이 영상이 다양함을 의미한다. 따라서 본 논문에서는 일반화된 다시점 카메라로 여러 방향에서 획득된 3D 점군을 이용한 실내환경 복원 방법을 다룬다. 첫 번째, 3D 점군들의 시간적 특성을 기반으로 변화량이 큰 3D 점들을 제거하고, 공간적 특성을 기반으로 주변의 3D 점을 참조하여 빈 영역을 채움으로써 깊이 영상 정제 과정을 수행한다. 두 번째, 연속된 두 시점에서의 3D 점군을 동일한 영상평면으로 투영하고 수정된 KLT (Kanade-Lucas-Tomasi) 특징 추적기를 사용하여 대응점을 찾는다. 그리고 대응점간의 거리 오차를 최소화함으로써 정밀한 정합을 수행한다. 마지막으로, 여러 시점에서 획득된 3D 점군과 한 쌍의 2D 영상을 동시에 이용하여 3D 점들의 위치를 세밀하게 조절함으로써 최종적인 3D 모델을 생성한다. 제안된 방법은 대응점을 2D 영상 평면에서 찾음으로써 계산의 복잡도를 줄였으며, 3D 데이터의 정밀도가 낮은 경우에도 주변화소와의 상관관계를 이용함으로써 효과적으로 동작한다. 또한, 다시점 카메라를 이용함으로써 수 시점에서의 깊이 영상과 컬러 영상만으로도 실내환경에 대한 3D 복원이 가능하다. 제안된 방법은 네비게이션 뿐만 아니라 상호작용을 위한 가상 환경 생성 및 Mediated Reality (MR) 응용 분야에 활용될 수 있다.

• 한국콘텐츠학회지
• /
• 제8권1호
• /
• pp.12-17
• /
• 2010

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.219-222
• /
• 2009

자유시점 비디오는 단순히 수동적으로 비디오를 보는 것이 아니라 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 일반적으로 다양한 위치 및 다양한 각도에 위치하는 다수의 카메라로부터 촬영된 영상을 이용하여 제작하는데, 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 한 장의 영상을 가상 카메라와 깊이맵을 이용하여 영상 내부를 네비게이션하는 자유시점 입체 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 사진 내부를 탐험하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전처리과정으로 전경 마스크, 배경영상, 및 깊이맵을 자동 및 수동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 투영 영상들을 획득한다. 배경영상과 전객객체의 3D 모델링 데이터를 기반으로 가상 카메라의 3차원 공간 이동, yaw, pitch, rolling의 회전, look-around effect, 줌인 등의 다양한 카메라 기능을 활용하여 자유시점 비디오를 구현한다. 또한 깊이정보의 특성 및 구조에 따라 놀라운 시청효과를 전달하는 카메라 기능의 설정 방법을 소개한다. 소프트웨어는 OpenGL 및 MFC Visual C++ 기반으로 구축되었으며, 실험영상으로 조선시대의 작품인 신윤복의 단오풍정을 사용하였고, 입체 애니메이션으로 제작되어 보다 실감있는 콘텐츠를 제공한다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.920-927
• /
• 2013

크로마키 방식에 의한 영상 합성은 색상 정보에 의해 전경 후경을 분리하기 때문에 객체 색상의 제약과 특정 스크린이 위치해 있어야 하는 공간의 제약이 있다. 특히 스테레오스코픽 3D 디스플레이를 위한 영상 합성은 크로마키 방식과는 달리 3D 공간에서의 자연스러운 영상 합성이 요구된다. 본 논문에서는 고해상도의 깊이 정보를 이용하여 깊이 키잉(depth keying) 방식에 의한 3D 공간에서의 스테레오스코픽 영상 합성을 제안하였다. 이를 위해 DSLR과 마이크로소프트사 키넥트 센서간의 카메라 캘리브레이션을 통해 고화질의 깊이 정보 획득 후 RGB 정보와의 정합 과정을 통해 3차원 데이터를 획득하였다. 깊이 정보에 의해 배경과 분리 된 객체는 3차원 공간에서의 포인트 클라우드 형태로 표현되어 가상 배경과 합성하였다. 이후 가상의 스테레오 카메라에 의해 Full HD 스테레오스코픽 비디오 합성 영상 획득 결과를 보였다.