• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.457-459
• /
• 2015

본 논문에서는 원의 호 곡선에 따라 배치된 다중 RGB 카메라 영상으로 생성한 깊이 지도를 정렬하는 방법을 제안한다. 원의 호 곡선에 따라 배치된 카메라는 각 카메라의 광축이 한 점으로 만나서 수렴하는 형태가 이상적이다. 그러나 카메라 파라미터를 살펴보면 광축이 서로 수렴하지 않는다. 또한 카메라 파라미터는 오차가 존재하고 내부 파라미터도 서로 다르기 때문에 각 카메라 영상들은 수평과 수직 오차가 발생한다. 이와 같은 문제점을 해결하기 위해 첫 번째로 광축이 한 점으로 수렴하기 위해서 카메라 외부 파라미터를 보정하여 깊이 영상 정렬을 하였다. 두 번째로 내부 파라미터를 수정하여 각 깊이 영상들의 수평과 수직 오차를 감소시켰다. 일반적으로 정렬된 깊이 지도를 얻기 위해서는 초기 RGB 카메라 영상으로 정렬을 수행하고 그 결과 영상으로 깊이 영상을 생성한다. 하지만 RGB 영상으로 카메라의 회전과 위치를 보정하여 정렬하면 카메라 위치 변화에 따른 깊이 지도 변화값 적용이 복잡해 진다. 즉 정렬 계산 과정에서 소수점 단위 값이 사라지기에 최종 깊이 지도의 값에 영향을 미친다. 그래서 RGB 영상으로 깊이 지도를 생성하고 그것을 처음 RGB 카메라 파라미터로 워핑(warping)하였다. 그리고 워핑된 깊이 지도 값을 가지고 정렬을 수행하였다.

• 한국정보통신학회논문지
• /
• 제16권7호
• /
• pp.1477-1486
• /
• 2012

본 논문에서는 가상시점 깊이영상 생성 기법을 이용한 다양한 시점의 CGH(computer generated hologram) 생성 시스템을 제안한다. 제안한 시스템에서는 먼저 TOF(time of flight) 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 획득하고 카메라 보정 과정을 통해 기준시점 카메라들의 카메라 파라미터를 추출한다. 가상시점 카메라의 위치가 정의되면 기준시점 카메라와의 거리와 위치를 고려하여 최적의 기준시점 카메라들을 선택한다. 가상시점 카메라와 가장 가까운 기준시점 카메라를 주 기준시점으로 결정하고 가상시점 깊이영상을 생성한다. 주 기준시점 카메라와 위치가 반대인 기준시점 카메라를 보조 기준시점으로 선택하여 가상시점 깊이영상을 생성한다. 주 기준시점을 통해 생성된 가상시점 깊이영상에 나타나는 가려짐 영역을 보조 기준시점으로 생성된 가상시점 깊이영상으로부터 찾아 보상한다. 보상이 되지 않고 남은 홀영역은 주변값 중 가장 작은 값으로 채워 최종 가상시점 깊이영상을 생성한다. 최종 가상시점 깊이 영상을 이용하여 CGH를 생성한다. 실험을 통해 기존의 기법보다 제안하는 가상시점 깊이영상 합성 시스템의 성능이 우수함을 확인하였다.

• 한국통신학회논문지
• /
• 제37C권9호
• /
• pp.751-756
• /
• 2012

본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.

• 방송공학회논문지
• /
• 제13권5호
• /
• pp.596-601
• /
• 2008

본 논문은 저해상도의 깊이 카메라와 고해상도의 양안식 카메라를 결합한 복합형 카메라 시스템에서 관심영역(region of interest, ROI)이 향상된 깊이맵을 생성하는 새로운 방법을 제안한다. 제안하는 방법은 깊이 카메라로 획득한 깊이 정보를 3차원 워핑(warping)하여 좌영상의 ROI 깊이맵을 생성한다. 그런 다음, 양안식 카메라로 획득한 좌우영상의 배경 영역을 스테레오 정합하여 좌영상의 배경 깊이맵을 생성한다. 최종적으로, ROI 깊이맵과 배경 깊이맵을 결합하여 최종 깊이맵을 생성한다. 제안하는 방법으로 생성한 고해상도 깊이맵은 기존의 스테레오 정합 방법보다 ROI에 정확한 깊이 정보를 제공한다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.1-7
• /
• 2011

깊이 카메라는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용된다. 그러나 깊이 카메라 자체가 가지는 기술적 한계로 인하여 영상에 잡음과 왜곡이 포함되어 있기 때문에 이를 효과적으로 제거할 수 있는 기술이 요구되며, 처리 된 깊이 카메라 영상은 다양한 방법으로 색상 영상과 융합되어 장면의 깊이 정보를 생성할 수 있다. 본 논문에서는 이와 같이 다시 점 카메라와 깊이 카메라를 함께 사용하여 고화질의 깊이 정보를 획득할 수 있는 혼합형 카메라 방식의 원리와 깊이 영상 처리 및 깊이 생성을 위한 기술 동향을 설명한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.12-15
• /
• 2016

요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 방법이 매우 중요하다. 깊이 정보를 얻는 방법은 크게 수동형 방식과 능동형 방식으로 나뉘는데, 수동형 방식은 계산 과정이 복잡하고 깊이맵의 품질이 보장되지 않는 단점을 갖기 때문에 능동형 방식이 많이 사용되고 있다. 능동형 방식은 깊이 카메라를 이용하여 직접적인 깊이 정보를 얻는 방식으로, 대게 ToF(Time-of-flight) 기술이 사용된다. 이 논문에서는 ToF 깊이 카메라로 촬영된 실제 깊이맵의 특성을 분석하기 위해 여러 가지 촬영 환경과 객체에 대해서 SR4000 깊이 카메라와 키넥트 v2 센서를 이용하여 깊이맵 품질을 비교했다. 실험 결과, 적외선이 제대로 반사되기 어려운 방사성 물질이나 표면, 경계 영역, 어두운 영역, 머리 영역 등에서 정확한 깊이 정보를 얻기 어려웠으며, 실외 환경에서 정확한 깊이 정보가 획득되지 않는 것을 확인할 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.620-624
• /
• 2009

본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.

• 대한전자공학회논문지SP
• /
• 제48권3호
• /
• pp.13-18
• /
• 2011

본 논문에서는 다시점 색상 카메라와 다시점 깊이 카메라를 이용하여 촬영한 영상의 후처리 방법과 3차원 장면의 깊이 정보를 생성하는 방법을 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만, 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 다시점 깊이 영상에 후처리 작업을 수행한 후, 이를 다시점 색상 영상과 조합하여 3차원 깊이 정보를 생성한다. 깊이 카메라로부터 얻은 각 시점에서의 초기 변이 정보를 기반으로 한 스테레오 정합의 결과는 기존 방법의 결과 보다 우수한 성능을 나타내었음을 볼 수 있었다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.281-291
• /
• 2019

3D 카메라 기술 중에서 초점의 흐려짐을 이용한 깊이 추정은 카메라의 초점거리 평면의 물체는 선명한 상이 맺히지만 카메라의 초점거리 평면으로부터 멀어진 물체는 흐린 영상을 만들어낸다는 현상을 이용해 3D 깊이를 추정한다. 본 논문에서는 단일 카메라를 이용하여 촬영한 영상의 흐림 정도를 분석하여 3D 깊이를 추정하는 알고리즘을 연구하였다. 단일 카메라의 1 개의 영상 또는 단일 카메라의 초점이 서로 다른 2 개의 영상을 사용하여 초점의 흐려짐을 이용한 3D 깊이를 추정하는 방법을 통해 최적화된 피사체 범위를 도출하였다. 1 개의 영상을 이용한 깊이 추정에서는 스마트폰 카메라와 DSLR 카메라 모두 250 mm의 초점거리를 사용하는 것이 가장 좋은 성능을 보였다. 2개의 영상을 이용한 깊이 추정에서는 스마트폰 카메라 영상은 150 mm와 250 mm로 그리고 DSLR 카메라 영상은 200 mm와 300 mm로 초점거리를 설정하였을 때 가장 좋은 3D 깊이 추정 유효 범위를 갖는 것으로 나타났다.