• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1188-1193
• /
• 2006

본 논문에서는 동적 객체의 3 차원 정보를 표현하는 깊이 영상의 노이즈 필터링 방법을 제안한다. 실제 객체의 동적인 3 차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 이용하여 실시간으로 획득되며, 일련의 깊이 영상, 즉 깊이 비디오(depth video)로 표현될 수 있다. 하지만 측정환경의 조명조건, 객체의 반사속성, 카메라의 시스템 오차 등으로 인해 깊이 영상에는 고주파 성분의 노이즈가 발생하게 된다. 이를 효과적으로 제거하기 위해 깊이 영상기반의 모델링 기법(depth image-based modeling)을 이용한 3 차원 메쉬 모델링을 수행한다. 생성된 3 차원 메쉬 모델은 깊이 영상의 노이즈로 인해 경계 영역과 형상 내부 영역에 심각한 형상 오차를 가진다. 경계 영역의 오차를 제거하기 위해 깊이 영상으로부터 경계 영역을 추출하고, 가까운 순서로 정렬한 후 angular deviation 을 이용하여 불필요하게 중복된 점들을 제거한다. 그리고 나서 2 차원 가우시안 스무딩 기법을 적용하여 부드러운 경계영역을 생성한다. 형상 내부에 대해서는 경계영역에 제약조건을 주고 3 차원 가우시안 스무딩 기법을 적용하여 전체적으로 부드러운 형상을 생성한다. 최종적으로 스무딩된 3 차원 메쉬모델을 렌더링할 때, 깊이 버퍼에 있는 정규화된 깊이 값들을 추출하여 원래 깊이 영상과 동일한 깊이 영역을 가지도록 저장함으로서 전역적으로 연속적이면서 부드러운 깊이 영상을 생성할 수 있다. 제안된 방법에 의해 노이즈가 제거된 깊이 영상을 이용하여 고품질의 영상기반 렌더링이나 깊이 비디오 기반의 햅틱 렌더링에 적용할 수 있다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37C no.9
• /
• pp.751-756
• /
• 2012

In this paper, we propose a foreground extraction and depth map generation method using a time-of-flight (TOF) depth camera. Although, the TOF depth camera captures the scene's depth information in real-time, it has a built-in noise and distortion. Therefore, we perform several preprocessing steps such as image enhancement, segmentation, and 3D warping, and then use the TOF depth data to generate the depth-discontinuity regions. Then, we extract the foreground object and generate the depth map as of the color image. The experimental results show that the proposed method efficiently generates the depth map even for the object boundary and textureless regions.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.116-118
• /
• 2010

본 논문에서는 영역 분할과 영상의 움직임 정보를 이용한 깊이맵 생성에 관한 기법을 제안하였다. 2D/3D 변환 알고리즘에서 2차원 영상에서 얻은 깊이 정보는 2차원 영상을 3차원 영상으로 변환 가능하게 하는 핵심 기술이 된다. 영역을 분할하고 계산되어진 움직임 값 (intensity)을 분할된 각 영역에 부여함으로서 깊이맵을 얻을 수 있다. 본 논문에서는 초기 단계에서 영역을 분할한 뒤, 입력 영상을 그룹화 하여 양방향 탐색을 통한 움직임 추정 연산을 수행토록 하여 보다 정확한 깊이 정보를 획득하고, 최종적으로 얻은 결과에 각 화소에 해당 되는 확률적 통계에 의한 후처리 기법을 사용하였다. 보다 정확한 깊이정보를 영역별로 지정하고, 후처리 기법을 사용함에 따라 보다 신뢰도 높은 깊이맵 영상을 생성할 수 있었다.

• 한국신재생에너지학회:학술대회논문집
• /
• 2006.06a
• /
• pp.382-385
• /
• 2006

한국지질자원연구원은 1997년부터 새로운 에너지 자원으로 활용 가능성을 포함하고 있는 가스 하이드레이트를 조사하기 위해 동해 일원에서 탄성파탐사를 실시하고 있다. 탄성파 반사 자료로부터 가스 하이드레이트 부존여부를 확인하는 방법은 해저면과 평행하면서 위상이 반대로 나타나는 고진폭 반사파 BSR (Bottom Simulating Reflection)과 BSR상부에서의 진폭감소, 하부에서 진폭증가와 구간속도 감소 등을 들 수 있다. 여기에서는 가스 하이드레이트 탐사자료에 대한 일반자료처리와 함께 BSR을 포함하고 있는 탄성파 반사자료에 대해 코드 병렬화된 PSPI를 이용하여 깊이영역 구조보정을 실시하였다. 고용량 탐사자료로 구성된 탄성파 반사자료에 깊이영역 구조보정을 적용하기 위해서는 고성능 컴퓨터와 병렬처리 기술이 필요하다. PSPI(Phase Shift Plus Interpolation)법은 적은 컴퓨터 계산량과 효율성 그리고 주파수 영역에서 구조적으로 병렬화가 용이한 특성을 지니고 있어 구조보정에 많이 이용되고 있다. 여기에서는 MPI(Message Passing Interface)-LAM을 이용하여 병렬코드화된 PSPI를 개발하고 인공합성모델과 동해 가스 하이드레이트 깊이영역 구조보정에 적응하였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.12C
• /
• pp.1147-1153
• /
• 2009

We propose a novel image segmentation and segment-based stereo matching technique using color, depth, and motion information. Proposed technique firstly splits reference images into foreground region or background region using depth information from depth camera. Then each region is segmented into small segments with color information. Moreover, extracted segments in current frame are tracked in the next frame in order to maintain depth consistency between frames. The initial depth from the depth camera is also used to set the depth search range for stereo matching. Proposed segment-based stereo matching technique was compared with conventional one without foreground and background separation and other conventional one without motion tracking of segments. Simulation results showed that the improvement of segment extraction and depth estimation consistencies by proposed technique compared to conventional ones especially at the static background region.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.01a
• /
• pp.201-204
• /
• 2012

본 논문에서는 입력되는 스테레오 영상으로부터 3차원의 깊이 특징과 색상 특징을 결합하여 피부색상 영역을 보다 정확하게 검출하는 방법을 제안한다. 본 논문에서 제안된 방법은 우선 스테레오 정합 기법을 이용하여 좌우 영상으로부터 3차원의 깊이 특징을 추출한다. 그런 다음, 유사한 깊이 특징을 가지는 영역을 그룹화하고, 그룹화된 영역 중에서 피부색상을 나타내는 영역을 실제 피부영역이라고 판단한다. 실험에서는 2차원 위주의 기존의 피부영역 추출 방법과 제안된 방법의 성능을 정확도 측면에서 평가하였다. 결과적으로 제안된 방법은 3차원의 깊이 정보와 색상 정보를 효과적으로 결합함으로써 배경 영역에서 부정확하게 검출되는 피부영역 추출 오류를 상당수 제거하는 효과를 가진다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.161-163
• /
• 2022

본 논문에서는 패치매치 기법 및 분할 기법의 조밀 깊이지도들의 효율적인 결합을 통해 기존의 패치매치 기반의 방법들이 낮은 깊이값 추정 정확도를 보인 영역들인 텍스처가 부족한 영역과 기존의 분할 기반 방법들이 깊이값 추정에 한계를 보인 세밀한 영역에서의 깊이값 추정 정확도를 동시에 높이고 고품질의 조밀 깊이지도를 얻는 것을 목표로 한다. 이를 위해 제안한 방법에서는 신뢰지도를 바탕으로 패치매치 기법의 조밀 깊이지도, 조밀 노말지도와 분할 기법의 조밀 깊이지도, 조밀 노말지도의 초기 결합 깊이지도 및 초기 결합 노말지도를 생성한다. 이후 각 픽셀에서 원래 픽셀과 주변 픽셀에서의 깊이값, 노말값들로 업데이트를 위한 후보들을 만든다. 이후 각각의 후보들에 대해서 깊이값, 노말값, 컬러값들을 바탕으로 비용을 계산한다. 이후 가장 최적의 비용을 가지는 후보값으로 각 픽셀의 깊이값과 노말값을 업데이트한다. 이를 통해 패치매치 기법 및 분할 기법의 조밀 깊이지도들의 장점을 합친 결합 조밀 깊이지도를 생성한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.12-15
• /
• 2016

요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 방법이 매우 중요하다. 깊이 정보를 얻는 방법은 크게 수동형 방식과 능동형 방식으로 나뉘는데, 수동형 방식은 계산 과정이 복잡하고 깊이맵의 품질이 보장되지 않는 단점을 갖기 때문에 능동형 방식이 많이 사용되고 있다. 능동형 방식은 깊이 카메라를 이용하여 직접적인 깊이 정보를 얻는 방식으로, 대게 ToF(Time-of-flight) 기술이 사용된다. 이 논문에서는 ToF 깊이 카메라로 촬영된 실제 깊이맵의 특성을 분석하기 위해 여러 가지 촬영 환경과 객체에 대해서 SR4000 깊이 카메라와 키넥트 v2 센서를 이용하여 깊이맵 품질을 비교했다. 실험 결과, 적외선이 제대로 반사되기 어려운 방사성 물질이나 표면, 경계 영역, 어두운 영역, 머리 영역 등에서 정확한 깊이 정보를 얻기 어려웠으며, 실외 환경에서 정확한 깊이 정보가 획득되지 않는 것을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.1-4
• /
• 2016

효율적으로 깊이지도를 획득하기 위해 다양한 방법의 지역 기반스테레오 매칭 방법이 사용된다. 일반적인 지역기반 스테레오 매칭에 사용되는 비용값 계산 방법을 통해 깊이지도를 생성하게 되면 객체의 경계 영역이 무너지거나, 유사한 텍스쳐 정보가 연속적으로 나타나는 영역에서 부정확한 깊이값을 얻는 문제가 발생한다. 본 논문에서는 깊이지도의 정확성을 높이기 위해 2가지 단계를 거쳐 최종 깊이지도를 생성한다. 처음으로, 일반적으로 사용하는 지역기반 스테레오 매칭 비용 함수와 입력 영상의 기울기를 고려한 초기 비용값을 가이드 필터를 이용하여 최적의 비용값을 찾아 초기 변위지도를 생성한다. 스테레오매칭을 수행할 경우, 시점의 차이로 인해 보이지 않는 영역에서 정확한 변위값을 찾지 못하는 문제가 발생한다. 이러한 문제를 해결하기 위해 좌영상과 우영상을 기반으로 획득한 변위지도를 사용하여 교차검사를 함으로써 폐색영역을 찾아낸다. 폐색 영역을 이웃한 화소의 값을 사용하여 채울 경우 실선과 같은 오류가 결과 영상에 나타나게 된다. 이러한 오류 영역을 제거하기 위해 마지막으로 가중치를 적용한 중간값 필터를 적용한다. 실험 결과 제안한 방법을 사용하여 획득한 깊이지도가 기존의 방법보다 정확한 깊이값을 얻는 것을 확인할 수 있었다.