• 스마트미디어저널
• /
• 제2권4호
• /
• pp.60-65
• /
• 2013

본 논문에서는 Time-of-Flight (TOF) 원리를 이용하여 획득한 저해상도 깊이 영상을 고해상도의 색상 영상에 정합하는 방법을 소개한다. 거리 정보 기반의 3차원 렌더링에서 깊이 영상은 렌더링 결과에 큰 영향을 끼치지만, 기존의 스테레오 정합은 색상 영상의 특성에 따라 성능이 크게 변하고, 깊이 정보를 획득하지 못하는 영역이 존재한다. 반면에 TOF 카메라는 적외선 센서를 통해 카메라로부터 물체까지의 거리를 직접 측정하여 영상으로 출력하기 때문에, 장면의 깊이 정보를 실시간으로 획득 할 수 있고 높은 정확도를 가지는 장점이 있다. 하지만 출력 영상의 해상도가 너무 작아 3차원 응용에 직접 이용하기가 어렵다. 또한, 색상 영상과 다른 카메라를 이용하기 때문에 두 영상의 3차원적 위치와 특성이 서로 다르다는 문제점을 갖는다. 따라서 해상도를 증가시키고 다른 두 카메라로 부터 찍힌 영상을 정합시키는 방법이 필요하다. 본 논문에서 제안하는 방법은 깊이 카메라에서 획득한 저해상도 깊이 정보를 고해상도 색상 정보를 이용하여 두 영상간의 정합이 이루어지도록 한다. 향상된 깊이 영상을 사용하여 3차원으로 복원한 실험을 통해, 제안하는 방법이 효과적으로 장면의 변위 정보를 생성함을 알 수 있다.

• 방송공학회논문지
• /
• 제20권3호
• /
• pp.368-378
• /
• 2015

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 이 기술은 3D 입체영상 콘텐츠 부족을 해결할 수 있다는 장점이 있다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 특정 영상이외에는 영상에서 신뢰성 있는 단서가 있는 경우는 많지 않다. 따라서 3D변환 기술은 일반 영상에서도 우수하고, 일관된 입체영상이 생성하는 것이 중요하다. 이러한 관점에서 본논문에서는 상기 조건을 만족할 수 있는 3D변환 방법을 제안한다. 주 기술로 최근 다양한 분야에서 활용되는 관심맵과 에지를 활용한 다. 깊이맵을 생성하기 위해서 기하적 투영, 근접 모델 및 바이노믹 필터를 활용한다. 실험에서는 제안한 방법을 24개의 2D 비디오 콘텐츠에 적용하였고, 입체감 및 시각적 피로도 등의 주관적 평가를 통해 3D 콘텐츠의 우수한 만족도를 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제18권11호
• /
• pp.447-454
• /
• 2018

본 논문은 컨볼루션 신경망으로 이루어진 학습 모델을 통해 스테레오 영상의 깊이영상 생성 알고리즘을 제안한다. 제안하는 알고리즘은 좌, 우 시차 영상을 입력으로 받아 각 시차영상의 주요 특징을 추출하는 특징 추출부와 추출된 특징을 이용하여 시차 정보를 학습하는 깊이 학습부로 구성된다. 우선 특징 추출부는 2D CNN 계층들로 이루어진 익셉션 모듈(xception module) 및 ASPP 모듈(atrous spatial pyramid pooling) module을 통해 각각의 시차영상에 대한 특징맵을 추출한다. 그 후 각 시차에 대한 특징 맵을 시차에 따라 3차원 형태로 쌓아 3D CNN을 통해 깊이 추정 가중치를 학습하는 깊이 학습부를 거친 후 깊이 영상을 추정한다. 제안하는 알고리즘은 객체 영역에 대해 기존의 다른 학습 알고리즘들 보다 정확한 깊이를 추정하였다.

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.429-437
• /
• 2017

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 또한 비디오에서 추출할 수 있는 모션정보를 활용하여 모션 깊이맵을 얻기도 한다. 본 논문에서는 기존의 블록기반 모션예측, 광유 등의 모션 추출 방식이 아닌 운동 히스토리 영상(Motion History Image)를 활용하여 모션 깊이맵을 얻는 새로운 방법을 제안하고 실제 활용 가능성을 조사한다. 실험에서는 제안한 방법을 다양한 운동 유형을 가지는 8개의 2D 비디오 콘텐츠에 적용하였고, 생성된 모션 깊이맵의 정성적 평가 및 수행 속도의 비교를 통하여 MHI 기반 깊이맵의 실제 적용이 적합함을 증명하였다.

• 한국인터넷방송통신학회논문지
• /
• 제15권6호
• /
• pp.201-208
• /
• 2015

3차원 입체 방송을 가능하게 하기 위해서는 실세계에 존재하는 한 사물에 대한 깊이 정보를 획득하여야 한다. 따라서 본 논문에서는 네트워크 알고리즘인 신뢰확산(belief propagation) 알고리즘을 다해상도 영역에서 적용하여 3차원 정보의 근간이 되는 변이(disparity) 영상이나 깊이(depth)영상을 정확하면서도 빠르게 생성하는 것을 목적으로 한다. 신뢰확산 알고리즘은 기본적으로 여러 번의 반복을 통하여 변이정보를 보다 정확하게 갱신하게 되어 많은 연산량과 넓은 탐색영역으로 인하여 성능의 수렴까지 오랜 시간이 걸린다. 다해상도 변환은 공간영역과 주파수영역 모두에서 우수한 해상도를 갖기 때문에 이를 이용하여 스테레오 정합의 연산 속도를 증가시키고 성능을 향상시키는 것을 보여주었다.

• 방송공학회논문지
• /
• 제14권2호
• /
• pp.164-177
• /
• 2009

DIBR(depth image-based rendering) 기법은 한 장의 칼라 영상과 그에 대응하는 깊이맵을 이용하여 수신측에서 가상의 좌우 영상을 생성하여 시청자에게 깊이감을 제공해주는 방법이다. 이 때 생성되는 좌우 영상의 화질과 깊이감은 좌우 영상의 시점에 해당하는 가상 카메라의 간격에 영향을 받게 된다. 본 논문에서는 가상 카메라의 간격 조절을 통해 양질의 깊이감을 제공하는 기법을 제안한다. 영상의 기하 분석에 따르면 스테레오스코픽 영상의 변이가 증가할수록 영상의 왜곡이 줄어들어 깊이감이 좋아지게 되나, 이 경우에는 그에 따른 영상의 열화가 고려되지 않았다. 실험결과에 따르면 영상열화나 시역형성의 제한 등으로 인해 변이의 증가폭에 제한이 있음을 알 수 있다. 변이 증가폭을 늘리기 위해서는 영상의 열화 현상을 줄여야 하므로 깊이맵의 전처리 과정을 추가하였다. 제안하는 방법은 시청자의 요구에 따라 카메라의 위치와 시점을 추가적으로 조절할 수 있게 하는 양방향 서비스를 추가로 제공하므로 3차원 TV 뿐만 아니라, DMB와 같은 이동형 방송 시스템에도 적용이 가능하다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.1-7
• /
• 2011

깊이 카메라는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용된다. 그러나 깊이 카메라 자체가 가지는 기술적 한계로 인하여 영상에 잡음과 왜곡이 포함되어 있기 때문에 이를 효과적으로 제거할 수 있는 기술이 요구되며, 처리 된 깊이 카메라 영상은 다양한 방법으로 색상 영상과 융합되어 장면의 깊이 정보를 생성할 수 있다. 본 논문에서는 이와 같이 다시 점 카메라와 깊이 카메라를 함께 사용하여 고화질의 깊이 정보를 획득할 수 있는 혼합형 카메라 방식의 원리와 깊이 영상 처리 및 깊이 생성을 위한 기술 동향을 설명한다.

• 방송공학회논문지
• /
• 제13권4호
• /
• pp.427-439
• /
• 2008

본 논문에서는 일반 단일 시점의 축구 비디오를 스테레오스코픽 영상으로 변환하는 방법을 제안한다. 축구 비디오 분석 과정을 통하여 축구 비디오를 일정한 종류의 샷으로 분류하고, 분류된 샷 종류에 따른 깊이지도 생성 방법을 제안한다. 원거리 샷의 경우에는 운동장 영역 추출을 통하여 운동장 영역에 깊이기도 (Depth Map)을 생성하는 방법을 제안한다. 그리고 비 원거리 샷의 경우, 운동장 영역 블록 수와, 간단한 피부색 발견 알고리즘을 통해 생성한 스킨 블록의 수에 따라 다시 3가지로 샷을 분류하고, 각 종류의 샷에 따른 깊이지도 생성 방식 1) 오브젝트 영역 추출을 통한 깊이지도 생성, 2) 스킨 블록을 이용한 전경 영역 추출과 가우시안 함수를 이용한 깊이기도 생성, 그리고 3) 스킨블록이 없는 상황에서의 깊이기도 생성 방법을 제안한다. 제안한 방법을 통하여 생성한 깊이 지도를 이용하여, 스테레오스코픽 영상을 생성하는 방법을 소개하고, 생성한 실험영상을 결과로 제공한다. 그리고 주관적 깊이감 품질 평가를 통해서, 제안된 방법을 통해 생성된 영상이 원본 영상에 비해 깊이감이 향상됨을 증명한다.

• 한국측량학회지
• /
• 제37권2호
• /
• pp.45-53
• /
• 2019

RGB-D SLAM (Simultaneous Localization and Mapping) refers to the technology of using deep camera as a visual sensor for SLAM. In view of the disadvantages of high cost and indefinite scale in the construction of maps for laser sensors and traditional single and binocular cameras, a method for creating three-dimensional map of indoor environment with deep environment data combined with RGB-D SLAM scheme is studied. The method uses a mobile robot system equipped with a consumer-grade RGB-D sensor (Kinect) to acquire depth data, and then creates indoor three-dimensional point cloud maps in real time through key technologies such as positioning point generation, closed-loop detection, and map construction. The actual field experiment results show that the average error of the point cloud map created by the algorithm is 0.0045m, which ensures the stability of the construction using deep data and can accurately create real-time three-dimensional maps of indoor unknown environment.

• 공학교육연구
• /
• 제19권6호
• /
• pp.49-56
• /
• 2016

The Human Robot Interface (HRI) based on 3D depth sensor on the docent robot is developed and the localization algorithm based on extended Kalman Filter (EKFLA) are proposed through the capstone design by graduate students in this paper. In addition to this, the performance of the proposed EKFLA is also analyzed. The developed HRI system consists of the route generation and localization algorithm, the user behavior pattern awareness algorithm, the map data generation and building algorithm, the obstacle detection and avoidance algorithm on the robot control modules that control the entire behaviors of the robot. It is confirmed that the improvement ratio of the localization error in EKFLA on the scenarios 1-3 is increased compared with the localization algorithm based on Kalman Filter (KFLA) as 21.96%, 25.81% and 15.03%, respectively.