• International Journal of Internet, Broadcasting and Communication
• /
• 제7권1호
• /
• pp.15-19
• /
• 2015

The depth information of an image is used in a variety of applications including 2D/3D conversion, multi-view extraction, modeling, depth keying, etc. There are various methods to acquire depth information, such as the method to use a stereo camera, the method to use the depth camera of flight time (TOF) method, the method to use 3D modeling software, the method to use 3D scanner and the method to use a structured light just like Microsoft's Kinect. In particular, the depth camera of TOF method measures the distance using infrared light, whereas TOF sensor depends on the sensitivity of optical light of an image sensor (CCD/CMOS). Thus, it is mandatory for the existing image sensors to get an infrared light image by bundling several pixels; these requirements generate a phenomenon to reduce the resolution of an image. This thesis proposed a measure to acquire a high-resolution image through gradual area movement while acquiring a low-resolution image through pixel bundling method. From this measure, one can obtain an effect of acquiring image information in which illumination intensity (lux) and resolution were improved without increasing the performance of an image sensor since the image resolution is not improved as resolving a low-illumination intensity (lux) in accordance with the gradual pixel bundling algorithm.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.355-362
• /
• 2013

TOF(Time-Of-Flight) 센서에 의해 획득된 정보로부터 3차원 깊이 영상(depth image)을 추출하기 위한 위상 연산기의 하드웨어 구현을 기술한다. 설계된 위상 연산기는 CORDIC(COordinate Rotation DIgital Computer) 알고리듬의 vectoring mode를 이용하여 arctangent 연산을 수행하며, 처리량을 증가시키기 위해 pipelined 구조를 적용하였다. 고정 소수점 MATLAB 모델링과 시뮬레이션을 통해 최적 비트 수와 반복 횟수를 결정하였다. 설계된 위상 연산기는 MATLAB/Simulink와 FPGA 연동을 통해 하드웨어 동작을 검증하였으며, TSMC 0.18-${\mu}m$ CMOS 셀 라이브러리로 합성하여 약 16,000 게이트로 구현되었고, 200MHz@1.8V로 동작하여 9.6 Gbps의 연산 성능을 갖는 것으로 평가되었다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.1-7
• /
• 2011

깊이 카메라는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정하며, 측정된 값은 깊이 영상으로 출력되어 양안식 혹은 다시점 카메라와 함께 장면의 고화질 깊이 맵을 제작하는 데 사용된다. 그러나 깊이 카메라 자체가 가지는 기술적 한계로 인하여 영상에 잡음과 왜곡이 포함되어 있기 때문에 이를 효과적으로 제거할 수 있는 기술이 요구되며, 처리 된 깊이 카메라 영상은 다양한 방법으로 색상 영상과 융합되어 장면의 깊이 정보를 생성할 수 있다. 본 논문에서는 이와 같이 다시 점 카메라와 깊이 카메라를 함께 사용하여 고화질의 깊이 정보를 획득할 수 있는 혼합형 카메라 방식의 원리와 깊이 영상 처리 및 깊이 생성을 위한 기술 동향을 설명한다.

• 한국통신학회논문지
• /
• 제37C권9호
• /
• pp.751-756
• /
• 2012

본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.

• 한국정보통신학회논문지
• /
• 제18권3호
• /
• pp.643-650
• /
• 2014

TOF(Time-Of-Flight) 센서에 의해 획득된 정보로부터 3차원 깊이 영상(depth image)을 추출하기 위한 위상 연산기 하드웨어를 구현한다. 설계된 위상 연산기는 DCORDIC(Differential COordinate Rotation DIgital Computer) 알고리듬의 벡터링 모드를 이용하여 아크탄젠트 연산을 수행하며, 처리량과 속도를 늘리기 위해 잉여 이진 수체계와 파이프라인 구조를 적용하였다. 고정 소수점 MATLAB 시뮬레이션을 통해 검증하고 최적 데이터 비트 수 및 반복 횟수를 결정하였으며, MATLAB/Simulink와 FPGA 연동을 통해 하드웨어 동작을 검증하였다. TSMC $0.18-{\mu}m$ CMOS 공정으로 테스트 칩을 제작하였으며, 테스트 결과 정상 동작함을 확인하였다. 약 82,000 게이트로 구현되었고, 400MHz@1.8V로 동작하여 400 MS/s의 연산 성능을 갖는 것으로 평가되었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 추계학술대회
• /
• pp.350-353
• /
• 2013

본 논문에서는 TOF(Time-Of-Flight) 센서에 의해 얻어진 정보로부터 3차원 깊이 영상(depth image)을 추출하기 위한 위상 연산기의 하드웨어 구현을 제안한다. 설계된 위상 연산기는 DCORDIC(Differential COordinate Rotation DIgital Computer) 알고리듬의 vectoring mode를 이용하여 Arctangent 연산을 수행하며, 처리량과 속도를 늘리기 위해 redundant binary 수체계와 pipelined 구조를 적용하였다. 제안된 알고리듬은 고정 소수점 MATLAB 시뮬레이션을 통해 검증하고 최적 데이터 비트 수 및 반복 횟수를 결정하였다. 설계된 위상 연산기는 MATLAB/Simulink와 FPGA 연동을 통해 가상의 3차원 데이터 복원 동작을 검증하였으며, 469 MHz의 클록 주파수로 동작하여 7.5 Gbps의 성능을 갖는 것으로 평가되었다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.8-17
• /
• 2011

최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영, 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성, 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저, 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.875-880
• /
• 2013

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.224-226
• /
• 2016

기술의 발전과 민간수요 급증으로 '무인 자율화', '이동체' 특성이 결합된 무인이동체 신시장이 급성장하고 있다. 현재 일부 국가들이 시범주행을 허용하고 있으나, 자율주행차의 정식 운행을 제도화 한 나라는 없다. 기존 차량의 경우에도 후방감지기의 잦은 오작동이나, 후방카메라의 사각지대 또는 운전자의 부주의 때문에 안전사고가 자주 일어나고 있다. 이러한 사소한 결함들을 보완이 되어야 자율주행차, 소형드론의 상용화를 위한 관련 규제를 완화 할 수 있을 것이다. 본 논문에서는 기존의 이동체에서 사용되었던 초음파, 레이저 센서와는 다르게 깊이 카메라를 이용하여 거리측정을 시도해보려 한다. 깊이 카메라는 레이저나 적외선을 객체나 대상 영역에 비추어 되돌아오는 광선을 받아 시간 차이를 계산하는 TOF 방식으로 거리 정보를 계산한다. 이런 카메라는 CCD 카메라 영상 화소 단위로 깊이 정보를 얻을 수 있어 실시간 깊이 정보를 모으는 데 활용할 수 있다. 이런 실시간 깊이 정보들을 이용하여 앞서 말한 문제점을 해결하고, 거리측정을 통한 장애물 회피 시스템 설계를 제안한다.

• 한국컴퓨터산업학회논문지
• /
• 제9권3호
• /
• pp.105-114
• /
• 2008

We present an eye tracking system using a low cost 3D CMOS imager for 3D displays that ensures a correct auto stereoscopic view of position- dependent stereoscopic 3D images. The tracker is capable of segmenting the foreground objects (viewer) from background objects using their relative distance from the camera. The tracker is a novel 3D CMOS Image Sensor based on Time of Flight (TOF) principle using innovating photon gating techniques. The basic feature incorporates real time depth imaging by capturing the shape of a light-pulse front as it is reflected from a three dimensional object. The basic architecture and main building blocks of a real time depth CMOS pixel are described. For this application, we use a stereoscopic type of display using parallax barrier elements that is described as well.