• 스마트미디어저널
• /
• 제12권9호
• /
• pp.134-141
• /
• 2023

본 논문에서는 3차원 객체의 인식률을 높이고 객체 검출 품질이 보장되며, 환경에 강건한 3차원 공간 스캔용 ToF-Stereo 융합 센서 시스템을 제안한다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 융합하는 방식을 사용하며, 하나의 센서가 동작하지 않더라도 다른 하나의 센서를 이용하여 계속해서 객체를 검출해 나갈 수 있다. ToF 센서와 Stereo RGB 센서의 센싱 거리, 센싱 해상도, 빛 반사도 및 조도 등에 따른 품질이 달라지므로, 신뢰도 추정에 기반하여 센서의 기능을 조절할 수 있는 모듈을 두었다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 결합하고, 신뢰도를 추정한 후 신뢰도에 따라 센서의 기능을 조절하여 두 센싱 값을 융합하므로 3차원 공간 스캔의 품질을 향상할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제19권10호
• /
• pp.35-42
• /
• 2014

주어진 실내 환경에 위치한 여러 장애물에 대한 정보를 사전에 훈련하고 인식하여 로봇의 인지 능력을 향상시키기 위해 스테레오비전 센서의 RGB-D 이미지에서 인텐시티를 기반으로 일정 거리 안에 있는 장애물을 검출하는 기법을 제시한다. RGB-D 인텐시티 정보에 대해 PCA, ICA, LDA, SVM의 주요 패턴인식 알고리즘을 적용하여 인식률 및 실행시간을 구하고, 여러 패턴인식 알고리즘 중에서 어떤 알고리즘이 인식률 및 실행시간 측면에서 적용이 가능한지를 제시한다. 실험결과, RGB-D 데이터와 인텐시티 데이터를 비교한 결과 정확도면에서는 RGB-D 데이터가 4.2% 높은 인식률을 보였으나 훈련시간은 인텐시티 데이터가 RGB-D 이미지에 비해 LDA의 경우 29%, SVM의 경우 31% 빠르게 처리되었으며 테스트시간은 LDA의 경우 70%, SVM의 경우 33% 빠르게 처리되어 모바일 로봇 장애물 인식에 인텐시티 데이터를 사용하는 것이 정확도면에서도 우수하고 처리 속도 면에서 높은 개선효과가 있다.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.237-247
• /
• 2018

In this paper, we describe a sensor module that monitors fire environment by analyzing fire characteristics. We analyzed the smoke characteristics of indoor fire. Six different environments were defined according to the type of smoke and the flame, and the sensors available for each environment were combined. Based on this analysis, the sensors were selected from the perspective of firefighter. The sensor module consists of an RGB camera, an infrared camera and a radar. It is designed with minimum weight to fit on the robot. the enclosure of sensor is designed to protect against the radiant heat of the fire scene. We propose a single camera mode, thermal stereo mode, data fusion mode, and radar mode that can be used depending on the fire scene. Thermal stereo was effectively refined using an image segmentation algorithm, SLIC (Simple Linear Iterative Clustering). In order to reproduce the fire scene, three fire test environments were built and each sensor was verified.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.230-236
• /
• 2018

3D depth perception has played an important role in robotics, and many sensory methods have also proposed for it. As a photodetector for 3D sensing, single photon avalanche diode (SPAD) is suggested due to sensitivity and accuracy. We have researched for applying a SPAD chip in our fusion system of time-of-fight (ToF) sensor and stereo camera. Our goal is to upsample of SPAD resolution using RGB stereo camera. Currently, we have 64 x 32 resolution SPAD ToF Sensor, even though there are higher resolution depth sensors such as Kinect V2 and Cube-Eye. This may be a weak point of our system, however we exploit this gap using a transition of idea. A convolution neural network (CNN) is designed to upsample our low resolution depth map using the data of the higher resolution depth as label data. Then, the upsampled depth data using CNN and stereo camera depth data are fused using semi-global matching (SGM) algorithm. We proposed simplified fusion method created for the embedded system.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.920-927
• /
• 2013

크로마키 방식에 의한 영상 합성은 색상 정보에 의해 전경 후경을 분리하기 때문에 객체 색상의 제약과 특정 스크린이 위치해 있어야 하는 공간의 제약이 있다. 특히 스테레오스코픽 3D 디스플레이를 위한 영상 합성은 크로마키 방식과는 달리 3D 공간에서의 자연스러운 영상 합성이 요구된다. 본 논문에서는 고해상도의 깊이 정보를 이용하여 깊이 키잉(depth keying) 방식에 의한 3D 공간에서의 스테레오스코픽 영상 합성을 제안하였다. 이를 위해 DSLR과 마이크로소프트사 키넥트 센서간의 카메라 캘리브레이션을 통해 고화질의 깊이 정보 획득 후 RGB 정보와의 정합 과정을 통해 3차원 데이터를 획득하였다. 깊이 정보에 의해 배경과 분리 된 객체는 3차원 공간에서의 포인트 클라우드 형태로 표현되어 가상 배경과 합성하였다. 이후 가상의 스테레오 카메라에 의해 Full HD 스테레오스코픽 비디오 합성 영상 획득 결과를 보였다.