• 스마트미디어저널
• /
• 제12권9호
• /
• pp.134-141
• /
• 2023

본 논문에서는 3차원 객체의 인식률을 높이고 객체 검출 품질이 보장되며, 환경에 강건한 3차원 공간 스캔용 ToF-Stereo 융합 센서 시스템을 제안한다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 융합하는 방식을 사용하며, 하나의 센서가 동작하지 않더라도 다른 하나의 센서를 이용하여 계속해서 객체를 검출해 나갈 수 있다. ToF 센서와 Stereo RGB 센서의 센싱 거리, 센싱 해상도, 빛 반사도 및 조도 등에 따른 품질이 달라지므로, 신뢰도 추정에 기반하여 센서의 기능을 조절할 수 있는 모듈을 두었다. ToF-Stereo 센서 융합 시스템은 ToF 센서와 Stereo RGB 센서의 센싱 값을 결합하고, 신뢰도를 추정한 후 신뢰도에 따라 센서의 기능을 조절하여 두 센싱 값을 융합하므로 3차원 공간 스캔의 품질을 향상할 수 있다.

• 대한원격탐사학회지
• /
• 제31권5호
• /
• pp.421-432
• /
• 2015

동일 센서 내의 스테레오 취득 원리에 기반하여 얻어진 동종센서 스테레오와 서로 다른 센서에서 얻어진 영상간에 임의로 결합된 이종센서 스테레오는 기하 특성과 스테레오 모델 정확도 측면에서 많은 차이를 보이게 된다. 이 논문에서는 고해상도 위성영상에서의 얻어진 동종센서 스테레오 모델과 이종센서 스테레오 모델을 비교한다. 실험을 위해 동일 지역을 촬영한 SPOT-5 스테레오와 KOMPSAT-2 스테레오 영상을 활용하여 총 2쌍의 동종센서 스테레오와 4쌍의 이종센서 스테레오 영상을 이용하였다. 동종센서 스테레오 모델의 경우 모두 안정적인 스테레오 기하를 형성한 반면, 이종센서 스테레오 모델의 경우 2조합은 비교적 안정적인 기하를 다른 2조합은 매우 불안정한 기하를 형성하였다. 그리고 불안정한 기하를 형성한 이종센서 스테레오의 경우 3차원 위치 정확도가 크게 감소하였다. 안정적인 스테레오 기하를 형성하는 이종센서 스테레오의 경우에도 동종센서 스테레오와는 차이점이 있었다. 전반적으로 수직 정확도 측면에서는 동종센서 스테레오 모델이 더 높은 정확도를 보인 반면, 수평 정확도 측면에서는 이종센서 스테레오 모델이 더 높은 정확도를 보여주었다. 논문에서는 두 가지 스테레오 모델이 가지는 기하 특성과 3차원 모델 정확도의 차이를 잘 드러내며, 고해상도 스테레오 영상 특히 이종위성 스테레오 자료를 효과적으로 활용하는데 있어 고려되어야 할 중요한 분석 결과들을 제시한다.

• 로봇학회논문지
• /
• 제4권4호
• /
• pp.298-304
• /
• 2009

This paper describes an algorithm that improves 3D reconstruction result using a multi-sensor fusion disparity map. We can project LRF (Laser Range Finder) 3D points onto image pixel coordinatesusing extrinsic calibration matrixes of a camera-LRF (${\Phi}$, ${\Delta}$) and a camera calibration matrix (K). The LRF disparity map can be generated by interpolating projected LRF points. In the stereo reconstruction, we can compensate invalid points caused by repeated pattern and textureless region using the LRF disparity map. The result disparity map of compensation process is the multi-sensor fusion disparity map. We can refine the multi-sensor 3D reconstruction based on stereo vision and LRF using the multi-sensor fusion disparity map. The refinement algorithm of multi-sensor based 3D reconstruction is specified in four subsections dealing with virtual LRF stereo image generation, LRF disparity map generation, multi-sensor fusion disparity map generation, and 3D reconstruction process. It has been tested by synchronized stereo image pair and LRF 3D scan data.

• Journal of Welding and Joining
• /
• 제19권2호
• /
• pp.200-207
• /
• 2001

Three-diemnsional bead profile was measured using the biprism stereo vision sensor in GMAW, which consists of an optical filter, biprism and CCD camera. Since single CCD camera is used, this system has various advantages over the conventional stereo vision system using two cameras such as finding the corresponding points along the horizontal scanline. In this wort, the biprism stereo vision sensor was designed for the GMAW, and the linear calibration method was proposed to determine the prism and camera parameters. Image processing techniques were employed to find the corresponding point along the pool boundary. The ism-intensity contour corresponding to the pool boundary was found in the pixel order and the filter-based matching algorithm was used to refine the corresponding points in the subpixel order. Predicted bead dimensions were in broad agreements with the measured results under the conditions of spray mode and humping bead.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.871-875
• /
• 2003

To detect and avoid obstacles is one of the important tasks of mobile navigation. In a real environment, when a mobile robot encounters dynamic obstacles, it is required to simultaneously detect and avoid obstacles for its body safely. In previous vision system, mobile robot has used it as either a passive sensor or an active sensor. This paper proposes a new obstacle detection algorithm that uses a stereo camera as both a passive sensor and an active sensor. Our system estimates the distances from obstacles by both passive-correspondence and active-correspondence using laser slit. The system operates in three steps. First, a far-off obstacle is detected by the disparity from stereo correspondence. Next, a close obstacle is acquired from laser slit beam projected in the same stereo image. Finally, we implement obstacle avoidance algorithm, adopting the modified Dynamic Window Approach (DWA), by using the acquired the obstacle's distance.

• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 2004년도 추계학술대회 논문집
• /
• pp.454-457
• /
• 2004

AGV for FMS must be detected an obstacle. Therefore, many studies have been advanced, and recently, the ultra sonic sensor is used for this. However, the new method has to be developed because the ultra-sonic-sensor has many problems as a noise in factory, an directional error and detection of the obstacle size. So, we study the fast stereo vision system that can give more information to obstacles for intelligent AGV system. For this, the simulated AGV system was made with two CCD cameras in front to get the stereo images, and the threshold process by color information (intensity and chromaticity) and structure stereo matching method were constructed.

• 한국측량학회지
• /
• 제29권2호
• /
• pp.157-164
• /
• 2011

As high-resolution satellite images have enabled large scale topographic mapping and monitoring on global scale with short revisit time, agile sensor orientation, and large swath width, many countries make effort to secure the satellite image information. In Korea, KOMPSAT-2 (KOrea Multi-Purpose SATellite-2) was launched in July 28 2006 with high specification. These satellites have stereo image acquisition capability for 3D mapping and monitoring. To efficiently handle stereo images such as stereo display and monitoring, the accurate epipolar image generation process is prerequisite. However, the process was highly limited due to complexity in epipolar geometry of pushbroom sensor. Recently, the piecewise approach to generate epipolar images using RPC was developed and tested for in-track IKONOS stereo images. In this paper, the piecewise approach was tested for KOMPSAT-2 across-track stereo images to see how accurately KOMPSAT-2 epipolar images can be generated for 3D geospatial applications. In the experiment, two across-track stereo sets from three KOMPSAT-2 images of different dates were tested using RPC as the sensor model. The test results showed that one-pixel level of y-parallax was achieved for manually measured tie points.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.237-247
• /
• 2018

In this paper, we describe a sensor module that monitors fire environment by analyzing fire characteristics. We analyzed the smoke characteristics of indoor fire. Six different environments were defined according to the type of smoke and the flame, and the sensors available for each environment were combined. Based on this analysis, the sensors were selected from the perspective of firefighter. The sensor module consists of an RGB camera, an infrared camera and a radar. It is designed with minimum weight to fit on the robot. the enclosure of sensor is designed to protect against the radiant heat of the fire scene. We propose a single camera mode, thermal stereo mode, data fusion mode, and radar mode that can be used depending on the fire scene. Thermal stereo was effectively refined using an image segmentation algorithm, SLIC (Simple Linear Iterative Clustering). In order to reproduce the fire scene, three fire test environments were built and each sensor was verified.

• 로봇학회논문지
• /
• 제13권4호
• /
• pp.230-236
• /
• 2018

3D depth perception has played an important role in robotics, and many sensory methods have also proposed for it. As a photodetector for 3D sensing, single photon avalanche diode (SPAD) is suggested due to sensitivity and accuracy. We have researched for applying a SPAD chip in our fusion system of time-of-fight (ToF) sensor and stereo camera. Our goal is to upsample of SPAD resolution using RGB stereo camera. Currently, we have 64 x 32 resolution SPAD ToF Sensor, even though there are higher resolution depth sensors such as Kinect V2 and Cube-Eye. This may be a weak point of our system, however we exploit this gap using a transition of idea. A convolution neural network (CNN) is designed to upsample our low resolution depth map using the data of the higher resolution depth as label data. Then, the upsampled depth data using CNN and stereo camera depth data are fused using semi-global matching (SGM) algorithm. We proposed simplified fusion method created for the embedded system.

• 한국지능시스템학회논문지
• /
• 제15권1호
• /
• pp.42-47
• /
• 2005

본 논문은 스테레오 카메라론 사용하여 실내 환경의 3차원 복원하는 방법에 대하여 말하고 있다. 일반적으로 3차원 데이터를 추출하는 방법에는 3가지가 있는데, 초음파 센서를 사용하는 방법, 레이저 센서를 사용하는 방법, 그리고 스테레오 카메라론 사용하는 방법을 들 수 있다. 이중 스테레오 카메라는 적당한 가격으로 높은 성능을 낼 수 있는 방법이다. 본 논문에서는 스테레오 카메라론 사용하여 3차원 데이터를 추출하는 방법으로 Window Correlation Matching Method를 사용하였다. 스테레오 카메라를 사용하여 3차원 데이터를 우울할 때 가장 큰 문제인 정확하지 않은 데이터들에 대한 처리를 하기 위하여 Histogram Weighted Hough Transform이라는 방법을 제시하였다. 이렇게 하여 각 Step에 추출된 데이터에서 오차를 많이 줄일 수 있었기 때문에 복원이 더욱 잘 되도록 만들 수 있었으며, 3차원 복원에 DirectX를 사용하여 보다 현실감이 있도록 하였다. 본 논문은 기존에는 3차원 복원다는 3차원 데이터추출에 집중되었던 스테레오 카메라를 3차원 복원에 사용할 수 있다는 것을 보여주었으며, 오차를 줄이기 위해 새로운 알고리즘을 적용하려고 노력하였다.