• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.555-560
• /
• 2008

두 장의 2차원 영상을 가지고 3차원을 재구성하기 위해서는 스테레오 정합을 이용한다. 이러한 이유로 그 동안에 많은 스테레오 정합에 대한 연구가 진행되었다. 스테레오 정합은 컴퓨터 기술의 발전과 더불어 좀 더 빠르고 높은 정확성을 보이고 있다. 하지만 속도와 정확성을 동시에 만족시키면서 대형영상에서도 동작할 수 있게 메모리을 적게 사용하는 방법은 많지가 않다. 본 논문에서는 이런 요구 조건을 만족시키기 위하여 새로운 스테레오 정합방법을 제시한다. 우리가 제시하는 새로운 방법은 다중 방향성 Greedy 알고리즘과 RANSAC을 반복적으로 사용하여 영상전체에 대한 스테레오 정합을 시도하는 방법이다. 우선 Greedy 알고리즘을 이용하여 여러 방향의 scan-line을 따라 깊이값 영상을 구한다. 그리고 이 여러 장의 깊이값 영상들의 분포를 RANSAC을 이용하여 신뢰영역을 찾아낸다. 구해진 신뢰영역을 바탕으로 Greedy 알고리즘과 RANSAC을 수 차례 반복하여 신뢰영역을 확장해 나가면 최종 깊이값 영상을 얻는다. 우리가 제안하는 알고리즘은 적은 메모리로도 큰 영상의 정합이 가능하고, 속도와 정확도 측면에서도 우수한 결과를 보인다.

• Smart Media Journal
• /
• v.1 no.3
• /
• pp.22-28
• /
• 2012

As the smart media becomes more popular, the demand for high-quality 3D images and depth maps is increasing. However, performance of the current technologies to acquire depth maps is not sufficient. The depth maps from stereo matching methods have low accuracy in homogeneous regions. The depth maps from depth cameras are noisy and have low-resolution due to technical limitations. In this paper, we introduce the state-of-the-art algorithms for depth map enhancement and up-sampling from conventional methods using only depth maps to the latest algorithms referring to both depth maps and their corresponding color images. We also present depth map enhancement algorithms for hybrid camera systems in detail.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.83-86
• /
• 2012

본 논문에서는 다양한 변이 추정 방식 중 영역기반(Area-based) 알고리듬과 특정기반(Feature-based) 알고리듬을 결합한 하이브리드(Hybrid) 변이추정 알고리듬을 제안한다. 제안하는 알고리듬은 Features from Accelerated Segment Test(FAST) 코너 점 추출기[2]를 이용하여 좌, 우 영상 각각의 특징 점을 추출한 후, 특징 점들의 정보를 이용한 스테레오 정함을 통해 신뢰도 높은 초기 변이지도(Disparity map)를 생생하게 된다. 그러나 생성된 초기 변이지도는 조밀하지 못하므로, 조밀한 변이 지도를 획득하기 위해 특징점이 추출된 영역에 대해서는 추정된 초기 변이 값을 이웃 픽셀과의 색 유사도를 고려하여 전파시키고 특징 점이 추출되지 않은 영역에 대해서는 이진 윈도우(Binary window)를 활용한 영역기반 변이추정 알고리듬[1]을 이용하여 변이 값을 추정한다. 이를 통해, 제안 알고리듬은 특징 기반 알고리듬에서 발생할 수 있는 보간법 문제를 해결함과 동시에 신뢰도가 높은 초기 변이지도를 사용함으로써, 영역 기반 알고리듬의 정합 오차를 줄여 신뢰도 높은 변이지도를 생생할 수 있다. 실험 결과 추정된 초기 변이지도는 ground truth와 비교 시 약 99%이상의 정확도를 보이며, 특징 점이 추출된 영역에서 기존의 영역기반 알고리듬보다 더 정확한 변이 값이 추정되었음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.140-141
• /
• 2012

최근 영상분야의 키워드는 초고품질화, 초실감화, 스마트화로 대표될 수 있다. 그 중에서도 무안경식 3D는 초실감화를 이루기 위한 핵심응용분야 중 하나이다. 하지만 무안경식 3D 단말기가 성공적으로 보급되기 위해서는 연구되어야 할 분야가 여전히 존재한다. 그 중에서도 본 논문에서는 고화질의 무안경식 3D 스마트 콘텐츠 제작에 필요한 자동 스테레오 정합 기법을 제안하였다. 이전까지 연구된 변이지도 추출을 위한 알고리즘은 전역적 최적화 방법을 사용할 시 영상의 해상도와 깊이 정도에 따른 연산량의 증가로 많은 수행시간이 요구되었다. 또한 좌/우 영상의 intensity 정보만으로는 정확한 변이지도 추출이 어렵다는 한계점이 존재하였다. 이러한 이유로 본 논문에서는 스트림 영상에서 프레임 간의 정보를 이용하여 신뢰지도와 경계정보를 생성하였으며 belief propagation 스테레오 정합 방법을 이용하여 고화질의 정확한 변이지도를 추출하였다. 또한, 알고리즘의 연산량에 대한 문제를 해결하기 위한 고속화 방안으로, 최근 많은 연구가 이루어지고 있는 GPU(graphics processing units) 를 이용한 병렬처리를 연구하였다. 마지막으로 연구결과의 신뢰성을 향상하기 위하여 다양한 데이터를 이용한 실험을 통해 고화질의 영상정보를 고속으로 추출할 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.63-66
• /
• 2015

3차원 영상을 생성하기 위해 스테레오 매칭을 통해 깊이 정보를 획득한다. 이때 발생하는 경계영역과 텍스처가 부족한 부분의 깊이정보 부정확성 문제를 해결하기 위해 영상 분할 기반 스테레오 매칭 방법을 제안한다. 일반적으로 사용하는 윈도우 기반 스테레오 매칭 결과를 기반으로 분할된 영상 내에서 최적의 변위 값을 재 할당함으로서 깊이정보의 정확성을 향상시킬 수 있다. Mean-shift는 참조 영상에서 화소 간 평균값 차이가 최대가 되는 영역들을 반복적으로 찾는다. 유사한 평균값을 갖는 영역들을 기반으로 영상을 분할하는 것을 Mean-shift를 이용한 영상분할 이라고 한다. 분할된 영상은 각 영역을 대표하는 패치 구조를 가지고 있어 참조 영상에 포함되어있는 잡음에 강인한 특성을 지닌다. 스테레오 매칭을 통해 화소별로 변위 값을 할당해주는 대신, 분할된 영상을 이용하여 각 분할 영역에 동일한 변위 값을 할당한다. 분할된 영상에 동일한 변위 정보를 할당할 경우 객체와 배경의 경계영역에서 잘못된 변위 값이 할당되는 경우가 발생한다. 이러한 경계 영역의 변위정보 부정확성을 보완하기 위해 화소의 기울기 항을 비용 값 계산 과정에 추가하여 단점을 보완한다. 최종 비용 값 계산을 통해 획득한 초기 변위 지도에 중간 값 필터를 적용하여 분류된 영역에 동일한 변위 값을 할당한다. 제안한 방법을 적용하여 경계영역의 정확도가 향상된 최종 변위 지도를 획득한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.94-95
• /
• 2016

스테레오 정합은 서로 다른 두 시점을 갖는 스테레오 영상으로부터 객체의 깊이값을 예측한다. 이 방법은 객체가 카메라로 부터 멀리 떨어질수록 두 시점 사이에 큰 변위차를 갖는 양안시차 특성을 이용해 깊이값을 구한다. 일반적으로 스테레오 정합은 촬영한 두 영상의 조명 변화 및 노출 정도가 같다는 조건으로 수행된다. 하지만 실내 또는 실외에서 실제로 영상을 촬영하면 조명 및 햇빛의 위치 그리고 카메라의 특성에 따라 촬영된 스테레오 영상의 밝기가 서로 달라지는 경우가 발생하게 된다. 이처럼 두 영상의 밝기차를 고려하지 않고 스테레오 정합을 하게 되면 정확한 깊이값을 예측하기 어렵다. 이러한 문제를 개선하기 위해 조명 변화에 강인한 ANCC (Adaptive Normalized Cross Correlation)가 제안되었다. 이 방법은 영상 속 화소들의 색상 모델을 이용해 조명변화의 영향을 받는 요소들을 제거함으로써 다양한 밝기변화 속에서도 안정적으로 스테레오 정합을 수행할 수 있도록 한다. 하지만 ANCC는 수행과정에서 각 화소마다 양방향 필터 (Bilateral Filter)가 적용되는 등 높은 복잡도를 갖는다는 단점이 있다. 본 논문에서는 기존의 ANCC 보다 복잡도가 낮으면서 밝기변화에도 안정적인 정합 결과를 갖기 위해 Census 변환의 이진 정보를 이용한 스테레오 정합 방법을 제안한다.

• Journal of Sensor Science and Technology
• /
• v.14 no.2
• /
• pp.116-124
• /
• 2005

In this paper range measurement systems are designed using an ultrasonic sensor and a camera. An ultrasonic sensor provides the range measurement to a target quickly and simply but its low resolution is a disadvantage. We tackle this problem by employing a camera. Instead using a stereoscopic sensor, which is widely used for 3D sensing but requires a computationally intensive stereo matching, the range is measured by focusing and structured lighting. In focusing a straightforward focusing measure named as MMDH(min-max difference in histogram) is proposed and compared with existing techniques. In the method of structure lighting, light stripes projected by a beam projector are used. Compared to those using a laser beam projector, the designed system can be constructed easily in a low-budget. The system equation is derived by analysing the sensor geometry. A sensing scenario using the systems designed is in two steps. First, when better accuracy is required, measurements by ultrasonic sensing and focusing of a camera are fused by MLE(maximum likelihood estimation). Second, when the target is in a range of particular interest, a range map of the target scene is obtained by using structured lighting technique. The systems designed showed measurement accuracy up to 0.3[mm] approximately in experiments.

• Korean Journal of Remote Sensing
• /
• v.9 no.2
• /
• pp.7-19
• /
• 1993

In stereo vision, when we use two parallel axis images, small portion of object is contained and B/H(Base-line to Height) ratio is limited due to the size of object and depth information is inaccurate. To overcome these difficulities we take a non-parallel axis image which is rotated $\theta$ about y-axis and match other parallel-axis image. Epipolar lines of non-parallel axis image are not same as those of parallel-axis image and we can't match these two images directly. In this paper, we transform the non-parallel axis image geometrically with camera parameters, whose epipolar lines are alingned parallel. NCC(Normalized Cross Correlation) is used as match measure, area-based matching technique is used find correspondence and 9$\times$9 window size is used, which is chosen experimentally. Focal length which is necessary to get depth information of given object is calculated with least-squares method by CCD camera characteristics and lenz property. Finally, we select 30 test points from given object whose elevation is varied to 150 mm, calculate heights and know that height RMS error is 7.9 mm.

• The Journal of Korea Robotics Society
• /
• v.14 no.1
• /
• pp.65-73
• /
• 2019

In this paper, we propose an algorithm that estimates the location of lunar rover using IMU and vision system instead of the dead-reckoning method using IMU and encoder, which is difficult to estimate the exact distance due to the accumulated error and slip. First, in the lunar environment, magnetic fields are not uniform, unlike the Earth, so only acceleration and gyro sensor data were used for the localization. These data were applied to extended kalman filter to estimate Roll, Pitch, Yaw Euler angles of the exploration rover. Also, the lunar module has special color which can not be seen in the lunar environment. Therefore, the lunar module were correctly recognized by applying the HSV color filter to the stereo image taken by lunar rover. Then, the distance between the exploration rover and the lunar module was estimated through SIFT feature point matching algorithm and geometry. Finally, the estimated Euler angles and distances were used to estimate the current position of the rover from the lunar module. The performance of the proposed algorithm was been compared to the conventional algorithm to show the superiority of the proposed algorithm.

• Korean Journal of Remote Sensing
• /
• v.34 no.6_1
• /
• pp.941-951
• /
• 2018

Utilization and demand of UAV (unmanned aerial vehicle) for the generation of 3D city model are increasing. In this study, we performed an experiment to adjustment position/orientation of UAV with incomplete attitude information and to extract point cloud data. In order to correct the attitude of the UAV, the rotation angle was calculated by using the continuous position information of UAV movements. Based on this, the corrected position/orientation information was obtained by applying IBA (Incremental Bundle Adjustment) based on photogrammetry. Each pair was transformed into an epipolar image, and the MDR (Multi-Dimensional Relaxation) technique was applied to obtain high precision DSM. Each extracted pair is aggregated and output in the form of a single point cloud or DSM. Using the DJI inspire1 and Phantom4 images, we can confirm that the point cloud can be extracted which expresses the railing of the building clearly. In the future, research will be conducted on improving the matching performance and establishing sensor models of oblique images. After that, we will continue the image processing technology for the generation of the 3D city model through the study of the extraction of 3D cloud It should be developed.