• 한국측량학회지
• /
• 제29권5호
• /
• pp.449-457
• /
• 2011

As automated image processing techniques have been required in multi-temporal/multi-sensor geospatial image applications, use of automated but highly invariant image matching technique has been a critical ingredient. Note that there is high possibility of geometric and spectral differences between multi-temporal/multi-sensor geospatial images due to differences in sensor, acquisition geometry, season, and weather, etc. Among many image matching techniques, the SIFT (Scale Invariant Feature Transform) is a popular method since it has been recognized to be very robust to diverse imaging conditions. Therefore, the SIFT has high potential for the geospatial image processing. This paper presents a performance test results of the SIFT on geospatial imagery by simulating various image differences such as shear, scale, rotation, intensity, noise, and spectral differences. Since a geospatial image application often requires a number of good matching points over the images, the number of matching points was analyzed with its matching positional accuracy. The test results show that the SIFT is highly invariant but could not overcome significant image differences. In addition, it guarantees no outlier-free matching such that it is highly recommended to use outlier removal techniques such as RANSAC (RANdom SAmple Consensus).

• 한국측량학회지
• /
• 제26권4호
• /
• pp.407-414
• /
• 2008

본 논문은 항공사진과 위성영상의 서로 다른 해상도를 지닌 이종센서 영상들에 대한 효율적인 특이점 자동 매칭 기법에 대한 알고리즘에 관한 연구이다. 본 연구의 자동 매칭 알고리즘은 매칭 정확도 및 속도를 향상시키기 위해 다양한 영상 처리 방법을 적용하였다. 특이점을 추출하기 위하여 전처리 과정, 필터링, 세선화, 특이점 추출 방법을 사용하였으며, 특이점에 대한 키서술자(Key-descriptor)를 비교하여 매칭의 정확도를 향상시켰다. 특히 본 연구에서 제안된 이종센서간의 정확도 높은 자동 영상 매칭을 위해 센서마다 지닌 기하학적 및 방사학적인 영상의 특징을 활용하였다. 아울러 매칭 속도를 높이기 위해 센서 모델을 이용하여 탐색 영역을 최소화 하고 매칭이 잘못된 특이점을 제거할 수 있는 방법을 제시하고 있다.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1505-1514
• /
• 2022

영상정합은 다시기 및 다중센서 고해상도 위성영상을 효과적으로 활용하기 위해 필수적으로 선행되는 중요한 과정이다. 널리 각광받고 있는 딥러닝 기법은 위성영상에서 복잡하고 세밀한 특징을 추출하여 영상 간 빠르고 정확한 유사도 판별에 사용될 수 있음에도 불구하고, 학습자료의 양과 질이 결과에 영향을 미치는 딥러닝 모델의 한계와 고해상도 위성영상 기반 학습자료 구축의 어려움에 따라 고해상도 위성영상의 정합에는 제한적으로 적용되어 왔다. 이에 본 연구는 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 과정에서 딥러닝 기반 기법의 적용성을 확인하기 위하여, 편향성이 존재하는 고해상도 위성영상 데이터베이스로부터 딥러닝 영상매칭 학습자료를 구축하고 학습자료의 구성이 정합쌍 추출 정확도에 미치는 영향을 분석하였다. 학습자료는 12장의 다시기 및 다중센서 고해상도 위성영상에 대하여 격자 기반의 Scale Invariant Feature Transform(SIFT) 알고리즘을 이용하여 추출한 영상쌍에 참과 거짓의 레이블(label)을 할당한 정합쌍과 오정합쌍의 집합으로 구축되도록 하였다. 구축된 학습자료로부터 정합쌍 추출을 위해 제안된 Siamese convolutional neural network (SCNN) 모델은 동일한 두 개의 합성곱 신경망 구조에 한 쌍을 이루는 두 영상을 하나씩 통과시킴으로써 학습을 진행하고 추출된 특징의 비교를 통해 유사도를 판별한다. 본 연구를 통해 고해상도 위성영상 데이터 베이스로부터 취득된 자료를 딥러닝 학습자료로 활용 가능하며 이종센서 영상을 적절히 조합하여 영상매칭 과정의 효율을 높일 수 있음을 확인하였다. 다중센서 고해상도 위성영상을 활용한 딥러닝 기반 영상매칭 기법은 안정적인 성능을 바탕으로 기존 수작업 기반의 특징 추출 방법을 대체하고, 나아가 통합적인 딥러닝 기반 영상정합 프레임워크로 발전될 것으로 기대한다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.

• 대한원격탐사학회지
• /
• 제34권6_3호
• /
• pp.1351-1367
• /
• 2018

다중 센서 영상을 영상 융합, 변화 탐지, 시계열 분석에 활용하기 위해서는 두 영상 간의 영상 등록 과정이 필수적이다. 영상 등록을 위해서는 서로 다른 공간 해상도를 가지는 다중 센서 영상 사이의 스케일과 회전각도 차이를 정확히 검출해야 한다. 본 논문에서는 다중 해상도 영상 간의 영상 등록을 위하여 가변 원형 템플릿을 이용한 새로운 특징 정합 기법을 제안한다. 제안하는 정합 기법은 스케일이 작은 영상의 특징점을 중심으로 원형 템플릿을 설정하고 스케일이 큰 영상에서는 가변 원형 템플릿을 생성한다. 가변 원형 템플릿의 스케일을 일정한 스케일 단위로 변경한 후에 가변 원형 템플릿을 일정 각도 단위로 회전시키면서 두 원형 템플릿 사이의 상호 정보량이 최대가 될 때의 가변 원형 템플릿의 스케일, 회전 각도 그리고 중심 위치를 각각 검출한다. 제안한 방법을 서로 다른 공간 해상도를 가지는 Kompsat(Korea Multi-Purpose Satellite) 2호, 3호, 3A호 영상 조합에 적용한 결과, 스케일 팩터 오차는 0.004 이하, 회전 각도 오차는 $0.3^{\circ}$ 이하, 제어점의 위치 오차는 1 화소 이하의 정합 성능을 보였다.

• 한국측량학회지
• /
• 제25권6_1호
• /
• pp.529-536
• /
• 2007

Registration between image and object space is a fundamental step in photogrammetry and computer vision. Along with rapid development of sensors - multi/hyper spectral sensor, laser scanning sensor, radar sensor etc., the needs for registration between different sensors are ever increasing. There are two important considerations on different sensor registration. They are sensor invariant feature extraction and correspondence between them. Since point to point correspondence does not exist in image and laser scanning data, it is necessary to have higher entities for extraction and correspondence. This leads to modify first, existing mathematical and geometrical model which was suitable for point measurement to line measurements, second, matching scheme. In this research, linear feature is selected for sensor invariant features and matching entity. Linear features are incorporated into mathematical equation in the form of extended collinearity equation for registration problem known as photo resection which calculates exterior orientation parameters. The other emphasis is on the scheme of finding matched entities in the aide of RANSAC (RANdom SAmple Consensus) in the absence of correspondences. To relieve computational load which is a common problem in sampling theorem, deterministic sampling technique and selecting 4 line features from 4 sectors are applied.

• Smart Structures and Systems
• /
• 제17권6호
• /
• pp.935-956
• /
• 2016

With the help of advanced image acquisition and processing technology, the vision-based measurement methods have been broadly applied to implement the structural monitoring and condition identification of civil engineering structures. Many noncontact approaches enabled by different digital image processing algorithms are developed to overcome the problems in conventional structural dynamic displacement measurement. This paper presents three kinds of image processing algorithms for structural dynamic displacement measurement, i.e., the grayscale pattern matching (GPM) algorithm, the color pattern matching (CPM) algorithm, and the mean shift tracking (MST) algorithm. A vision-based system programmed with the three image processing algorithms is developed for multi-point structural dynamic displacement measurement. The dynamic displacement time histories of multiple vision points are simultaneously measured by the vision-based system and the magnetostrictive displacement sensor (MDS) during the laboratory shaking table tests of a three-story steel frame model. The comparative analysis results indicate that the developed vision-based system exhibits excellent performance in structural dynamic displacement measurement by use of the three different image processing algorithms. The field application experiments are also carried out on an arch bridge for the measurement of displacement influence lines during the loading tests to validate the effectiveness of the vision-based system.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
• /
• pp.1332-1333
• /
• 2003

• 한국측량학회지
• /
• 제29권6호
• /
• pp.667-675
• /
• 2011

본 논문은 이종센서자료인 고해상도 KOMPSAT-2 영상과 TerraSAR-X 영상 간 자동기하보정을 수행하는 것을 목적으로 한다. 이를 위해, 두 영상간의 x, y 방향의 초기 변위량을 MI(Mutual Information) 기법을 통해 계산한 후, 계산된 위치만큼 TerraSAR-X 영상을 이동시켜서 두 영상 간 초기 위치 차이를 최소화하였다. 초기 위치 차이가 최소화된 두 영상에서 선형정보를 추출하여 이들 간의 유사도를 판단, 매칭쌍을 추출하고자 하였다. 특히, 영상 전반에 걸쳐 고르게 분포된 매칭쌍을 추출하기 위하여, 영상 전역에 걸쳐서 동일한 크기의 격자망을 구성하여, 각 격자망에서 하나의 매칭쌍만을 추출하도록 하였다. 이렇게 추출된 매칭쌍을 이용하여 선형(rigid)과 비선형(nonrigid)의 변환식이 결합된 모델을 통해 기하보정 정확도를 높이고자 하였고, 실험 결과 모든 대상지역에서 5m 이내의 RMSE 값을 도출하였다.

• 대한원격탐사학회지
• /
• 제26권6호
• /
• pp.629-644
• /
• 2010

A real-time image georeferencing system requires all inputs to be determined in real-time. The intrinsic camera parameters can be identified in advance from a camera calibration process while other control information can be derived instantaneously from real-time GPS/INS data. The bottleneck process is tie point acquisition since manual operations will be definitely obstacles for real-time system while the existing extraction methods are not fast enough. In this paper, we present a fast-and-automated image matching technique based on the KLT tracker to obtain a set of tie-points in real-time. The proposed work accelerates the KLT tracker by supplying the initial guessed tie-points computed using the GPS/INS data. Originally, the KLT only works effectively when the displacement between tie-points is small. To drive an automated solution, this paper suggests an appropriate number of depth levels for multi-resolution tracking under large displacement using the knowledge of uncertainties the GPS/INS data measurements. The experimental results show that our suggested depth levels is promising and the proposed work can obtain tie-points faster than the ordinary KLT by 13% with no less accuracy. This promising result suggests that our proposed algorithm can be effectively integrated into the real-time image georeferencing for further developing a real-time surveillance application.