• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.04a
• /
• pp.562-565
• /
• 2010

시각기반 증강현실 시스템의 구현을 위해서는 입력되는 카메라영상의 프레임을 매번 특징점을 추출하고 패턴 매칭 과정을 반복하는 것은 저 사양의 모바일 기기에서는 적합하지 않다. 본 논문에서는 이러한 문제점을 해결 하고자 카메라영상에서 패턴이 한번 인식되게 되면 그 이후의 영상에 대해서는 패턴 인식과정을 생략하고 이전 영상에서 매칭된 특징점을 광류 기반 추적기법을 사용하여 추적하도록 한다. 또한 패턴 추적 절차의 수행 중 추적이 실패하여 생기는 특징점 소실 문제는 정확한 호모그래피 행렬과 카메라 자세 추정을 어렵게 하는데 이러한 문제를 해결하도록 하는 패턴 추적의 성공 또는 실패는 판단하는 기준을 세워 모바일 기기에서 빠르게 동작하도록 하는 광류 추적 기법을 사용한 자연 특징 추적 기반 증강현실 시스템을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.559-561
• /
• 2001

본 논문에서는 스테레오 영상으로부터 변위를 추정할 수 있는 다양한 방법들 중 특정 기반 방식과 영역 기반 방식의 각각의 장점들을 살리고 단점들을 보완하기 위한 방법은 제안한다. 영상의 경계선을 이루는 특징점들은 전체 영상의 5% 내외의 소수로 추출되면서도 많은 양의 영상 정보를 가지고 있으므로, 이 점들에 대해 일정한 매칭 과정을 통해 대응점을 구하고, 이 중 90% 이상의 정확성 매칭 확률을 가진 대응점들을 영상으로 기준점으로 설정한다. 그리고 이러한 기준점 이외의 점들에 대해서는 추출된 기준점들의 순서에 맞추어 Ordering Constraint를 적용시키고 기준점에 따라 블록의 크기가 달라지는 영역 기반 방식을 적용하여 조밀한 변위를 추정하였다. 이렇게 함으로써 영역 기반 방식과 특징 기반 방식의 각각의 장점들을 이용하면서도 특정기반 방식의 문제점인 보간법 문제를 해결하였고, 또한 블록의 크기 따라 계산 시간과 정합 오차가 많이 좌우되는 영역 기반 방식의 단점들을 해결하였다. 또한 기준점을 이용하여 Ordering constraint 기반하에 영역 정보를 이용하므로 좀 더 올바른 순서 조건에 맞추어 대응점을 찾을 수 있고 또한 폐쇄 영역 부분도 쉽게 찾을 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.28-31
• /
• 2014

본 논문에서는 블랙박스 혹은 운전석에 장착된 카메라로부터 얻어진 차량 영상에 대한 영역별 수직 히스토그램 매칭 및 선형 회귀분석 모델(linear regression model)을 활용한 강건한 차량 운행 동영상의 안정화(video stabilization) 기법을 제안한다. 동영상 안정화 기법은 영상의 흔들림 보정뿐 아니라 동영상 내 강건한 특징점 추적 및 매칭을 위한 이전의 전처리 과정으로 적용된다. 일반적으로 촬영 과정에서 많은 떨림이 포함될 수 있는 야외 CCTV 영상이나 손으로 들고(hand-held) 촬영된 동영상에 대한 흔들림 보정 등에 적용되고 있으나 영상 내 특징점이 지속적으로 변하고 영상의 변화 정도가 매우 심한 차량 운행 동영상에서는 적용된 사례가 드물다. 본 연구에서는 일반적인 비디오 안정화 기술이 적용되기 어려운 차량 운행 동영상에 대하여 수직 투영 히스토그램 매칭 및 선형 회귀분석 모델 기반의 안정화 기법을 제안한다. 제안된 기법은 입력영상에 대한 영역별 수직 투영 히스토그램 매칭을 수행하고 선형 회귀모델을 통해 영상에 나타나는 수직 및 회전이동 변환을 선형 근사하여 시간 영역 상의 입력 영상에 대한 안정화를 달성한다. 제안 방법의 검증을 위해 블랙박스로 촬영된 실제 동영상에 동영상 안정화 기술을 적용하였으며, 운행 중 불규칙한 노면으로 인한 영상의 흔들림이 효과적으로 제거되는 것을 확인할 수 있었다.

• Journal of Broadcast Engineering
• /
• v.26 no.1
• /
• pp.26-38
• /
• 2021

In this paper, DLKF (Deep Learning Keypoint Filtering), the deep learning-based keypoint filtering method for the rapidization of the image registration method for remote sensing images is proposed. The complexity of the conventional feature-based image registration method arises during the feature matching step. To reduce this complexity, this paper proposes to filter only the keypoints detected in the artificial structure among the keypoints detected in the keypoint detector by ensuring that the feature matching is matched with the keypoints detected in the artificial structure of the image. For reducing the number of keypoints points as preserving essential keypoints, we preserve keypoints adjacent to the boundaries of the artificial structure, and use reduced images, and crop image patches overlapping to eliminate noise from the patch boundary as a result of the image segmentation method. the proposed method improves the speed and accuracy of registration. To verify the performance of DLKF, the speed and accuracy of the conventional keypoints extraction method were compared using the remote sensing image of KOMPSAT-3 satellite. Based on the SIFT-based registration method, which is commonly used in households, the SURF-based registration method, which improved the speed of the SIFT method, improved the speed by 2.6 times while reducing the number of keypoints by about 18%, but the accuracy decreased from 3.42 to 5.43. Became. However, when the proposed method, DLKF, was used, the number of keypoints was reduced by about 82%, improving the speed by about 20.5 times, while reducing the accuracy to 4.51.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.14 no.3
• /
• pp.279-284
• /
• 2004

Fingerprints have been widely used in the biometric authentication because of its performance, uniqueness and universality. Recently, the speed of identification becomes a very important point in the fingerprint-based security applications. Also, the reliability still remains the main issue in the fingerprint identification. In this paper, we propose the fast and reliable fingerprint matching algorithm based on the process of the 'self-nonself' discrimination in the biological immune system. The proposed algorithm is organized by two-matching stage. The 1st matching stage does the matching process by the use of the 'self-space' and MHC detector string set that are generated from the minutiae and the values of the directional field. Then the 2nd matching stage is made based on the local-structure of the minutiae. The proposed two matching stage reduces matching time while the reliability of the matching algorithm is maintained.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.313-316
• /
• 2018

최근 미디어의 생성 및 소비 기술의 발전으로 몰입도 있는 콘텐츠에 대한 수요가 증가하고 있다. View Interpolation 기술은 두 개의 좌/우 영상을 기반으로 하여 두 영상의 중간 시점에 해당하는 영상을 생성해내는 기술이다. 먼저 Depth Hole Filling Module을 이용하여 좌/우 영상 및 그에 대응하는 깊이 지도를 입력으로 받아 깊이 지도에 존재하는 오류를 검출하고, 보정한다. 깊이 지도의 오류 보정이 완료되면, 해당 데이터를 각각 Feature Matching Module 및 Layer Dividing Module로 전달한다. Feature Matching Module은 실사 영상 내의 특징점들을 검출하고, 두 영상 내 특징점을 매칭하는 역할을 수행하며, Layer Dividing Module은 깊이 값을 기반으로 영상의 Layer를 분할한다. Feature Matching Module에서 특징점의 매칭이 완료되면, 특징점의 영상 내 좌표 및 해당 좌표에서의 깊이 값을 Distance Estimating Module로 전달한다. Distance Estimating Module은 전달받은 특징점의 좌표 및 해당 좌표에서의 깊이 값을 기반으로 전체 깊이 값에서의 이동도를 계산한다. 이와 같이 이동도의 계산 및 Layer 분할이 완료되면, 각 Layer를 이동도에 기반하여 이동시키고, 이동된 Layer들을 포개어 배치함으로써 View interpolation을 완성한다.

• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.4 no.3
• /
• pp.174-181
• /
• 2011

A new registration method for IR image and EO image is proposed in this paper. IR sensor is applicable to many area because it absorbs thermal radiation energy unlike EO sensor does. However, IR sensor has difficulty to extract and match features due to low contrast compared to EO image. In order to register both images, we used modified SIFT(Scale Invariant Feature Transform) and block processing to increase feature distinctiveness. To remove outlier, we applied RANSAC(RANdom SAample Concensus) for each block. Finally, we unified matching features into single coordinate system and remove outlier again. We used 3~5um range IR image, and our experiment result showed good robustness in registration with IR image.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.425-427
• /
• 2000

얼굴 표정은 사람의 감정을 표현함과 동시에 그것을 이해할 수 있는 중요한 수단이다. 최근 이러한 얼굴 표정의 자동인식과 추적을 위한 연구가 많이 진행되고 있다. 본 연구에서는 대략적인 얼굴영역을 설정하여 얼굴의 표정을 나타내는 표정요소들을 찾아낸 후, 각 요소의 특징점을 추출하고 추적하는 방법을 제시한다. 제안하는 시스템의 개요는 입력영상의 첫 프레임에서 얼굴영역 및 특징점을 찾고, 연속되는 프레임에서 반복적으로 이를 추적한다. 특징점 추출과 추적에는 템플릿 매칭과 Canny 경계선 검출기, Gabor 웨이블릿 변환을 사용하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.401-403
• /
• 1999

본 논문에서 우리는 제약이 없는 배경화면에서 얼굴의 움직임을 이용한 응시점 추적을 위해 얼굴의 특징점(눈, 코, 그리고 입)들을 찾고 head orientation을 구하는 효？거이고 빠른 방법을 제안한다. 얼굴을 찾는 방법이 많이 연구 되어 오고 있으나 많은 부분이 효과적이지 못하거나 제한적인 사항을 필요로 한다. 본 논문에서 제안한 방법은 이진화된 이미지에 기초하고 완전 그래프 매칭을 이용한 유사성을 구하는 방법이다. 즉, 임의의 임계치 값에 의해 이진화된 이미지를 레이블링 한 후 각 쌍의 블록에 대한 유사성을 구한다. 이때 두 눈과 가장 유사성을 갖는 두 블록을 눈으로 선택한다. 눈을 찾은 후 입과 코를 찾아간다. 360$\times$240 이미지의 평균 처리 속도는 0.2초 이내이고 다음 탐색영역을 예상하여 탐색 영역을 줄일 경우 평균 처리속도는 0.15초 이내였다. 그리고 본 논문에서는 얼굴의 움직임을 구하기 위해 각 특징점들이 이루는 각을 기준으로 한 템플릿 매칭을 이용했다. 실험은 다양한 조명환경과 여러 사용자를 대상으로 이루어졌고 속도와 정확성면에서 좋은 결과를 보였다. 도한, 명안정보만을 사용하므로 흑백가메라에서도 사용가능하여 경제적 효과도 기대할 수 있다.

• Journal of the HCI Society of Korea
• /
• v.10 no.2
• /
• pp.45-55
• /
• 2015

In recent years, keypoint recognition and tracking technologies are considered as crucial task in many practical systems for markerless augmented reality. The keypoint recognition and technologies are widely studied in many research areas, including computer vision, robot navigation, human computer interaction, and etc. Moreover, due to the rapid growth of mobile market related to augmented reality applications, several effective keypoint-based matching and tracking methods have been introduced by considering mobile embedded systems. Therefore, in this paper, we extensively analyze the recent research trends on keypoint-based recognition and tracking with several core components: keypoint detection, description, matching, and tracking. Then, we also present one of our research related to mobile augmented reality, named mobile tour guide system, by real-time recognition and tracking of tour maps on mobile devices.