• 로봇학회논문지
• /
• 제5권2호
• /
• pp.85-92
• /
• 2010

In this paper, we propose a digital image stabilization technique using edge detection and Lucas-Kanade optical flow in order to minimize the motion of the shaken image. The accuracy of motion estimation based on block matching technique depends on the size of search window, which results in long calculation time. Therefore it is not applicable to real-time system. In addition, since the size of vector depends on that of block, it is difficult to estimate the motion which is bigger than the block size. The proposed method extracts the trust region using edge detection, to estimate the motion of some critical points in trust region based on Lucas-Kanade optical flow algorithm. The experimental results show that the proposed method stabilizes the shaking of motion image effectively in real time.

• 한국정보전자통신기술학회논문지
• /
• 제4권3호
• /
• pp.158-166
• /
• 2011

일반적으로 이동 물체 추적은 움직임 및 회전, 크기에 견고한 루카스-카나데 특징 추적 방법이 많이 사용된다. 그러나 이 방법은 추적하던 이동 물체가 배경이나, 다른 물체 등으로 인해 추적하는 물체가 가려질 경우, 이동 물체를 추적하지 못하고 배경이나 다른 물체 등을 추적하거나, 추적이 종료된다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 루카스-카나데 특징 추적 방법에 평가 함수와 이동 물체 추적 예측을 도입하여, 가림현상에도 이동 물체를 추적하는 방법을 제안한다.

• 한국콘텐츠학회논문지
• /
• 제8권9호
• /
• pp.1-9
• /
• 2008

일반적으로 얼굴 추적 시 움직임에 강건한 Lucas-Kanade 추적 방법이 많이 사용된다. 그러나 얼굴이 회전되었을 경우, 정확한 얼굴 영역 검출이 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 Lucas-Kanade 추적 방법에 평가함수를 도입하여 회전에 강건한 자동 얼굴 영역 검출 및 추적 방법을 제안하였다. 얼굴영역은 색상정보를 이용하여 자동으로 추출하였으며, Harris 코너 추출 알고리즘으로 특징점을 추출하였다. 폐색된 특징점을 구분하기위하여 특징점마다 기존 특징점과 새로운 특징점과의 차이 값을 계산한다. 만약, 특징점이 폐색되었을 경우, 잡음을 제거하기 위하여 제거하며 특징점의 개수가 일정 임계값 이하일 경우, 얼굴 영역을 다시 검출하였다. 실험결과를 통하여 얼굴 영역이 회전되었을 경우, 기존의 Lucas-Kanade 추적 방법보다 더 좋은 결과를 확인하였다.

• 전자공학회논문지SC
• /
• 제47권5호
• /
• pp.24-32
• /
• 2010

본 연구에서는 Optical Flow Method의 추적 성능을 향상시키기 위한 전처리 알고리즘을 제안한다. 제안하는 알고리즘은 Median Filter, Binarization, Morphology, Canny Edge, Contour Detecting 및 Approximation Method를 기반으로 개발되었다. Optical Flow 추적 성능 향상 여부를 평가하기 위해 Lucas-Kanade Optical Flow 알고리즘에 개발된 전처리 알고리즘을 적용하고, 전처리 알고리즘이 적용되지 않은 Optical Flow 영상과 추적 결과를 비교 분석하였다. 또한, Median Filter와 Histogram Equalization으로 구성된 기존 전처리 알고리즘과의 결과 비교를 통해, 개발된 전처리 알고리즘의 추적 성능 향상여부를 평가하였다. 실험결과, 전처리 알고리즘을 적용하지 않은 영상과 기존 전처리 알고리즘을 적용한 영상은 특징영역의 분할이 이루어지지 않아, Optical Flow의 추적 정확도가 매우 낮게 나타났다. 반면, 개발된 전처리 알고리즘을 적용한 영상에서는 외곽선이 내외부로 세분화되고, 외곽선 트리가 구성됨에 따라 Optical Flow의 추적 성능이 매우 높게 나타났다.

• 한국정보전자통신기술학회논문지
• /
• 제16권6호
• /
• pp.448-453
• /
• 2023

소형 쿼드콥터 드론의 제작이 다양화되고, 고속 처리가 가능한 MCU의 보급으로 인해 FC에 멀티 센서가 장착되면서, 단순 동작이 아닌 특수 목적의 동작을 수행할 수 있는 소형 드론이 구현되었다. 드론에 장착된 FC 안의 IMU를 통하여 호버링과 자세제어 그리고 위치 이동 제어를 할 수 있었으나, 복잡구조를 갖는 폐쇄된 건물 안에서 GPS 연결과 영상통신이 불가능한 경우는 제어가 쉽지 않다. 본 연구에서는 이러한 공간에서 고저 변화가 있는 장애물을 만났을 경우, Lucas-Kanade 방법을 이용한 optical flow와 IR 센서를 이용하여 스스로 장애물을 넘어서 자율 비행을 수행하는 방법을 제안하였다. 실험을 통하여 안정적인 호버링 동작과 폐쇄 공간의 복잡구조를 대신하는 계단에서, 드론의 고저 비행은 주변의 외적 영향에 의한 허용 오차 10[cm] 이내로 98%의 성공률을 보이며 오르고 내리는 신뢰성 있는 자율 비행이 이루어지는 것을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제21권4호
• /
• pp.512-517
• /
• 2011

얼굴영상에서 나타나는 정서특징을 분석하기 위하여 본 논문에서는 Active Shape Model (ASM)과 Lucas-Kanade (LK) optical flow 기법을 기반으로 하는 특징검출 및 분석방법을 제안한다. Facial Action Coding System에 근거하여 묘사된 정서적 특징을 고려하여, 특징이 분포하는 영역에 위치한 다수의 landmark로 shape 모델을 구성하고 모델에서 각 Landmark를 중심으로 하는 움직임 벡터 윈도우 내부의 픽셀에 대한 LK 기법을 통해 optical flow 벡터를 추출한다. 추출된 움직임 벡터의 방향성 조합에 근거하여 얼굴정서특징을 shape 모델로 표현할 수 있으며, 베이지안 분류기라는 확률 기반 추론기법을 기반으로 정서적 상태에 대한 추정할 수 있다. 또한, 정서특징분석과정의 연산 효율성과 정확성 향상을 도모하기 위하여 common spatial pattern (CSP) 분석기법을 적용하여 정서상태 별로 상관성이 높은 특징만으로 구성된 최적정서특징을 추출한다.

• Smart Structures and Systems
• /
• 제31권4호
• /
• pp.409-419
• /
• 2023

Structural integrity can be accessed from dynamic deformations of structures. Moreover, dynamic deformations can be acquired from non-contact sensors such as video cameras. Kanade-Lucas-Tomasi (KLT) algorithm is one of the commonly used methods for motion tracking. However, averaging throughout the extracted features would induce bias in the measurement. In addition, pixel-wise measurements can be converted to physical units through camera intrinsic. Still, the depth information is unreachable without prior knowledge of the space information. The assigned homogeneous coordinates would then mismatch manually selected feature points, resulting in measurement errors during coordinate transformation. In this study, a two-stage optimization method for video-based measurements is proposed. The manually selected feature points are first optimized by minimizing the errors compared with the homogeneous coordinate. Then, the optimized points are utilized for the KLT algorithm to extract displacements through inverse projection. Two additional criteria are employed to eliminate outliers from KLT, resulting in more reliable displacement responses. The second-stage optimization subsequently fine-tunes the geometry of the selected coordinates. The optimization process also considers the number of interpolation points at different depths of an image to reduce the effect of out-of-plane motions. As a result, the proposed method is numerically investigated by using a truss bridge as a physics-based graphic model (PBGM) to extract high-accuracy displacements from recorded videos under various capturing angles and structural conditions.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.42-52
• /
• 2017

파노라마 영상은 여러 시점에서 촬영한 영상들을 대응점들의 정합을 통해 합성하여 얻은 단일 영상을 말한다. 기존의 파노라마 영상 생성 방법들은 대응점들을 구할 때 각 영상에서 지역적 불변 특징점을 추출하여 서술자를 생성하고 매칭 알고리즘을 사용한다. 동영상의 경우, 프레임 수가 많아 기존의 방법으로 파노라마 영상을 생성하는 것이 상당한 시간을 소비하고 불필요한 계산을 한다. 본 논문에서는 동영상을 입력 받아 구면 파노라마 영상을 효과적으로 생성하는 기법을 제안한다. 동영상의 프레임 간의 변화가 지역적으로 크지 않으며 연속적이라는 전제 조건으로 반복성 및 계산속도가 높은 FAST 알고리즘을 사용하여 특징점들을 추출하고, Lucas-Kanade 알고리즘을 통해 각 특징점들을 추적하여 그 주변에서 대응점을 찾는다. 모든 영상에 대해서 호모그래피를 계산하면 가운데 영상을 중심으로 호모그래피를 변경하고 영상을 와핑하여 평면 파노라마 영상을 얻는다. 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 변환하여 얻는다. 실험을 통하여 제안하는 방법이 기존의 방법들보다 파노라마 영상을 빠르고 효과적으로 생성하는 것을 확인하였다.

• 한국항공우주학회지
• /
• 제46권11호
• /
• pp.911-920
• /
• 2018

본 연구에서는 스트랩 다운 영상 탐색기를 활용한 유도무기와 목표물 사이의 관측각을 효과적으로 추적할 수 있는 연구를 수행하였고 이를 시각적으로 시뮬레이션 가능한 테스트 베드를 구축하였다. 영상 정보를 이용하여 목표물 추적을 위한 Lucas Kanade의 Optical flow 알고리즘과 같은 희박 특징점 추적 알고리즘 구현 시 고성능의 특징점 분포를 유지시키는 법을 기술하였으며, 특징점 추적 문제를 특징점 관리의 개념으로 확장하여 연구하였다. 이를 구현하기 위해 Unity3D 엔진을 이용하여 시각 환경을 구성하고 OpenCV를 이용하여 영상 처리 시뮬레이션을 개발하였다. 상호-시뮬레이션을 위해 매틀랩(Matlab) 시뮬링크(Simulink)로 동적 시스템 모델링을 하였고, Unity3D를 이용한 시각 환경을 구성, OpenCV를 이용한 컴퓨터 비전 작업을 수행하였다.

• 제어로봇시스템학회논문지
• /
• 제20권1호
• /
• pp.70-77
• /
• 2014

This paper proposes a novel localization algorithm based on ego-motion which used Lucas-Kanade Optical Flow and warping image obtained through fish-eye lenses mounted on the robots. The omnidirectional image sensor is a desirable sensor for real-time view-based recognition of a robot because the all information around the robot can be obtained simultaneously. The preprocessing (distortion correction, image merge, etc.) of the omnidirectional image which obtained by camera using reflect in mirror or by connection of multiple camera images is essential because it is difficult to obtain information from the original image. The core of the proposed algorithm may be summarized as follows: First, we capture instantaneous $360^{\circ}$ panoramic images around a robot through fish-eye lenses which are mounted in the bottom direction. Second, we extract motion vectors using Lucas-Kanade Optical Flow in preprocessed image. Third, we estimate the robot position and angle using ego-motion method which used direction of vector and vanishing point obtained by RANSAC. We confirmed the reliability of localization algorithm using ego-motion based on fisheye warping image through comparison between results (position and angle) of the experiment obtained using the proposed algorithm and results of the experiment measured from Global Vision Localization System.