• ETRI Journal
• /
• 제38권3호
• /
• pp.502-509
• /
• 2016

Feature detection and description are key ingredients of common image processing and computer vision applications. Most existing algorithms focus on robust feature matching under challenging conditions, such as inplane rotations and scale changes. Consequently, they usually fail when the scene is blurred by camera shake or an object's motion. To solve this problem, we propose a new feature description algorithm that is robust to image blur and significantly improves the feature matching performance. The proposed algorithm builds a feature descriptor by considering the integral projection along four angular directions ($0^{\circ}$, $45^{\circ}$, $90^{\circ}$, and $135^{\circ}$) and by combining four projection vectors into a single highdimensional vector. Intensive experiment shows that the proposed descriptor outperforms existing descriptors for different types of blur caused by linear motion, nonlinear motion, and defocus. Furthermore, the proposed descriptor is robust to intensity changes and image rotation.

• 정보처리학회논문지B
• /
• 제15B권5호
• /
• pp.391-396
• /
• 2008

동영상에서 객체의 움직임은 동영상의 내용을 분석하는데 중요한 요소로 작용한다. 따라서 움직임 정보를 이용하여 동영상 내용을 분석하고 검색하기 위한 많은 방법들이 제안되었다. 그러나 대부분의 방법들은 객체 자체의 동작 보다는 움직임의 방향이나 경로를 분석하는 쪽으로 치중되었다. 본 논문에서는 객체의 움직임에 의한 모양 변화를 이용하여 객체의 동작을 표현하고 비교하기 위한 모양 시퀀스 기술자(descriptor)를 제안한다. 객체의 움직임 정보는 입력된 이미지 시퀀스에서 객체 영역을 추출하여 연속된 2차원 모양 정보로 표현되고, 각각의 2차원 모양 정보는 모양 기술자를 이용하여 1차원 모양 특징 값으로 변환된다. 순서에 따라 배열된 모양 기술자들을 시간 축으로 주파수 변환한 후 저주파영역의 계수를 취하여 모양 시퀀스 기술자를 얻게 된다. 실험을 통하여 제안된 방법이 객체의 동작 정보를 매우 효과적으로 표현 및 비교 가능하여 내용 기반 동영상 검색, 동작 인식 등의 인지적 관점의 움직임 분석 응용에 적용 가능함을 보였다.

• 대한전자공학회논문지SP
• /
• 제48권4호
• /
• pp.107-115
• /
• 2011

본 논문은 대용량 동영상을 관리하기 위한 빠르고 효율적인 내용기반 중복 동영상 검출 알고리즘을 제안한다. 효율적인 중복 동영상 검출을 위해 대용량의 동영상을 처리하기 쉬운 작은 단위로 나누는 동영상 장면 전환 기반 분할 기술을 적용하였다. 동영상 서비스 및 저작권 보호 관련 사업모델의 경우, 필요한 기술은 아주 작은 구간의 동영상이나 한 장의 영상 을 검색하기보다는 상당한 길이 이상 일치하는 동영상을 파악하는 기술이 필요하다. 이러한 중복 동영상 검출을 위해 본 논문에서 동영상을 장면 전환을 기준으로 분할하여, 나누어진 장면 내에서 움직임 분포 서술자와 대표 프레임을 선택하여 프레임 서술자를 추출한다. 움직임 분포 서술자는 동영상 디코딩 과정에서 얻어지는 매크로 블록의 움직임 벡터를 이용한 장면 내 움직임 분포 히스토그램을 구성하였다. 움직임 분포 서술자는 정합시 고속 정합이 가능하도록 필터링 역할을 한다. 반면 움직임 정보만는 낮은 변별력을 가진다. 이를 높이기 위해 움직임 분포 서술자를 이용하여 정합된 장면간에 선택된 대표 프레임의 패턴 서술자를 이용하여 동영상의 중복 여부를 최종 판단한다. 제안된 방법은 실제 동영상 서비스 환경에서 우수한 인식률과 낮은 오인식률을 가질 뿐만아니라 실제 적용이 가능할 정도의 빠른 정합 속도를 얻을 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2012년도 추계학술대회
• /
• pp.898-902
• /
• 2012

실시간으로 입력되는 영상으로부터 이동객체의 움직임 특징을 이용하여 움직임 분석에 적합한 디스크립터를 제안한다. 배경과 이동객체를 분리하기 위하여 배경학습을 행한다. 연속적으로 추출된 이동객체의 1차 모멘트를 이용하여 각 객체별로 이동 궤적을 추출한다. 연결 리스트를 이용하여 객체별로 추출된 1차 모멘트를 관리한다. 디스크립터는 격자 형태로 미리 지정된 9개의 지점 근방에 포함되는 이동객체의 1차 모멘트 좌표와 객체가 화면에 출현하는 시작 프레임 번호, 화면에서 사라지는 마지막 프레임 번호로 구성된다. 제안하는 전역 및 지역 특징융합 디스크립터에 의한 비디오 검색은 둘 중 하나의 특징을 사용하는 기존의 방법에 비하여 효과적임을 확인하였다.

• 한국정보통신학회논문지
• /
• 제18권1호
• /
• pp.142-148
• /
• 2014

실시간으로 입력되는 영상으로부터 이동객체의 움직임 특징을 이용하여 움직임 분석에 적합한 디스크립터를 제안한다. 배경과 이동객체를 분리하기 위하여 배경학습을 행한다. 연속적으로 추출된 이동객체의 1차 모멘트를 이용하여 각 객체별로 이동 궤적을 추출한다. 연결 리스트를 이용하여 객체별로 추출된 1차 모멘트를 관리한다. 디스크립터는 격자 형태로 미리 지정된 9개의 지점 근방에 포함되는 이동객체의 1차 모멘트 좌표와 객체가 화면에 출현하는 시작 프레임 번호, 화면에서 사라지는 마지막 프레임 번호로 구성된다. 제안하는 전역 및 지역 특징 융합 디스크립터에 의한 비디오 검색은 둘 중 하나의 특징을 사용하는 기존의 방법에 비하여 효과적임을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제49권2호
• /
• pp.113-121
• /
• 2012

본 논문은 대용량 동영상을 관리하기 위한 빠르고 효율적인 내용기반 중복 동영상 검출 알고리즘을 제안한다. 효율적인 중복 동영상 검출을 위해 대용량의 동영상을 처리하기 쉬운 작은 단위로 나누는 동영상 장면 전환 기반 분할 기술을 적용하였다. 동영상 서비스 및 저작권 보호 관련 사업모델의 경우, 필요한 기술은 아주 작은 구간의 동영상이나 한 장의 영상 을 검색하기보다는 상당한 길이 이상 일치하는 동영상을 파악하는 기술이 필요하다. 이러한 중복 동영상 검출을 위해 본 논문에서 동영상을 장면 전환을 기준으로 분할하여, 나누어진 장면 내에서 움직임 분포 서술자와 대표 프레임을 선택하여 프레임 서술자를 추출한다. 움직임 분포 서술자는 동영상 디코딩 과정에서 얻어지는 매크로 블록의 움직임 벡터를 이용한 장면 내 움직임 분포 히스토그램을 구성하였다. 움직임 분포 서술자는 정합시 고속 정합이 가능하도록 필터링 역할을 한다. 반면 움직임 정보만는 낮은 변별력을 가진다. 이를 높이기 위해 움직임 분포 서술자를 이용하여 정합된 장면 간에 선택된 대표 프레임의 패턴 서술자를 이용하여 동영상의 중복 여부를 최종 판단한다. 제안된 방법은 실제 동영상 서비스 환경에서 우수한 인식률과 낮은 오인식률을 가질 뿐만아니라 실제 적용이 가능할 정도의 빠른 정합 속도를 얻을 수 있었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 제13회 신호처리 합동 학술대회 논문집
• /
• pp.359-362
• /
• 2000

본 논문에서는 비디오 영상에서 지역적 움직임 특성을 표현할 수 있는 지역적 움직임 활동(motion activity)에 관한 기술자(descriptor)를 제안한다. 제안된 방법은 화면 전체에 대해 지역적으로 높은 움직임 활동 정도를 갖는 영역에 대한 공간적 정보를 기술하고, 카메라 움직임에 무관하게 물체의 움직임 활동 특성을 정확히 표현하기 위해 움직임 벡터의 통계적 특성과 화면 분할을 이용한다 본 논문에서 제안하는 움직임 활동의 공간적 특성을 이용하면 동영상에서 화면의 일부에서 일어나는 움직임을 이용한 검색이 가능하고, 물체 추적, 감시 시스템에서도 활용이 가능하다. 실험으로 제안한 방법을 이용해서 움직임 활동이 높은 영역의 추출과정을 보이고, 이를 이용한 검색 결과를 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권7호
• /
• pp.3599-3619
• /
• 2019

In human activity recognition system both static and motion information play crucial role for efficient and competitive results. Most of the existing methods are insufficient to extract video features and unable to investigate the level of contribution of both (Static and Motion) components. Our work highlights this problem and proposes Static-Motion fused features descriptor (SMFD), which intelligently leverages both static and motion features in the form of descriptor. First, static features are learned by two-stream 3D convolutional neural network. Second, trajectories are extracted by tracking key points and only those trajectories have been selected which are located in central region of the original video frame in order to to reduce irrelevant background trajectories as well computational complexity. Then, shape and motion descriptors are obtained along with key points by using SIFT flow. Next, cholesky transformation is introduced to fuse static and motion feature vectors to guarantee the equal contribution of all descriptors. Finally, Long Short-Term Memory (LSTM) network is utilized to discover long-term temporal dependencies and final prediction. To confirm the effectiveness of the proposed approach, extensive experiments have been conducted on three well-known datasets i.e. UCF101, HMDB51 and YouTube. Findings shows that the resulting recognition system is on par with state-of-the-art methods.

• 한국통신학회논문지
• /
• 제25권5B호
• /
• pp.913-924
• /
• 2000

객체의 이동 궤적에 대한 효율적 기술기(descriptor) 및 이를 이용한 내용기반 비디오 검색 기술을 제안하였다. 정지 배경의 비디오에서 이동 객체를 추출한 후, 객체의 중심 좌표의 시간에 따른 이동 궤적을 2차 다항식의 매개변수로써 표현하였다. 또한, 카메라의 움직임이 있는 유동 배경의 비디오에서 비디오의 전역 움직임을 어파인(affine) 모델링한 후, 어파인 매개변수로써 카메라의 움직임을 식별하고 색인화 하였다. 이동 궤적에 대한 질의 매개변수와 색인화 된 매개변수간 유사도 정합에 의하여 내용 기반의 비디오 검색을 실현하였다. 제안한 기술은 일반 비디오에 대한 신속한 검색뿐만 아니라 감시 비디오 시스템의 효율적 운영에 기여할 수 있을 것으로 기대된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.269-270
• /
• 2012

Features which exhibit scale and rotation invariance, such as SIFT, are notorious for expensive computation time, and often overlooked for real-time tracking scenarios. This paper proposes a descriptorless matching algorithm based on motion vectors between consecutive frames to find the geometrically closest candidate to each tracked reference feature in the database. Descriptor-less matching forgoes expensive SIFT descriptor extraction without loss of matching accuracy and exhibits dramatic speed-up compared to traditional, naive matching based trackers. Descriptor-less SIFT tracking runs in real-time on an Intel dual core machine at an average of 24 frames per second.