• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권7호
• /
• pp.3599-3619
• /
• 2019

In human activity recognition system both static and motion information play crucial role for efficient and competitive results. Most of the existing methods are insufficient to extract video features and unable to investigate the level of contribution of both (Static and Motion) components. Our work highlights this problem and proposes Static-Motion fused features descriptor (SMFD), which intelligently leverages both static and motion features in the form of descriptor. First, static features are learned by two-stream 3D convolutional neural network. Second, trajectories are extracted by tracking key points and only those trajectories have been selected which are located in central region of the original video frame in order to to reduce irrelevant background trajectories as well computational complexity. Then, shape and motion descriptors are obtained along with key points by using SIFT flow. Next, cholesky transformation is introduced to fuse static and motion feature vectors to guarantee the equal contribution of all descriptors. Finally, Long Short-Term Memory (LSTM) network is utilized to discover long-term temporal dependencies and final prediction. To confirm the effectiveness of the proposed approach, extensive experiments have been conducted on three well-known datasets i.e. UCF101, HMDB51 and YouTube. Findings shows that the resulting recognition system is on par with state-of-the-art methods.

• 한국정보통신학회논문지
• /
• 제16권4호
• /
• pp.812-820
• /
• 2012

본 논문에서는 지능형 감시 시스템에 부합하는 기울기 히스토그램 및 폐색 추적을 통한 다중보행자 추적 시스템을 제안한다. 먼저, 연속 영상에서 보행자의 특징을 이용하여 보행자를 검출한다. 보행자의 특징을 획득하기 위해 HOG(Histogram of Oriented Gradient)를 기반으로 기울기의 방향성을 이용한 블록별 히스토그램을 생성하고, Linear-SVM(Support Vector Machine)의 학습을 통해 보행자만을 분류한다. 다음으로 보행자의 위치정보를 이용하여 추적을 행한다. 마지막으로 추적이 끝날 경우 내용기반 검색이 가능한 움직임 궤적 디스크립터를 생성한다. 실험을 통해 제안한 방법이 기존 방법보다 빠르고 정확한 움직임 추적에 효과적임을 증명하였다.

• 방송공학회논문지
• /
• 제20권5호
• /
• pp.728-737
• /
• 2015

스티칭 기법은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들간의 정합 과정을 통해 하나의 영상으로 만드는 것이다. 각각의 특징점은 128 차원의 정보를 가지고 있고, 특징점의 개수가 증가 할수록 데이터 처리 시간이 증가하게 된다. 본 논문에서는 비디오 영상을 입력 했을 때 고속 파노라마 생성을 위한 특징점 추출 및 정합 기법을 제안한다. 빠른 속도로 특징점 추출을 위해서 FAST(Features from Accelerated Segment Test) 기법을 사용한다. 특징점 정합과정은 기존의 방법과는 다른 새로운 방법을 제안한다. Mean shift를 통해 특징점이 포함된 영역을 추적하여 벡터(vector)를 구하고 이 벡터를 사용하여 추출한 특징점들을 정합하는데 사용한다. 마지막으로 이상점(outlier)을 제거하기 위해 RANSAC(RANdom Sample Consensus) 기법을 사용한다. 입력된 두 영상의 호모그래피(homography) 변환 행렬을 구하여 하나의 파노라마 영상을 생성한다. 실험을 통해 제안하는 기법이 기존의 기법보다 속도가 향상되는 것을 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.57-60
• /
• 2001

In this paper, we propose a new 3D object retrieval system using the shape information of 2D silhouette images. 2D images at different view points are derived from a 3D model and linked to the model. Shape feature of 2D image is extracted by a region-based descriptor. In the experiment, we compare the results of the proposed system with those of the system using curvature scale space(CSS) to show the efficiency of our system.

• 한국항행학회논문지
• /
• 제15권1호
• /
• pp.140-146
• /
• 2011

본 논문에서는 텍스쳐와 컬러 정보를 기반으로 비디오 감시를 위한 빠른 물체 분류 방법을 제안한다. 영상들로부터 SURF와 색 히스토그램의 국부적 패치들을 추출하여 그들의 장점을 이용한다. SURF는 명암 내용 정보를 제공하고 색 정보는 패치에 대한 특이성을 증강시킨다. SURF의 빠른 계산뿐만 아니라 객체의 색 정보를 활용한다. 국부적 특징을 이용하여 관심 영역 혹은 영상의 전역적 서술자를 생성하기 위해 Bag of Word 모델을 이용하고, 전역적 서술자를 분류하기 위해 Na$\ddot{i}$ve Bayes 모델을 이용한다. 또한 본 논문에서는 판별적인 기술자인 SIFT도 성능 분석한다. 네 종류의 객체에 대한 실험결과 95.75%의 인식률을 보였다.

• 전자공학회논문지
• /
• 제50권10호
• /
• pp.162-170
• /
• 2013

최근 보행자의 교통안전 개선을 위한 목적으로 차량에 장착되는 보행자 보호 시스템(PPS, Pedestrian Protection System)에 대한 관심과 요구가 증가하고 있다. 본 연구에서는 보행자 검출 후보 윈도우 추출과 셀(cell) 단위 히스토그램 기반의 HOG 특징 계산 방법을 제안하였다. 보행자 검출 후보 윈도우 추출은 주변밝기 비율체크, 수직방향 에지투영, 에지펙터(edge factor), 그리고 PCA(Principal Component Analysis) 복원 영상을 이용하였다. Dalal 의 HOG 는 겹침 블록 상의 모든 픽셀에 대해 가우시안 가중치와 삼선형보간에 의한 히스토그램 계산이 필요한데 반하여 제안하는 방법은 단위 셀마다 가우시안 가중 및 히스토그램을 계산하고 그것들을 인접 셀과 결합하므로 연산 속도가 빠르다. 제안하는 PCA 복원 에러 기반의 보행자 검출 후보 윈도우 추출은 보행자의 머리와 어깨 영역과의 차이를 기준으로 배경을 효율적으로 분류한다. 제안하는 방법은 카메라 컬리브레이션이나 스테레오 카메라를 이용한 거리 정보 없이도 영상만으로 전통적인 HOG 에 비하여 연산속도가 크게 개선된다.

• 한국측량학회지
• /
• 제30권2호
• /
• pp.153-162
• /
• 2012

본 연구는 저니키 모멘트 서술자를 이용하여 객체 쌍의 기수성에 영향을 받지 않고 M:N 면 객체 쌍의 형상 유사도를 측정할 수 있는 방법을 제안한다. 제안된 형상 유사도는 저니키 기저함수에 객체 집합의 공간적 분포 영역을 투영하여 얻어지는 모멘트를 이용하기 때문에 형상을 구성하는 객체들의 기수성에 영향을 받지 않는다. 또한 낮은 차수의 기저함수에 대응되는 모멘트는 전역적인 형상을 표현하고, 높은 차수의 기저함수에 대응되는 모멘트는 지역적인 형상을 표현하기 때문에 원형상과 유사한 수준으로 형상을 복원할 수 있는 차수까지의 모멘트를 이용함으로써 효과적으로 형상을 서술하고 비교하는 것이 가능하다. 제안된 방법은 서울시 지역의 도로명주소 지도와 차량용 항법 지도의 건물 객체를 대상으로 적용 및 평가하였다. 기존 중첩면적비를 이용한 유사도에 비하여 제안된 유사도는 기수성의 변화에 강건함을 확인할 수 있었다.

• 디지털산업정보학회논문지
• /
• 제9권2호
• /
• pp.111-119
• /
• 2013

Face recognition has recently become one of the most popular research areas in the fields of computer vision, machine learning, and pattern recognition because it spans numerous applications, such as access control, surveillance, security, credit-card verification, and criminal identification. In this paper, we propose a simple descriptor called an ECSP(Extended Center-Symmetric Pattern) for illumination-robust face recognition. The ECSP operator encodes the texture information of a local face region by emphasizing diagonal components of a previous CS-LBP(Center-Symmetric Local Binary Pattern). Here, the diagonal components are emphasized because facial textures along the diagonal direction contain much more information than those of other directions. The facial texture information of the ECSP operator is then used as the input image of an image covariance-based feature extraction algorithm such as 2D-PCA(Two-Dimensional Principal Component Analysis). Performance evaluation of the proposed approach was carried out using various binary pattern operators and recognition algorithms on the Yale B database. The experimental results demonstrated that the proposed approach achieved better recognition accuracy than other approaches, and we confirmed that the proposed approach is effective against illumination variation.

• 한국멀티미디어학회논문지
• /
• 제9권3호
• /
• pp.287-295
• /
• 2006

본 논문은 임의의 영역 안에 존재하는 텍스처를 검색하기 위한 wavelet과 Gabor기반 텍스처 표현 기법을 제안하고 이들의 검색성능을 평가한다. 지금까지 Gator 평면에서의 평균과 표준편차 특징 기술자가 직사각형안의 텍스처를 표현하기에 가장 적합한 것으로 알려져 있다. 하지만 임의의 영역 안의 물체를 표현하는 기술이 실제 검색이나 여러 다른 텍스처 표현 응용 예에 더욱 필요한 실정이다. 본 연구에서는 wavelet과 Gabor 필터에 기반한 특징 추출법을 제안하고 이들을 실제 텍스처 데이터 베이스에 적용해 본 결과, wavelet기반 특징 기술자가 Gator기반 기술자에 비하여 더욱 효과적임을 발견하였다. 특히 wavelet평면에서 표준편차와 엔트로피 특징을 사용함으로써 가장 좋은 검색 성능을 냄을 알 수 있었다. 또한, 본 논문에서는 다양한 실제 텍스처 영상을 가지고 wavelet과 Gator에 기반한 다양한 특징벡터에 따른 검객 성능을 평가하였다.

• ETRI Journal
• /
• 제35권2호
• /
• pp.281-291
• /
• 2013

A video signature is a set of feature vectors that compactly represents and uniquely characterizes one video clip from another for fast matching. To find a short duplicated region, the video signature must be robust against common video modifications and have a high discriminability. The matching method must be fast and be successful at finding locations. In this paper, a frame-based video signature that uses the spatial information and a two-stage matching method is presented. The proposed method is pair-wise independent and is robust against common video modifications. The proposed two-stage matching method is fast and works very well in finding locations. In addition, the proposed matching structure and strategy can distinguish a case in which a part of the query video matches a part of the target video. The proposed method is verified using video modified by the VCE7 experimental conditions found in MPEG-7. The proposed video signature method achieves a robustness of 88.7% under an independence condition of 5 parts per million with over 1,000 clips being matched per second.