• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.337-351
• /
• 2021

Automatically recognizing facial expressions in video sequences is a challenging task because there is little direct correlation between facial features and subjective emotions in video. To overcome the problem, a video facial expression recognition method using spatiotemporal recurrent neural network and feature fusion is proposed. Firstly, the video is preprocessed. Then, the double-layer cascade structure is used to detect a face in a video image. In addition, two deep convolutional neural networks are used to extract the time-domain and airspace facial features in the video. The spatial convolutional neural network is used to extract the spatial information features from each frame of the static expression images in the video. The temporal convolutional neural network is used to extract the dynamic information features from the optical flow information from multiple frames of expression images in the video. A multiplication fusion is performed with the spatiotemporal features learned by the two deep convolutional neural networks. Finally, the fused features are input to the support vector machine to realize the facial expression classification task. The experimental results on cNTERFACE, RML, and AFEW6.0 datasets show that the recognition rates obtained by the proposed method are as high as 88.67%, 70.32%, and 63.84%, respectively. Comparative experiments show that the proposed method obtains higher recognition accuracy than other recently reported methods.

• 한국멀티미디어학회논문지
• /
• 제13권6호
• /
• pp.817-824
• /
• 2010

Linear Discriminant Analysis (LDA) has been successfully applied for dimension reduction in face recognition. However, LDA requires the transformation of a face image to a one-dimensional vector and this process can cause the correlation information among neighboring pixels to be disregarded. On the other hand, 2D-LDA uses 2D images directly without a transformation process and it has been shown to be superior to the traditional LDA. Nevertheless, there are some problems in 2D-LDA. First, it is difficult to determine the optimal number of feature vectors in a reduced dimensional space. Second, the size of rectangular windows used in 2D-LDA makes strong impacts on classification accuracies but there is no reliable way to determine an optimal window size. In this paper, we propose a new algorithm to overcome those problems in 2D-LDA. We adopt an ensemble approach which combines several classifiers obtained by utilizing various window sizes. And a practical method to determine the number of feature vectors is also presented. Experimental results demonstrate that the proposed method can overcome the difficulties with choosing an optimal window size and the number of feature vectors.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제5권4호
• /
• pp.297-301
• /
• 2005

In this paper, we propose a method to estimate camera motion parameter based on invariant point features. Typically, feature information of image has drawbacks, it is variable to camera viewpoint, and therefore information quantity increases after time. The LM(Levenberg-Marquardt) method using nonlinear minimum square evaluation for camera extrinsic parameter estimation also has a weak point, which has different iteration number for approaching the minimal point according to the initial values and convergence time increases if the process run into a local minimum. In order to complement these shortfalls, we, first propose constructing feature models using invariant vector of geometry. Secondly, we propose a two-stage calculation method to improve accuracy and convergence by using homography and LM method. In the experiment, we compare and analyze the proposed method with existing method to demonstrate the superiority of the proposed algorithms.

• 대한임베디드공학회논문지
• /
• 제6권5호
• /
• pp.295-302
• /
• 2011

This paper proposes facial feature tracking based on modified ART2 neural networks. And we also suggest new measurement devices such as 'Persistence Exponent' and 'Moving Space Exponent' for the criterion of input vector which consists features. The proposed methods have been applied to classify 48 students by 2-class (ADHD positive, ADHD negative). The results of the experiment have shown that the proposed methods are effective for ADHD Behavior Pattern Classification based on the Image Processing.

• 로봇학회논문지
• /
• 제17권4호
• /
• pp.425-430
• /
• 2022

As robots are considered one of the mainstream digital transformations, robots with machine vision becomes a main area of study providing the ability to check what robots watch and make decisions based on it. However, it is difficult to find a small object in the image mainly due to the flaw of the most of visual recognition networks. Because visual recognition networks are mostly convolution neural network which usually consider local features. So, we make a model considering not only local feature, but also global feature. In this paper, we propose a detection method of a small marker on the object using deep learning and an algorithm that considers global features by combining Transformer's self-attention technique with a convolutional neural network. We suggest a self-attention model with new definition of Query, Key and Value for model to learn global feature and simplified equation by getting rid of position vector and classification token which cause the model to be heavy and slow. Finally, we show that our model achieves higher mAP than state of the art model YOLOr.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권1호
• /
• pp.1-12
• /
• 2008

본 논문에서는 야외 및 실내에서 촬영된 차량 영상에 대해 실시간으로 차량 색상을 인식할 수 있는 GPU(Graphics Processing Unit) 기반의 알고리즘을 제시한다. 전처리 과정에서는 차량 색상의 표본 영상들로부터 특징벡터를 계산한 뒤, 이들을 색상 별로 조합하여 GPU에서 사용할 참조 텍스쳐(Reference texture)로 저장한다. 차량 영상이 입력되면, 특징벡터를 계산한 뒤 GPU로 전송하고, GPU에서는 참조 텍스쳐 내의 표본 특징리터들과 비교하여 색상 별 유사도를 측정한 뒤 CPU로 전송하여 해당 색상명을 인식한다. 분류의 대상이 되는 색상은 가장 흔히 발견되는 차량 색상들 중에서 선택한 7가지 색상이며, 검정색, 은색, 흰색과 같은 3가지의 무채색과 빨강색, 노랑색, 파랑색, 녹색과 같은 4가지의 유채색으로 구성된다. 차량 영상에 대한 특징벡터는 차량 영상에 대해 HSI(Hue-Saturation-Intensity) 색상모델을 적용하여 색조-채도 조합과 색조-명도 조합으로 색상 히스토램을 구성하고, 이 중의 채도 값에 가중치를 부여함으로써 구성한다. 본 논문에서 제시하는 알고리즘은 다양한 환경에서 촬영된 많은 수의 표본 특징벡터를 사용하고, 색상 별 특성을 뚜렷이 반영하는 특징벡터를 구성하였으며, 적합한 유사도 측정함수(likelihood function)를 적용함으로써, 94.67%에 이르는 색상 인식 성공률을 보였다. 또한, GPU를 이용함으로써 대량의 표본 특징벡터의 집합과 입력 영상에 대한 특징벡터 간의 유사도 측정 및 색상 인식과정을 병렬로 처리하였다. 실험에서는, 색상 별로 1,024장씩, 총 7,168장의 차량 표본 영상을 이용하여 GPU에서 사용하는 참조 텍스쳐를 구성하였다. 특징벡터의 구성에 소요되는 시간은 입력 영상의 크기에 따라 다르지만, 해상도 $150{\times}113$의 입력 영상에 대해 측정한 결과 평균 0.509ms가 소요된다. 계산된 특징벡터를 이용하여 색상 인식의 수행시간을 계산한 결과 평균 2.316ms의 시간이 소요되었고, 이는 같은 알고리즘을 CPU 상에서 수행한 결과에 비해 5.47배 빠른 속도이다. 본 연구에서는 차량만을 대상으로 하여 색상 인식을 실험하였으나, 일반적인 피사체의 색상 인식에 대해서도 제시된 알고리즘을 확장하여 적용할 수 있다.

• 감성과학
• /
• 제7권4호
• /
• pp.57-65
• /
• 2004

본 논문에서는 color, texture, shape의 정보를 통합 이용하여 내용기반 영상검색 시스템의 성능을 향상시키는 기법을 고찰하였다. 먼저 영상에 내재되어 있는 color를 분석 추출하여 몇 개의 대표색으로 요약 표현한 다음, 이를 활용한 근사치 측정도를 고안하였다. Texture정보 분석에 있어서는 영상의 주축 행렬 데이터를 통계적 접근 방법으로 추출하였다. Edge분석의 방법으로는 Edge 막대그래프에서 색상변환, 양자화, 필터링에 관련된 정보를 선행처리 후 Edge 정보를 추출하였다. 마지막으로, 본 연구의 결과인 내용기반 영상검색 시스템의 효율성을 precision-recall 분석과 실험적 결과를 통하여 입증하였다.

• 대한원격탐사학회지
• /
• 제34권5호
• /
• pp.739-747
• /
• 2018

다중센서 위성영상 간 통합 분석 및 융합과 관련된 연구가 활발히 진행되고 있다. 이를 위해서는 다중센서 영상 간 정합이 선행되어야 한다. 대표적인 정합 기법으로는 SIFT (Scale Invariant Feature Transform)와 같은 알고리즘이 존재한다. 그러나, 광학영상과 SAR (Synthetic Aperture Radar)영상은 취득 시 센서 자세와 방사 특성의 상이함으로 영상 간 분광적인 특성이 비선형성을 이뤄 기존 기법을 적용하기에 어렵다. 이를 해결하기 위해, 본 연구에서는 특징기반 정합기법인 SAR-SIFT (Scale Invariant Feature Transform)와 형상 서술자 벡터 DLSS (Dense Local Self-Similarity)를 결합하여 개선된 영상 정합기법을 제안하였다. 본 실험 지역은 대전 일대에서 촬영된 KOMPSAT-2 영상과 Cosmo-SkyMed 영상을 이용하여 실험하였다. 제안 기법을 비교평가하기 위해 특징점 및 정합쌍 추출에 대해 대표적인 기존 기법인 SIFT와 SAR-SIFT를 이용하였다. 실험 결과를 통해 제안 기법은 기존 기법들과 다르게 두 실험 지역에서 참정합쌍을 추출하였다. 또한 추출된 정합쌍을 통한 정합 결과 정성적으로 우수하게 정합되었으며, 정량적으로도 두 실험 지역에서 각각 RMSE (Root Mean Square Error) 1.66 m, 2.65 m로 우수한 정합 결과를 보였다.

• 한국과학예술포럼
• /
• 제30권
• /
• pp.41-56
• /
• 2017

본 연구는 애니메이션 갈등의 VST 특징을 조사하고 강도를 측정한 이태린의 연구 결과에 대한 심화연구로 초개인적 갈등영상과 초개인적 갈등 값을 기반으로 시작되었다. 본 연구의 목적은 초개인적 갈등 강도 값(ESSPC)을 자동 계산하는 모델을 찾아내는 것이다. 따라서 본 논문에서 SPC 영상을 분석하였으며, ESSPC 값을 자동 계산하는 모델을 찾아내기 위해 의사 역행렬(Pseudo Inverse matrix)을 사용하였다. 연구결과 및 내용은 다음과 같다. 이들을 활용하여, 1)SPC를 분석하기 위한 20 개의 영상 Feature값을 제안하였다. 그리고 2)의사 역행렬(Pseudo Inverse matrix)을 사용하여 ESSPC 값을 자동 계산하는 선형모델을 찾아냈다. 그 결과로 3)제안된 시스템은 9.25%의 평균 자승오차의 제곱근 보이며, 그 효율성이 증명되었다. 이러한 연구결과를 바탕으로 이를 계속 발전시켜 성공적 애니메이션의 제작을 위한 자동 검증시스템을 개발하고자 한다.

• 정보처리학회논문지B
• /
• 제16B권4호
• /
• pp.281-288
• /
• 2009

본 논문은 의료 영상 중 X-ray 영상에 대한 효과적인 분류와 자동 주석 생성을 위한 방법을 제안한다. X-ray 영상은 일반 자연 영상과는 다르게 영상 내에 중요한 의미를 가지고 있는 관심 영역과 어두운 단색의 배경으로 구성된 특징을 가지고 있음으로 본 논문에서는, 영상의 중요영역에서 해리스 코너 검출기를 이용한 색 구조 기술자(H-CSD)로 색 특징을 추출하고, 질감 특징을 위해 경계선 히스토그램 기술자(EHD)를 사용하였다. 추출된 두 개의 특징 벡터들은 각각 다중 클래스 Support Vector Machine에 적용되어 20개의 카테고리 중 하나로 영상을 분류한다. 마지막으로, 영상은 미리 정의된 카테고리들의 계층적인 관계와 우선 순위에 기반하여 주석 코드 배열(Annotation Code Array)을 부여 받고 이를 이용하여 다수의 최적 키워드를 얻으며 갖게 된다. 실험에서는 제안한 주석 생성방법을 관련 연구 방법과 비교하여 성능이 개선 되었음을 보여주고 있다.