• 한국멀티미디어학회논문지
• /
• 제25권4호
• /
• pp.575-582
• /
• 2022

In the manufacturing environment, research to minimize robot collisions with human beings have been widespread, but in order to interact with robots, it is important to precisely recognize and predict human actions. In this research, after enhancing performance by applying group normalization to the Hourglass model to detect the operator motion, the skeleton was estimated and data were created using this model. And then, three types of operator's movements were recognized using LSTM. As results of the experiment, the accuracy was enhanced by 1% using group normalization, and the recognition accuracy was 99.6%.

• 한국차세대컴퓨팅학회논문지
• /
• 제15권5호
• /
• pp.31-42
• /
• 2019

최근 딥러닝 기술이 발전함에 따라 많은 컴퓨터 비전 연구 분야에서 주목할 만한 성과들이 지속적으로 나오고 있다. 단일 이미지를 기반으로 사람의 2차원 및 3차원 포즈를 추정하는 연구에서도 비약적인 성능향상을 보여주고 있으며, 많은 연구자들이 문제의 범위를 확장하며 활발한 연구 활동을 진행하고 있다. 사람의 포즈 추정은 다양한 응용 분야가 존재하고, 특히 이미지나 비디오 분석에서 사람의 포즈는 행동 및 상태, 의도 파악을 위한 핵심 요소가 되기 때문에 상당히 중요한 연구 분야이다. 이러한 배경에 따라 본 논문은 단일 이미지를 기반으로 한 사람의 포즈 추정 기술에 대한 연구 동향을 살펴보고자 한다. 강인하고 정확한 문제 해결을 위해 다양한 연구 활동 결과가 존재한다는 점에서 본 논문에서는 사람의 포즈 추정 연구를 2차원 및 3차원 포즈 추정에 대해서 나누어 살펴보고자 한다. 끝으로 연구에 필요한 데이터 세트 및 사람의 포즈 추정 기술을 적용하는 다양한 연구 사례를 살펴볼 것이다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권10호
• /
• pp.4903-4929
• /
• 2018

In this study, a fully automatic pose and expression invariant 3D face alignment algorithm is proposed to handle frontal and profile face images which is based on a two pass course to fine alignment strategy. The first pass of the algorithm coarsely aligns the face images to an intrinsic coordinate system (ICS) through a single 3D rotation and the second pass aligns them at fine level using a minimum nose tip-scanner distance (MNSD) approach. For facial recognition, multi-view faces are synthesized to exploit real 3D information and test the efficacy of the proposed system. Due to optimal separating hyper plane (OSH), Support Vector Machine (SVM) is employed in multi-view face verification (FV) task. In addition, a multi stage unified classifier based face identification (FI) algorithm is employed which combines results from seven base classifiers, two parallel face recognition algorithms and an exponential rank combiner, all in a hierarchical manner. The performance figures of the proposed methodology are corroborated by extensive experiments performed on four benchmark datasets: GavabDB, Bosphorus, UMB-DB and FRGC v2.0. Results show mark improvement in alignment accuracy and recognition rates. Moreover, a computational complexity analysis has been carried out for the proposed algorithm which reveals its superiority in terms of computational efficiency as well.

• Journal of Information Processing Systems
• /
• 제16권1호
• /
• pp.6-29
• /
• 2020

Biometrics identification using multiple modalities has attracted the attention of many researchers as it produces more robust and trustworthy results than single modality biometrics. In this paper, we present a novel multimodal recognition system that trains a deep learning network to automatically learn features after extracting multiple biometric modalities from a single data source, i.e., facial video clips. Utilizing different modalities, i.e., left ear, left profile face, frontal face, right profile face, and right ear, present in the facial video clips, we train supervised denoising auto-encoders to automatically extract robust and non-redundant features. The automatically learned features are then used to train modality specific sparse classifiers to perform the multimodal recognition. Moreover, the proposed technique has proven robust when some of the above modalities were missing during the testing. The proposed system has three main components that are responsible for detection, which consists of modality specific detectors to automatically detect images of different modalities present in facial video clips; feature selection, which uses supervised denoising sparse auto-encoders network to capture discriminative representations that are robust to the illumination and pose variations; and classification, which consists of a set of modality specific sparse representation classifiers for unimodal recognition, followed by score level fusion of the recognition results of the available modalities. Experiments conducted on the constrained facial video dataset (WVU) and the unconstrained facial video dataset (HONDA/UCSD), resulted in a 99.17% and 97.14% Rank-1 recognition rates, respectively. The multimodal recognition accuracy demonstrates the superiority and robustness of the proposed approach irrespective of the illumination, non-planar movement, and pose variations present in the video clips even in the situation of missing modalities.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.2368-2372
• /
• 2005

We proposed a novel method for object recognition using the Smart tag system in the previous research. We identified the object easily, but could not assure the object pose, because the threshold problem was not solved. So we propose a new method to solve this threshold problem. This method uses a smart tag to decide the threshold by recording color information of the image when the object feature is extracted. This method records the original of the object color information at the smart tag first. And then it records the object image information, the circumstance image information and the sensors information continuously when the object feature is extracted through the experiments. Finally, it estimates the current threshold by recorded information. This method can be applied the threshold to each objects. And it can solve the difficult threshold decision problem easily. To approve the possibility of our method, we implemented our approach by using easy and simple techniques as possible.

• 정보처리학회논문지B
• /
• 제9B권6호
• /
• pp.853-862
• /
• 2002

얼굴 검출은 디지털화 된 임의의 정지 영상 혹은 연속된 영상으로부터 얼굴 존재유무를 판단하고, 얼굴이 존재할 경우 영상 내 얼굴의 위치, 방향, 크기 등을 알아내는 기술로 정의된다. 이러한 얼굴 검출은 얼굴 인식이나 표정인식, 헤드 제스쳐 등의 기초 기술로서해당 시스템의 성능에 매우 중요한 변수 중에 하나이다. 그러나 영상 내의 얼굴은 표정, 포즈, 크기, 빛의 방향 및 밝기, 안경, 수염 등의 환경적 변화로 인해 얼굴 모양이 다양해지므로 정확하고 빠른 검출이 어렵다. 따라서 본 논문에서는 오류-역전파 신경망을 사용하여 몇가지 환경적 조건을 극복한 정확하고 빠른 얼굴 검출 방법을 제안한다. 제안된 방법은 표정과 포즈, 배경에 무관하게 얼굴을 검출하면서도 빠른 검출이 가능하다. 이를 위해 신경망을 이용하여 얼굴 검출을 수행하고, 검색 영역의 축소와 신경망 계산 시간의 단축으로 검출 응답 시간을 빠르게 하였다. 검색 영역의 축소는 영상 내 피부색 영역의 분할과 차영상을 이용하였고, 주성분 분석을 통해 신경망의 입력 백터를 축소시킴으로써 신경망 수행 시간과 학습 시간을 단축시켰다. 또, 추출된 얼굴 영상에서 포즈를 추정하고 눈 영역을 검출함으로써 얼굴 정보의 사용에 있어 보다 많은 정보를 추출할 수 있도록 하였다. 얼굴 검출 실험은 마할라노비스 거리를 사용하여 검출된 영상의 얼굴 여부를 판정하고, 성공률과 시간을 측정하였다. 정지 영상과 동영상에서 모두 실험하였으며, 피부색 영역의 분할을 사용할 경우 입력 영상의 칼라 설정의 유무에 다른 검출 성공률의 차를 보였다. 포즈 실험도 같은 조건에서 수행되었으며, 눈 영역의 검출은 안경의 유무에 다른 실험 결과를 보였다. 실험 결과 실시간 시스템에 사용 가능한 수준의 검색률과 검색 시간을 보였다.

• 인터넷정보학회논문지
• /
• 제18권6호
• /
• pp.85-92
• /
• 2017

최근 영상감시 분야에서는 영상에서 움직이는 사람을 탐지하고, 탐지된 사람의 행위를 분석하는 방식에 딥러닝 기반 학습방법이 적용되기 시작했다. 이러한 지능형 영상분석 기술을 적용할 수 있는 분야 중 하나인 인간 행위 인식은 객체를 탐지하고 탐지된 객체의 행위를 인식하기 위해 신체 키포인트를 검출 하는 과정을 거치게 된다. 본 논문에서는 RGB-D 정보를 이용한 객체 탐지 기반의 신체 키포인트 검출 방법을 제시한다. 먼저, 두 대의 카메라로 생성된 색상정보와 깊이정보를 이용하여 이동하는 객체를 배경으로부터 분할하여 탐지한다. RGB-D 정보를 이용하여 탐지된 객체의 영역을 재조정하여 생성된 입력 데이터를 한 사람의 자세 추정을 위한 Convolutional Pose Machines(CPM)에 적용한다. CPM을 이용하여 한 사람당 14개의 신체부위에 대한 신념 지도(Belief Map)를 생성하고, 신념 지도를 기반으로 신체 키포인트를 검출한다. 이와 같은 방법은 키포인트를 검출할 객체에 대한 정확한 영역을 제공하게 되며, 개별적인 신체 키포인트의 검출을 통하여 단일 신체 키포인트 검출에서 다중 신체 키포인트 검출로 확장 할 수 있다. 향후, 검출된 키포인트를 이용하여 인간 자세 추정을 위한 모델을 생성할 수 있으며 인간 행위 인식 분야에 기여 할 수 있다.

• 한국정보통신학회논문지
• /
• 제25권9호
• /
• pp.1183-1189
• /
• 2021

홈 트레이닝을 하는 사람들은 전문적인 대면 지도가 없기 때문에 잘못된 자세로 동작을 하여 신체에 무리가 올 수 있다. 본 연구에서는 자세 예측 모델과 다층 퍼셉트론을 이용하여 사용자의 자세를 교정 해주는 "영상 데이터 기반 동작 분류 및 자세 교정 시스템"을 제안한다. 자세 예측 모델로 뼈대 정보를 예측한 후 심층 신경망을 이용하여 어떤 운동 동작인지를 분류한 뒤, 올바른 관절의 각도를 알려주며 교정이 이루어진다. 이 과정에서 동작 분류 모델의 성능을 향상시키기 위해 연속적인 프레임들의 결과를 고려하는 투표 알고리즘을 적용하였다. 다층 퍼셉트론 기반 모델을 자세 분류 모델로 사용했을 때 0.9의 정확도를 가진다. 그리고 투표 알고리즘을 통해 분류 모델의 정확도는 0.93으로 향상된다.

• The International Journal of Costume Culture
• /
• 제12권1호
• /
• pp.13-25
• /
• 2009

This research is progressed to look out for efficient expression-elements of eroticism used in advertisements. Since these expressions of eroticism appealing to sex which is one of the primitive instincts of mankind are increasing in advertisements of cosmetic products which are used more often by recent high-rate-growth and the elevation of living conditions. The most usual expression-elements of eroticism in advertisement are exposure, pose, fashion style, make up, hair style and color. To analyze those expression-elements we made four pieces of fashion advertisement photos with four different types and surveyed both fashion majored students and non-fashion majored students. We applied regression analysis, ANOVA, and frequency analysis to verify the hypothesis. We found that in eroticism, the pose was the most important cognitive feature among the expression-elements and degree of cognition are varied according to major field and sexual interest. As a result, degree of cognition which effected by expression-elements will be varied even in same advertisement. In particular, convincing that the pose was the significant factor of eroticism cognition, expression of eroticism in advertisement would be more diverse and daring.

• 제어로봇시스템학회논문지
• /
• 제21권12호
• /
• pp.1100-1108
• /
• 2015

A camera-based real-time hand posture and gesture recognition system is proposed for controlling various devices inside automobiles. It uses an imaging system composed of a camera with a proper filter and an infrared lighting device to acquire images of hand-motion sequences. Several steps of pre-processing algorithms are applied, followed by a background normalization process before segmenting the hand from the background. The hand posture is determined by first separating the fingers from the main body of the hand and then by finding the relative position of the fingers from the center of the hand. The beginning and ending of the hand motion from the sequence of the acquired images are detected using pre-defined motion rules to start the hand gesture recognition. A set of carefully designed features is computed and extracted from the raw sequence and is fed into a decision tree-like decision rule for determining the hand gesture. Many experiments are performed to verify the system. In this paper, we show the performance results from tests on the 550 sequences of hand motion images collected from five different individuals to cover the variations among many users of the system in a real-time environment. Among them, 539 sequences are correctly recognized, showing a recognition rate of 98%.