• 대한인간공학회지
• /
• 제34권5호
• /
• pp.411-426
• /
• 2015

Objective: The goal of this thesis is to design the interaction structure and framework of system to recognize sign language. Background: The sign language of meaningful individual gestures is combined to construct a sentence, so it is difficult to interpret and recognize the meaning of hand gesture for system, because of the sequence of continuous gestures. This being so, in order to interpret the meaning of individual gesture correctly, the interaction structure and framework are needed so that they can segment the indication of individual gesture. Method: We analyze 700 sign language words to structuralize the sign language gesture interaction. First of all, we analyze the transformational patterns of the hand gesture. Second, we analyze the movement of the transformational patterns of the hand gesture. Third, we analyze the type of other gestures except hands. Based on this, we design a framework for sign language interaction. Results: We elicited 8 patterns of hand gesture on the basis of the fact on whether the gesture has a change from starting point to ending point. And then, we analyzed the hand movement based on 3 elements: patterns of movement, direction, and whether hand movement is repeating or not. Moreover, we defined 11 movements of other gestures except hands and classified 8 types of interaction. The framework for sign language interaction, which was designed based on this mentioned above, applies to more than 700 individual gestures of the sign language, and can be classified as an individual gesture in spite of situation which has continuous gestures. Conclusion: This study has structuralized in 3 aspects defined to analyze the transformational patterns of the starting point and the ending point of hand shape, hand movement, and other gestures except hands for sign language interaction. Based on this, we designed the framework that can recognize the individual gestures and interpret the meaning more accurately, when meaningful individual gesture is input sequence of continuous gestures. Application: When we develop the system of sign language recognition, we can apply interaction framework to it. Structuralized gesture can be used for using database of sign language, inventing an automatic recognition system, and studying on the action gestures in other areas.

• 한국지능시스템학회논문지
• /
• 제27권2호
• /
• pp.126-131
• /
• 2017

본 논문에서는 손짓을 이용하여 로봇에게 명령을 내릴 때, 사용자의 여러 가지 손짓 중 의미 있는 동작을 추출하기 위한 방법을 제시한다. 로봇에게 명령을 내릴 때, 사람들의 손짓은 준비동작, 본 동작, 마무리 동작으로 구분할 수 있다. 여기에서 본 동작이 로봇에게 명령을 전달하는 의미 있는 동작이고 다른 동작은 그 동작을 위한 의미 없는 보조 동작이다. 따라서 연속적인 손짓에서 본 동작만을 추출해야 한다. 또한 사람들은 무위식적으로 손을 움직일 수 있는데 이러한 동작들 역시 의미가 없는 동작으로 로봇이 판단하여야 한다. 본 연구에서는 키넥트 센서를 이용하여 획득한 거리영상에서 사람의 골격자료를 획득하여 손을 추출하고, 칼만필터를 이용하여 손의 위치를 추적하면서 의미 있는 손동작과 의미 없는 손동작을 구분하고 은닉 마코프 모델을 이용하여 손짓을 인식한다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1106-1110
• /
• 2004

A human sign language is generally composed of both static and dynamic gestures. Each gesture is represented by a hand shape, its position, and hand movement (for a dynamic gesture). One of the problems found in automated sign language translation is on segmenting a hand movement that is part of a transitional movement from one hand gesture to another. This transitional gesture conveys no meaning, but serves as a connecting period between two consecutive gestures. Based on the observation that many dynamic gestures as appeared in Thai sign language dictionary are of quasi-periodic nature, a method was developed to differentiate between a (meaningful) dynamic gesture and a transitional movement. However, there are some meaningful dynamic gestures that are of non-periodic nature. Those gestures cannot be distinguished from a transitional movement by using the signal quasi-periodicity. This paper proposes a hybrid method using a combination of the periodicity-based gesture segmentation method with a HMM-based gesture classifier. The HMM classifier is used here to detect dynamic signs of non-periodic nature. Combined with the periodic-based gesture segmentation method, this hybrid scheme can be used to identify segments of a transitional movement. In addition, due to the use of quasi-periodic nature of many dynamic sign gestures, dimensionality of the HMM part of the proposed method is significantly reduced, resulting in computational saving as compared with a standard HMM-based method. Through experiment with real measurement, the proposed method's recognition performance is reported.

• 한국컴퓨터정보학회논문지
• /
• 제22권5호
• /
• pp.51-56
• /
• 2017

The purpose of this study was to identify differences in cognitive function according to the presence or absence of apraxia and the tasks most relevant to the cognitive function among the various types of tasks in the apraxia test. The subjects were 42 community residents who participated in a cognitive rehabilitation program related to dementia in a Chungbuk area. MMSE-K and BCoS(Birmingham Cognitive Screen) apraxia test were administered to all subjects. The apraxia test includes three types of tasks, gesture production tasks that make meaningful movements according to verbal instructions, gesture recognition tasks that display behavior after make sense of meanings, and meaningless imitation task. Apraxia group(n=30, MMSE-K mean score: 25) showed lower cognitive function than group without apraxia(n=12, MMSE-K mean score: 28). All tasks in the apraxia test showed a significant correlation with cognitive function, but the meaningless imitation task had a negligible correlation. The apraxia test is a good way to assess cognitive function, and it may be more effective to use meaningful behavior to replace cognitive testing.

• 인터넷정보학회논문지
• /
• 제21권5호
• /
• pp.67-73
• /
• 2020

In this paper, we present a CNN-based gesture recognition approach which reduces the memory burden of input data. Most of the neural network-based gesture recognition methods have used a sequence of frame images as input data, which cause a memory burden problem. We use a motion history image in order to define a meaningful gesture. The motion history image is a grayscale image into which the temporal motion information is collapsed by synthesizing silhouette images of a user during the period of one meaningful gesture. In this paper, we first summarize the previous traditional approaches and neural network-based approaches for gesture recognition. Then we explain the data preprocessing procedure for making the motion history image and the neural network architecture with three convolution layers for recognizing the meaningful gestures. In the experiments, we trained five types of gestures, namely those for charging power, shooting left, shooting right, kicking left, and kicking right. The accuracy of gesture recognition was measured by adjusting the number of filters in each layer in the proposed network. We use a grayscale image with 240 × 320 resolution which defines one meaningful gesture and achieved a gesture recognition accuracy of 98.24%.

• 한국멀티미디어학회논문지
• /
• 제8권9호
• /
• pp.1177-1186
• /
• 2005

키보드나 조이스틱 대신 카메라를 통해 입력되는 사용자의 제스처를 이용하는 시각 기반 비디오 게임 인터페이스를 사용할 때 자연스러운 동작을 허용하기 위해서는, 연속 제스처를 인식할 수 있고 사용자의 의미없는 동작이 허용되어야 한다. 본 논문에서는 비디오 게임 인터페이스를 위한 인식과 분할을 결합한 제스처 인식 방법을 제안하며, 이는 주어진 연속 영상에서 의미있는 동작을 인식함과 동시에 의미없는 동작을 구별하는 방법이다. 제안된 방법을 사용자의 상체 제스처를 게임의 명령어로 사용하는 1인칭 액션 게임인 Quke II 게임에 적용한 결과, 연속 제스처에 대해 평균 $93.36\%$의 분할 결과로써 비디오 게임 인터페이스에서 유용한 성능을 낼 수 있음을 보였다.

• 한국멀티미디어학회논문지
• /
• 제10권8호
• /
• pp.981-996
• /
• 2007

본 논문에서는 연속적인 제스처 영상으로 부터 주 인자 분석을 통해 얻어진 동작 특징 정보를 이용하여 제스처를 인식하는 방법에 대해 기술한다. 제안된 방법은 먼저, 인간의 신체 영상이 포함된 연속적인 입력영상에서 2차원 실루엣 제스처 영역을 분할한 다음 전역특징정보와 지역특징정보를 추출한다. 여기서 전역특징정보는 요인 분석을 통하여 제스처를 효과적으로 표현하는 의미 있는 소수의 핵심 특징을 선택하여 이용한다. 추출 된 특징정보로 부터 제스처의 시간 변화를 나타내는 특징히스토리정보를 얻어 저 차원 제스처공간을 구성한다. 마지막으로 제스처 공간상에 투영된 모델 특징 값은 은닉마르코프 모델의 입력 기호로 이용되기 위해 군집화 알고리즘을 통해 특정한 상태 기호로 구성되며 임의의 입력 동작은 확률 값이 가장 높은 해당 제스처 모델로 인식된다. 주 인자 분석으로부터 제스처에 기여도가 높은 특징인자로 모델을 구성하기 때문에 외관기반방법에서 몸의 형상 정보만을 특징 값으로 이용하거나 직관적인 방법으로 특징을 추출하는 방법보다 복잡한 동작에서 비교적 우수한 인식률을 나타낸다.

• 한국콘텐츠학회논문지
• /
• 제14권11호
• /
• pp.519-532
• /
• 2014

자연스러운 컴퓨터 인터랙션(Natural computer interaction)을 위 신기술의 출현은 기업에게 제품 혁신이라는 새로운 기회를 안겨다 줄 수 있다. 본 연구는 인간이 갖는 소통의 방식 중에서 손가락 제스처 인터랙션에 관심을 갖는다. 그간 십 수 년간 걸친 기술 발전에 힘입어 상용화 수준의 기술이 마련됨에 따라 이를 활용한 제품이나 서비스가 곧 대중화 될 것이라는 생각이 현재는 지배적이다. 이 시점에서 저자는 이 제스처 인터랙션이 과연 쓸 만 할까라는 생각을 가지고 손가락 제스처 인터랙션이 사용자들에게 끼치는 인지적인 영향을 알아보고자 실험연구를 진행한다. 손가락 제스처를 찍기, 집기, 잡기로 정의하고 각각 2차원과 3차원 공간에서 사용할 때 사용자들이 느끼는 사용성을 측정하여 제스처의 효과를 보여주고자 한다. 립모션 기술을 사용하여 2차원, 3차원 실험 도구를 개발하였고 48명의 피실험자를 통해 결과적으로는 2차원에서는 제스처간 사용성의 차이가 없으나 3차원에서는 그 차이를 발견할 수 있었다. 또한 모든 제스처가 3차원보다는 2차원에서 사용성이 좋은 것으로 나타났으며, 특히 3차원에서는 여러 손가락 보다는 하나의 손가락을 사용하는 것이 더 좋은 것으로 나타나 흥미를 끈다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제1권2호
• /
• pp.127-136
• /
• 2012

각종 지능형 전자장비의 개발과 사용자 편의성 증대를 위해 영상기반의 손 동작 인식시스템이 다양하게 개발, 적용되고 있다. 손 동작 인식을 위해 손의 3차원 위치를 계산하고 오 동작 방지를 위해 명령 동작을 다른 유사동작과 구분하여 정확히 검출해야 한다. 본 논문에서는 설치가 쉽고 저렴한 비용으로 3차원 위치를 계산하는 시스템과 다양한 유사 동작 중 정의된 동작만을 검출해 내는 방법에 대해 다룬다. 팬/틸트 가능한 두 대의 USB 카메라와 표식을 이용하여 카메라를 임의의 위치에 두더라도 부착된 표식을 통해 자동으로 두 카메라간 상대위치를 구해 3차원 위치를 계산할 수 있다. 사용자의 명령 동작을 다른 유사 동작과 구분하기 위해 퍼지 가비지 모델을 개발 하였는데 퍼지 명령모델과 가비지 모델 두 가지를 이용하여 행동 인식에 대한 가변적 문턱 값을 구할 수 있다. 또한 두 단계의 적응 과정을 통해 각 사용자마다 다르게 나타나는 행동 특성 및 동일 사용자가 환경에 따라 다르게 나타내는 행동 특성을 반영 하여 성능을 개선한다. 개발된 시스템을 5명의 사용자를 대상으로 실험을 실시하였는데 명령 동작과 하나의 유사동작만 있을 경우 95% 이상, 다양한 유사동작이 혼재되어 있을 경우 85%이상의 인식률(명령 동작 검출)을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
• /
• pp.339-341
• /
• 2012

This paper presents a method for generating an autonomous activity-based diary in the environment including a personal computer (PC). In order to record a user's various tasks in front of a PC, we consider the contextual information such as current time, opened programs, and user interactions. As one modality for the user interaction, a motion sensor was applied to recognize a user's hand gestures in case that the activity is conducted without interaction between the user and the PC. Moreover, we propose a temporal clustering method to recapitulate the sequential and meaningful activity in the stream of extracted PC usage logs. By combining those two processes, we summarize the user activities in the PC environment.