• International Journal of Computer Science & Network Security
• /
• 제23권10호
• /
• pp.37-43
• /
• 2023

The hospital situation, timing, and patient restrictions have become obstacles to an optimum therapy session. The crowdedness of the hospital might lead to a tight schedule and a shorter period of therapy. This condition might strike a post-stroke patient in a dilemma where they need regular treatment to recover their nervous system. In this work, we propose an in-house and uncomplex serious game system that can be used for physical therapy. The Kinect camera is used to capture the depth image stream of a human skeleton. Afterwards, the user might use their hand gesture to control the game. Voice recognition is deployed to ease them with play. Users must complete the given challenge to obtain a more significant outcome from this therapy system. Subjects will use their upper limb and hands to capture the 3D objects with different speeds and positions. The more substantial challenge, speed, and location will be increased and random. Each delegated entity will raise the scores. Afterwards, the scores will be further evaluated to correlate with therapy progress. Users are delighted with the system and eager to use it as their daily exercise. The experimental studies show a comparison between score and difficulty that represent characteristics of user and game. Users tend to quickly adapt to easy and medium levels, while high level requires better focus and proper synchronization between hand and eye to capture the 3D objects. The statistical analysis with a confidence rate(α:0.05) of the usability test shows that the proposed gaming is accessible, even without specialized training. It is not only for therapy but also for fitness because it can be used for body exercise. The result of the experiment is very satisfying. Most users enjoy and familiarize themselves quickly. The evaluation study demonstrates user satisfaction and perception during testing. Future work of the proposed serious game might involve haptic devices to stimulate their physical sensation.

• 감성과학
• /
• 제14권4호
• /
• pp.627-636
• /
• 2011

본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

• 대한인간공학회지
• /
• 제35권6호
• /
• pp.519-533
• /
• 2016

Objective: This study lays its aims at the definition of relevant operation method and function by researching on the value to be brought when applying smart device that can hand carry soft and flexible materials like jelly. Background: New technology and material play a role in bringing type transformation of interface and change of operation system. Recently, importance has been increased on the study of Organic User Interface (OUI) that conducts research on the value of new method of input and output adopting soft and flexible materials for various instruments. Method: For fulfillment of the study, 27 kinds of gestures have been defined that are usable in handheld device based on existing studies. Quantitative research of survey was conducted of adult male and female of 20s through 30s and an analysis was done on the function that can be linked to gestures with highest level of satisfaction. In order to analyze needs and hurdles of users for the defined gesture, a focus group interview was conducted aiming at the groups of early adopters and ordinary users. Results: As a result, it was found that users have much value regarding usability and fun for elastic device and analysis could be conducted on preferred gesture and its linkable functions. Conclusion: What is most significant with this study is that it sheds new light on the values of a device made of elastic material. Beyond finding and defining the gestures and functions that can be applied to a handheld elastic device, the present study identified the value elements of an elastic device - 'usability and 'fun' -, which users can basically desire from using it. Application: The data that this study brought forth through preference and satisfaction test with the gestures and associated functions will help commercialize an elastic device in future.

• 한국멀티미디어학회논문지
• /
• 제14권10호
• /
• pp.1348-1364
• /
• 2011

기존의 아동용 에듀테인먼트 콘텐츠는 교육에 사용되는 학습 교구 및 콘텐츠가 교육 대상자에 대하여 반응을 일방적으로 유도하는 수동적인 교육이 이루어져 능동적이고 자발적인 학 습이 가능하도록 하는 콘텐츠 개발 방법이 절실히 요구되고 있다. 이에 본 논문에서는 행위기반 에듀테인먼트 콘텐츠의 상호작용 교구로서 주사위 형태의 체감형 인터페이스 개발과 깊이 영상 정보 기반의 손동작 인식 기술을 활용한 아동용 에듀테인먼트 콘텐츠 개발 방법을 제안하였다. 또한 교수자가 전체적인 학습 코스웨어를 설정하고 관리 할 수 있는 학습 퀴즈 문제 저작 관리 도구 및 교육발달에 대한 실시간 모니터링용 학습 결과 로그 분석 시스템을 제안하였다. 본 연구에서 제안한 행위 기반 체감형 인터페이스 및 에듀테인먼트 콘텐츠는 조작이 간편하고 실체적 인터랙션을 제공하므로 서 흥미를 더해 능동적이고 자발적인 학습이 가능하다. 또한 학습퀴즈 콘텐츠 저작 관리 도구와 학습 결과 로그 분석 시스템은 아동에 대한 수준별 학습프로그램 구성이 가능하고 또한 아동들이 학습을 스스로 문제를 풀어가는 과정과 얻어진 결과를 바탕으로 이용자의 학습 발달 상황 및 행태를 파악하고 학습계획에 대한 평가 자료로 활용하므로 서 아동의 학습발달에 대한 실시간 모니터링이 가능할 것으로 예상된다.

• 인지과학
• /
• 제22권2호
• /
• pp.123-143
• /
• 2011

본 연구의 목적은 구어동반 제스처가 어휘인출과정의 개념화와 어휘화 가운데 어떠한 단계와 관계가 있는지를 알아보고자 하는 것이다. 제스처와 발화 분석을 위하여, 모 방송국의 TV 버라이어티 프로그램 중 제시된 목표단어의 의미를 설명하여 전화상대방이 그 단어의 이름을 맞추게 하는 게임의 동영상 자료를 이용하였다. 분석자료로 이와 같은 TV 자료를 선택한 이유는 프로그램의 게임과제가 어휘인출의 개념화 과정과 어휘화 과정을 동시에 유도할 수 있는 과제로 판단되었기 때문이다. 20회의 동영상 자료를 재생하여 목표단어와 목표단어 설명과정에서 출연자들이 산출한 발화를 전사하고, 출연자들이 사용한 제스처를 어휘 제스처(lexical gesture)와 운동 제스처(motor gesture)로 구분하여 기록하였다. 구어동반 제스처가 어휘인출과정의 개념화와 관계가 있는지 알아보기 위하여, 구체적 단어와 추상적 단어 설명 시 동반된 제스처의 사용양상이 다른지, 그리고 단어 개념의 난이도와 제스처 양 사이에 상관관계가 있는지 분석하였다. 제스처가 어휘인출과정의 어휘화와 관계가 있는지 알아보기 위하여, 출연자가 목표단어 설명 시 산출한 발화의 단어 양과 제스처 양, 그리고 저빈도어 비율과 제스처 양 사이의 상관관계를 각각 살펴보았다. 연구결과 단어 개념의 심상성(imageability)에 따라 유의하게 많이 동반되는 제스처가 다르다는 것을 알 수 있었다. 즉 구체적 단어 설명 시에는 추상적 단어 설명 시보다 어휘 제스처가 유의하게 많이 동반되었고, 추상적 단어 설명 시에는 구체적 단어 설명 시보다 운동 제스처가 유의하게 많이 동반되었다. 또한 구체적 단어의 경우 개념의 난이도와 제스처 양 사이에 유의한 상관관계가 있었다. 그러나 목표단어 설명 시 산출된 발화의 단어 양과 제스처 양, 저빈도어 비율과 제스처 양 사이에는 상관관계가 나타나지 않았다. 본 연구의 결과는 구어동반 제스처가 어휘인출과정의 개념화부를 반영한다는 것을 시사한다. 뿐만 아니라 이제까지 많은 연구들에서 간과되어 왔던 운동 제스처의 기능에 대한 새로운 접근을 시도하였다는 점에서 본 연구는 의의가 있을 것이다.

• International Journal of Contents
• /
• 제7권1호
• /
• pp.14-22
• /
• 2011

Temporal Sign Language Recognition (TSLR) from hand motion is an active area of gesture recognition research in facilitating efficient communication with deaf people. TSLR systems consist of two stages: a motion sensing step which extracts useful features from signers' motion and a classification process which classifies these features as a performed sign. This work focuses on two of the research problems, namely unknown time varying signal of sign languages in feature extraction stage and computing complexity and time consumption in classification stage due to a very large sign sequences database. In this paper, we propose a combination of Dynamic Time Warping (DTW) and application of the Single hidden Layer Feedforward Neural networks (SLFNs) trained by Extreme Learning Machine (ELM) to cope the limitations. DTW has several advantages over other approaches in that it can align the length of the time series data to a same prior size, while ELM is a useful technique for classifying these warped features. Our experiment demonstrates the efficiency of the proposed method with the recognition accuracy up to 98.67%. The proposed approach can be generalized to more detailed measurements so as to recognize hand gestures, body motion and facial expression.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 하계학술대회
• /
• pp.166-167
• /
• 2017

가상 현실에 대한 관심이 높아지면서, 가상 물체와 사람 사이의 보다 자연스러운 상호작용이 중요하게 되었다. 그 중 가장 많이 사용되는 방식 중 하나가 바로 손동작이다. 사람들은 손동작을 통해 자신의 감정을 전달하거나 자신의 의견을 표현할 수 있기 때문에 손동작은 Natural User Interface(NUI)의 중요한 위치를 차지하고 있다. 본 논문에서는 사람들의 손동작 중 비교적 큰 비중을 차지하는 반복적인 궤적을 그리는 손동작 인식을 위한 방법을 제안한다. 손이 움직이는 방향과 거리의 3 차원 좌표 값을 이용하여 벡터화를 한 후, 이 데이터를 Fast Fourier transform(FFT)와 Support Vector Machine(SVM)을 통해 반복적인 손동작을 인식함으로써 자연스러운 손동작을 비교적 정확히 인식할 수 있다.

• 한국지능시스템학회논문지
• /
• 제11권1호
• /
• pp.28-32
• /
• 2001

인간의 손동작 인식은 오랫동안 언어로서의 역할을 해왔던 통신수단의 한 방법이다. 현대의 사회가 정보화 사회로 진행됨에 따라 보다 빠르고 정확한 의사소통 및 정보의 전달을 필요로 하는 가운데 사람과 컴퓨터간의 상호 연결 혹은 사람의 의사 표현에 있어 기존의 장치들이 가지는 단점을 보안하며 이 부분에 사람의 두 손으로 표현되는 자유로운 몸짓을 이용하려는 연구가 최근에 많이 진행되고 있는 추세이다. 본 논문에선 2차원 입력 영상으로부터 동적인 손동작의 사용 없이 손의 특징을 이용한 새로운 인식 알고리즘을 제안하고, 보다 높은 인식률과 실 시간적 처리를 위해 Radial Basis Function Network 및 부가적인 특징점을 통한 손동작의 인식을 구현하였다. 또한 인식된 손동작의 의미를 바탕으로 인식률 및 손동작 표현의 의미성에 대한 정확도를 판별하기 위해 로봇의 제어에 적용한 실험을 수행하였다.

• 제어로봇시스템학회논문지
• /
• 제19권8호
• /
• pp.738-744
• /
• 2013

According to the cognitive science research, the interaction intent of humans can be estimated through an analysis of the representing behaviors. This paper proposes a novel methodology for reliable intention analysis of humans by applying this approach. To identify the intention, 8 behavioral features are extracted from the 4 characteristics in human-human interaction and we outline a set of core components for nonverbal behavior of humans. These nonverbal behaviors are associated with various recognition modules including multimodal sensors which have each modality with localizing sound source of the speaker in the audition part, recognizing frontal face and facial expression in the vision part, and estimating human trajectories, body pose and leaning, and hand gesture in the spatial part. As a post-processing step, temporal confidential reasoning is utilized to improve the recognition performance and integrated human model is utilized to quantitatively classify the intention from multi-dimensional cues by applying the weight factor. Thus, interactive robots can make informed engagement decision to effectively interact with multiple persons. Experimental results show that the proposed scheme works successfully between human users and a robot in human-robot interaction.

• 스마트미디어저널
• /
• 제9권4호
• /
• pp.97-101
• /
• 2020

본 연구에서는 센서상의 전하량 변화를 통하여 전위차를 측정할 수 있는 수동형 전기장센서를 이용하여 사람의 손동작에 의해 유발되는 신호를 측정 장치의 전원이나 주변 전력선에 의해 센서에 유입되는 잡음(PLN: Power Line Noise)의 고조파 성분을 분석하여 동작신호를 검출하고 추출하는 연구를 수행 한다. 전기장 센서에 유입되는 전력선잡음으로 센서가 사람의 존재, 접근, 동작에 의해 영향 받는 사실을 이용해 PLN의 주성분인 60Hz 고조파 성분의 스펙트럼분석을 수행하여 PLN 신호의 증가 또는 감소를 식별할 수 있고 상대적으로 동작에 민감한 120Hz 성분을 이용한다. FFT를 사용하여 120Hz의 신호성분이 특정 임계값을 통과할 때 신호를 검출하는 방법이다. 동작이 탐지되는 경우 임계값을 기준으로 프레임을 결정한다. 본 연구의 방법을 이용하여 얻은 동작 감지 성공률은 약 90% 수준을 달성하였다. 이렇게 감지된 동작신호로 추출한 프레임의 정확도는 약 85%이다. 수동형 전기장 센서를 이용하여 동작신호를 PLN을 이용하여 동작검출에 이용한 연구사례는 국내외적으로 드문 사례이며, 본 논문에서는 PLN이 상존하는 실내 적용환경에서 유망하게 활용될 수 있다.