• 한국정보통신학회논문지
• /
• 제20권12호
• /
• pp.2297-2304
• /
• 2016

본 연구에서는 스마트매트와 카메라 센서를 이용한 가상현실 체험형 운동게임 시스템 설계 및 구현하였다. 사용자 상반신 운동자세인식을 위해 키넥트 카메라 센서를 활용하고 사용자의 걷기 동작을 정확하게 인식하고 다음 취해야할 걷기 운동 동작에 대한 가이드를 제공하기 위해서 LED 표시가 가능한 스마트 매트를 개발하였다. 이를 통합하고 기능성 게임의 재미요소를 결합하여 실제 운동 상황에서 사용자에게 실시간으로 상호작용 정보를 제공하는 가상현실 체험형 운동게임 통합 시스템을 설계 및 구현하였다. 사용자들이 보다 자립적이고 독립적으로 가정 및 건강증진 관련 기관에서 쉽게 운동하는데 기여하는 체험형 운동게임 시스템으로 활용될 것이다.

• International Journal of Computer Science & Network Security
• /
• 제23권10호
• /
• pp.37-43
• /
• 2023

The hospital situation, timing, and patient restrictions have become obstacles to an optimum therapy session. The crowdedness of the hospital might lead to a tight schedule and a shorter period of therapy. This condition might strike a post-stroke patient in a dilemma where they need regular treatment to recover their nervous system. In this work, we propose an in-house and uncomplex serious game system that can be used for physical therapy. The Kinect camera is used to capture the depth image stream of a human skeleton. Afterwards, the user might use their hand gesture to control the game. Voice recognition is deployed to ease them with play. Users must complete the given challenge to obtain a more significant outcome from this therapy system. Subjects will use their upper limb and hands to capture the 3D objects with different speeds and positions. The more substantial challenge, speed, and location will be increased and random. Each delegated entity will raise the scores. Afterwards, the scores will be further evaluated to correlate with therapy progress. Users are delighted with the system and eager to use it as their daily exercise. The experimental studies show a comparison between score and difficulty that represent characteristics of user and game. Users tend to quickly adapt to easy and medium levels, while high level requires better focus and proper synchronization between hand and eye to capture the 3D objects. The statistical analysis with a confidence rate(α:0.05) of the usability test shows that the proposed gaming is accessible, even without specialized training. It is not only for therapy but also for fitness because it can be used for body exercise. The result of the experiment is very satisfying. Most users enjoy and familiarize themselves quickly. The evaluation study demonstrates user satisfaction and perception during testing. Future work of the proposed serious game might involve haptic devices to stimulate their physical sensation.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제7권4호
• /
• pp.256-261
• /
• 2007

Electroencephalographic(EEG) is used to record activities of human brain in the area of psychology for many years. As technology developed, neural basis of functional areas of emotion processing is revealed gradually. So we measure fundamental areas of human brain that controls emotion of human by using EEG. Hands gestures such as shaking and head gesture such as nodding are often used as human body languages for communication with each other, and their recognition is important that it is a useful communication medium between human and computers. Research methods about gesture recognition are used of computer vision. Many researchers study Emotion Recognition method which uses one of EEG signals and Gestures in the existing research. In this paper, we use together EEG signals and Gestures for Emotion Recognition of human. And we select the driver emotion as a specific target. The experimental result shows that using of both EEG signals and gestures gets high recognition rates better than using EEG signals or gestures. Both EEG signals and gestures use Interactive Feature Selection(IFS) for the feature selection whose method is based on the reinforcement learning.

• 지능정보연구
• /
• 제17권1호
• /
• pp.53-69
• /
• 2011

로봇 자체 또는 로봇에 탑재된 콘텐츠와의 상호작용을 위해 일반적으로 영상 또는 음성 인식 기술이 사용된다. 그러나 영상 음성인식 기술은 아직까지 기술 및 환경 측면에서 해결해야 할 어려움이 존재하며, 실적용을 위해서는 사용자의 협조가 필요한 경우가 많다. 이로 인해 로봇과의 상호작용은 터치스크린 인터페이스를 중심으로 개발되고 있다. 향후 로봇 서비스의 확대 및 다양화를 위해서는 이들 영상 음성 중심의 기존 기술 외에 상호보완적으로 활용이 가능한 인터페이스 기술의 개발이 필요하다. 본 논문에서는 로봇 인터페이스 활용을 위한 가속도 센서 기반의 제스처 인식 기술의 개발에 대해 소개한다. 본 논문에서는 비교적 어려운 문제인 26개의 영문 알파벳 인식을 기준으로 성능을 평가하고 개발된 기술이 로봇에 적용된 사례를 제시하였다. 향후 가속도 센서가 포함된 다양한 장치들이 개발되고 이들이 로봇의 인터페이스로 사용될 때 현재 터치스크린 중심으로 된 로봇의 인터페이스 및 콘텐츠가 다양한 형태로 확장이 가능할 것으로 기대한다.

• International journal of advanced smart convergence
• /
• 제7권2호
• /
• pp.135-142
• /
• 2018

Virtual reality (VR) technology has been increasingly more frequently used day by day in industries, entertainment and performances due to the development of AR and MR technologies. Performance arts also actively utilize $360^{\circ}$ VR technology due to the free expression of stage settings and auditoriums. However, technologies for systems in which performers wear VR devices firsthand rather than being in the sandpoint of bystanders while audiences wear VR head mounted displays(HMDs) to see performance stages have been rarely studied yet. This study investigated the technical possibilities of possible methods of expression that will enable performers to appear on the stage wearing VR devices. Since VR can maximize the sense of immersion with its closed HMD structure unlike augmented reality (AR), VR was judged to be suitable for studies centered on the mental interactions in the inner side of humans. Among them, to implement shamanistic expression methods with the phantoms of the body and soul, a motion capture technology linked with VR display devices and real-time cameras was realized on the stage. In this process, the importance of body ownership experienced by the performers (participants), reactions when they lost it, and the mental phenomena of the desire to possess the subjects of gaze could be seen. In addition, high possibility of development of this technology hereafter could be expected because this technology includes the technical openness that enables the audience to appear on the stage firsthand to become performers.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.171.5-171
• /
• 2001

Information that is acquired by adhered sensors on a body has been commonly used for the three-dimensional real-time motion capture algorithm. This paper describes realtime motion capture algorithm using computer vision. In a real-time image sequence, human body silhouette is extracted use a background subtraction between background image and the reference image. Then a human standing posture whether forward or backward is estimated by extraction of skin region in the silhoutte. After then, the principal axis is calculated in the torso and the face region is estimated on the principal axis. Feature points, which are essential condition to track the human gesture, are obtained ...

• 만화애니메이션 연구
• /
• 통권35호
• /
• pp.347-374
• /
• 2014

본 논문은 증강현실 기술을 사용한 21C 영화들의 영화적 상상과 증강현실 예술의 예술적 상상을 중심으로 증강현실 콘텐츠 산업화의 미래에 관하여 연구하였다. 영화에서는 영화적 상상을 통해 미래의 기술을 보여주는 동시에 미래상을 제시하는 역할을 하고, 증강현실 예술은 기술적으로 구현할 수 있는 현재의 기술을 통해 미래 예술과 사회의 거시적인 문화를 포착하는 역할을 하고 있다. 조사된 영화들을 증강현실 기술별로 분류한 결과, 제스처 인식은 투명 디스플레이어 관련 기술과 연계하여 발전하고, 홀로그램 기술은 개별화된 커뮤니케이션 방식으로 변화되며, 생체인식은 다중 생체인식으로의 발전 가능성이 있고, 웨어러블 컴퓨터는 물리적인 신체증강 측면으로도 발전하여 산업화될 것으로 전망된다. 증강현실 예술에서 아바타의 다양한 활용은 홀로그램과 관련이 있고, 인체의 생체 현상의 활용은 생체인식으로 연계되며, 현실세계와 가상세계의 혼합은 제스처 인식을 통해 디스플레이어를 활용하고, HMD의 새로운 시도는 웨어러블 컴퓨터의 다변화와 함께 산업화될 것으로 보인다. 영화와 예술에서 상상과 구현을 통해 나타난 증강현실 콘텐츠는 인간 생활의 조력자 역할을 담당하고, 동시에 인간과 환경 간에 매개 없이 융화되는 방식으로 산업화되는 미래상을 제시한다.

• 디자인학연구
• /
• 제20권1호
• /
• pp.55-64
• /
• 2007

비언어적 의사소통 수단은 언어적 의사소통을 보조하고 대체한다는 점에서 매우 중요하다. 다양한 비언어적 의사소통 수단 중 신체언어는 몸을 통한 의사소통 전반을 말한다. 애니메이션의 경우, 시나리오 전달에 있어서 캐릭터가 가장 중요한 역할을 하므로 이와 같은 신체언어 연출은 매우 중요한 요소 중 하나이다. 애니메이션의 의사소통 구조는 일반적인 의사소통 구조와는 달리 이중적인 의사소통 구조를 가지는데, 첫째는 화자 캐릭터와 청자 캐릭터 사이의 의사소통이고, 둘째는 영상과 관객 간의 의사소통으로 이는 첫 번째 의사소통 구조까지 모두 포함한다. 본 연구에서는 이러한 이중적 구조에 기반하여 애니메이션의 의사소통 구조를 담화내적, 담화외적 구조로 나누고, 기능적 분류법을 이용하여 캐릭터의 신체언어를 적응, 상징, 설명, 조정, 감정표현 행위로 분류하였다. 특히 본 연구의 분석 애니메이션에서 큰 비중을 차지한 설명행위는 화용론적 분류인 발화 행위론으로 세분화하였다. 그리고 분류된 각각의 신체언어를 분석하여 애니메이션에서 표현되는 신체언어의 특징을 규명하고, 효과적인 시나리오 전달과 관객의 감정이입을 도울 수 있는 효율적인 신체언어를 제안하고자 하였다.

• 한국멀티미디어학회논문지
• /
• 제17권2호
• /
• pp.248-256
• /
• 2014

본 연구는 장시간 동일한 자세로 자리에 앉아 있거나 컴퓨터 작업을 오래함으로써 생긴 어깨 통증을 호소하는 이들, 몸의 움직임이 적어 신체적 이상이 온 이들을 대상으로 치료를 동반한 운동 목적의 기능성 게임 설계와 프로토타입 단계의 게임 개발이다. 선택된 음악의 비트에 맞추어 신체를 움직이는 리듬액션게임으로서, 플레이어가 도전하는 동안 불편을 가진 신체 부위의 기능 개선뿐만 아니라 환자의 색채 치료를 병행할 수도 있다. 게임 기획서에 따라 제작된 프로토타입 게임은 XNA Game Studio와 동작 인식이 가능한 키넥트 인터페이스 기술을 활용하여 개발하였다. 조작이 용이한 인터페이스 기술과의 접목, 음악의 빠르기와 공의 출현 속도로 난이도를 조절하며 신체 움직임에 따라 수준별 콘텐츠 제공을 시도해 보았다. 향후 연구는 신체 장애 정도에 따라 움직임을 조절할 수 있도록 다양한 비트의 음악과 플레이어의 다양한 행위를 추가하고, 일반 재활 효과와의 비교 검증 시스템과 현장 테스트가 요구된다.

• 한국콘텐츠학회논문지
• /
• 제11권12호
• /
• pp.619-628
• /
• 2011

일반적으로 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 이 논문은 인체의 3차원 관절 정보를 이용한 포즈 인식 기술을 인터페이스로 활용한 상호작용 게임 콘텐츠 개발에 관해 기술한다. 제안된 시스템에서 사용되는 포즈는 인체 관절 중 14개 관절의 3차원 위치정보를 이용해서 구성한 포즈 템플릿과 현재 사용자의 포즈를 비교해 인식된다. 이 방법을 이용하여 제작된 시스템은 사용자가 부가적인 장치의 사용 없이 사용자의 몸동작만으로 자연스럽게 게임 콘텐츠를 조작할 수 있도록 해준다. 제안된 3차원 인식 기술을 게임 콘텐츠에 적용하여 성능을 평가한다. 향후 다양한 환경에서 더욱 강건하게 포즈를 인식할 수 있는 연구를 수행할 계획이다.