• 전기학회논문지
• /
• 제63권4호
• /
• pp.565-569
• /
• 2014

Recently, various kinds of new computer controlled devices have been introduced in a wide range of areas, and convenient user interfaces for controlling the devices are strongly needed. To implement natural user interfaces(NUIs) on top of the devices, new technologies like a touch screen, Wii Remote, wearable interfaces, and Microsoft Kinect were presented. This paper presents a natural and intuitive gesture-based model for controlling contents of LCD display. Microsoft Kinect sensor and its SDK are used to recognize human gestures, and the gestures are interpreted into corresponding commands to be executed. A command dispatch model is also proposed in order to handle the commands more naturally. I expect the proposed interface can be used in various fields, including display contents control.

• 한국지능시스템학회:학술대회논문집
• /
• 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
• /
• pp.400-402
• /
• 2008

인간과 컴퓨터간의 정보이동에 중요한 역할을 해온 인간-컴퓨터 상호작용(HCI)기술은 핵심적인 정보기술 분야에 속한다. 최근 키보드와 마우스와 같은 입력장치의 사용없이 인간의 몸짓이나 손짓등과 같은 Gesture를 입력으로 사용하여 로봇이나 제어 장치들을 제어하는 연구가 다각도로 진행되고 있으며 그 중요성 또한 날로 증가하고 있다. 본 논문에서는 가속도 센서에서 계측된 정보를 PCA알고리즘에 적용하여 사용자의 제스처를 인식하는 기법을 제안하고자 한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.485-486
• /
• 2022

본 논문에서는 OpenCV를 통해 기존의 물리적 버튼 등을 이용한 접촉제어가 아닌 비접촉으로 제어할 수 있는 시스템을 설계하였다. 시스템은 디지털 입력이나 아날로그 입력 등 두 가지 형태로의 모든 입력이 가능하며, 현실 세계에서 사람들이 사용하는 입력 방식과 유사한 방식으로 제어를 하게 함으로써 사용에 대한 기술에 대한 거부감을 줄일 수 있었다. 시스템은 ESP32-CAM 보드와 영상 스트리밍 서버를 FastAPI로 구축해 원격으로 접속과 조작이 가능하도록 설계하였다.

• 제어로봇시스템학회논문지
• /
• 제17권4호
• /
• pp.368-374
• /
• 2011

This paper proposes a robot control human interface using Markov model (HMM) based hand signal recognizer. The command receiving humanoid robot sends webcam images to a client computer. The client computer then extracts the intended commanding hum n's hand motion descriptors. Upon the feature acquisition, the hand signal recognizer carries out the recognition procedure. The recognition result is then sent back to the robot for responsive actions. The system performance is evaluated by measuring the recognition of '48 hand signal set' which is created randomly using fundamental hand motion set. For isolated motion recognition, '48 hand signal set' shows 97.07% recognition rate while the 'baseline hand signal set' shows 92.4%. This result validates the proposed hand signal recognizer is indeed highly discernable. For the '48 hand signal set' connected motions, it shows 97.37% recognition rate. The relevant experiments demonstrate that the proposed system is promising for real world human-robot interface application.

• 스마트미디어저널
• /
• 제1권2호
• /
• pp.40-46
• /
• 2012

본 논문은 비전 기반 신체 제스처 인식 결과를 입력인터페이스로 사용하는 상호작용 콘텐츠에 대해 기술한다. 제작된 콘텐츠 는 아시아의 공통문화요소인 도깨비를 소재로 사용하여 지역 문화에 친숙하게 접근할 수 있도록 하였다. 그리고 콘텐츠를 구성 하는 시나리오는 도깨비와의 결투장면에서 사용자의 제스처 인식을 통해 결투를 진행하므로 사용자는 자연스럽게 콘텐츠 시나리오에 몰입할 수 있다. 시나리오의 후반부에서는 사용자는 시간과 공간이 다른 다중의 결말을 선택할 수 있다. 신체 제스처 인식 부분에서는 키넥트(KINECT)를 통해 얻을 수 있는 각 신체 부분의 3차원좌표를 이용하여 정지동작인 포즈를 활용한다. 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 인간이 사용하는 제스처는 정지동작인 포즈들의 연속적인 동작을 통해 표현이 가능하므로 HMM을 이용하여 정지동작 포즈들로 구성된 제스처를 인식하였다. 본 논문에서 기술한 체험형 콘텐츠는 사용자가 부가적인 장치의 사용 없이 제스처 인식 결과를 입력인터페이스로 사용하였으며 사용자의 몸동작만으로 자연스럽게 콘텐츠를 조작할 수 있도록 해준다. 본 논문에서 기술한 체험형 콘텐츠는 평소 접하기 어려운 도깨비를 이용하여 사용자와 실시간 상호작용이 가능케 함으로써 몰입도와 재미를 향상시키고자 하였다.

• 지능정보연구
• /
• 제17권1호
• /
• pp.53-69
• /
• 2011

로봇 자체 또는 로봇에 탑재된 콘텐츠와의 상호작용을 위해 일반적으로 영상 또는 음성 인식 기술이 사용된다. 그러나 영상 음성인식 기술은 아직까지 기술 및 환경 측면에서 해결해야 할 어려움이 존재하며, 실적용을 위해서는 사용자의 협조가 필요한 경우가 많다. 이로 인해 로봇과의 상호작용은 터치스크린 인터페이스를 중심으로 개발되고 있다. 향후 로봇 서비스의 확대 및 다양화를 위해서는 이들 영상 음성 중심의 기존 기술 외에 상호보완적으로 활용이 가능한 인터페이스 기술의 개발이 필요하다. 본 논문에서는 로봇 인터페이스 활용을 위한 가속도 센서 기반의 제스처 인식 기술의 개발에 대해 소개한다. 본 논문에서는 비교적 어려운 문제인 26개의 영문 알파벳 인식을 기준으로 성능을 평가하고 개발된 기술이 로봇에 적용된 사례를 제시하였다. 향후 가속도 센서가 포함된 다양한 장치들이 개발되고 이들이 로봇의 인터페이스로 사용될 때 현재 터치스크린 중심으로 된 로봇의 인터페이스 및 콘텐츠가 다양한 형태로 확장이 가능할 것으로 기대한다.

• International Journal of Computer Science & Network Security
• /
• 제23권10호
• /
• pp.37-43
• /
• 2023

The hospital situation, timing, and patient restrictions have become obstacles to an optimum therapy session. The crowdedness of the hospital might lead to a tight schedule and a shorter period of therapy. This condition might strike a post-stroke patient in a dilemma where they need regular treatment to recover their nervous system. In this work, we propose an in-house and uncomplex serious game system that can be used for physical therapy. The Kinect camera is used to capture the depth image stream of a human skeleton. Afterwards, the user might use their hand gesture to control the game. Voice recognition is deployed to ease them with play. Users must complete the given challenge to obtain a more significant outcome from this therapy system. Subjects will use their upper limb and hands to capture the 3D objects with different speeds and positions. The more substantial challenge, speed, and location will be increased and random. Each delegated entity will raise the scores. Afterwards, the scores will be further evaluated to correlate with therapy progress. Users are delighted with the system and eager to use it as their daily exercise. The experimental studies show a comparison between score and difficulty that represent characteristics of user and game. Users tend to quickly adapt to easy and medium levels, while high level requires better focus and proper synchronization between hand and eye to capture the 3D objects. The statistical analysis with a confidence rate(α:0.05) of the usability test shows that the proposed gaming is accessible, even without specialized training. It is not only for therapy but also for fitness because it can be used for body exercise. The result of the experiment is very satisfying. Most users enjoy and familiarize themselves quickly. The evaluation study demonstrates user satisfaction and perception during testing. Future work of the proposed serious game might involve haptic devices to stimulate their physical sensation.

• 공학교육연구
• /
• 제19권1호
• /
• pp.31-36
• /
• 2016

These days, ICT-related products are pouring out due to development of mobile technology and increase of smart phones. Among the ICT-related products, wearable devices are being spotlighted with the advent of hyper-connected society. In this paper, a body-attached type wearable device using EMG(electromyography) sensors is studied. The research field of EMG sensors is divided into two parts. One is medical area and another is control device area. This study corresponds to the latter that is a method of transmitting user's manipulation intention to robots, games or computers through the measurement of EMG. We used commercial device MYO developed by Thalmic Labs in Canada and matched up EMG of arm muscles with gesture controller. In the experiment part, first of all, various arm motions for controlling devices are defined. Finally, we drew several distinguishing kinds of motions through analysis of the EMG signals and substituted a joystick with the motions.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 추계학술대회
• /
• pp.281-284
• /
• 2010

본 논문은 카메라를 통해 입력받은 컬러 영상에서 손동작을 인식하여 실제 컴퓨팅 환경에 적용하는 방법으로, 입력받은 영상을 YCbCr 색상모델을 기반으로 영상을 이진화하여 레이블링 한 후 각각의 레이블 영역 내에서 Voronoi Diagram을 활용한 최대 내접원(Maximum Inscribed Circle)을 탐색하여 손의 중심점을 찾는다. 이때 탐색된 최대 내접원과 인접한 타원 성분을 분석하여 손 영역을 추출할 수 있다. 본 연구에서 찾아진 최대 내접원과 타원 성분을 손동작 인식의 특징점으로 사용하여 원거리에서 프리젠테이션을 제어하는 시스템을 제안한다. 본 알고리즘은 다양한 환경에서 손을 인식할 때 문제가 되는 배경에서의 유사한 색상을 가진 물체를 효과적으로 제거할 수 있는 장점이 있다.

• 한국멀티미디어학회논문지
• /
• 제19권8호
• /
• pp.1225-1235
• /
• 2016

This paper presents a method for computer-assisted slide presentation using vision-based gesture recognition. The proposed method consists of a sequence of steps, first detecting a hand in the scene of projector beam, then estimating the smooth trajectory of a hand or a pointing finger using Kalman Filter, and finally interfacing to an application system. Additional slide navigation control includes moving back and forth the pages of the presentation. The proposed method is to help speakers for an effective presentation with natural improved interaction with the computer. In particular, the proposed method of using finger pointing is believed to be more effective than using a laser pointer since the hand, the pointing or finger are more visible and thus can better grab the attention of the audience.