• 한국인터넷방송통신학회논문지
• /
• 제21권2호
• /
• pp.117-124
• /
• 2021

본 연구는 손목 재활을 위한 신경망을 이용하여 수부 동작 인식해주는 연구이다. 수부의 재활은 손상을 받은 수부의 기능을 최대로 회복시켜 일상생활과 직업, 취미생활을 가능하게 하는 것을 목표로 한다. 하지만 어느 장소를 찾아 치료를 하는 것은 경제적, 시간적으로 매우 비효율적이다. 이런 문제점을 해결하고자 본 연구에서는 환자가 직접 스마트 기기를 이용해 재활 치료를 하고자 한다. 이를 활용하면 비용이나 시간적인 면에서 매우 도움이 될 것이다. 본 연구에서는 총 10명의 사람으로부터 4 종류의 재활 운동에 대한 데이터를 수집하여 손목재활 데이터셋을 만들었다. 수부 제스쳐 인식은 신경망을 이용하여 모델을 구성하였다. 그 결과 93%의 정확도를 얻었으며, 본 시스템의 유용성을 검증하였다.

• 인지과학
• /
• 제22권2호
• /
• pp.123-143
• /
• 2011

본 연구의 목적은 구어동반 제스처가 어휘인출과정의 개념화와 어휘화 가운데 어떠한 단계와 관계가 있는지를 알아보고자 하는 것이다. 제스처와 발화 분석을 위하여, 모 방송국의 TV 버라이어티 프로그램 중 제시된 목표단어의 의미를 설명하여 전화상대방이 그 단어의 이름을 맞추게 하는 게임의 동영상 자료를 이용하였다. 분석자료로 이와 같은 TV 자료를 선택한 이유는 프로그램의 게임과제가 어휘인출의 개념화 과정과 어휘화 과정을 동시에 유도할 수 있는 과제로 판단되었기 때문이다. 20회의 동영상 자료를 재생하여 목표단어와 목표단어 설명과정에서 출연자들이 산출한 발화를 전사하고, 출연자들이 사용한 제스처를 어휘 제스처(lexical gesture)와 운동 제스처(motor gesture)로 구분하여 기록하였다. 구어동반 제스처가 어휘인출과정의 개념화와 관계가 있는지 알아보기 위하여, 구체적 단어와 추상적 단어 설명 시 동반된 제스처의 사용양상이 다른지, 그리고 단어 개념의 난이도와 제스처 양 사이에 상관관계가 있는지 분석하였다. 제스처가 어휘인출과정의 어휘화와 관계가 있는지 알아보기 위하여, 출연자가 목표단어 설명 시 산출한 발화의 단어 양과 제스처 양, 그리고 저빈도어 비율과 제스처 양 사이의 상관관계를 각각 살펴보았다. 연구결과 단어 개념의 심상성(imageability)에 따라 유의하게 많이 동반되는 제스처가 다르다는 것을 알 수 있었다. 즉 구체적 단어 설명 시에는 추상적 단어 설명 시보다 어휘 제스처가 유의하게 많이 동반되었고, 추상적 단어 설명 시에는 구체적 단어 설명 시보다 운동 제스처가 유의하게 많이 동반되었다. 또한 구체적 단어의 경우 개념의 난이도와 제스처 양 사이에 유의한 상관관계가 있었다. 그러나 목표단어 설명 시 산출된 발화의 단어 양과 제스처 양, 저빈도어 비율과 제스처 양 사이에는 상관관계가 나타나지 않았다. 본 연구의 결과는 구어동반 제스처가 어휘인출과정의 개념화부를 반영한다는 것을 시사한다. 뿐만 아니라 이제까지 많은 연구들에서 간과되어 왔던 운동 제스처의 기능에 대한 새로운 접근을 시도하였다는 점에서 본 연구는 의의가 있을 것이다.

• Transactions on Control, Automation and Systems Engineering
• /
• 제2권4호
• /
• pp.285-297
• /
• 2000

One of the research objectives in the area of multimedia human-computer interaction is the application of artificial intelligence and robotics technologies to the development of computer interfaces. This involves utilizing many forms of media, integrating speed input, natural language, graphics, hand pointing gestures, and other methods for interactive dialogues. Although current human-computer communication methods include computer keyboards, mice, and other traditional devices, the two basic ways by which people communicate with each other are voice and gesture. This paper reports on research focusing on the development of an intelligent multimedia interface system modeled based on the manner in which people communicate. This work explores the interaction between humans and computers based only on the processing of speech(Work uttered by the person) and processing of images(hand pointing gestures). The purpose of the interface is to control a pan/tilt camera to point it to a location specified by the user through utterance of words and pointing of the hand, The systems utilizes another stationary camera to capture images of the users hand and a microphone to capture the users words. Upon processing of the images and sounds, the systems responds by pointing the camera. Initially, the interface uses hand pointing to locate the general position which user is referring to and then the interface uses voice command provided by user to fine-the location, and change the zooming of the camera, if requested. The image of the location is captured by the pan/tilt camera and sent to a color TV monitor to be displayed. This type of system has applications in tele-conferencing and other rmote operations, where the system must respond to users command, in a manner similar to how the user would communicate with another person. The advantage of this approach is the elimination of the traditional input devices that the user must utilize in order to control a pan/tillt camera, replacing them with more "natural" means of interaction. A number of experiments were performed to evaluate the interface system with respect to its accuracy, efficiency, reliability, and limitation.

• 디지털콘텐츠학회 논문지
• /
• 제18권8호
• /
• pp.1603-1613
• /
• 2017

본 논문은 널리 알려진 RGB 색상 기반의 웹캠을 사용한 손 영역을 효율적으로 분할하는 방법을 제안한다. 이 방법은 잡음을 제거하기 위하여 네 번의 경험적 전처리 방법을 수행한다. 먼저, 전체 영상 잡음을 제거하기 위하여 가우시안 평활화를 수행한다. 다음으로, RGB 영상은 HSV와 YCbCr 색상 모델로 변환되어, 각 색상 모델에 대해 통계적인 값에 기반하여 전역 고정 이진화가 수행된 후, 잡음은 bitwise-OR 연산에 의해 제거된다. 다음으로, 윤곽 근사화와 내부 영역 구멍 연산을 위해 RDP와 flood fill 알고리즘이 사용된다. 끝으로, 모폴로지 연산을 통하여 잡음을 제거하고 영상의 크기에 비례한 임계값을 결정하여 손 영역이 결정된다. 본 연구는 잡음 제거에 초점을 맞추고 있고 손 동작 인식 응용 기술에 사용될 수 있다.

• 한국산업정보학회논문지
• /
• 제24권5호
• /
• pp.129-137
• /
• 2019

정보 기술의 발전에 따라 유비쿼터스 컴퓨팅 기술이 대두되고 있다. 이에 맞춰 디바이스의 소형화와 사용자의 편리성을 증대시키기 위한 여러 연구가 진행되고 있다. 그중 몇몇의 제안된 디바이스들은 사용자가 착용해야 한다는 점과 손에 들고 동작시켜야 한다는 불편함이 있다. 본 논문에서는 이러한 불편함을 해결하기 위해 텔레비전 시청 시 사용할 수 있는 가상 버튼을 제안하였다. 텔레비전을 통해 영상 시청 시 전방에서 사용자가 영상을 시청한다는 점을 이용해 카메라를 TV 상단에 설치하여 카메라가 머리 위쪽을 촬영하게 한다. 촬영된 영상에서 배경과 손 영역을 분리하여 검출하고, 검출된 손 영역에 외곽선을 검출한 후 손가락의 끝점을 검출한다. 손가락의 끝점을 검출하면 전방을 촬영하고 있는 영상 상단에 가상 버튼 인터페이스가 출력되며 검출된 손가락의 끝점이 포인터가 되어 위치정보를 갖고 버튼 안쪽에 위치할 경우 버튼이 동작한다.

• 한국산학기술학회논문지
• /
• 제21권7호
• /
• pp.685-691
• /
• 2020

본 논문에서는 77GHz를 사용하는 밀리미터파 레이더 센서의 반향 신호를 이용하여 손동작의 움직임을 추적한 후 얻어진 데이터로 0부터 9까지의 숫자들을 인식하는 알고리즘을 개발하였다. 손동작을 감지하여 레이더 센서로부터 얻어진 반향 신호들은 산란 단면적의 차이 등에 의해 불규칙한 점들의 군집형태를 보인다. 이들로부터 유효한 중심점을 얻기 위해 3차원 좌푯값들을 이용해 K-Means 알고리즘을 적용하였다. 그리고 얻어진 중심점들을 연결하여 숫자 형태의 이미지를 생성하였다. 얻어진 이미지와 스무딩 기법을 적용해 사람의 손글씨 형태와 유사하게 만든 이미지를 MNIST(Modified National Institute of Standards and Technology database)로 훈련된 CNN(Convolutional Neural Network) 모델에 입력하여 인식률을 비교하였다. 실험은 두 가지 방법으로 진행되었다. 먼저 스무딩 기법을 적용한 이미지와 적용하지 않은 이미지를 사용한 인식 실험에서는 각각 평균 77.0%와 81.0%의 인식률을 얻었다. 그리고 학습데이터를 확장(augmentation)한 CNN 모델의 실험에서는 스무딩 기법을 적용한 이미지와 적용하지 않은 이미지를 사용한 인식 실험에서 각각 평균 97.5%와 평균 99.0%의 인식률을 얻었다. 본 연구는 레이더 센서를 이용한 다양한 비접촉 인식기술에 응용이 가능할 것으로 판단된다.

• 한국멀티미디어학회논문지
• /
• 제14권10호
• /
• pp.1348-1364
• /
• 2011

기존의 아동용 에듀테인먼트 콘텐츠는 교육에 사용되는 학습 교구 및 콘텐츠가 교육 대상자에 대하여 반응을 일방적으로 유도하는 수동적인 교육이 이루어져 능동적이고 자발적인 학 습이 가능하도록 하는 콘텐츠 개발 방법이 절실히 요구되고 있다. 이에 본 논문에서는 행위기반 에듀테인먼트 콘텐츠의 상호작용 교구로서 주사위 형태의 체감형 인터페이스 개발과 깊이 영상 정보 기반의 손동작 인식 기술을 활용한 아동용 에듀테인먼트 콘텐츠 개발 방법을 제안하였다. 또한 교수자가 전체적인 학습 코스웨어를 설정하고 관리 할 수 있는 학습 퀴즈 문제 저작 관리 도구 및 교육발달에 대한 실시간 모니터링용 학습 결과 로그 분석 시스템을 제안하였다. 본 연구에서 제안한 행위 기반 체감형 인터페이스 및 에듀테인먼트 콘텐츠는 조작이 간편하고 실체적 인터랙션을 제공하므로 서 흥미를 더해 능동적이고 자발적인 학습이 가능하다. 또한 학습퀴즈 콘텐츠 저작 관리 도구와 학습 결과 로그 분석 시스템은 아동에 대한 수준별 학습프로그램 구성이 가능하고 또한 아동들이 학습을 스스로 문제를 풀어가는 과정과 얻어진 결과를 바탕으로 이용자의 학습 발달 상황 및 행태를 파악하고 학습계획에 대한 평가 자료로 활용하므로 서 아동의 학습발달에 대한 실시간 모니터링이 가능할 것으로 예상된다.

• 동의신경정신과학회지
• /
• 제25권2호
• /
• pp.203-212
• /
• 2014

Objectives: The aim of this study is to bring new light on TalYeong-SilJeong (exhaustion of Yeonggi and loss of Essence) through the verification of both the original intention of Hwangjenaegyeong and the conceptual variation afterwards. Methods: Of various East Asian medical texts, those inferring to TalYeong-SilJeong includeing Hwangjenaegyeong itself were closely examined under the aspect of its conception. Results: TalYeong-SilJeong was suggested as the first representative tool and accurate diagnostic method of questioning in order to determine the mental state of a patient. However, medical scholars have suggested different levels of meaning. Some used the term for the broad coverage of mental illnesses, understanding Hwangjenaegyeong's discrimination as symbolic gesture, while others projected an unchallenged value on it and weaved it into the concrete set of a disease. Conclusions: The treatment of TalYeong-SilJeong is suggested according to the varying viewpoints of each medical text. By understanding multiple layers of the conception beyond, a clinician is expected to gain an exuberant image of conception on the one hand and an insight for more effective treatment on the other hand.

• International Journal of Contents
• /
• 제7권1호
• /
• pp.14-22
• /
• 2011

Temporal Sign Language Recognition (TSLR) from hand motion is an active area of gesture recognition research in facilitating efficient communication with deaf people. TSLR systems consist of two stages: a motion sensing step which extracts useful features from signers' motion and a classification process which classifies these features as a performed sign. This work focuses on two of the research problems, namely unknown time varying signal of sign languages in feature extraction stage and computing complexity and time consumption in classification stage due to a very large sign sequences database. In this paper, we propose a combination of Dynamic Time Warping (DTW) and application of the Single hidden Layer Feedforward Neural networks (SLFNs) trained by Extreme Learning Machine (ELM) to cope the limitations. DTW has several advantages over other approaches in that it can align the length of the time series data to a same prior size, while ELM is a useful technique for classifying these warped features. Our experiment demonstrates the efficiency of the proposed method with the recognition accuracy up to 98.67%. The proposed approach can be generalized to more detailed measurements so as to recognize hand gestures, body motion and facial expression.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.60-63
• /
• 2008

소니 아이토이는 Playstation 2에서 개발되었으며 웹캠을 이용하여 사람을 찾고 TV를 통해 게임속의 객체를 직접 터치하여 진행하는 게임이다. 기존의 비디오 게임 방식과 다르게 사용자가 게임 속에 실제적인 주인공으로 등장한다. 거울에 비친 모습처럼 자신의 모습이 게임 안에 나타나게 된다. 비록 이미 상용화되었고 잘 알려진 게임이지만 이러한 게임인터페이스는 사용자에게 흥미를 유도할 수 있는 장점이 있기 때문에 새롭게 개발 응용될 가능성이 많이 있다. 본 논문에서는 이러한 게임을 개발할 수 있는 환경을 개발하기 위해 피부색을 이용해 사람을 찾는 영상처리 과정, 게임 개발을 위한 그래픽, 게임인터페이스 설계과정을 연구하였다. 설계된 개발환경은 간단한 풍선 터뜨리는 게임을 통해 테스트되었다. 이 개발환경은 영상처리 기능 개선, 제스처인식 추가 등 앞으로 많은 발전 가능성이 있으며 곧 오픈되어 많은 개발자들이 시험적으로 사용할 수 있을 것이다.