• Journal of Broadcast Engineering
• /
• v.19 no.6
• /
• pp.942-956
• /
• 2014

This paper proposes a real-time hand pose tracking method using a monocular RGB camera. Hand tracking has high ambiguity since a hand has a number of degrees of freedom. Thus, to reduce the ambiguity the proposed method adopts the step-by-step estimation scheme: a palm pose estimation, a finger yaw motion estimation, and a finger pitch motion estimation, which are performed in consecutive order. Assuming a hand to be a plane, the proposed method utilizes a planar hand model, which facilitates a hand model regeneration. The hand model regeneration modifies the hand model to fit a current user's hand, and improves robustness and accuracy of the tracking results. The proposed method can work in real-time and does not require GPU-based processing. Thus, it can be applied to various platforms including mobile devices such as Google Glass. The effectiveness and performance of the proposed method will be verified through various experiments.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2011.01a
• /
• pp.173-174
• /
• 2011

본 논문에서는 마우스 제어를 위한 손 인식 시스템을 제안한다. 이를 위하여 배경영상과 입력영상의 차영상을 이용하여 움직임 영역을 구하고, RGB 컬러모델을 HSV 컬러모델로 변환하여 피부색상과 유사한 영역을 얻는다. 이 둘 사이의 교집합을 통하여 손 후보 영역을 추출하고 모폴로지 연산을 통해 잡음을 제거한 후 손 영상을 추출한다. 추출한 손 영상을 모폴로지 연산을 이용하여 손바닥 영역과 손가락 영역으로 분리한 다음 손바닥 영역의 위치정보를 마우스의 좌표로, 손가락의 개수를 마우스 이벤트로 정의하여 마우스를 제어한다. 실험 결과는 제안된 시스템이 마우스 제어에 효과적으로 사용될 수 있음을 보이고 있다.

• Journal of the Korea Convergence Society
• /
• v.10 no.5
• /
• pp.95-102
• /
• 2019

This study was to investigate the effect of eye movement and intentional finger movement on cognitive ability. Normal adult subjects were randomly divided into two groups: saccadic eye movement(SEM) and intentional finger movement(IFM). After 2 weeks of intervention, Digit span was used for short-term memory test and N-back was used for working memory test. As a result, the short-term memory of the IFM group increased significantly over time, and the follow-up test showed difference between group. The IFM group's the execution time, the error count and the accuracy rate of n-back item showed significant effects over time. The SEM group's the execution time and the accuracy of n-back item showed significant effects over time. In conclusion, the IFM method, which is a multiple stimulus that can activate the cerebral cortex more extensively than the single stimulus SEM, may be more useful as an intervention method of cognitive function improvement.

• 한국HCI학회:학술대회논문집
• /
• 2007.02b
• /
• pp.1-6
• /
• 2007

최근 다양한 기기와 환경에서 문자 입력에 대한 요구가 높아지고 있다. 이에 따라 효율적인 문자 입력 인터페이스 설계를 위해 문자 입력 인터페이스의 평가가 필요한 실정이다. 기존 연구를 살펴보면 문자 입력 시간을 시각 탐색 시간과 손가락 이동 시간으로 나누고 정보처리 이론인 Hick-Hyman Law와 Fitts’ Law를 통해 예측, 평가 하였다. 하지만 위 두 과정은 연속적(serial)인 과정으로 눈과 손의 coordination(협응)에 대해 관과 하는 한계가 있다. 또한, 기존 문자 입력 시간 예측 모델은 전문가라는 특정 숙련도를 가정하고 만들어졌기 때문에 실제 문자 입력 시간에 비해 과대 측정되어 왔다. 이에 본 연구는 문자 입력 시간 예측 모델에 눈-손 coordination 매개변수를 삽입하고자 눈-손 coordination의 시간을 측정하고 행태를 분석하였다. 또한, 비숙련자와 숙련자의 구분을 통해 시각 탐색 시간과 손 움직임 시간 그리고 눈-손 coordination의 시간 과 행태가 어떻게 변화하는 지 분석하였다. 그 결과 눈-손 coordination 시간은 문자 입력 시간과 밀접한 관계가 있었다, 그리고, 눈-손 coordination 시간은 숙련도에 상관없이 문자 입력 시간의 22%를 차지하였다. 또한, 숙련자와 비숙련자의 문자 입력 시간과 비교해 손과 coordination 시간 비율은 차이가 없었다. 하지만, 눈의 움직임 시간 비율은 큰 차이를 나타내었다. 이 결과는 눈-손 coordination과 숙련도 차이를 기존 문자 입력 예측 모델에 매개변수로써 적용하기 위한 기초 자료가 될 것이다.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.197-199
• /
• 2017

재난 상황이나 우주 공간과 같은 환경에서는 인간이 직접 작업을 수행하기가 매우 어렵다. 따라서 이러한 환경에서 인명 구조나 탐사 등을 진행할 때에는 원격으로 제어가능한 로봇을 활용하는 것이 효과적이다. 특히 이 로봇이 인간의 움직임을 실시간으로 모방한다면 직관적이고 순발력 있는 제어가 가능해진다. 본 연구에서는 키넥트 센서를 이용해 인간의 움직임을 인식하고 이 움직임을 모방하는 로봇핸드와 로봇암을 구현하였다. 하드웨어는 TETRIX와 EV3 플랫폼을 이용하여 설계하였고, 소프트웨어는 C# 기반의 KINECT for Windows SDK와 Visual Studio 2015로 구현하였다. 본 연구에서 구현한 시스템은 재난 현장에서의 인명 구조, 복구 상황에서와 우주 공간에서의 탐사 상황에서 유용하게 사용될 수 있을 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.129-132
• /
• 2009

컴퓨터의 소형화로 휴대성과 공간의 제약이 없는 컴퓨터 인터페이싱 방법의 필요성이 증가하고 있으며, 이와 관련하여 인간-컴퓨터 상호작용(HCI)을 위한 제스처 기반의 제어방식에 대한 연구가 활발하게 진행되고 있다. 기존의 손동작 인터페이스 구현들은 컴퓨터를 제어하기 위하여 사용방법에 대한 선행학습이 필요하였다. 이 논문은 사용자의 손 모양과 손끝 정보만을 가지고 선행학습이 요구되지 않는 간편한 인터페이스 구현방법을 제안하였다. 이를 위해 1대의 웹캠과 인텔의 오픈소스 영상처리 라이브러리 OpenCv를 사용하였다. 차영상과 화소값 기반의 영상처리과정을 통해 실시간으로 손 영역을 추적하고 이를 이진화 시켰다. 손가락의 움직임도 값이 변하지 않도록 중심모멘트를 설정하여 마우스 커서 움직임을 상대적으로 활용하였다. 상황에 따라 손 끝점을 절대적 좌표로 활용하여 손이 웹캠에서 벋어날 때 움직임을 자연스럽게 연결시켰다. 마지막으로 검지의 움직임 하나 만으로 마우스 클릭 이벤트를 수행함으로써 보다 사용자에게 친숙한 핸드마우스 인터페이스를 구현하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.516-520
• /
• 2010

컴퓨터와 인간과의 상호작용에서 다양한 형태의 인터페이스에 대한 요구가 날로 커지고 있다. 그 가운데 실생활에서도 사물을 지칭하거나 의사소통의 수단으로 사용되는 손과 관련한 인터페이스에 대한 연구가 주목 받고 있다. 기존의 대부분의 연구들은 손을 입력 받으면 영상을 기반으로 손의 중심점을 찾아 그것의 위치를 인식하였는데 이는 물체에 의해 손이 가려진 것과 같이 잘못된 영상을 입력 받았을 때 원하는 결과를 얻지 못하는 상황을 야기할 수 있다. 본 논문은 이러한 점을 보완하기 위하여 손의 중심점을 찾을 때 방해 받는 물체에 덜 민감하게 반응하도록 칼만 필터를 적용하여 문제점을 개선할 수 있도록 하였다. 또한 결과의 정확도를 높일 수 있도록 손가락 끝점을 추출하여 칼만 필터의 매개변수에 반영시켜주었다. 그 결과 예기치 못한 상황이 발생했을 때에도 이것에 덜 민감하게 반응하면서 손의 위치를 비교적 정확하게 측정할 수 있었으며 시스템의 과정이 간단하여 실시간으로 응용하기에 적합한 것을 알 수 있었다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.15 no.3
• /
• pp.85-90
• /
• 2014

In this paper, we propose a virtual violin implementation using the detection of bowing and finger dropping position from the estimated finger tip and finger board information with the 3D image data from a Kinect. Violin finger board pattern and depth information are extracted from the color image and depth image to detect the touch event on the violin finger board and to identify the touched position. Final decision of activated musical alphabet is carried out with the finger drop position and bowing information. Our virtual violin uses PC MIDI to output synthesized violin sound. The experimental results showed that the proposed method can detect finger drop position and bowing detection with high accuracy. Virtual violin can be utilized for the easy and convenient interface for a beginner to learn playing violin with the PC-based learning software.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.14 no.3
• /
• pp.723-728
• /
• 2010

This study proposed a design of a portable device for measuring heart rate using photoplethysmograph signal to minimize load of a nurse increased from insufficiency of an internal hospital nurse, and algorithm to measure reliable heart rate in PPG signals despite the existence of patient's motion artifacts. The proposed method for measuring heart rate is the method to minimize the motion interference by using the adaptive filter based on harmonic characteristic of PPG signal. To evaluate the performances of the a portable device implemented by the proposed method, we used several motion artifacts including finger and wrist movements; we then compared out results with the performance of the moving average filter. In this results, the proposed method showed a better performance than that of the moving average filter. Therefore, when nurses use the a portable device for measuring heart rate proposed in this study, it will enable to improve nurse work and to measure the reliable heart rate.

• Journal of Internet Computing and Services
• /
• v.15 no.4
• /
• pp.33-42
• /
• 2014

Hand-signal is an effective communication means in the situation where voice cannot be used for expression especially for soldiers. Vision-based approaches using cameras as input devices are widely suggested in the literature. However, these approaches are not suitable for soldiers that have unseen visions in many cases. in addition, existing special-glove approaches utilize the information of fingers only. Thus, they are still lack for soldiers' hand-signal recognition that involves not only finger motions, but also additional information such as the rotation of a hand. In this paper, we have designed and implemented a new recognition system for six military hand-signal motions, i. e., 'ready', 'move', quick move', 'crawl', 'stop', and 'lying-down'. For this purpose, we have proposed a finger-recognition method and motion-recognition methods. The finger-recognition method discriminate how much each finger is bended, i. e., 'completely flattened', 'slightly flattened', 'slightly bended', and 'completely bended'. The motion-recognition algorithms are based on the characterization of each hand-signal motion in terms of the three axes. Through repetitive experiments, our system have shown 91.2% of correct recognition.