• Journal of Platform Technology
• /
• 제11권1호
• /
• pp.38-51
• /
• 2023

인공지능에 기반한 손 제스처 인식 정보를 활용한 지능형 인터페이스 알고리즘을 제안한다. 이 방법은 기능적으로 사용자 손 제스처의 추적 및 인식을 미디어파이프와 KNN, LSTM, CNN의 인공지능 기법을 사용해 다양한 동작을 빠르고 지능적으로 인식되는 인터페이스이다. 제안한 알고리즘 성능 평가를 위해 자체 제작한 2D 탑뷰 레이싱 게임과 로봇제어에 적용한다. 알고리즘 적용 결과 게임의 가상 객체의 다양한 움직임을 세밀하고 강건하게 제어할 수 있었으며, 실세계의 로봇 제어에 적용한 결과 이동과 정지, 좌회전, 우회전 등의 제어가 가능하였다. 또한 게임의 메인 캐릭터와 실세계 로봇을 동시에 제어하여 가상과 현실의 공존공간 상황 제어를 위한 지능형 인터페이스로 최적화된 동작도 구현하였다. 제안한 알고리즘은 신체를 활용한 자연스럽고 직관적 특성과 손가락의 미세한 움직임 인식에 따른 정교한 제어가 가능하며, 빠른 기간 내에 숙련되는 장점이 있어 지능형 사용자 인터페이스 개발을 위한 기본자료로 활용될 수 있다.

• 대한의용생체공학회:의공학회지
• /
• 제37권3호
• /
• pp.105-111
• /
• 2016

Introduction: Surgical robot is the alternative instrument that substitutes the difficult and precise surgical operation; should have intuitiveness operationally to transfer natural motions. There are limitations of hand motion derived from contacting mechanical handle in the surgical robot master interface such as mechanical singularity, isotropy, coupling problems. In this paper, we will confirm and verify the feasibility of intuitive Non-restraint master interface which tracking the hand motion using infra-red camera and only 3 reflective markers without the hardware handle for the surgical robot master interface. Materials & methods: We configured S/W and H/W system; arranged 6 infra-red cameras and attached 3 reflective markers on hands for measuring 3 dimensional coordinate then we find the 7 motions of grasp, yaw, pitch, roll, px, py, pz. And we connected Virtual-Master to the slave surgical robot(Laparobot) and observed the feasibility. To verify the result of motion, we compare the result of Non-restraint master and that of clinometer (and protractor) through measuring 0~180 degree, 10degree interval, 1000 samples and recorded standard deviation stands for error rate of the value. Results: We confirmed that the average angle values of Non-restraint master interface is accurately corresponds to the result of clinometer (and protractor) and have low error rates during motion. Investigation & Conclusion: In this paper, we confirmed the feasibility and accuracy of 3D Non-restraint master interface that can offer the intuitive motion of non-contact hardware handle. As a result, we can expect the high intuitiveness, dexterousness of surgical robot.

• 디지털콘텐츠학회 논문지
• /
• 제13권2호
• /
• pp.235-245
• /
• 2012

우리는 본 논문에서 사용자 제스처 인터페이스 기반 퀴즈게임 콘텐츠를 제안한다. 우리는 기존의 아날로그 방식으로 수행해 오던 퀴즈게임의 요소들을 파악하여 디지털화함으로써 퀴즈 진행자의 역할을 콘텐츠 프로그램이 담당할 수 있도록 하였다. 우리는 키넥트 카메라를 사용하여 깊이영상을 획득하고 깊이영상에서 사용자 분할, 머리 위치 검출 및 추적, 손 검출 등의 전처리 작업과 손들기, 손 상하이동, 주먹 모양, 패스, 주먹 쥐고 당김 등의 명령형 손 제스처 인식기술을 개발하였다. 특히 우리는 사람이 일상생활에서 물리적인 객체를 조작하는 동작으로 인터페이스를 위한 제스처를 정의함으로써 사용자가 이동, 선택, 확인 등의 추상적인 개념을 인터페이스 과정에서 체감할 수 있도록 디자인하였다. 앞서 발표되었던 선행 작업과 비교할 때, 우리는 승리 팀에 대한 카드보상 절차를 추가하여 콘텐츠의 완성도를 높였으며, 손 상하이동 인식과 주먹 모양 인식 알고리즘 등을 개선하여 문제 보기선택의 성능을 크게 향상시켰고, 체계적인 실험을 통해 만족할 만한 인식 성능을 입증하였다. 구현된 콘텐츠는 실시간 테스트에서 만족스러운 제스처 인식 결과를 보였으며 원활한 퀴즈게임 진행이 가능하였다.

• 전력전자학회:학술대회논문집
• /
• 전력전자학회 2007년도 하계학술대회 논문집
• /
• pp.247-249
• /
• 2007

This paper proposes a dry-type surface myoelectric sensor for the myoelectric hand prosthesis. The designed surface myoelectric sensor is composed of skin interface and processing circuits. The skin interface has one reference and two input electrodes, and the reference electrode is located in the center of two input electrodes. Considering the conduction velocity and the median frequency of the myoelectric signal, the inter-electrode distance (IED) between two input electrodes as 18mm, 20mm, and 22mm is selected. The signal processing circuit consists of a differential amplifier with a band pass filter, a band rejection filter for rejecting 60㎐ power-line noise, amplifier, and a level circuit. Using SUS440, six prototype skin interface with different reference electrode shape and IED is fabricated, and their output characteristics are evaluated by output signal obtained from the forearm of a healthy subject. The experimental results show that the skin interface with parallel bar shape and the 18mm IED has a good output characteristics. The fabricated dry-type surface myoelectric sensor is evaluated for the upper-limb amputee.

• 한국멀티미디어학회논문지
• /
• 제13권2호
• /
• pp.316-323
• /
• 2010

본 논문에서는 증강현실 응용을 위한 손 끝점 추출과 손 동작 인식 기법을 제안한다. 먼저 RGB 컬러 영역에서 HSV 컬러 영역으로 영상을 변환하고, H, S 값에 대한 이중 임계값과 영역 확장 기법, 연결 요소 분석을 이용한 손을 분할한다. 다음으로 가상 키보드와 마우스의 입력을 위해서 모폴로지 연산과 감산을 통하여 검지와 엄지 손가락 끝점을 추출한다. 마지막으로 마우스 버튼 클릭의 역할을 하기 위하여 손바닥의 무게중심점에 대한 엄지와 검지 손가락 끝점의 각도를 계산하여 엄지와 검지 손가락의 떨어지고, 붙는 동작을 인식한다. 다양한 입력 영상들에 대한 실험 결과는 제안 기법이 고속으로 정확하게 손을 분할하고, 손 끝점을 추출하여 손 동작을 인식할 수 있음을 보여주었다. 제안 기법은 증강 현실 응용을 위한 정보 입력 인터페이스로 사용될 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권2호
• /
• pp.1-9
• /
• 2019

본 연구는 몰입형 가상현실에서의 상호작용 과정에서 사용자의 몰입을 높여 향상된 현존감을 제공하는 손 기반 인터페이스에 대한 비교 실험을 진행한다. 몰입형 가상현실에서 사용자에게 장비의 부담을 최소화하면서 동시에 손을 보다 직접적으로 사용하여 가상 환경과 객체를 제어할 수 있는 몰입형 체험 환경을 제공하기 위하여 손 동작 인식 센서 기반 상호작용과 컨트롤러 기반 상호작용의 두 가지 실험 인터페이스를 설계한다. 손 동작 인식 센서 기반 상호작용은 VR (virtual reality) HMD (head mounted display) 외에 추가적인 장비를 사용하는 대신 정확한 손의 움직임과 직접적인 제스쳐 및 동작 표현을 가상 환경에 반영한다. 컨트롤러 기반 상호작용은 VR HMD와 함께 제공되는 컨트롤러를 쉽게 활용할 수 있도록 손의 제스쳐와 컨트롤러의 키를 매핑시킨 일반화된 인터페이스를 설계한다. 이러한 과정을 통해 본 연구는 손을 활용한 가상현실에서의 상호작용이 사용자의 편리함과 직관성에 측면에서 현존감에 미치는 영향을 비교 실험을 통해 확인한다.

• 한국HCI학회논문지
• /
• 제6권1호
• /
• pp.1-8
• /
• 2011

최근 가상현실에 대한 관심이 높아짐에 따라 다양한 서비스와 어플리케이션이 개발되고 있으며, 이와 더불어 몰입형 상호작용을 위한 제스처 기반 사용자 인터페이스가 활발히 연구되고 있다. 본 논문에서는 가상현실 환경 내 사용자 움직임을 효과적으로 반영하고 몰입감을 높이기 위해 제스처 인식 기반 착용식 사용자 인터페이스를 제안한다. 제안하는 인터페이스는 적외선 LED가 부착되어 있는 헬멧과 적외선 수신기를 이용하여 사용자의 머리 움직임을 인식하며, 양 손에 착용한 데이터 글로브로부터 사용자의 손 제스처를 인식한다. 또한, 헤드 마운트 디스플레이 장치(HMD)를 이용하여 직접 사용자의 시점 변화와 가상환경의 시점 변화를 일치시킨다. 손 제스처의 경우 다수의 관절로 이루어져 있는 손의 특성상 다양한 동작이 가능하며 손 크기나 손동작이 사람마다 모두 다르기 때문에 다양한 사용자들을 대상으로 할 때, 일반적인 모델로는 정확한 인식이 어렵다. 본 논문에서는 다양한 사용자를 대상으로 정확히 손 제스처를 인식하기 위해 Mixture-of-Experts 기반 인식 방법을 적용하였다. 제안하는 인터페이스의 유용성을 평가하기 위해 가상 오케스트라 지휘 환경을 구현하여 인터페이스의 동작 성능을 분석하고 사용성 평가를 수행하였다. 그 결과, 사용자들이 쉽고 직관적으로 사용할 수 있으며 흥미를 유발함을 확인하였다.

• 전기학회논문지
• /
• 제64권3호
• /
• pp.465-472
• /
• 2015

This paper presents a visual touch recognition for NUI(Natural User Interface) using Voronoi-tessellation algorithm. The proposed algorithms are three parts as follows: hand region extraction, hand feature point extraction, visual-touch recognition. To improve the robustness of hand region extraction, we propose RGB/HSI color model, Canny edge detection algorithm, and use of spatial frequency information. In addition, to improve the accuracy of the recognition of hand feature point extraction, we propose the use of Douglas Peucker algorithm, Also, to recognize the visual touch, we propose the use of the Voronoi-tessellation algorithm. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.216-218
• /
• 2007

Korean Sign Language (KSL) is a communication method for the Deaf in Korea, and hand shape is one of important elements in sign language. In this paper, we developed a KSL hand shape editor to simply compose hand shape and connect it to a database. We can edit hand shape by a graphical user interface (GUI) on 3D virtual reality environment. Hand shape codes are connected to a sign word editor to synthesize sign motion and to decrease total amount of KSL data.

• 한국게임학회 논문지
• /
• 제12권5호
• /
• pp.79-88
• /
• 2012

본 논문에서는 키보드나 마우스를 이용하지 않고 손 포즈나 동작으로 직관적인 사용자 인터 페이스를 제공하기 위한 실시간 손 포즈 인식 방법을 제안한다. 먼저 깊이 카메라 입력영상에서 왼손과 오른손의 영역을 분할 및 잡음 보정 후 각 손 영역에 대하여 손 회전각과 손 중심점을 계산한다. 그리고 손 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절점과 끝점을 검출한다. 마지막으로 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식한 후 다음 프레임을 위하여 손 모델을 갱신한다. 본 방법은 연속된 프레임간의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 통하여 은닉된 손가락의 예측이 가능하다. 양손을 사용하여 은닉된 손가락을 가진 다양한 손 포즈에 대해 실험한 결과 제안 방법은 평균 95% 이상의 정확도로 32 fps 이상의 성능을 보였다. 제안 방법은 프리젠테이션, 광고, 교육, 게임 등의 응용분야에서 비접촉식 입력 인터페이스로 사용될 수 있다.