• 한국차세대컴퓨팅학회논문지
• /
• 제15권5호
• /
• pp.53-63
• /
• 2019

모바일 환경에서 딥러닝을 통한 손 제스처 인터페이스를 제공하려면 높은 인식률을 제공하면서 실행속도의 저하를 막기 위한 네트워크 경량화의 연구가 필수적이다. 본 논문은 딥러닝 모델의 경량화를 통해 모바일 기기에서 손가락을 이용하여 공중에 쓴 문자를 실시간으로 인식하는 방법을 제안한다. MobileNet을 특징 추출기로 활용하는 객체 탐지 모델인 SSD (Single Shot Detector)를 기반으로 집게손가락을 탐지하고 손끝 경로를 이어 결과문자 영상을 생성한다. 이 영상은 서버로 전송되어 정규화 과정을 수행한 다음 학습된 OCR 모델을 이용하여 문자를 인식한다. 본 방법을 검증하기 위하여 12명의 사용자가 GALAXY S10+ 기기를 사용하여 1,000개의 단어를 실험한 결과 평균 88.6%의 정확도로 손가락을 인식하고 124 ms 이내로 인식된 텍스트가 출력되어 실시간으로 활용 가능함을 알 수 있었다. 본 연구결과는 모바일 환경에서 손가락을 이용한 간단한 문자 전송, 메모 및 공중 서명 등에 활용될 수 있다.

• 방송공학회논문지
• /
• 제21권1호
• /
• pp.11-23
• /
• 2016

터치 인터페이스는 가장 최근에 등장한 상호작용 인터페이스 중에서도 그 사용성과 응용성이 뛰어난 인터페이스이다. 기술의 발전과 더불어 터치 인터페이스는 현대 사회에서 시계에서부터 광고판까지 많은 영역에 걸쳐 빠르게 퍼져나가고 있다. 하지만 여전히 터치 상호작용은 접촉식 센서가 내장되어있는 유효한 영역 내에서만 이루어질 수 있다. 따라서 센서가 내장될 수 없는 일반적인 사물들과의 상호작용은 아직 불가능한 상황이다. 본 논문에서는 이와 같은 제약 사항을 극복하기 위해 RGB-D 카메라를 이용한 사람-사물 상호작용 프레임워크를 제안한다. 제안하는 프레임워크는 물체와 사용자의 손이 서로 가려지는 상황에서도 서로 문제없이 상호작용을 수행할 수 있는 장점을 가지고 있으며, 빠르고 크기 변화와 회전에 강인한 물체 인식 알고리즘과 윤곽 정보를 이용한 손 제스처 인식 알고리즘을 통해 실시간으로 사용자가 사물과 상호작용을 수행할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제18권8호
• /
• pp.65-75
• /
• 2013

본 논문에서는 깊이 영상만을 이용하여 손 영역 추적 및 손 끝점 검출 방법을 제안한다. 조명 조건의 영향을 제거하고 빠르고 안정적인 정보 획득을 위해 깊이 정보만을 이용하는 추적 방법을 제안하고, 영역 확장 방법을 통해 추적 과정 중에 발생할 수 있는 오류에 대한 판단 방법과 다양한 제스처 인식에 응용이 가능한 손 끝점 검출 방법을 제안한다. 먼저 추적점을 찾기 위해 중심점 전이 과정을 통해 최근접점을 찾고 그 점으로부터 영역 확장을 통해 손 영역과 경계선을 검출한다. 그리고 영역 확장을 통해 획득한 무효경계선의 비율을 이용하여 추적영역에 대한 신뢰도를 계산함으로써 정상 추적 여부를 판단한다. 정상적인 추적인 경우, 검출된 손 영역으로부터 윤곽선을 추출하고 곡률 및 RANSAC, 컨벡스 헐(Convex-Hull)을 이용하여 손 끝점을 검출한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 추적 및 손 끝점 검출 알고리즘의 효율성을 입증한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 2부
• /
• pp.221-226
• /
• 2006

원격 3차원 디자인 협업 환경이란 원거리에 있는 디자이너들이 3차원 모델을 함께 동시적으로 다루는 협업 환경으로서, 제품 개발 프로세스의 비용과 시간을 단축하는데 매우 중요한 역할을 한다. 그러나 이에 대한 연구는 아직 미비한 실정이며 기존의 연구들도 2차원 데스크탑 환경에 제한된 문제점이 있다. 따라서 본 연구는 새로운 협업 환경의 제안을 통해 지리적으로 떨어진 디자이너들간의 3D 모델에 관한 원활한 협업을 촉진하는 것을 목표로 한다. 본 연구에서 제안한 증강현실 기반의 원격 3차원 디자인 협업 환경은 3D 모델의 공유를 위한 회전 원반(turntable)과 상대의 위치 및 제스처 정보를 제공하는 가상 그림자(virtual shadows)로 구성된다. 동시적으로 회전하는 회전원반은 물리적인 매개체로서 가상물체와 실제 세계를 자연스럽게 연결하는 동시에 상대의 실재감을 높인다. 가상그림자는 가상물체 주위로 보여지는 사람들의 손과 팔의 움직임을 시각화하여 공유하는 것으로, 상대의 위치뿐 아니라 지시, 제스처 등 행동에 대한 인식이 지속적으로 이루어지게 한다. 프로토타입을 제작하고 사용자 평가 실험을 실시하여 3차원 모델을 검토하는 단계에 그 유용성이 있음을 확인하였다. 데스크탑 환경의 모델링 툴에 익숙한 사용자들은 실제 공간에서 가상물체를 조작할 수 있음에 긍정적인 반응을 보였고 회전원반과 가상그림자의 제공은 태스크 수행의 정확도를 높이며 협업을 촉진하는 결과를 보였다. 본 연구는 환경적 제약으로 원활하게 이루어지지 못했던 3D 모델에 관한 원격 협업에 의사소통의 장을 마련하고 이를 촉진시킨다는 점에서 그 의의가 있다. 본 환경에서 제시한 상대방과 협업대상물에 대한 심리적, 물리적 공유 감을 증대시키는 방법들은 3D 모델에 관한 디자인 협업에서 확장되어 다른 원격 협업을 지원하는 데도 적용될 수 있을 것이다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.60-63
• /
• 2008

소니 아이토이는 Playstation 2에서 개발되었으며 웹캠을 이용하여 사람을 찾고 TV를 통해 게임속의 객체를 직접 터치하여 진행하는 게임이다. 기존의 비디오 게임 방식과 다르게 사용자가 게임 속에 실제적인 주인공으로 등장한다. 거울에 비친 모습처럼 자신의 모습이 게임 안에 나타나게 된다. 비록 이미 상용화되었고 잘 알려진 게임이지만 이러한 게임인터페이스는 사용자에게 흥미를 유도할 수 있는 장점이 있기 때문에 새롭게 개발 응용될 가능성이 많이 있다. 본 논문에서는 이러한 게임을 개발할 수 있는 환경을 개발하기 위해 피부색을 이용해 사람을 찾는 영상처리 과정, 게임 개발을 위한 그래픽, 게임인터페이스 설계과정을 연구하였다. 설계된 개발환경은 간단한 풍선 터뜨리는 게임을 통해 테스트되었다. 이 개발환경은 영상처리 기능 개선, 제스처인식 추가 등 앞으로 많은 발전 가능성이 있으며 곧 오픈되어 많은 개발자들이 시험적으로 사용할 수 있을 것이다.

• 로봇학회논문지
• /
• 제18권1호
• /
• pp.18-28
• /
• 2023

This study introduces a smart wrist band system with pressure measurements using wrist skin curvature variation due to finger motion. It is easy to wear and take off without pre-adaptation or surgery to use. By analyzing the depth variation of wrist skin curvature during each finger motion, we elaborated the most suitable location of each Force Sensitive Resistor (FSR) to be attached in the wristband with anatomical consideration. A 3D depth camera was used to investigate distinctive wrist locations, responsible for the anatomically de-coupled thumb, index, and middle finger, where the variations of wrist skin curvature appear independently. Then sensors within the wristband were attached correspondingly to measure the pressure change of those points and eventually the finger motion. The smart wrist band was validated for its practicality through two demonstrative applications, i.e., one for a real-time control of prosthetic robot hands and the other for natural human-computer interfacing. And hopefully other futuristic human-related applications would be benefited from the proposed smart wrist band system.

• 한국음향학회지
• /
• 제19권2호
• /
• pp.90-94
• /
• 2000

본 논문에서는 HMM 기반의 인식시스템에서 신뢰성이 낮은 입력패턴을 거절하기 위해 필요한 임계 문턱값을 효과적으로 추정하는 방법을 제안한다. Anti-model을 이용한 거절방식은 통계적 가설(statistical hypothesis)에 근거하여 주어진 입력에 대한 HMM과 anti-model 간의 유사도를 임계 문턱값과 비교하여 거절 여부를 결정한다. HMM은 각 클래스 별로 출력값의 편차가 심하게 나타나므로 일률적인 문턱값을 적용하는 것이 어렵다. 본 논문에서는 각 클래스 별로 HMM 생성을 위해 사용된 학습데이터를 이용하여 클래스에 종속적인 임계 문턱값을 추정하는 방법을 제안한다. 각 클래스에서의 임계 문턱값은 학습데이터에 대한 HMM과 anti-model 간의 유사도로부터 추정된다. 실험에서는 HMM 기반의 3차원 손 제스처 인식시스템에 대해 제안한 문턱값 추정방법을 적용하여 거절검사를 수행하였다. 실험 결과로부터 제안한 임계 문턱값 추정방법이 anti-model 구현 방식에 관계없이 적용이 가능하고 추정된 문턱값을 이용하여 부적절한 입력 패턴을 적절하게 거절할 수 있음을 확인할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권6호
• /
• pp.471-478
• /
• 2009

최근 다양한 3차원 콘텐츠 및 응용 프로그램의 개발되고, 컴퓨터 사용자 계층이 다양화됨으로 인하여 인터페이스에 대한 연구가 활발히 진행되고 있다. 본 연구는 사용자가 손을 이용하여 윈도우를 효율적으로 제어할 수 있도록 하는 것을 목적으로 한다. 기존 인터페이스에 관한 연구들은 고가의 장비를 사용하거나 복잡한 제스처 인식, 또는 부가적인 도구인 마커 등을 사용하는 문제가 있다. 이러한 단점을 개선하기 위하여 새로운 시각적 비접촉 인터페이스를 제안한다. 손을 사용하여 윈도우를 제어하기 위하여 HSV 색상공간을 이용하여 손 영역을 검출한다. 그리고 거리변환 행렬과 손 외곽선의 곡률을 이용하여 손의 중심과 손가락의 위치를 파악한다. 손의 중심과 손가락 위치를 이용하여 본 논문에서 제안하는 7가지의 제어 동작 중 사용자가 의도하는 동작을 파악하여 인터페이스로써 활용한다. 제안하는 인터페이스는 스테레오 카메라를 사용함으로써 사유자가 3차원 공간에서 거리감을 가지고 제어할 수 있도록 하였다. 그리고 간단한 손동작으로 제어하고자 하는 객체를 시각적으로 접촉할 수 있도록 함으로써 직관적인 제어가 가능하도록 하였다. 마지막으로 제안하는 인터페이스를 활용한 응용을 통해서 효율성을 확인한다.

• 전기전자학회논문지
• /
• 제23권4호
• /
• pp.1423-1429
• /
• 2019

최근에, 효율적인 상호작용을 지원하는 시스템 인 휴먼 머신 인터페이스(HMI)가 인기를 끌고있다. 본 논문에서는 차량 상호작용방법 중 하나로 새로운 실시간 저비용 손동작 제어 시스템을 제안한다. 계산 시간을 줄이기 위해 RGB 카메라를 사용하여 손 영역을 감지할 때 많은 계산이 필요하므로 TOF (Time-of-Flight) 카메라를 사용하여 깊이 정보를 취득한다. 또한, 푸리에 기술자를 사용하여 학습 모델을 줄였다. 푸리에 디스크립터는 전체 이미지에서 적은 수의 포인트만 사용하므로 학습 모델을 소형화 할 수 있다. 제안 된 기법의 성능을 평가하기 위해 데스크탑과 라즈베리 pi 2의 속도를 비교했다. 실험 결과에 따르면 소형 임베디드와 데스크탑의 성능 차이는 크지 않다. 제스처 인식 실험에서 95.16 %의 인식률이 확인되었다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.