• 융합신호처리학회논문지
• /
• 제11권1호
• /
• pp.13-18
• /
• 2010

멀티터치 관련 연구는 전반사 장애 현상(FTIR: Frustrated Total Internal Reflection)의 원리를 기반으로 기존 방법을 이용하여 단지 구현하는 것이 대부분이다. 또한 멀티 터치점(Blob-Points) 검출이나 사용자 제스쳐 인식에 있어서 성능 향상을 위한 소프트웨어적 해법에 관한 연구는 드문 실정이다. 따라서 본 논문에서는 확산 투광(DI: Diffused Illumination) 방식을 기반으로 개선된 터치점 검출과 사용자 제스쳐 인식에 의한 멀티터치 테이블-탑 디스플레이를 구현한다. 제안된 방법은 실행 중인 어플리케이션 내의 객체들을 위한 동시 변형 멀티터치 명령을 지원하며, 제안한 사전 테스팅(Pre-Testing) 방법에 의해서 멀티 터치점 검출 과정에서 시스템 지연 시간의 감소가 가능하다. 구현된 멀티터치 테이블-탑 디스플레이 장치는 OSC(Open Sound Control) 프로토콜을 기반으로 하는 TUIO(Tangib1e User Interface Object) 환경에서 Flash AS3 어플리케이션을 제작하여 시뮬레이션 한 결과 최대 37% 시스템 지연 시간의 감소와 멀티터치 제스쳐 인식에서 성공적인 결과를 보였다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.499-505
• /
• 2012

Objective: Research on the transformation of interaction between mobile machines and users through analysis on current gesture interface technology development trend. Background: For smooth interaction between machines and users, interface technology has evolved from "command line" to "mouse", and now "touch" and "gesture recognition" have been researched and being used. In the future, the technology is destined to evolve into "multi-modal", the fusion of the visual and auditory senses and "3D multi-modal", where three dimensional virtual world and brain waves are being used. Method: Within the development of computer interface, which follows the evolution of mobile machines, actively researching gesture interface and related technologies' trend and development will be studied comprehensively. Through investigation based on gesture based information gathering techniques, they will be separated in four categories: sensor, touch, visual, and multi-modal gesture interfaces. Each category will be researched through technology trend and existing actual examples. Through this methods, the transformation of mobile machine and human interaction will be studied. Conclusion: Gesture based interface technology realizes intelligent communication skill on interaction relation ship between existing static machines and users. Thus, this technology is important element technology that will transform the interaction between a man and a machine more dynamic. Application: The result of this study may help to develop gesture interface design currently in use.

• 스마트미디어저널
• /
• 제4권1호
• /
• pp.16-24
• /
• 2015

본 논문에서는 멀티터치 추적 및 제스처 인식을 위하여 MRF기반 입자필터와 제스처 우도 측정 방법을 제안한다. 멀티터치 추적에서 자주 발생하는 문제 중 하나는 강탈 문제이며 터치 객체 추적기가 이웃 터치 객체에게 빼앗기는 현상을 가리킨다. 강탈 문제의 원인은 입자필터의 예측 입자들이 이웃 터치 객체에 가까이 갈 경우 입자의 가중치(우도)가 낮아야 하지만 이웃 객체 영향으로 높게 계산되는 오류 때문이다. 따라서 MRF를 기반으로 이웃 객체에 가까운 입자의 가중치를 낮추는 벌점함수를 정의한다. MRF가 멀티터치를 노드로 정의하고 거리가 가까운 이웃 멀티터치들을 에지로 표현한 그래프정보이므로 이웃 멀티터치들에 대한 데이터구조로 활용되기 쉽다. 또한 MRF 그래프 정보를 바탕으로 멀티터치 제스처 분석이 가능하다. 본 논문에서는 MRF를 기반으로 다양한 제스처 우도를 정의할 수 있는 방법을 서술한다. 실험 결과에서는 제안 방법이 효과적으로 강탈 현상을 회피하고 멀티터치 제스처 우도를 정확히 측정할 수 있음을 확인할 수 있다.

• International Journal of Advanced Culture Technology
• /
• 제1권1호
• /
• pp.15-18
• /
• 2013

This paper describes new gestures on the Multi-touch table. The 2 new gestures with 3 fingers are used for minimizing of all windows that is already open and converting Aero mode. We also implement a FTIR (Frustrated Total Internal Reflection) Multi-touch table that consists of sheet of acrylic, infrared LEDs, camera and rear projector. The operation of proposed gestures is verified on the implemented Multi-touch table.

• 한국멀티미디어학회논문지
• /
• 제13권8호
• /
• pp.1235-1244
• /
• 2010

최근 아이폰을 필두로 급부상하는 스마트폰의 정전기식 입력 장치에서는 펜 입력장치나 감압식 입력 장치를 위해 만들어진 제스처기반 인터페이스가 적합하지 않다. 손가락 튕김 인터페이스는 기존의 제스처기반 인터페이스에서 사용했던 플릭 제스처와 달리 명령을 적용시킬 대상과 명령을 동시에 선택함으로 작업 단계를 절반으로 감소시킬 수 있다. 뿐만 아니라, 멀티터치 인터페이스와 병합하여 사용함으로 다양한 메뉴 지원이 가능하여 복잡한 제스처를 학습할 필요가 없고, 정전기식 입력 장치 장치에 사용하기 적합하여 입력 오류를 최소화 시킨다. 본 연구에서는 정전기식 입력 장치를 가지는 스마트 폰 장치에서의 파일 관리를 빠르게 해주는 다중 손가락 튕김 인터페이스를 설계하고 구현한다. 실험에서는 사용자 평가를 통해 제안하는 인터페이스가 정전기식 입력 장치에서 기존 방식보다 유용함을 증명한다.

• 한국인터넷방송통신학회논문지
• /
• 제15권2호
• /
• pp.167-173
• /
• 2015

손-동작(Hand-Gesture) 인터페이스 기술에서 사용자의 다중 입력을 위하여 손가락 끝점(Finger end-points)의 추출은 가장 중요한 과정 가운데 하나이다. 그러나 이전의 방법들은 손 영역을 추출하고 기하학적 또는 형태학적 영상 처리 방법에 기반하여 손-동작 명령 수행을 위한 손가락 끝점 추출을 수행하고 있다. 따라서 본 논문에서는 멀티터치(Multi-Touch) 디스플레이 장치에서 사용자 입력 처리를 위해서 사용되는 적외선 확산 투광(DI: Diffused illumination) 방식을 이용하여 사용자 손가락 끝점을 추출하고, 추출된 끝점의 개수 변화 및 이동 방향에 의해서 동작하는 공간 마우스를 구현한다. 제안하는 공간 마우스는 기본적인 마우스 이벤트 처리뿐만 아니라, 확장된 사용자 멀티 제스쳐를 위한 연속적 명령 기능을 포함한다. 구현된 공간 마우스의 성능 평가를 위해서 윈도우 웹 브라우져 어플리케이션 사용 환경에 적용한 결과 다양한 사용자 명령에 대하여 평균 90%의 성공적 결과를 보였다.

• 한국콘텐츠학회논문지
• /
• 제13권12호
• /
• pp.551-559
• /
• 2013

본 논문에서는 사용자 중심의 제스처 인식과 직관적인 다중 터치가 가능한 TouchFace-V 인터페이스를 기반으로 제작된 실감형 전자책 RealBook시스템에 대하여 제안한다. 제안한 인터페이스는 기존 테이블탑 디스플레이의 단점으로 지적되는 제한적인 공간 활용 및 이동성 문제를 개선한 인터페이스로 테이블과 같이 평평한 곳이면 사용자가 언제 어디서나 자유롭게 간단한 설치 및 사용이 가능하다. 또한 영상 처리 기술 외에 별도의 센싱 기술을 사용하지 않고 손가락 다중 터치 기능 및 다양한 손 제스쳐 인식 기능을 구현했을 뿐만 아니라, 컴퓨터와 사용자간의 상호작용을 쉽고 자연스럽게 해주는 장점이 있다. 제안한 실감형 RealBook은 종이책의 아날로그적 감성과 디지털 전자책의 멀티미디어 효과를 접목시킨 전자책으로, 책에 있는 내용을 바탕으로 다양한 스토리를 구현하여 독자의 선택에 따라 각기 다른 스토리 진행이 가능하다. 독자들은 책 공간 안에서 다양한 상호작용을 통한 새로운 경험을 체험할 수 있다. 실험을 통해 제안한 시스템의 효율성을 입증하고 나아가 다중 터치 기술을 이용한 콘텐츠 시장이 발전할 수 있는 방안을 제시한다.

• 한국산업정보학회논문지
• /
• 제21권1호
• /
• pp.35-42
• /
• 2016

재생되는 동영상에서 정지, 재생, 캡쳐, 확대, 축소 등의 다양한 이벤트 제공은 스마트폰과 같은 작은 크기의 모니터에서 가능하다. 그러나, 모니터의 크기가 커지게 되면, 터치 인식에 대한 비용이 증가하게 되어, 터치를 통한 이벤트 제공은 사실상 불가능하다. 본 논문에서는 저렴하게 깊이 정보로 터치를 인식하고, 단일 및 다중 터치로 토글, 핀치-인/아웃 등의 다양한 이벤트를 부여하는 영상 이벤트 제어시스템을 제안한다. 깊이 카메라로부터 얻어진 깊이 정보로 터치된 위치와 터치 경로를 찾고, 터치 제스처 종류를 파악한다. 이러한 터치 인터페이스 알고리즘은 소형 싱글보드 시스템에서 구현하고, UART 통신을 통해 제스처 정보를 전송함으로써 영상 이벤트를 제어할 수 있다. 모의실험을 바탕으로 대형 스크린에서 제안한 깊이 터치 방법으로 다양한 영상 이벤트를 제어할 수 있음을 보인다.

• 디자인융복합연구
• /
• 제16권5호
• /
• pp.177-190
• /
• 2017

본 연구는 비접촉식 제스처 기반 조형 태스크의 직관성 향상을 위한 다중 모달리티 인터페이스 디자인 GSS를 제안하였다. 디자인 조형 과정 및 조형 형태에 대한 사용자 경험을 조사한 후, 기술 발전에 따른 세대별 조형 시스템을 분석하였다. 또, 비접촉 3D 조형 시스템상에서의 조형 제작 프로세스, 조형 제작 환경, 제스처와 조형 태스크 간의 관계성, 자연스러운 손 조합 패턴과 사용자 손동작 요소들을 정의하였다. 이후, 기존 비접촉 3D 조형 시스템상에서 비접촉식 제스처 인터랙션을 관찰하고 자연스러운 조형 제작을 위해 조형 작성자의 행동체계가 반영된 인터페이스의 시각적 메타포와 자연스러운 제스처 인터랙션을 유도할 수 있는 행동적 메타포를 도출하였다. 프로토타입을 개발한 후, 제안된 주요 조형 태스크별 제스처 세트의 직관성을 알아보기 위해 기존 조형 시스템들과 비교하여 사용성 평가를 진행하였다. 제안된 GSS 시스템의 제스처는 이해도, 기억성, 오류율에서 우수성을 보였다. 제스처 인터페이스는 사용자의 경험에 기반한 시각적/행동적 메타포를 바탕으로 시각적 모달리티가 함께 사용된 제스처 인터페이스를 사용자들에게 제공되어야 한다는 것을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제12권2호
• /
• pp.85-94
• /
• 2012

본 논문에서는 FTIR 멀티터치 테이블에서 손가락을 이용하여 기존에 윈도우에서 제공되는 제스처 외에 간편한 방법으로 화면 제어를 할 수 있는 제스처를 개발하였다. 또한, 손가락을 사용하지 않고 적외선 카메라 제어를 통해 모바일 기기를 올려놓아도 인식할 수 있도록 구현하였다. HID 인터페이스가 제공되지 않는 FTIR 멀티터치 테이블의 환경 때문에 기존 블루투스는 연결이 어려웠으나, 본 논문에서 제안한 모바일 기기를 이용한 데이터 전송 방법은 인터페이스의 불편함을 해소하고 데이터 전송을 효과적으로 진행 할 수 있도록 구현하였다. 기존 블루투스 연결은 복잡한 페어링 과정을 지니지만, 본 연구에서는 페어링 과정을 단순화하고, 사용자가 친화적 제스처를 개발하여 특정 기기 연결을 가능토록 구현하였다. 또한, 자체 제작한 FTIR 멀티터치 테이블에서 테스트를 통해 검증하였다.