• 대한인간공학회지
• /
• 제35권4호
• /
• pp.277-291
• /
• 2016

Objective: The aim of this study is to propose a unit touch gesture model, which would be useful to predict the performance time on mobile devices. Background: When estimating usability based on Model-based Evaluation (MBE) in interfaces, the GOMS model measured 'operators' to predict the execution time in the desktop environment. Therefore, this study used the concept of operator in GOMS for touch gestures. Since the touch gestures are comprised of possible unit touch gestures, these unit touch gestures can predict to performance time with unit touch gestures on mobile devices. Method: In order to extract unit touch gestures, manual movements of subjects were recorded in the 120 fps with pixel coordinates. Touch gestures are classified with 'out of range', 'registration', 'continuation' and 'termination' of gesture. Results: As a results, six unit touch gestures were extracted, which are hold down (H), Release (R), Slip (S), Curved-stroke (Cs), Path-stroke (Ps) and Out of range (Or). The movement time predicted by the unit touch gesture model is not significantly different from the participants' execution time. The measured six unit touch gestures can predict movement time of undefined touch gestures like user-defined gestures. Conclusion: In conclusion, touch gestures could be subdivided into six unit touch gestures. Six unit touch gestures can explain almost all the current touch gestures including user-defined gestures. So, this model provided in this study has a high predictive power. The model presented in the study could be utilized to predict the performance time of touch gestures. Application: The unit touch gestures could be simply added up to predict the performance time without measuring the performance time of a new gesture.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.515-523
• /
• 2012

Objective: The aim of this study is to investigate users' intuitive stereotypes on non-touch gestures and establish the gesture dictionary that can be applied to gesture-based interaction designs. Background: Recently, the interaction based on non-touch gestures is emerging as an alternative for natural interactions between human and systems. However, in order for non-touch gestures to become a universe interaction method, the studies on what kinds of gestures are intuitive and effective should be prerequisite. Method: In this study, as applicable domains of non-touch gestures, four devices(i.e. TV, Audio, Computer, Car Navigation) and sixteen basic operations(i.e. power on/off, previous/next page, volume up/down, list up/down, zoom in/out, play, cancel, delete, search, mute, save) were drawn from both focus group interview and survey. Then, a user participatory design was performed. The participants were requested to design three gestures suitable to each operation in the devices, and they evaluated intuitiveness, memorability, convenience, and satisfaction of their derived gestures. Through the participatory design, agreement scores, frequencies and planning times of each distinguished gesture were measured. Results: The derived gestures were not different in terms of four devices. However, diverse but common gestures were derived in terms of kinds of operations. In special, manipulative gestures were suitable for all kinds of operations. On the contrary, semantic or descriptive gestures were proper to one-shot operations like power on/off, play, cancel or search. Conclusion: The touchless gesture dictionary was established by mapping intuitive and valuable gestures onto each operation. Application: The dictionary can be applied to interaction designs based on non-touch gestures. Moreover, it will be used as a basic reference for standardizing non-touch gestures.

• 융합신호처리학회논문지
• /
• 제11권1호
• /
• pp.13-18
• /
• 2010

멀티터치 관련 연구는 전반사 장애 현상(FTIR: Frustrated Total Internal Reflection)의 원리를 기반으로 기존 방법을 이용하여 단지 구현하는 것이 대부분이다. 또한 멀티 터치점(Blob-Points) 검출이나 사용자 제스쳐 인식에 있어서 성능 향상을 위한 소프트웨어적 해법에 관한 연구는 드문 실정이다. 따라서 본 논문에서는 확산 투광(DI: Diffused Illumination) 방식을 기반으로 개선된 터치점 검출과 사용자 제스쳐 인식에 의한 멀티터치 테이블-탑 디스플레이를 구현한다. 제안된 방법은 실행 중인 어플리케이션 내의 객체들을 위한 동시 변형 멀티터치 명령을 지원하며, 제안한 사전 테스팅(Pre-Testing) 방법에 의해서 멀티 터치점 검출 과정에서 시스템 지연 시간의 감소가 가능하다. 구현된 멀티터치 테이블-탑 디스플레이 장치는 OSC(Open Sound Control) 프로토콜을 기반으로 하는 TUIO(Tangib1e User Interface Object) 환경에서 Flash AS3 어플리케이션을 제작하여 시뮬레이션 한 결과 최대 37% 시스템 지연 시간의 감소와 멀티터치 제스쳐 인식에서 성공적인 결과를 보였다.

• 한국콘텐츠학회논문지
• /
• 제13권12호
• /
• pp.551-559
• /
• 2013

본 논문에서는 사용자 중심의 제스처 인식과 직관적인 다중 터치가 가능한 TouchFace-V 인터페이스를 기반으로 제작된 실감형 전자책 RealBook시스템에 대하여 제안한다. 제안한 인터페이스는 기존 테이블탑 디스플레이의 단점으로 지적되는 제한적인 공간 활용 및 이동성 문제를 개선한 인터페이스로 테이블과 같이 평평한 곳이면 사용자가 언제 어디서나 자유롭게 간단한 설치 및 사용이 가능하다. 또한 영상 처리 기술 외에 별도의 센싱 기술을 사용하지 않고 손가락 다중 터치 기능 및 다양한 손 제스쳐 인식 기능을 구현했을 뿐만 아니라, 컴퓨터와 사용자간의 상호작용을 쉽고 자연스럽게 해주는 장점이 있다. 제안한 실감형 RealBook은 종이책의 아날로그적 감성과 디지털 전자책의 멀티미디어 효과를 접목시킨 전자책으로, 책에 있는 내용을 바탕으로 다양한 스토리를 구현하여 독자의 선택에 따라 각기 다른 스토리 진행이 가능하다. 독자들은 책 공간 안에서 다양한 상호작용을 통한 새로운 경험을 체험할 수 있다. 실험을 통해 제안한 시스템의 효율성을 입증하고 나아가 다중 터치 기술을 이용한 콘텐츠 시장이 발전할 수 있는 방안을 제시한다.

• 대한인간공학회지
• /
• 제32권2호
• /
• pp.179-187
• /
• 2013

Objective: The purpose of this study is to extract GOMS manual operator, except for an experiment with participants. Background: The GOMS model has advantage of rapid modeling which is suitable for the environment of technology development which has a short life cycle products with a fast pace. The GOMS model was originally designed for desktop environment so that it is not adequate for implementing into the latest HCI environment such as small touch screen device. Therefore, this research proposed GOMS manual operator extraction methodology which is excluded experimental method. And flick Gesture was selected to explain application of proposed methodology to extract new operator. Method: Divide into start to final step of hand gesture needed to extract as an operator through gesture task analysis. Then apply the original GOMS operator to each similar step of gesture and modify the operator for implementation stage based on existing Fitts' law research. Steps that are required to move are modified based on the Fitts' law developed in touch screen device. Finally, new operator can be derived from using these stages and a validation experiment, performed to verify the validity of new operator and methodology by comparing human performance. Results: The average movement times of the participants' performance and the operator which is extracted in case study are not different significantly. Also the average of movement times of each type of view study is not different significantly. Conclusion: In conclusion, the result of the proposed methodology for extracting new operator is similar to the result of the experiment with their participants. Furthermore the GOMS model included the operator by the proposed methodology in this research could be applied successfully to predict the user's performance. Application: Using this methodology could be applied to develop new finger gesture in the touch screen. Also this proposed methodology could be applied to evaluate the usability of certain system rapidly including the new finger gesture performance.

• 한국산업정보학회논문지
• /
• 제21권1호
• /
• pp.35-42
• /
• 2016

재생되는 동영상에서 정지, 재생, 캡쳐, 확대, 축소 등의 다양한 이벤트 제공은 스마트폰과 같은 작은 크기의 모니터에서 가능하다. 그러나, 모니터의 크기가 커지게 되면, 터치 인식에 대한 비용이 증가하게 되어, 터치를 통한 이벤트 제공은 사실상 불가능하다. 본 논문에서는 저렴하게 깊이 정보로 터치를 인식하고, 단일 및 다중 터치로 토글, 핀치-인/아웃 등의 다양한 이벤트를 부여하는 영상 이벤트 제어시스템을 제안한다. 깊이 카메라로부터 얻어진 깊이 정보로 터치된 위치와 터치 경로를 찾고, 터치 제스처 종류를 파악한다. 이러한 터치 인터페이스 알고리즘은 소형 싱글보드 시스템에서 구현하고, UART 통신을 통해 제스처 정보를 전송함으로써 영상 이벤트를 제어할 수 있다. 모의실험을 바탕으로 대형 스크린에서 제안한 깊이 터치 방법으로 다양한 영상 이벤트를 제어할 수 있음을 보인다.

• 스마트미디어저널
• /
• 제4권1호
• /
• pp.16-24
• /
• 2015

본 논문에서는 멀티터치 추적 및 제스처 인식을 위하여 MRF기반 입자필터와 제스처 우도 측정 방법을 제안한다. 멀티터치 추적에서 자주 발생하는 문제 중 하나는 강탈 문제이며 터치 객체 추적기가 이웃 터치 객체에게 빼앗기는 현상을 가리킨다. 강탈 문제의 원인은 입자필터의 예측 입자들이 이웃 터치 객체에 가까이 갈 경우 입자의 가중치(우도)가 낮아야 하지만 이웃 객체 영향으로 높게 계산되는 오류 때문이다. 따라서 MRF를 기반으로 이웃 객체에 가까운 입자의 가중치를 낮추는 벌점함수를 정의한다. MRF가 멀티터치를 노드로 정의하고 거리가 가까운 이웃 멀티터치들을 에지로 표현한 그래프정보이므로 이웃 멀티터치들에 대한 데이터구조로 활용되기 쉽다. 또한 MRF 그래프 정보를 바탕으로 멀티터치 제스처 분석이 가능하다. 본 논문에서는 MRF를 기반으로 다양한 제스처 우도를 정의할 수 있는 방법을 서술한다. 실험 결과에서는 제안 방법이 효과적으로 강탈 현상을 회피하고 멀티터치 제스처 우도를 정확히 측정할 수 있음을 확인할 수 있다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.499-505
• /
• 2012

Objective: Research on the transformation of interaction between mobile machines and users through analysis on current gesture interface technology development trend. Background: For smooth interaction between machines and users, interface technology has evolved from "command line" to "mouse", and now "touch" and "gesture recognition" have been researched and being used. In the future, the technology is destined to evolve into "multi-modal", the fusion of the visual and auditory senses and "3D multi-modal", where three dimensional virtual world and brain waves are being used. Method: Within the development of computer interface, which follows the evolution of mobile machines, actively researching gesture interface and related technologies' trend and development will be studied comprehensively. Through investigation based on gesture based information gathering techniques, they will be separated in four categories: sensor, touch, visual, and multi-modal gesture interfaces. Each category will be researched through technology trend and existing actual examples. Through this methods, the transformation of mobile machine and human interaction will be studied. Conclusion: Gesture based interface technology realizes intelligent communication skill on interaction relation ship between existing static machines and users. Thus, this technology is important element technology that will transform the interaction between a man and a machine more dynamic. Application: The result of this study may help to develop gesture interface design currently in use.

• ETRI Journal
• /
• 제36권6호
• /
• pp.979-987
• /
• 2014

This paper describes new tactile feedback patterns and the effect of their input performance for a button GUI activated by a tap gesture on mobile touch devices. Based on an analysis of touch interaction and informal user tests, several tactile feedback patterns were designed. Using these patterns, three user experiments were performed to investigate appropriate tactile feedback patterns and their input performance during interaction with a touch button. The results showed that a tactile pattern responding to each touch and release gesture with a rapid response time and short falling time provides the feeling of physically clicking a button. The suggested tactile feedback pattern has a significantly positive effect on the number of typing errors and typing task completion time compared to the performance when no feedback is provided.

• 한국멀티미디어학회논문지
• /
• 제13권8호
• /
• pp.1235-1244
• /
• 2010

최근 아이폰을 필두로 급부상하는 스마트폰의 정전기식 입력 장치에서는 펜 입력장치나 감압식 입력 장치를 위해 만들어진 제스처기반 인터페이스가 적합하지 않다. 손가락 튕김 인터페이스는 기존의 제스처기반 인터페이스에서 사용했던 플릭 제스처와 달리 명령을 적용시킬 대상과 명령을 동시에 선택함으로 작업 단계를 절반으로 감소시킬 수 있다. 뿐만 아니라, 멀티터치 인터페이스와 병합하여 사용함으로 다양한 메뉴 지원이 가능하여 복잡한 제스처를 학습할 필요가 없고, 정전기식 입력 장치 장치에 사용하기 적합하여 입력 오류를 최소화 시킨다. 본 연구에서는 정전기식 입력 장치를 가지는 스마트 폰 장치에서의 파일 관리를 빠르게 해주는 다중 손가락 튕김 인터페이스를 설계하고 구현한다. 실험에서는 사용자 평가를 통해 제안하는 인터페이스가 정전기식 입력 장치에서 기존 방식보다 유용함을 증명한다.