• 대한인간공학회지
• /
• 제36권2호
• /
• pp.109-121
• /
• 2017

Objective: This study aims to find suitable types and styles for gesture interaction as remote control on smart TVs. Background: Smart TV is being developed rapidly in the world, and gesture interaction has a wide range of research areas, especially based on vision techniques. However, most studies are focused on the gesture recognition technology. Also, not many previous studies of gestures types and styles on smart TVs were carried out. Therefore, it is necessary to check what users prefer in terms of gesture types and styles for each operation command. Method: We conducted an experiment to extract the target user manipulation commands required for smart TVs and select the corresponding gestures. To do this, we looked at gesture styles people use for every operation command, and checked whether there are any gesture styles they prefer over others. Through these results, this study was carried out with a process selecting smart TV operation commands and gestures. Results: Eighteen TV commands have been used in this study. With agreement level as a basis, we compared the six types of gestures and five styles of gestures for each command. As for gesture type, participants generally preferred a gesture of Path-Moving type. In the case of Pan and Scroll commands, the highest agreement level (1.00) of 18 commands was shown. As for gesture styles, the participants preferred a manipulative style in 11 commands (Next, Previous, Volume up, Volume down, Play, Stop, Zoom in, Zoom out, Pan, Rotate, Scroll). Conclusion: By conducting an analysis on user-preferred gestures, nine gesture commands are proposed for gesture control on smart TVs. Most participants preferred Path-Moving type and Manipulative style gestures based on the actual operations. Application: The results can be applied to a more advanced form of the gestures in the 3D environment, such as a study on VR. The method used in this study will be utilized in various domains.

• 전기학회논문지
• /
• 제63권4호
• /
• pp.565-569
• /
• 2014

Recently, various kinds of new computer controlled devices have been introduced in a wide range of areas, and convenient user interfaces for controlling the devices are strongly needed. To implement natural user interfaces(NUIs) on top of the devices, new technologies like a touch screen, Wii Remote, wearable interfaces, and Microsoft Kinect were presented. This paper presents a natural and intuitive gesture-based model for controlling contents of LCD display. Microsoft Kinect sensor and its SDK are used to recognize human gestures, and the gestures are interpreted into corresponding commands to be executed. A command dispatch model is also proposed in order to handle the commands more naturally. I expect the proposed interface can be used in various fields, including display contents control.

• 전자공학회논문지
• /
• 제50권6호
• /
• pp.238-245
• /
• 2013

제스처 인식은 자연스러운 사용자 인터페이스를 위해 활발히 연구되는 중요한 분야이다. 본 논문에서는 키넥트 카메라로부터 입력되는 사용자의 3차원 관절(joint) 정보를 해석하여 제스처를 인식하는 방법이 제안된다. 대상으로 하는 제스처의 분포 특성에 따라 분류 트리를 설계하고 입력 패턴을 분류한다. 그리고 제스처를 리샘플링 및 정규화 하여 일정한 구간으로 나누고 각 구간의 체인코드 히스토그램을 추출한다. 트리의 각 노드별로 분류된 제스처에 다중 클래스 SVM(Multiclass Support Vector Machine)를 적용하여 학습한다. 이후 입력 데이터를 구성된 트리로 분류한 다음, 학습된 다중 클래스 SVM을 적용하여 제스처를 분류한다.

• 디자인학연구
• /
• 제17권2호
• /
• pp.95-104
• /
• 2004

창조성은 그것을 필요로 하는 디자인주체뿐만 아니라 사용자에게도 중요한 키워드다. 그러나 사용자의 창조적 측면은 지금까지 비중 있게 다루어지지 않거나, 이를 설계에 반영하여 개발하는 응용부분에서 미흡하였다. 오늘날 디자인영역에서 경험과 행위는 주어진 의미로 사용하는 소극적 상태에서 자발적으로 의미를 만들어 사용하는 적극적 상태로 변화되고 있다. 이것은 사용자에게 창조적 과정 이 중요시되며, 사용에 대한 창의, 그리고 사물에 대한 창조의 가능성을 담고 있다는 것을 의미한다. 사용자의 사물에 대한 경험 속에는 이미 제공하거나 만들어진 경험과 동시에 사용자가 만들어 내는 자발적 해석의 경험이 담겨 있으며 이것은 사용자리서치과정 에서 예측된 가능성 일수도 있으며, 알지 못하는 사용자의 행위 영 역일 수 있다. 사용자의 사물에 대한 창의된 사용과정은 기존 디자인주체에 의해 만들어진 사용성과 기능을 벗어나거나 응용시킨 행위로 볼 수 있으며, 사용자에 의해 수정되고 만들어진 창조의 결과물들은 사용자에게 빈번히 일어날 개연성 속에서 해석과 연구의 여지가 있는 영역이다. 이 연구에서는 이러한 행위를 유저 제스처라고 정의하고 있는데, 유저 제스처는 사용자의 자발적 행위에 근거한 행위로서 비본연, 비조작 기능이 발견되며, 행위의 결과물인 다양한 변형과 창조가 일어나는 사용자 고유의 행위영역이다. 유저 제스처는 살아있는 사용자의 디자인문화양태를 살펴볼 수 있는 표본가치가 있으며, 유저 제스처에 기인한 접근은 개발설계자에게 새로운 제품 컨셉창출이 용이한 매력적인 접근이 될 수 있다. 이 연구는 유저 제스처에 대한 에쓰노그래피 관찰기법연구, 사용자 디자인현상에 대한 문화적 연구, 유저 제스처 시나리오에 기반 한 디자인연구 등 후속연구로 지속될 수 있다. 또한 관련연구를 통해 사용자 주도적 커스터마이제이션 제품, 사용자 관여 리사이클링 제품, 창조경험 디자인으로의 디자인 개발적용이 가능하다.이에 본 연구에서는 '13-18 청소년용 온라인 커뮤니티 컨텐트 개발 프로젝트' 를 중심으로 엑셀런트 요소 및 퍼포먼스 요소를 도출하기 위한 참석 관찰의 프레임 워크를 제시하고, 그 결과를 기능적 요소, 감성적 요소로 정리하여 상품개발에 활용하도록 하였다. 본 연구의 의의는 상품개발에 사용자 조사의 필요성 및 활용도를 실질적인 프로젝트를 통하여 시도해 보았다는 데 있다고 할 수 있겠다.과 계승이라는 측면에서 한국문양에 대한 새로운 이해와 분석을 토대로 한 정보자료화ㆍ디지털 컨텐츠화 작업은 독창적인 디자인 표현양식과 모티브의 발굴ㆍ정리일 뿐만 아니라 다양한 미디어로 승부하는 작금의 문화경쟁시대를 대비하는 하나의 노력이 될 것이다.>${\ulcorner}$바우하우스의 구성교육${\lrcorner}$ 과 일치하였다. 더욱이, 조선의 ${\ulcorner}$구성교육${\lrcorner}$이 조선총독부의 관리하에서 실행되었다는 것을, 당시의 사범학교를 중심으로 한 교육조직을 기술한 문헌에 의해 규명시켰다.nd of letter design which represents -natural objects and was popular at the time of Yukjo Dynasty, and there are some documents of that period left both in Japan and Korea. "Hyojedo" in Korea is supposed to have been influenced by the letter design. Asite- is also considered to have been "Japanese Letter Jobcheso." Therefore, the purpose of this study is to look into the origin of the letter

• 대한음성학회지:말소리
• /
• 제67호
• /
• pp.103-120
• /
• 2008

Basic components for multimodal interface, such as speech recognition, speech synthesis, gesture recognition, and multimodal fusion, have their own technological limitations. For example, the accuracy of speech recognition decreases for large vocabulary and in noisy environments. In spite of those technological limitations, there are lots of applications in which speech-oriented multimodal user interfaces are very helpful to users. However, in order to expand application areas for speech-oriented multimodal interfaces, we have to develop the interfaces focused on usability. In this paper, we introduce usability and user-centered design methodology in general. There has been much work for evaluating spoken dialogue systems. We give a summary for PARADISE (PARAdigm for Dialogue System Evaluation) and PROMISE (PROcedure for Multimodal Interactive System Evaluation) that are the generalized evaluation frameworks for voice and multimodal user interfaces. Then, we present usability components for speech-oriented multimodal user interfaces and usability testing guidelines that can be used in a user-centered multimodal interface design process.

• 디지털콘텐츠학회 논문지
• /
• 제13권1호
• /
• pp.91-99
• /
• 2012

우리는 본 논문에서 아날로그 영역의 퀴즈 게임을 디지털화시키는 작업을 소개한다. 우리는 퀴즈 진행, 퀴즈 참가자 파악, 문제 제시, 먼저 손든 참가자 인식, 정오답 판단, 점수 합산, 승리팀 판단 등 기존의 퀴즈 게임이 아날로그 방식으로 수행해온 작업을 디지털화시키는 작업을 수행하였다. 이를 자동화하기 위해 최근 주목받기 시작한 키넥트 카메라를 이용하여 깊이 영상을 입력받아, 사용자들의 위치를 파악하고 사용자 위주로 정의된 제스처를 인식하는 알고리즘을 고안하였다. 영상의 깊이 값의 분포를 분석하여 퀴즈 참가자들의 상체를 검출하고 사용자들의 분할하였고 손 영역을 검출하였다. 또한 손바닥, 주먹, 기타 손 모양을 인식하기 위한 특징 추출 및 판단 함수를 고안하여 사용자가 퀴즈 보기를 선택할 수 있게 하였다. 구현된 퀴즈 응용 프로그램은 실시간 테스트에서 매우 만족스러운 제스처 인식 결과를 보였으며 원활한 게임 진행이 가능하였다.

• 한국인터넷방송통신학회논문지
• /
• 제15권2호
• /
• pp.9-14
• /
• 2015

스마트폰이 채택하고 있는 터치 인터페이스는 기존 피처폰 및 PC에서 채택하던 키패드나 키보드를 전면 대체하는 대중적인 인터페이스로 자리 잡았다. 특히, 터치 인터페이스는 개인별 다양한 동작 인식이 가능하고 애플리케이션별 입력 데이터 특성이 뚜렷이 구분되는 인터페이스이다. 본 논문에서는 스마트폰의 터치 인터페이스를 통해 나타나는 애플리케이션별 사용자 제스처를 분석한다. 특히, 안드로이드 스마트폰에서 널리 사용되는 게임, 웹 브라우져, 유튜브, 이미지 및 e-book 뷰어, 비디오 플레이어, 카메라, 지도 등 대표적인 애플리케이션 카테고리 별로 터치 인터페이스를 통해 입력되는 데이터를 추출하고 이를 분석하였다. 분석 결과 애플리케이션별로 고유한 터치 입력 패턴을 추출할 수 있었으며, 이를 통해 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 용도, 소유자와 다른 입력 패턴이 들어올 경우 애플리케이션을 차단하는 용도, 나아가 사용자에게 편리한 새로운 인터페이스를 설계하는 용도 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다.

• 한국차세대컴퓨팅학회논문지
• /
• 제14권5호
• /
• pp.31-39
• /
• 2018

최근 딥러닝을 기반으로 사용자의 손 제스처를 인식하여 가상현실 환경에서 사용자 친화적 인터페이스를 제공하기 위한 연구가 활발히 진행되고 있다. 그러나 대부분 연구들은 손 정보를 얻기 위하여 별도 센서를 사용하거나 효율적인 학습을 위하여 전처리 과정을 거친다. 또한 조명의 변화나 손 일부가 가려지는 등과 같은 외부환경의 변화를 고려하지 못하고 있다. 본 논문은 일반 웹캠에서 얻어진 RGB 영상에서 별도의 전처리 과정없이 외부 환경에 강인한 딥러닝 기반 손 제스처 인식 방법을 제안한다. 딥러닝 모델로 VGGNet과 GoogLeNet 구조를 개선하고, 각 구조의 성능을 비교한다. 조명이 어둡거나 손 일부가 가려지거나 시야에서 일부 벗어난 손 영상들이 포함된 데이터로 실험한 결과 본 연구에서 제시한 VGGNet과 GoogLeNet 구조는 각각 93.88%와 93.75%의 인식률을 보였고 메모리와 속도 측면에서 GoogLeNet이 VGGNet 보다 메모리를 약 3배 적게 사용하면서 처리속도는 10배 이상 우수함을 알 수 있었다. 본 연구의 결과는 실시간 처리가 가능하여 가상현실 환경에서 게임, 교육, 의료 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

• International journal of advanced smart convergence
• /
• 제10권4호
• /
• pp.30-37
• /
• 2021

Touch sensor interface has become the most useful input device in a smartphone. Unlike keypad/keyboard interfaces used in electronic dictionaries and feature phones, smartphone's touch interfaces allow for the recognition of various gestures that represent distinct features of each application's input. In this paper, we analyze application-specific input patterns that appear in smartphone's touch interfaces. Specifically, we capture touch input patterns from various Android applications, and analyze them. Based on this analysis, we observe a certain unique characteristics of application's touch input patterns. This can be utilized in various useful areas like user authentications, prevention of executing application by illegal users, or digital forensic based on logged touch patterns.

• 대한인간공학회지
• /
• 제36권5호
• /
• pp.385-394
• /
• 2017

Objective: The aim of this study is to investigate how to design effective virtual reality-based training (i.e., virtual training) in maritime safety and to present methods for enhancing interface fidelity by employing immersive interaction and 3D user interface (UI) design. Background: Emerging virtual reality technologies and hardware enable to provide immersive experiences to individuals. There is also a theory that the improvement of fidelity can improve the training efficiency. Such a sense of immersion can be utilized as an element for realizing effective training in the virtual space. Method: As an immersive interaction, we implemented gesture-based interaction using leap motion and Myo armband type sensors. Hand gestures captured from both sensors are used to interact with the virtual appliance in the scenario. The proposed 3D UI design is employed to visualize appropriate information for tasks in training. Results: A usability study to evaluate the effectiveness of the proposed method has been carried out. As a result, the usability test of satisfaction, intuitiveness of UI, ease of procedure learning, and equipment understanding showed that virtual training-based exercise was superior to existing training. These improvements were also independent of the type of input devices for virtual training. Conclusion: We have shown through experiments that the proposed interaction design results are more efficient interactions than the existing training method. The improvement of interface fidelity through intuitive and immediate feedback on the input device and the training information improve user satisfaction with the system, as well as training efficiency. Application: Design methods for an effective virtual training system can be applied to other areas by which trainees are required to do sophisticated job with their hands.