• 대한인간공학회지
• /
• 제31권4호
• /
• pp.577-583
• /
• 2012

Objective: This paper describes the process and results related to the development of gesture recognition-based natural user interface(NUI) for vehicle maintenance e-Training system. Background: E-Training refers to education training that acquires and improves the necessary capabilities to perform tasks by using information and communication technology(simulation, 3D virtual reality, and augmented reality), device(PC, tablet, smartphone, and HMD), and environment(wired/wireless internet and cloud computing). Method: Palm movement from depth camera is used as a pointing device, where finger movement is extracted by using OpenCV library as a selection protocol. Results: The proposed NUI allows trainees to control objects, such as cars and engines, on a large screen through gesture recognition. In addition, it includes the learning environment to understand the procedure of either assemble or disassemble certain parts. Conclusion: Future works are related to the implementation of gesture recognition technology for a multiple number of trainees. Application: The results of this interface can be applied not only in e-Training system, but also in other systems, such as digital signage, tangible game, controlling 3D contents, etc.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.49-51
• /
• 2005

Robot control involves advance programming, scientific and high technology. The systematic and methodological aspects of robot controls often results in having superficial control design problems that can negatively affect the robot application, usability and appeal. User friendly interface of robot control is extremely advantageous and more attractive. To illustrate, the application of medical robot is usually handled by clients who have little background in advance programming language. Thus, it would be difficult if the client needs to use programming language to control the robot. It would justify better if the robot control is presented in a meaningful interface to the client. This way the robot application would be more natural and user friendly. This paper describes the method of developing the user interface for web based communication to control an internet robot named Tarou. The web based communication tasks involves three levels. The first one accommodates on the client sending commands to robot through the internet. The next communication level relates to the robot receiving the commands sent by the client. The final communication level generates on sending feedback on status of commands by the robot to the client. The methodology used here can be elaborated in four hierarchical steps; identify user needs and robot tasks, identify the enhancing tag reference used by the server, induce the tag into HTML, present the HTML in attractive user interface as the client control panel.

• 디자인학연구
• /
• 제14권
• /
• pp.193-207
• /
• 1996

지금까지 전자 미디어 관련 제품을 디자인하기 위해서는 일반적으로 산업디자이너는 제품의 하드웨어인 팩 키지를, 그리고 사용자-인터페이스 디자이너들은 그 제품의 소프트웨어적인 요소를 디자인하는 것에 주력하여 왔다. 그러나 컴퓨터 관련 테크놀로지가 끊임없이 진화하면서 이러한 역할의 이분화는 그 개념이 모호해져 대화형 제품 개발을 위해 점차 산업디자이너들의 사용자 인터페이스 디자인에 더 깊이 관여하게 되었다. 나아가 앞으로는 하드웨어 및 소프트웨어뿐만 아니라 제품의 제반 정보들이 하나의 제품으로 인식되어 제품의 물리적 요소 외에도 이에 대해 사용자가 가지고 있는 모든 경험들이 총체적인 사용자 인터페이스 요소로 간주되어 인터페이스 디자인 범주가 확대될 것이다. 이렇듯 인터페이스 디자인 개념의 확대와 그 중요성이 크게 부각되고 있음에도 불구하고 산업디자인 분야에서느 아직까지 인터페이스 디자인 개발 프로세스에 대한 체계적이고 실질적인 연구가 미미한 실정이다. 본고에서는 사용자 인터페이스 디자인의 이론적 고찰과 실증적인 분석을 통하여 효율적인 인터페이스 디자인 개발을 위한 인터렉션 디자인 프로세스의 연구를 그 목적으로 한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.534-539
• /
• 2008

현재, UI(User Interface)의 기본 목표가 사용자편의 중심에서 사용자 만족의 중심으로 확대되고 있다. 본 연구에서는 사용자의 만족도를 최대한으로 충족시켜줄 수 있는 방법 중 하나로써 스토리텔링UI의 개념을 도입하였다. 연구방법으로 이론적 뒷받침을 위하여 현재의 UI의 상품성 검증 및 기본적 원리의 구성을 시도했다. 또한 UI의 예를 게임에서 발췌하여 분석하고, 그 특징을 정립하여, 스토리텔링UI가 게임의 내용과 특징을 사용자에게 효과적으로 전달하고 있음을 밝혔다. 본 연구에서 나타난 기존UI와 차별되는 스토리텔링 UI의 가장 중요한 특징은 '내재적 드라마(Inherent Drama)' 요소의 포함이다. 이 요소는 Blizzard사의 'Diablo' 와 Sierra사의 'Homeworld', Eden Games의 'Test Drive Unlimited' 그리고 EA사의 'Black And White', Sony Entertainment의 'Eye Of Judgement' 를 분석하여 실증적으로 증명하였다. 또한 본 연구에서는 각 게임 내의 스토리텔링 요소들을 UI가 포함된 콘텐츠의 특성과 분위기, 즉 스토리의 배경을 상징하는 무드디자인(Mood Design), 콘텐츠 내의 주인공으로써의 조작과 참여의 느낌을 살리기 위한 자연스러운 조작(Natural Control), 플롯의 영향에 따른 시각 음향 등의 다양한 연출을 상징하는 플로연출(Flow Directing)로 구분하였다. 이와 같은 구분을 통 해 UI에 활용된 폰트, 배경과 아이콘 디자인, 애니메이션, 그리고 전체 구조와 흐름에 영향을 끼치고 있는 게임 스토리텔링 인터페이스를 구체적으로 분류하여 활용 할 수 있다. 마지막으로 세 가지 형태로 종합된 요소들을 다양한 콘텐츠 인터페이스에 활용할 수 있도록 구체적인 형태로써 제시하여, 보다 효과적인 인터페이스 개발에 도움이 되도록 하였다.

• 전기학회논문지
• /
• 제63권4호
• /
• pp.565-569
• /
• 2014

Recently, various kinds of new computer controlled devices have been introduced in a wide range of areas, and convenient user interfaces for controlling the devices are strongly needed. To implement natural user interfaces(NUIs) on top of the devices, new technologies like a touch screen, Wii Remote, wearable interfaces, and Microsoft Kinect were presented. This paper presents a natural and intuitive gesture-based model for controlling contents of LCD display. Microsoft Kinect sensor and its SDK are used to recognize human gestures, and the gestures are interpreted into corresponding commands to be executed. A command dispatch model is also proposed in order to handle the commands more naturally. I expect the proposed interface can be used in various fields, including display contents control.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.501-507
• /
• 2012

Human body motion is a non-verbal part for interaction or movement that can be used to involves real world and virtual world. In this paper, we explain a study on natural user interface (NUI) in human hand motion recognition using RGB color information and depth information by Kinect camera from Microsoft Corporation. To achieve the goal, hand tracking and gesture recognition have no major dependencies of the work environment, lighting or users' skin color, libraries of particular use for natural interaction and Kinect device, which serves to provide RGB images of the environment and the depth map of the scene were used. An improved Camshift tracking algorithm is used to tracking hand motion, the experimental results show out it has better performance than Camshift algorithm, and it has higher stability and accuracy as well.

• 스마트미디어저널
• /
• 제8권1호
• /
• pp.51-58
• /
• 2019

본 논문은 펄스폭 변조(PWM, Pulse Width Modulation) 방법을 이용하여 4D 콘텐츠의 특수효과용 물리장치들을 제어하는 제스처 응용 방법에 대해 기술한다. 적외선 센서를 통해 인식되는 사용자 동작은 3D 콘텐츠 제어를 위한 명령어로 해석되고 특수효과를 발생시키는 장치를 제어하여 물리적인 자극을 사용자에게 재현한다. 이와 같이 NUI(Natural User Interface) 기법을 이용하여 콘텐츠를 제어하게 되면 사용자의 콘텐츠에 대한 직접적인 몰입감이 증대되어 사용자에게 고도의 흥미와 관심을 제공할 수 있다. 제안하는 방법의 효율성을 측정하기 위해 적외선 센서를 이용한 모션인식과 애니메이션 컨트롤러의 파라미터를 제어하여 이벤트를 전달하는 PWM 기반 실시간 선형제어 시스템을 구현하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2001년도 하계학술대회 논문집 D
• /
• pp.2610-2612
• /
• 2001

This study examines the recognition of the user's sound command based on speech recognition and natural language processing, and develops the natural language interface agent which can analyze the recognized command. The natural language interface agent consists of speech recognizer and semantic interpreter. Speech recognizer understands speech command and transforms the command into character strings. Semantic interpreter analyzes the character strings and creates the commands and questions to be transferred into the application program. We also consider the problems, related to the speech recognizer and the semantic interpreter, such as the ambiguity of natural language and the ambiguity and the errors from speech recognizer. This kind of natural language interface agent can be applied to the telephony environment involving all kind of communication media such as telephone, fax, e-mail, and so on.

• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 2004년도 추계학술대회 논문집
• /
• pp.1053-1056
• /
• 2004

Research in Human Computer Interface (HCI) is towards development of an application environment able to deal with interactions of both human and computers that can be more intuitive and efficient. This can be achieved by bridging the gap between the synthetic virtual environment and the natural physical environment. Thus a project called Tangible Space Initiative (TSI) has been launched by KIST. TSI is subdivided into Tangible Interface (TI) which controls 3D cyber space with user's perspective, Responsive Cyber Space (RCS) which creates and controls the virtual environment and Tangible Agent (TA) which senses and acts upon the physical interface environment on behalf of any components of TSI or the user. This paper is a brief introduction to a new generation of Human Computer Interface that bring user to a new era of interaction with computers in the future.

• 한국콘텐츠학회논문지
• /
• 제13권1호
• /
• pp.55-63
• /
• 2013

사용자 인터페이스 기술은 CLI(Command Line Interfaces), GUI(Graphical User Interfaces)를 거쳐 NUI(Natural User Interfaces)로 발전하고 있다. NUI는 멀티터치, 모션 트래킹, 음성, 스타일러스 등 다양한 입력형식을 사용한다. 기존 GUI 어플리케이션에 NUI를 적용하기 위해서는 이러한 장치관련 라이브러리 추가, 관련 코드 수정, 디버그 등의 과정이 필요하다. 본 논문에서는 기존 이벤트 기반 GUI 어플리케이션의 수정 없이 제스처 기반 인터페이스를 적용할 수 있는 모델을 제안한다. 또한 제안한 모델을 명세하기 위한 XML 스키마를 제시하고, 3D 제스처와 마우스 제스처 프로토타입 개발을 통해 제안모델의 활용방안을 보인다.