• Journal of Multimedia Information System
• /
• 제8권4호
• /
• pp.243-250
• /
• 2021

Instructional contents are used to demonstrate a technical process to teach and walkthrough certain procedures to carry out a task. This type of informational content is widely used for teaching and lectures in form of tutorial videos and training videos. Since there are questions and uncertainties for what could be the killer application for the novel wearables, we propose a self-instruction training application on a smart glass to utilize already-available instruction videos as well as public open data in creative ways. We design and implement a prototype application to help users train by wearing smart glasses specifically designed for two concrete and hand-constrained use cases where the user's hands need to be free to operate. To increase the efficiency and feasibility of the self-instruction training, we contribute to the development of a wearable killer application by integrating a voice-based user interface using speech recognizer, public open data APIs, and timestamp-based procedural content navigation structure into our proof-of-concept application.

• 한국멀티미디어학회논문지
• /
• 제10권4호
• /
• pp.506-515
• /
• 2007

본 논문에서는 사용자의 동작에 대한 반응으로 표정을 변화하여 감정을 표현할 수 있는 실시간 반응형 그림자 아바타인 RISA(Real-time Interactive Shadow Avatar)를 제안한다. 아바타 형태는 사용자의 실사로부터 실시간으로 추출한 가상의 그림자를 사용하며, 손동작의 유형에 따라 변화하는 표정 애니메이션이 그림자의 얼굴 위치에 겹쳐지도록 하였다. 가상 그림자의 추출을 위해서는 배경 차분화 기법을 사용하며, 머리위치 및 손동작의 추적 및 유형 탐지를-위해-단순화된 영역 단위 추적 기법을 사용하였다. 또한 표정의 자연스러운 변화를 표현하기 위해 표정 애니메이션은 기존의 동적 이모티콘보다 많은 수의 애니메이션 프레임들을 사용하는 변형된 모핑 기법을 적용하였다. RISA는 인터페이스 미디어 아트 분야에 직접 응용될 수 있을 것이며, RISA에 적용된 탐지 기법은 향후 입력 장치의 간결성이 요구되는 DMB나 카메라폰 등을 위한 대체 인터페이스에도 활용될 수 있을 것이다.

• 한국HCI학회논문지
• /
• 제11권1호
• /
• pp.29-38
• /
• 2016

모바일 투어 가이드 어플리케이션은 여행 정보를 제공하여 여행자가 여행 중에 주변의 관심 지점(POI; Point of Interest) 을 검색하고 찾아갈 수 있도록 돕는다. 최근 모바일 컴퓨팅 기술이 발전하면서 핸드헬드 디바이스와 웨어러블 디바이스를 여행 정보 검색에 활용하는 사용자가 늘어나고 있지만, 모바일 투어 가이드 어플리케이션들은 디바이스의 특성을 고려하지 않고 여행 정보를 제공한다. 특히 이들 투어 가이드 어플리케이션들은 여행 상황을 공유하지 않기 때문에 여러 모바일 디바이스를 이용하는 여행자는 각각의 디바이스에 여행자의 검색 의도를 별도로 입력해야 하고, 동기화된 여행 정보를 제공받지 못한다. 이러한 문제들을 개선하기 위해 본 논문에서는 디바이스의 특성에 따라 여행 정보를 제공하고 여행 상황을 공유하는 모바일 투어 가이드 시스템을 제안한다. 제안된 시스템은 핸드헬드 디바이스와 안경형 웨어러블 디바이스를 이용하여 여행자에게 여행 정보를 제공하고, 각각의 디바이스가 가진 단점을 상호 보완하면서 여행자를 안내한다. 또한 제안된 시스템은 각각의 디바이스들에 설치된 어플리케이션 사이에 여행 상황을 공유하여 여행자의 입력을 최소화하고, 여행 상황에 맞는 여행 정보를 제공한다.

• 대한인간공학회지
• /
• 제36권5호
• /
• pp.385-394
• /
• 2017

Objective: The aim of this study is to investigate how to design effective virtual reality-based training (i.e., virtual training) in maritime safety and to present methods for enhancing interface fidelity by employing immersive interaction and 3D user interface (UI) design. Background: Emerging virtual reality technologies and hardware enable to provide immersive experiences to individuals. There is also a theory that the improvement of fidelity can improve the training efficiency. Such a sense of immersion can be utilized as an element for realizing effective training in the virtual space. Method: As an immersive interaction, we implemented gesture-based interaction using leap motion and Myo armband type sensors. Hand gestures captured from both sensors are used to interact with the virtual appliance in the scenario. The proposed 3D UI design is employed to visualize appropriate information for tasks in training. Results: A usability study to evaluate the effectiveness of the proposed method has been carried out. As a result, the usability test of satisfaction, intuitiveness of UI, ease of procedure learning, and equipment understanding showed that virtual training-based exercise was superior to existing training. These improvements were also independent of the type of input devices for virtual training. Conclusion: We have shown through experiments that the proposed interaction design results are more efficient interactions than the existing training method. The improvement of interface fidelity through intuitive and immediate feedback on the input device and the training information improve user satisfaction with the system, as well as training efficiency. Application: Design methods for an effective virtual training system can be applied to other areas by which trainees are required to do sophisticated job with their hands.

• 방송공학회논문지
• /
• 제19권6호
• /
• pp.942-956
• /
• 2014

본 논문은 단안의 RGB 카메라를 이용하는 실시간 손 추적 방법을 제안한다. 손은 높은 degrees of freedom을 가지고 있기 때문에 손 추적은 높은 모호성을 가지고 있다. 따라서 제안하는 방법에서는 손 추적의 모호성을 줄이기 위해서 단계별 손 추적 전략을 채택하였다. 제안하는 방법의 추적 과정은 손바닥 포즈 추적, 손가락 yaw 움직임 추적, 그리고 손가락 pitch 움직임 추적, 세 단계로 구성되어 있으며, 각 단계는 순서대로 수행된다. 제안하는 방법은 손은 평면으로 간주할 수 있다고 가정하고, 평면 손 모델을 이용한다. 평면 손 모델은 손 모델을 현재의 사용자 손 모양에 맞춰서 변경하는 손 모델 재생성을 가능하게 하는데, 이는 제안하는 방법의 강건성과 정확도를 증가시킨다. 그리고 제안하는 방법은 실시간 연산이 가능하고 GPU 기반 연산을 요구하지 않기 때문에, Google Glass와 같은 모바일 장비를 포함한 다양한 환경에 적용가능하다. 본 논문은 다양한 실험을 통해서 제안하는 방법의 성능과 효용성을 입증한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.169-174
• /
• 2006

본 논문에서는 Video see-through HMD 에 기반 하여 증강 현실을 위한 손 인터페이스를 제안한다. 착용형 컴퓨터의 입력 장치로써 Video see-through HMD 에 부착된 USB 카메라로부터 영상을 입력 받은 후, HSV 컬러 공간에서 탐색 윈도우 안의 개체를 이중 임계 값을 이용해 손과 팔이 포함된 객체로 분리한다. 그 다음 거리 변형 행렬을 이용하여 손과 팔을 분리하고, 볼록 다각형 외각점 추출을 통해 손 끝의 좌표를 검출한다. 이를 기반으로 한 어플리케이션 "AR-Memo"은 현실세계에서 손끝에 가상의 펜을 증강하여 메모를 하고 이동중에 손바닥을 통해 메모를 볼 수 있다. 증강 현실 기반 손 인터페이스를 사용함으로써 사용자는 이동중에도 직관적으로 입력을 할 수 있다. 또한 어떠한 물리적인 장치나 마커를 손에 부착하지 않기 때문에 자연스러운 인터페이스이다. 본 시스템은 착용형 컴퓨터와 결합되어 사용자에게 편리한 인터페이스를 제공할 수 있을 것으로 기대된다.

• 대한의용생체공학회:의공학회지
• /
• 제28권6호
• /
• pp.786-790
• /
• 2007

Up to now, surgeons have operated while peering at images which visualize the medical state of the patient such as MRI or CT images. On the other hand, direct-projected augmented reality technology liberates surgeons from the inconvenience by directly projecting medical information onto the patient's body. However surgeons still feel inconvenient when they mark surgical targets for planning an operation because they use an ink pen which is difficult to modify or delete and is also likely to be unsanitary. In this paper, we resolve these problems by proposing an interactive user interface based on direct-projected augmented reality technology and its validity is shown in experimental results.

• International Journal of Internet, Broadcasting and Communication
• /
• 제15권4호
• /
• pp.250-260
• /
• 2023

In this paper, we designed a IoT(Internet of Things) sensor block embedded lightweight house deck structures that can be implemented using Carbon Fiber Reinforced Polymer(CFRP). Deck-Sensor interconnection interface block via IoT connectivity Hub that can mount external environmental sensors such as fire sensors on the Deck body itself was also proposed. Additionally we described the configuration of devices for data acquisition and analysis based on IoT environmental detection sensors that can be commonly installed and used on these deck bodies. On the other hand, received sensing data based monitoring user interface(UI) also developed and used for sensing data analysis for remote monitoring center. Through the implementation of such IoT-based sensor data transmission and collection analysis devices and UI software, this paper confirmed the availability of CFRP based lightweight House deck structure and possibility of CFRP deck-based IoT sensor data networking and analysis functions.

• 인지과학
• /
• 제8권4호
• /
• pp.35-53
• /
• 1997

본 논문은 컴퓨터 시각을 이용하여 제스처를 인식함으로써 사용자에게 보다 편리한 인터페이스를 제공하는 것을 목표로 한다. 제안하는 제스처 인식 방법은 손영역을 획득하는 손영역 획득 모듈？손영역을 인식하는 인식 모듈로 나누어 수행한다. 손영역 획득 모듈에서는 손색상 모델？손색상 결정함수를 정의하여 칼라영상의 영역 분리를 수행하였고, 칼만필터를 이용하여 손색상 모델을 갱신하고 탐색영역을 제한하여 영역 추적을 용이하게 하였다. 영역 추적은 전 시점의 손영역 정보를 이용하여 현 시점의 손영역을 획득한다. 인식 모듈에서는 정적인 제스처를 표현하는 객체 프레임？행동 프레임, 그리고 동적인 제스처를 표현하는 스키마를 정의한다. 그리고 획득된 손영역？정합을 수행함으로써 제스처를 인식한다. 실험 결갬灌？제안하는 제스처 기반 인터페이스를 적용한 삼목(Tic-Tac-Toe) 게임 프로그램을 구현하였다. 사용자는 제스처를 이용하여 컴퓨터와 게임을 진행한다. 제안하는 시스템은 다른 종류의 게임 프로그램이나 마우스의 역할을 수행하는 윈도우 시스템의 제어, 그리고 가상 현실 시스템에 적용될 수 있다.

• Current Optics and Photonics
• /
• 제7권3호
• /
• pp.283-296
• /
• 2023

An intraoral spectral domain optical coherence tomography (SD-OCT) system has been developed, using a custom-built hand-held scanner and spectrometer. The hand-held OCT probe, based on a microelectromechanical systems scanner and a self-built miniaturized drive circuit, had a field of view sufficient for dental diagnosis. The spectrometer using a fabricated f-theta lens provided the image depth required for dental diagnosis. The axial and transverse resolutions of the OCT system in air were 7.5 ㎛ and 12 ㎛ respectively. The hand-held probe could scan an area of 10 × 10 mm², and the spectrometer could image along a depth of 2.5 mm. To verify the utility of the developed OCT system, OCT images of tooth hard and soft tissues were acquired, and a user-interface program for diagnosis was developed. Early caries and microcracks that were difficult to diagnose with existing methods could be found, and the state of restoration could be observed. Measuring the depth of the gingival sulcus, distinguishing subgingival calculus, and detecting an implant under the gingiva suggested the possibility of the SD-OCT system as a diagnostic for dental soft tissues. Through the presented OCT images, the capability of the developed SD-OCT system for dental diagnosis was demonstrated.