• The Journal of the Korea Contents Association
• /
• v.10 no.8
• /
• pp.1-10
• /
• 2010

For virtual education, the multimodal learning environment with haptic feedback, termed 'immersive textbook', is necessary to enhance the learning effectiveness. However, the learning contents for immersive textbook are not widely available due to the constraints in creation and playback environments. To address this problem, we propose a framework for producing and displaying the multimodal contents for immersive textbook. Our framework provides an XML-based meta-language to produce the multimodal learning contents in the form of intuitive script. Thus it can help the user, without any prior knowledge of multimodal interactions, produce his or her own learning contents. The contents are then interpreted by script engine and delivered to the user by visual and haptic rendering loops. Also we implemented a prototype based on the aforementioned proposals and performed user evaluation to verify the validity of our framework.

• Journal of Korea Multimedia Society
• /
• v.16 no.6
• /
• pp.689-699
• /
• 2013

There are four methods such as 1:1, 1:N, N:1, and N:N in the tele-operating system for control the remote side robot. The operator must know the information of surroundings of the robot, collision possibility of the mobil equipment, and force feedback of the manipulator. The time delay problem occurs in the tele-operating and it causes vibration and expressive power of the manipulator owing to bidirectional force feedback. N:N control technique having been developed lately has a switching algorithm for the operator to select the target robot or it's partial equipment. When multi-operators work together to accomplish a task with multi-robots, the switching facility must be offered. And the automatic tuning skill to generalize the operator's tendency is needed also. We describes the methodologies and skills for developing a haptic-based tele-operating environments to makes it possible to control the remote multi-robots with multi-operators in this paper.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.447-454
• /
• 2007

본 논문에서는 사용자의 가상환경 내의 위치 정보에 대한 감각을 향상시키는 방법론으로서 햅틱 피드백(haptic feedback)과 사운드 피드백(sound feedback)의 모달리티를 활용한 그리드(grid)를 제안한다. 제안된 그리드는 사용자의 3차원 공간 내의 움직임(explorative procedure)에 추가적인 비 시각적인(non-visual) 위치정보 피드백을 부여하는데 그 목적을 두고 있다. 햅틱 모달리티를 활용한 3차원 그리드는 SensAble사의 PHANTOM(R) Omni$^{TM}$ 를 활용하여 설계되었으며, 사운드 모달리티를 활용한 경우 저주파 배경음의 주파수 특성(frequency characteristics of sound source)을 사용자 손의 공간 좌표값에 근거하여 재생 시의 표본 추출 비율(sampling rate)를 연속적으로 바꾸는 방식으로 설계되었다. 이러한 공간 그리드는 두 모달리티 각각의 독립적인 제시 및 동시 제시/제거를 통해 평가되었으며, 동시 제시의 경우 두 모달리티간의 어긋남(cross-modal asynchrony)이 없도록 설계되어 사용자의 공간 작업 시 모달리티간의 조화 (manipulating congruency)를 확보할 수 있도록 하였다. 실험을 통해 얻어진 결과는 그것의 통계적 유의미성을 분석하기 위해 다원변량분석과 사후검증(Turkey. HSD)을 거쳐 해석이 되었다. 공간 내 특정 좌표 선택을 기준으로 하는 그리드의 사용자 평과 결과, 3차원 내의 움직임에 대해 햅틱 및 사운드 피드백의 비 시각적 피드백은 사용자의 공간 작업의 오차를 줄여 주고 있음이 확인되었다. 특히 시각적인 정보만으로 확인하기 어려운 Z축 상의 움직임은 그리드의 도움으로 그 오차정도가 50% 이상 줄어 드는 것으로 확인되었다(F=19.82, p<0.01). 이러한 시각적 정보를 보존하는 햅틱, 사운드 피드백 방식을 HCI의 중요한 요소인 사용성과 유용성과 연관시켜 MMHCI(multimodal human-computer interaction) 방법론으로의 적용 가능성을 검토해 본다.

• Journal of rehabilitation welfare engineering & assistive technology
• /
• v.8 no.3
• /
• pp.151-160
• /
• 2014

In this study, the effect of the automotive haptic-seat technology which can transmit the driving information by the vibro-stimulus from the seat was investigated to overcome previous system's limitation relied on the visual and audial method and to help handicap driving. A prototype haptic seat cover with 30 coin-type motors and driver module were developed for this sake. In an experiment of seat vibration stimulation being performed under virtual driving situation by targeting the elderly aged over 65 years old, average score of test subjects for total vibration recognition was 3.5/4 points and recognition rate of 87.5% was represented. In addition, a result that all the test subjects totally recognized overspeed warning signal of 4 times was represented. As a result of statistical analysis for vibration recognition score by each group depending on TMT score, a significant difference was not found and a result that tactile function of which vibration is recognized even by the aged whose visual, perceptional function is declined showed an equal ability was obtained.. In this study it was shown that the seat vibration stimulus could be used to transfer the old drivers' information while driving.

• Journal of the Korean Society for Precision Engineering
• /
• v.29 no.2
• /
• pp.222-228
• /
• 2012

Haptics and virtual reality are rapidly growing technologies in medical fields. Physicians and nurses can benefit from medical simulation via training and acquire surgical and clinical techniques. In this paper, the research on needle insertion force of biological tissue for haptic based intravenous injection simulator was carried out. We built the setup for needle insertion (intravenous injection) experiments and performed the experiments on live pigs. The force responses against needle insertion were measured using the experimental setup. In addition, the modeling of needle insertion force was carried out with the experimental results and numerical models via nonlinear least-squares method. The results presented in this paper indicate that the developed models can be applied not only to estimate the force feedback during intravenous injection procedure but also to improve the overall training quality of the medical simulator.

• The Journal of the Acoustical Society of Korea
• /
• v.38 no.4
• /
• pp.427-432
• /
• 2019

In this paper, we propose a home monitoring system using sound event detection based on a bidirectional gated recurrent neural network for the hard-of-hearing. First, in the proposed system, packet loss concealment is used to recover a lost signal captured through wireless sensor networks, and reliable channels are selected using multi-channel cross correlation coefficient for effective sound event detection. The detected sound event is converted into the text and haptic signal through a harmonic/percussive sound source separation method to be provided to hearing impaired people. Experimental results show that the performance of the proposed sound event detection method is superior to the conventional methods and the sound can be expressed into detailed haptic signal using the source separation.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1031-1036
• /
• 2006

햅틱 분야는 디스플레이 되는 콘텐츠를 만질 수 있게 촉감을 제공함으로써 의학, 교육, 군사, 방송 분야 등에서 널리 연구되고 있다. 이미 의학 분야에서는 Reachin 사(社)의 복강경 수술 훈련 소프트웨어와 같이 실제 수술 할 때와 같은 힘을 느끼면서 수술 과정을 훈련할 수 있는 제품이 상용화 되어 있다. 그러나 햅틱 분야가 사용자에게 시청각 정보와 더불어 추가적인 촉감을 제공함으로써 보다 실감 있고 자연스러운 상호작용을 제공하는 장점을 가진 것에 비해 아직은 일반 사용자들에게 생소한 분야다. 그 이유 중 하나로 촉감 상호작용이 가능한 콘텐츠의 부재를 들 수 있다. 일반적으로 촉감 콘텐츠는 컴퓨터 그래픽스 모델로 이루어져 있어 일반 그래픽 모델러를 사용하여 콘텐츠를 생성하나 촉감과 관련된 정보는 콘텐츠를 생성하고 나서 파일에 수작업으로 넣어주거나 각각의 어플리케이션마다 직접 프로그램을 해주어야 한다. 이는 그래픽 모델링과 촉감 모델링이 동시에 진행되지 않기 때문에 발생하는 문제로 촉감 콘텐츠를 만드는데 시간이 많이 소요되고 촉감 정보를 추가하는 작업이 직관적이지 못하다. 그래픽 모델링의 경우 눈으로 보면서 콘텐츠를 손으로 조작할 수 있으나 촉감 모델링의 경우 손으로 촉감을 느끼면서 동시에 조작도 해야 하기 때문에 이에 따른 인터페이스가 필요하다. 본 논문에서는 촉감 상호작용이 가능한 촉감 콘텐츠를 직관적으로 생성하고 조작할 수 있게 하는 촉감 모델러를 기술한다. 촉감 모델러에서 사용자는 3 자유도 촉감 장치를 사용하여 3 차원의 콘텐츠를 실시간으로 만져보면서 생성, 조작할 수 있고 촉감 사용자 인터페이스를 통해서 콘텐츠의 표면 촉감 특성을 직관적으로 편집할 수 있다. 촉감 사용자 인터페이스는 마우스로 조작하는 기존의 2차원 그래픽 사용자 인터페이스와는 다르게 3 차원으로 구성되어 있고 촉감 장치로 조작할 수 있는 버튼, 라디오 버튼, 슬라이더, 조이스틱의 구성요소로 이루어져 있다. 사용자는 각각의 구성요소를 조작하여 콘텐츠의 표면 촉감 특성 값을 바꾸고 촉감 사용자 인터페이스의 한 부분을 만져 그 촉감을 실시간으로 느껴봄으로써 직관적으로 특성 값을 정할 수 있다. 또한, XML 기반의 파일 포맷을 제공함으로써 생성된 콘텐츠를 저장할 수 있고 저장된 콘텐츠를 불러오거나 다른 콘텐츠에 추가할 수 있다.

• Transactions of the Korean Society of Mechanical Engineers A
• /
• v.39 no.4
• /
• pp.415-421
• /
• 2015

This paper describes the study of the design procedure for the step-by-step setup parameters and of the magnetizing method for performance and size reduction in the development of a haptic vibrator. The study of magnetization was accomplished by comparing the electromagnetic force in accordance with the horizontal and the vertical magnetization. The theoretical results indicated that the horizontal magnetization resulted in a better performance. The systematic design of a step-by-step procedure for establishing the design parameters was verified by testing the characteristics of the fabricated prototype product. The vibration response function analysis and electric field analysis were processed by decoupling of the analytical method, and these were determined to be in good agreement with the test results. The design parameters to contributing to the product reliability included the spring height, the welding position, and the coil position. The sensitivity of the electromagnetic field and the performance change were analyzed based on the design parameters. As a result, we proposed a design method to implement a reliability-based, high performance haptic vibrator.

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 2012.10a
• /
• pp.537-538
• /
• 2012

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 2010.05a
• /
• pp.331-332
• /
• 2010