• 전자통신동향분석
• /
• 제39권2호
• /
• pp.12-23
• /
• 2024

The Metaverse industry is developing rapidly, and related technologies are being actively improved. Tools such as controllers, keyboards, and mouses are used to interact in the Metaverse, but they are not natural and intuitive interfaces to resemble real-world interactions. Immersive interaction in a Metaverse space requires the engagement of various senses such as vision, touch, and proprioception. Moreover, in terms of body senses, it requires a sense of body ownership and agency. In addition, eliciting cognitive and emotional empathy based on non-verbal expression, which cannot be suitably conveyed to the digital world, requires higher-level technologies than existing emotion measurement solutions. This diversity of technologies can converge to build an immersive realistic Metaverse environment. We review the latest research trends in technologies related to immersive interactions and analyze future development prospects.

• 한국컴퓨터게임학회논문지
• /
• 제31권4호
• /
• pp.197-203
• /
• 2018

최근 VR(Virtual Reality)에 대한 사람들의 관심이 높아짐에 따라 주변기기 또한 많은 발전이 이루어졌다. VR 환경에서 그 환경내의 사물과 인터랙션 할 수 있는 여러 인터페이스 장치와 룸 단위의 스캐닝을 통한 VR 환경 구성까지 많은 연구가 이루어지고 있다. 현재 VR의 동향을 보았을 때 가정에서의 VR 활용법은 여러 햅틱 인터페이스를 이용하여 VR 환경 내에 구성된 사물들과 인터랙션 하는 것이 많으며 룸 스캐닝을 이용한 방법으로 공간상의 제약을 어느 정도 벗어나기도 하며, 트레킹 장비를 이용하여 실제 사물들과의 인터랙션을 하기도 한다. 3D 프린터의 발전으로 상업용 3D 프린터와 가정용 3D 프린터의 보급이 활성화 되었으며, 3D 프린팅 업체 또는 가정에서 쉽게 3D 프린터를 통해 자신이 원하는 모형을 만들 수 있게 되었다. 위 두 가지를 고려하였을 때 VR 환경에서 사람들이 쉽게 만들 수 있는 모형을 가지고 직접 인터랙션을 할 때 사람들이 느끼는 모형의 물체감과 VR 환경상에서 구성된 모형의 물체감 사이의 차이점에 대한 연구가 필요하다고 느껴진다. 따라서 이 논문에서는 3D 프린터로 제작한 사물을 VR 공간 내에 구현하고 실제로 구현된 그 사물과의 사용자 테스트를 통해 실제 사물과 인터랙션 할 때와 다른 일반 인터랙션 장비를 사용할 때의 차이에 대한 연구를 하고자 한다.

• Advances in robotics research
• /
• 제1권2호
• /
• pp.155-169
• /
• 2014

Study results in the last decades show that amount and quality of physical exercises, then the active participation, and now the cognitive involvement of patient in rehabilitation training are known of crux to enhance recovery outcome of motor dysfunction patients after stroke. Rehabilitation robots mainly have been developing along this direction to satisfy requirements of recovery therapy, or focusing on one or more of the above three points. Therefore, neuro-machine interaction based active rehabilitation robot has been proposed for assisting paralyzed limb performing designed tasks, which utilizes motor related EEG, UCSDI (Ultrasound Current Source Density Imaging), EMG for rehabilitation robot control and feeds back the multi-sensory interaction information such as visual, auditory, force, haptic sensation to the patient simultaneously. This neuro-controlled and perceptual rehabilitation robot will bring great benefits to post-stroke patients. In order to develop such kind of robot, some key technologies such as noninvasive precise detection of neural signal and realistic sensation feedback need to be solved. There are still some grand challenges in solving the fundamental questions to develop and optimize such kind of neuro-machine interaction based active rehabilitation robot.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.447-454
• /
• 2007

본 논문에서는 사용자의 가상환경 내의 위치 정보에 대한 감각을 향상시키는 방법론으로서 햅틱 피드백(haptic feedback)과 사운드 피드백(sound feedback)의 모달리티를 활용한 그리드(grid)를 제안한다. 제안된 그리드는 사용자의 3차원 공간 내의 움직임(explorative procedure)에 추가적인 비 시각적인(non-visual) 위치정보 피드백을 부여하는데 그 목적을 두고 있다. 햅틱 모달리티를 활용한 3차원 그리드는 SensAble사의 PHANTOM(R) Omni$^{TM}$ 를 활용하여 설계되었으며, 사운드 모달리티를 활용한 경우 저주파 배경음의 주파수 특성(frequency characteristics of sound source)을 사용자 손의 공간 좌표값에 근거하여 재생 시의 표본 추출 비율(sampling rate)를 연속적으로 바꾸는 방식으로 설계되었다. 이러한 공간 그리드는 두 모달리티 각각의 독립적인 제시 및 동시 제시/제거를 통해 평가되었으며, 동시 제시의 경우 두 모달리티간의 어긋남(cross-modal asynchrony)이 없도록 설계되어 사용자의 공간 작업 시 모달리티간의 조화 (manipulating congruency)를 확보할 수 있도록 하였다. 실험을 통해 얻어진 결과는 그것의 통계적 유의미성을 분석하기 위해 다원변량분석과 사후검증(Turkey. HSD)을 거쳐 해석이 되었다. 공간 내 특정 좌표 선택을 기준으로 하는 그리드의 사용자 평과 결과, 3차원 내의 움직임에 대해 햅틱 및 사운드 피드백의 비 시각적 피드백은 사용자의 공간 작업의 오차를 줄여 주고 있음이 확인되었다. 특히 시각적인 정보만으로 확인하기 어려운 Z축 상의 움직임은 그리드의 도움으로 그 오차정도가 50% 이상 줄어 드는 것으로 확인되었다(F=19.82, p<0.01). 이러한 시각적 정보를 보존하는 햅틱, 사운드 피드백 방식을 HCI의 중요한 요소인 사용성과 유용성과 연관시켜 MMHCI(multimodal human-computer interaction) 방법론으로의 적용 가능성을 검토해 본다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.2676-2681
• /
• 2003

The Haptic Exploration Laboratory at The Johns Hopkins University is currently exploring many problems related to haptics (force and tactile information) in human-machine systems. We divide our work into two main areas: virtual environments and robot-assisted manipulation systems. Our interest in virtual environments focuses on reality-based modeling, in which measurements of the static and dynamic properties of actual objects are taken in order to produce realistic virtual environments. Thus, we must develop methods for acquiring data from real objects and populating pre-defined models. We also seek to create systems that can provide active manipulation assistance to the operator through haptic, visual, and audio cues. These systems may be teleoperated systems, which allow human users to operate in environments that would normally be inaccessible due to hazards, distance, or scale. Alternatively, cooperative manipulation systems allow a user and a robot to share a tool, allowing the user to guide or override the robot directly if necessary. Haptics in human-machine systems can have many applications, such as undersea and space operations, training for pilots and surgeons, and manufacturing. We focus much of our work on medical applications.

• 스마트미디어저널
• /
• 제1권4호
• /
• pp.8-17
• /
• 2012

본 논문에서는 모바일 기기에서 사용자 경험의 향상을 위해 다중 진동신호를 활용하는 연구로, 포항공과대학교 햅틱스 및 가상현실 연구실의 '다중 진동자를 사용한 촉각 흐름'과 '실시간 이중 채널 촉감 음악 재생기'의 연구 현황을 소개한다. '다중 진동자를 사용한 촉각 흐름'은 여러 개의 진동자를 사용하여 흐르는 듯한 진동을 생성함으로써 다수의 구분 가능한 진동 신호를 제공할 수 있으며 이를 통한 정보 전달력의 향상을 도모할 수 있다. '실시간 이중 채널 촉감 음악 재생기'는 음악적 신호를 진동 신호로 변환하여 제공함으로써 사용자들로 하여금 더 나은 경험을 제공할 수 있다. 이러한 사례들은 향후 예상되는 모바일 기기에서의 더 많은 정보 전달과 더 나은 사용자 경험에 대한 요구를 충족시키기 위한 좋은 예가 될 수 있을 것으로 기대된다.

• 한국게임학회 논문지
• /
• 제19권2호
• /
• pp.23-32
• /
• 2019

VR 콘텐츠의 대중화가 더딘 것은 시각적인 새로운 경험 즉, '흥미' 이상의 '효용'을 만들어내지 못했기 때문이다. 가상현실 콘텐츠의 효용은 기능적 현실감에서 출발하며 그것을 증진시키기 위해서 사실적인 인터랙션이 요구된다. 본 연구는 구체적으로 네트워크 플레이, 캐릭터 인공지능, 햅틱 구현의 3가지 방법을 제시하고 있다. 가설을 확인하기 위하여 기획에서부터 콘텐츠 제작, 플레이 테스트, 기술 검증까지 야구를 소재로 한 VR 콘텐츠 제작의 전 단계를 수행하였다. 최종 결과물에 대한 사용자 및 평가 기관의 테스트를 통하여 사실적인 시각 효과와 플레이 연출, 진동에 의한 타격감까지 콘텐츠의 현실감을 높이는 데 기여한 것으로 평가되었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.2072-2072
• /
• 2009

최근 연구들에서, 증강 현실(Augmented Reality; AR) 환경에서의 촉각 상호작용에 대한 가능성이 논의되었다. 비젼 기반의 트래킹을 기초로 한 증강 현실 기술은 미리 정의된 2차원 마커(marker)를 이용하여, 카메라로부터 획득된 실시간 영상 위에 가상 물체를 증강한다. 그러나, 카메라로부터 획득된 데이터는 몇몇 오차 요인들, 예를 들어 마커의 위치를 인식하는데 나타나는 오차, 카메라 안에 존재하는 센서 잡음 등으로 인해서 마커 잡음(마커를 인식하면서 나타나는 잡음)이 불가결하게 발생하게 된다. 이러한 이유로 인해서, 사용자가 한 손에는 마커를, 다른 한 손으로는 촉감 장치를 이용하여, 마커에 증강된 물체를 만질 때, 마커 잡음은 힘의 떨림(force trembling)을 발생시킨다. 심지어, 이러한 현상은 정지된 마커에 증강된, 마커가 움직이지 않는 상황에서도 발생한다. 게다가, 마커 위에 증강된 물체가 약간 빠른 속도로 이동하게 될 경우, 측정된 이동 거리는 연속적인 프레임(frame)들 간의 불연속적일 수 있다. 만약 사용자가, 대략 30Hz로 위치와 방향이 갱신되는 가상물체를 촉각적으로 상호작용하려 한다면, 계산되는 반력은 급작스런 힘의 변화를 생성하게 될 수도 있다. 이러한 현상을 극복하기 위해서, 마커 잡음을 최소화하기 위해서 정적 임계값(constant threshold)을 이용할 뿐만 아니라, 보간법을 같이 사용한 방법이 있었다. 하지만, 이러한 방법은 정적 임계값을 이용하고, 영상 프레임 갱신 속도와(video frame rate)와 촉각 프레임 갱신 속도가 일정하다는 가정을 사용하였기 때문에, 여전히 힘의 불연속적인 발생이 나타난다. 따라서, 이 논문에서는 두 가지 방법을 이용하여 증강 현실 내에서, 발생할 수 있는 힘의 불연속적인 변화를 보정하는 두 가지 방법, 잡음 제거를 위한 확장된 칼만 필터(Extend Kalman Filter)와 영상과 촉각 갱신 속도 차이에 따른 갑작스런 힘의 변화를 제거하기 위한 적응적 외삽법(Adaptive Extrapolation method)을 제안한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.323-328
• /
• 2008

"부풀어지는 마우스"는 부피가 변하는 유저 인터페이스 기기이다. 이 마우스는 우리가 흔히 사용하는 마우스의 부피만큼 부풀어지는 것뿐만 아니라 사용하지 않을 때에는 납작하게 줄어들어 노트북 컴퓨터의 PC 카드 슬롯에 보관될 수 있다. 이 기기는 일반 마우스와 동일하게 사용 가능할 뿐만 아니라 마우스 풍선 안의 기압을 측정함으로써 새로운 인터랙션을 제공해 주고 있다. 또한 이 기기는 기존에 압력 센싱 인터랙션이 갖고 있는 한계점인 양방향 제어와 효율적인 피드백의 부재를 해결하고 있다. 나아가 제어 수단뿐만 아니라 표현의 수단으로도 활용 가능하다. 본 논문에서는 부풀어지는 마우스의 프로토타입 디자인에 대해서 설명하고 압력제어를 통해 줌인과 같은 응용 가능한 시나리오를 소개하고자 한다. 또한, 감성 및 커뮤니케이션 도구로의 활용 가능성도 기대 할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.954-960
• /
• 2009

SenseMessenger(이하 센스메신져)는 3축 가속센서를 이용해 모션을 저장하는 컵과 2개의 모터 조합으로 만들어진 햅틱 재생 장치를 통해 저장된 모션 패턴을 사용자에게 전달하는 컵으로 이루어진 새로운 인터렉션 기법을 제안하기 위한 도구이다. 사용자의 움직임을 디지털 데이터 형식으로 패턴화하여 편심을 이용한 재생 장치를 통해 재생하였을 때, 입력(모션)과 출력(햅틱 자극) 간의 감성적인 상관관계를 입증하고, 이를 이용한 디지털 미디어 컨텐츠를 제안하였다.