• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.447-454
• /
• 2007

본 논문에서는 사용자의 가상환경 내의 위치 정보에 대한 감각을 향상시키는 방법론으로서 햅틱 피드백(haptic feedback)과 사운드 피드백(sound feedback)의 모달리티를 활용한 그리드(grid)를 제안한다. 제안된 그리드는 사용자의 3차원 공간 내의 움직임(explorative procedure)에 추가적인 비 시각적인(non-visual) 위치정보 피드백을 부여하는데 그 목적을 두고 있다. 햅틱 모달리티를 활용한 3차원 그리드는 SensAble사의 PHANTOM(R) Omni$^{TM}$ 를 활용하여 설계되었으며, 사운드 모달리티를 활용한 경우 저주파 배경음의 주파수 특성(frequency characteristics of sound source)을 사용자 손의 공간 좌표값에 근거하여 재생 시의 표본 추출 비율(sampling rate)를 연속적으로 바꾸는 방식으로 설계되었다. 이러한 공간 그리드는 두 모달리티 각각의 독립적인 제시 및 동시 제시/제거를 통해 평가되었으며, 동시 제시의 경우 두 모달리티간의 어긋남(cross-modal asynchrony)이 없도록 설계되어 사용자의 공간 작업 시 모달리티간의 조화 (manipulating congruency)를 확보할 수 있도록 하였다. 실험을 통해 얻어진 결과는 그것의 통계적 유의미성을 분석하기 위해 다원변량분석과 사후검증(Turkey. HSD)을 거쳐 해석이 되었다. 공간 내 특정 좌표 선택을 기준으로 하는 그리드의 사용자 평과 결과, 3차원 내의 움직임에 대해 햅틱 및 사운드 피드백의 비 시각적 피드백은 사용자의 공간 작업의 오차를 줄여 주고 있음이 확인되었다. 특히 시각적인 정보만으로 확인하기 어려운 Z축 상의 움직임은 그리드의 도움으로 그 오차정도가 50% 이상 줄어 드는 것으로 확인되었다(F=19.82, p<0.01). 이러한 시각적 정보를 보존하는 햅틱, 사운드 피드백 방식을 HCI의 중요한 요소인 사용성과 유용성과 연관시켜 MMHCI(multimodal human-computer interaction) 방법론으로의 적용 가능성을 검토해 본다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.13-14
• /
• 2023

뇌의 전기적 신경활동을 측정하는 뇌전도(EEG)는 저렴하게 취득할 수 있고 높은 시간 해상도를 갖는 반면 공간적 정보를 제공하지는 않는다. 기능적 자기공명영상(fMRI)은 혈류변화를 감지하여 뇌활동을 측정하는 방식으로서 높은 공간 분해능을 갖지만 고가의 비용과 설비를 요구한다. 최근 저렴하게 취득할 수 있는 EEG 데이터로부터 딥러닝을 사용하여 fMRI 합성영상을 생성하는 기술이 제안되었지만, 저주파수 대역에서 EEG와 fMRI 간의 뇌과학적 상관관계를 반영하지는 않는다. 본 연구에서는 휴식상태에서 취득된 EEG 데이터를 스펙트로그램으로 변환한 후 저주파수 특성을 사용하여 fMRI 합성영상을 생성하는 U-net 기반의 크로스 모달리티 변환 모델의 실현가능성을 평가하였다.

• Korean Institute of Interior Design Journal
• /
• v.22 no.1
• /
• pp.75-84
• /
• 2013

This study focuses on Gilbert Simondon's individuation theory, a core concept of his technological philosophy, and spatial modality in interactive space as the schema of interactive operation. The study examines spatial modality as the technology of an interaction-enabler that has archi-semiotic characteristics in the designed space by aspects of examples. They are based on ideas and properties of a combined environment and the concept of information, which form Simondon's individuation theory. In the process of technological individuation, spatial modality has the characteristics of archi-semiotics from a combined environment and information. The first of the three properties is representation through semiosis and the information surface. Second is the context by relation works and perception, and third are the symbolic aspects, which could create Placeness by meaning. Combining meaningful constructive and deconstructive spaces could result in space for interactive communication. Spatial modality makes it possible to interact with users and spaces. In fact, it could have a particular semiotic mode of address and become a semiotic and contextual base. As a basic investigation of spatial modality, this study will contribute to interactive space design research.

• The Journal of Bigdata
• /
• v.7 no.1
• /
• pp.29-36
• /
• 2022

The prevalence of stress and depression among emotional workers is increasing due to the rapid increase in emotional labor and service workers. However, the current mental health management of emotional workers is difficult to consider the emotional response at the time of stress situations, and the existing mental health management is limited because the individual's base state is not reflected. In this study, we present mental healthcare digital twin solution technology, a personalized stress risk management solution. For mental health risk management due to emotional labor, a solution simulation is performed to accurately predict stress risk through synchronization/modeling of dynamic objects in virtual space by extracting individual stress risk factors such as emotional/physical response and environment into various modalities. It provides a mental healthcare digital twin solution for predicting personalized mental health risks that can be configured with modalities and objects tailored to the environment of emotional workers and improved according to user feedback.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1052-1055
• /
• 2020

본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의 손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치마크를 제안 하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손 메시(mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링된 손에 피팅한다. 3D 메시의 모양 및 시점 파라미터를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치마크의 데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치마크가 이전 작업의 차이를 메우고 있음을 보여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추정 및 시맨틱 손 세그멘테이션과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전을 가속화할 것으로 기대된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.21-22
• /
• 2021

최근 AI(Artificial Intelligence)를 기반으로 정밀한 가스 성분 감지를 위한 후각지능(Olfactory intelligence) 기술에 연구가 활발히 진행 중이다. 후각지능 학습데이터는 다른 감지 방식의 가스 센서들이 동시에 적용되는 멀티모달리티의 특성을 지니며 또한, 공간상에 분포된 센서 배열을 통해 획득된 다차원의 시계열 특성을 지닌다. 따라서 대량의 다차원 데이터에 대한 정확한 이해와 분석을 위해서는 데이터를 전처리하고 시각화할 수 있는 기술이 필요하다. 본 논문에서는 후각지능 학습을 위한 다차원의 복잡한 가스 데이터의 시각화를 위해 잡음 등의 불필요한 값을 제거하고, 데이터가 일관성을 가지도록 하며, 데이터의 차원을 시각화 가능하도록 축소하기 위한 전처리 방법을 제시한다.

• The KIPS Transactions:PartB
• /
• v.14B no.4
• /
• pp.273-280
• /
• 2007

This paper presents a new 3D sound toolkit called $EVE-Sound^{TM}$ that consists of pre-processing tool for environment simplification preserving sound effect and 3D sound API for real-time rendering. It is designed so that it can allow users to interact with complex 3D virtual environments by audio-visual modalities. $EVE-Sound^{TM}$ toolkit would serve two different types of users: high-level programmers who need an easy-to-use sound API for developing realistic 3D audio-visually rendered applications, and the researchers in 3D sound field who need to experiment with or develop new algorithms while not wanting to re-write all the required code from scratch. An interactive virtual environment application is created with the sound engine constructed using $EVE-Sound^{TM}$ toolkit, and it shows the real-time audio-visual rendering performance and the applicability of proposed $EVE-Sound^{TM}$ for building interactive applications with complex 3D environments.

• Journal of Internet Computing and Services
• /
• v.10 no.5
• /
• pp.165-181
• /
• 2009

This paper presents an effective representation scheme for the shape analysis of the hippocampal structure and a stereoscopic-haptic environment to enhance sense of realism. The parametric model and the 3D skeleton represent various types of hippocampal shapes and they are stored in the Octree data structure. So they can be used for the interactive shape analysis. And the 3D skeleton-based pose normalization allows us to align a position and an orientation of the 3D hippocampal models constructed from multimodal medical imaging data. We also have trained Support Vector Machine (SVM) for classifying between the normal controls and epileptic patients. Results suggest that the presented representation scheme provides various level of shape representation and the SVM can be a useful classifier in analyzing the shape differences between two groups. A stereoscopic-haptic virtual environment combining an auto-stereoscopic display with a force-feedback (or haptic) device takes an advantage of 3D applications for medicine because it improves space and depth perception.

• The KIPS Transactions:PartA
• /
• v.16A no.1
• /
• pp.43-54
• /
• 2009

With the emergence of ubiquitous computing era, it has become increasingly important for a middleware which takes full advantage of HCI factors to support user-centric services. Many kinds of studies on HCI-friendly middleware for supporting user-centric services have been performed. However, previous studies have problems in supporting HCI factors, which are needed for user-centric services. In this paper, we present an agent-based intelligent middleware, which is called AIM, that provides user-centric services in ubiquitous HCI environments. We describe the middleware requirements for user-centric services by analyzing various HCI-friendly middleware and design AIM middleware which effectively supports various HCI factors such as context information management, pattern inference of user's behavior, and dynamic agent generation, etc. We introduce service scenarios based on the user's modalities in smart spaces. Finally, prototype implementation is illustrated as a manifestation of the benefits of the introduced infrastructure.

• Journal of Broadcast Engineering
• /
• v.27 no.4
• /
• pp.487-498
• /
• 2022

Depth map is an image that contains distance information in 3D space on a 2D plane and is used in various 3D vision tasks. Many existing depth estimation studies mainly use narrow FoV images, in which a significant portion of the entire scene is lost. In this paper, we propose a technique for generating 360° omnidirectional RGBD images from a sparse set of narrow FoV images. The proposed generative adversarial network based image generation model estimates the relative FoV for the entire panoramic image from a small number of non-overlapping images and produces a 360° RGB and depth image simultaneously. In addition, it shows improved performance by configuring a network reflecting the spherical characteristics of the 360° image.