• Journal of Digital Convergence
• /
• v.20 no.4
• /
• pp.575-584
• /
• 2022

The purpose of this study is to derive interaction types that appear variously in immersive contents through John Dewey's empirical theory, and to explore how the derived types are delivered in real cases. For this reason, two cases of the National Museum of Korea 'Immersive Digital Gallery' and 'Arte Museum Jeju' were analyzed through interaction types derived from the empirical theory. The interaction types derived based on the experience theory are the elements of 'multi-sensory', 'simultaneous experience' and 'sensory expansion'. In both cases, these types appear connected rather than grafted one by one in common. In one direction, 'multi-sensory' leads to 'sensory expansion', and in two directions, 'simultaneous experience' leads to 'sensory expansion'. As such, the core types of communication between technology and humans are not delivered one by one, but a cycle of interaction is formed in multiple ways. Therefore, it can be seen that the interaction type of immersive contents is expanded step by step by fusion of various senses and experiences in various fields, rather than a 1:1 partial delivery method. Based on this, it will be necessary to study how types are expanded and how viewers are affected when interaction is implemented in immersive contents in the future.

• Electronics and Telecommunications Trends
• /
• v.19 no.4 s.88
• /
• pp.53-62
• /
• 2004

차세대 방송 서비스는 입체감있는 3차원 AV 콘텐츠와 자연스럽게 사용자와 인터랙션하는 대화형 콘텐츠를 기반으로 하는 실감방송으로 변화되어 갈 것으로 예상된다. 이러한 실감방송 서비스에서는 현장감을 효율적으로 나타낼 수 있는 음상 정위 및 음장 재현 등 3차원 오디오 기술과 사용자 인터랙션을 위한 객체기반 오디오 처리 기술들이 필요하다. 본 고에서는 이러한 현장감과 사용자 인터랙션을 통하여 가상현실에 근접한 서비스를 제공하기 위한 대표적인 3차원 오디오 기술의 개발 동향을 살펴본다. 우선 3차원 오디오 기술의 기본 개념 및 개요를 기술하며, 이러한 3차원 오디오 기술에 기반한 대화형 3차원 오디오 기술 개발에 대한 최근 동향을 살펴보고, 국내에서 개발하고 있는 객체기반 3차원 오디오 기술에 대하여 간략히 설명한다.

• Proceedings of the Korea Contents Association Conference
• /
• 2011.05a
• /
• pp.71-72
• /
• 2011

소프트웨어는 컴퓨터 및 시스템에 탑재되어 제품 및 서비스의 부가가치를 높이고 기업과 개인의 경쟁력을 향상시키는 핵심 기술로 국가 미래 산업 경쟁력의 원천이며, 기기 서비스 사람을 연결하는 산업 성장 엔진으로 임베디드 S/W, 시스템 S/W, 온라인 서비스 S/W, 지능형 S/W, 실감미디어 S/W로 분류가 되는데 이중에서 실감미디어 S/W는 미디어의 사실적인 표현 및 현장감 재현, 체험 공간 참여가 가능하도록 지원하는 S/W로서, 지능형 영상처리기술, 인터랙션기술 및 시뮬레이션 기술 등으로 구성된다. 단방향적인 시청각 서비스를 통한 감동전달 미디어 서비스에서 고품격의 미디어 서비스와 다양한 감각 기술을 활용한 혁신적이고 인간 친화적인 체감형 인터랙션 기술을 활용하여 미디어의 현실감을 극대화할 수 있는 실감미디어 S/W에 대한 국내외 기술의 개발 동향, 정책 동향, 사업 동향, 그리고 표준화 동향에 대해 고찰하고 발전 전망에 대해 논하고자 한다.

• Science of Emotion and Sensibility
• /
• v.14 no.4
• /
• pp.627-636
• /
• 2011

The purpose of this study is to develop the multi-modal interaction system. This system provides realistic and an immersive experience through multi-modal interaction. The system recognizes user behavior, intention, and attention, which overcomes the limitations of uni-modal interaction. The multi-modal interaction system is based upon gesture interaction methods, intuitive gesture interaction and attention evaluation technology. The gesture interaction methods were based on the sensors that were selected to analyze the accuracy of the 3-D gesture recognition technology using meta-analysis. The elements of intuitive gesture interaction were reflected through the results of experiments. The attention evaluation technology was developed by the physiological signal analysis. This system is divided into 3 modules; a motion cognitive system, an eye gaze detecting system, and a bio-reaction sensing system. The first module is the motion cognitive system which uses the accelerator sensor and flexible sensors to recognize hand and finger movements of the user. The second module is an eye gaze detecting system that detects pupil movements and reactions. The final module consists of a bio-reaction sensing system or attention evaluating system which tracks cardiovascular and skin temperature reactions. This study will be used for the development of realistic digital entertainment technology.

• Journal of the Korea Computer Graphics Society
• /
• v.23 no.3
• /
• pp.77-85
• /
• 2017

Tangible Space is a new emerging interaction space with mobile AR/VR computing and ubiquitous computing environment with IoT. Tangible Space spans from a physical environment augmented with virtual entities to immersive virtual environments mirroring the physical environment. Interacting with Tangible Space is logged just like interacting with the Web. By webizing Tangible Space, we can gain persistence as a by-product so that human life experience in the physical environment can be logged and shared just like the information being created and shared in the current Web. The result is a powerful future direction of the web from a World Wide Web of Information to World Wide Web of Life experiences.

• The KIPS Transactions:PartB
• /
• v.14B no.5
• /
• pp.343-350
• /
• 2007

Virtual environment is an interactive multimedia space that allows users to experience realistic sensory feedbacks and interactions as they do in real world. There have been some work on the development of two-dimensional user interface for supporting interactions in a virtual environment. However, most of them were designed for specific virtual environments and hence could not be easily deployed to other virtual worlds. To address this problem, some frameworks were developed for building two-dimensional user interfaces for virtual environment, but they had limitations in usability or flexibility. In this paper, we present the HIVE framework, which is designed to help ease the development of two-dimensional user interface for the virtual environment while satisfying the requirements of both usability and flexibility. The HIVE framework utilizes XML and scripting capability, dynamic module loading, XML and script language for usability. It provides module reading, configuration, and event processing mechanism for flexibility. This paper first explains the HIVE framework and describes the applications developed for some virtual environments followed by discussing the future research directions.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.3
• /
• pp.396-402
• /
• 2022

User interactions are being developed in various forms, and in particular, interactions using human gestures are being actively studied. Among them, hand gesture recognition is used as a human interface in the field of realistic media based on the 3D Hand Model. The use of interfaces based on hand gesture recognition helps users access media media more easily and conveniently. User interaction using hand gesture recognition should be able to view images by applying fast and accurate hand gesture recognition technology without restrictions on the computer environment. This paper developed a fast and accurate user hand gesture recognition algorithm using the open source media pipe framework and machine learning's k-NN (K-Nearest Neighbor). In addition, in order to minimize the restriction of the computer environment, a stereoscopic image control system based on user hand gesture recognition was designed and implemented using a web service environment capable of Internet service and a docker container, a virtual environment.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.550-552
• /
• 2005

실감 재현이 중요한 가상현실 응용에서는 사용자에게 고급 그래픽 환경을 제시하고 사용자의 인터랙션에 즉각적인 피드백을 제공함으로서 실재감과 몰입감을 증대시키는 연구가 진행되어왔다. 실재감, 공간감 전달을 위해 시각과 청각을 함께 활용하는 것이 효과적이나, 가상공간의 특징을 반영한 3차원 사운도 재현 연구는 국내외 통틀어 초기단계에 머물러 있다. 실재감과 공간감을 반영한 3차원 사운드의 재현을 위해서는 음원의 전파, 반사, 잔향 풍의 계산이 사용자의 인터랙션에 따라 새롭게 계산되어야한다. 그러나 사운드 전파경로와 공간을 이루는 모든 폴리곤들과의 충돌을 검사하며 반사 등을 계산하는 것은 실시간성이 중요한 가상현실응용에서는 무리가 따르므로 실 시간성을 보장하기 위한 계산량 축소가 요구된다. 본 논문에서는 다수의 음원이 존재하는 복잡한 가상공간에서의 3차원 사운드를 재현하기 위하여 사운드 신과 계산에 필요한 최소한의 정보를 가지는 오디오 씬 그라프의 공간을 재구성하고 다수의 음원을 대상으로 음원 축소 및 군집화를 적용하여 3차원 사운드효과를 실시간으로 재현하는 알고리즘을 제안한다.

• Broadcasting and Media Magazine
• /
• v.25 no.1
• /
• pp.83-99
• /
• 2020

본 연구는 '인공지능이 그린 그림은 예술적 가치가 있는가?' '인공지능을 활용한 21세기의 현시대 예술은 무엇인가?' '어떻게 실현되는가?'라는 실천적 질문에서 출발하였다. 4차 산업혁명은 초실감(Hyper-Reality), 초지능(Hyper-Intellect), 초연결(Hyper-connect)로 '초(Hyper)의 시대'를 예고하고 있다. 이 혁명은 현시대 예술가에게 현실과 가상을 분간할 수 없는 혼합현실환경, 예술의 창작활동에 훌륭한 조수로서 역할을 할 수 있는 인공지능, 예술적 경험을 가상과 현실을 넘나들며, 언제 어디서나 즉각적으로 체험할 수 있는 기술을 제공한다. 실천적 질문에 대한 해답을 찾기 위하여 주관기관 홍익대학교, 참여기관 서울미디어대학원대학교, (주)브이알애드가 2018년 5월부터 2019년 12월까지 2년간 진행한 한국콘텐츠진흥원 문화기술 연구개발 지원사업 '인공지능 기반 창작 아틀리에 발굴 및 구축 기술 개발 프로젝트'를 통하여 인공지능 엔진(stNET, vidNET, hdtNET, omniNET)을 개발하였고 예술가와 4번의 전시를 통하여 성능 및 가치를 실증하였다. 인공지능은 그동안의 예술적 장르와는 차별화된 특이점을 가지고 있으며 응용 범위 또한 다양하다. 현시대 예술가에게 새로운 장르 개척의 훌륭한 조수로서 역할이 가능하다는 것이다. 그동안 현대 예술의 조형과 개념 미술에 한정적 메시지를 넘어, 인공지능기반 초 실감, 실 시간, 직관적 인터랙션을 통하여 직접적 예술 경험을 체험할 수 있다는 점에서, 현시대의 예술가에게 초 경험 예술(Hyper-Experience Art)의 시작인 동시에 새로운 장르 개척의 단초가 제공된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.371-374
• /
• 2009

가상 현실과 현실 세계가 공존하는 증강 현실은 현재 및 향후 실감미디어 콘텐츠에 중요한 역할을 할 것으로 기대된다. 증강 현실은 게임, 엔터테인먼트, 교육 분야 등에서 응용에 따라 다양한 기술들의 결합이 요구된다. 본 논문에서는 교육적 효과를 주는 버블 포핑 증강 현실 기법을 제안한다. 버블 포핑 시스템은 비디오 입력용 웹캠, 마커 패턴 영상, 그래픽 구 버블 객체, 그래픽 마우스 등으로 구성된다. 일반 마우스의 이동에 따라 그래픽 마우스가 3차원 공간상에서 이동하면서 버블과의 충돌이 발생하게 되면, 충돌시 발생하는 버블의 이벤트로 동적 움직임, 터짐 등의 버블 효과를 구현할 수 있는 방법을 제안한다. 충돌 검출은 카메라와 마커 패턴의 좌표계 및 버블의 3차원 공간위치, 그리고 3차원 모델 데이터를 이용하여 구현한다. 제안 시스템은 ARToolkit을 기반으로 제작되었으며, 시각적인 마커 기반 시스템으로 버블의 움직임과 사용자의 인터랙션을 통해, 버블 포핑의 증강현실을 전달한다. 향후, 현재 개발 중인 포스 피드백 기능이 있는 진동촉각공간 햅틱 마우스와 접목하여 보다 실감적인 증강현실 기술을 개발할 예정이다.