• Journal of Broadcast Engineering
• /
• v.25 no.4
• /
• pp.475-486
• /
• 2020

This paper is a thesis on media art technology for high-tech performances and exhibitions. After creating an interactive stroke in VR, it is projected in real time through a media facade technique. Among our traditional dramas emphasizing linear movements, movements were extracted from the Bongsan mask dance, and the movements of the lines were used in a media art performance called 'Multi-face Convergence'. When motion data enters the virtual space, geometry consisting of faces is created in the VR space. The created strokes can be set with various brush types, and when performing, a stroke with a red fire effect that matches a dynamic movement was used. It was made to be able to harmonize with the dancers performing the Bongsan mask dance. The medium called VR has characteristics that are not suitable for melting into a performance, but in this performance, it has overcome its limitations by using a technique called media façade. We propose the world's first performance technique that combines interactive strokes with traditional dance performances.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1241-1244
• /
• 2022

최근 K-Pop 을 위시한 예술공연 콘텐츠에 몰입형 미디어를 접목한 온택트 (Ontact) 미디어 스트리밍 서비스가 주목받고 있는 가운데, 본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360 도 VR 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3 의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360 도 VR 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360 도 VR 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB 에 위치한 대형 가상현실 공연장 AlloSphere 에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.

• Journal of the Korea Convergence Society
• /
• v.8 no.5
• /
• pp.145-153
• /
• 2017

As success stories of using virtual reality (VR) have become more prevalent, interest in performance-related technology has rapidly increased around the world. Performances such as, Cirque du Soleil had much success in using video technology, these VR applications have enabled experiences using digital image technology. However, critics have claimed that the completeness and diversity of visual content is reduced, due to insufficient storylines, spatial composition, and partial use of the entire visual field. Therefore, the design of a performance using digital image technology should consider the characteristics of the production stage to be different from real world performances. In this study, the visual space of the stage, the method of creating space for the stage, and the movement of the performer and utilization of the performance was analyzed. Through this, It transferred the limitation of the traditional stage into the space and time of the image and opened the possibilities of the tran­-media.

• The Journal of the Korea Contents Association
• /
• v.18 no.9
• /
• pp.544-554
• /
• 2018

The purpose of this study is to classify Reality-Virtual Media Connection System in dance field and to analysis cases of dance pieces using Reality-Virtual Media Connection System based on a literature study. It is limited to interactive media dance performances, such as "Glow"(2006) of Chunky Move, "S.U.N"(2011) and "Dalhangari"(2013) of Young ho Nam, "PIXEL"(2014) of ADRIEN M & CLAIRE B, "Midas Space"(2011) of Midas Project. As a result, first, Reality-Virtual Media Connection System is composed with motion tracking system and projection mapping system. Second, each dance piece has various and unique Reality-Virtual Media Connection System. It has influenced on movement and its subjects. Therefore it is suggested to use Reality-Virtual Media Connection System actively by developing of artificial intellectual, awaring potential of internet of things for motion tracking, and increasing communication between dancers and engineers. It is necessary to proceed supplement research on more cases.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.513-518
• /
• 2006

본 논문에서는 특별한 스튜디오 조명이 아닌 가정용 혹은 학교용 조명 하에서 동작하는 감정 표현이 가능한 그림자 놀이 도구를 소개한다. 이 놀이는 사용자의 실사로부터 추출된 가상 그림자에 사용자의 동작에 따라 실시간으로 반응하는 가상 표정 애니메이션 캐릭터를 투영한다. 이 놀이 도구는 행위전시 등의 공연 환경뿐만 아니라 가정, 학교 등의 일상 환경에서도 동작이 가능하도록 설계되었다. 따라서 가장 일반적인 조명의 하나인 가정용 형광등과 백열등 환경을 가정하였고, 배경에 대해서는 어떤 제약도 가정하지 않았다. 사용자의 실사를 구분하는 과정에는 배경 차분화 기법을 사용하였고, 빛의 산란 및 실제 그림자의 영향 등으로 인한 잡음을 최소화하기 위해 몇 가지 잡음 제거 알고리즘을 결합하여 적용하였다. 이 도구에서 가상 그림자의 표정 애니메이션은 사용자의 손동작에 따라 변화하며, 손동작 및 머리 위치의 추적을 위해 새로이 고안한 자질 기반 추적 기법을 적용하였다. 이 도구는 공연장에서의 인터렉티브 미디어 아트 전시 또는 공연, 아동 대상의 미술 교육, 예술치료 등의 분야에 활용될 수 있을 것으로 판단된다.

• Journal of Digital Contents Society
• /
• v.19 no.2
• /
• pp.309-318
• /
• 2018

We proposed a marketing plan for the performing arts venue using realistic contents(VR, AR, and MR). The venue is a place where the audience can experience the performance directly. The marketing plan of the performance venue is as follows. Firstly, it is a marketing strategy that utilizes an arrangement of venue seats. It is possible to predict for watching a performance at angle and sight in performance venue seats that audience want through VR. This allows the theatre seats to be experienced in advance with the VR contents inducing the reservation of the seats with a high sense of immersion. Secondly, it is a marketing using PR and AD of performing arts through MR in the space with a large transient population. It is possible to promote dynamic promotion utilizing the sense of the presence of performing arts compared with existing static promotion means. Thirdly, it is a marketing strategy that utilizes actor characters in performance. The audience could be interested in the performing arts in advance via a preview of the AR contents of the pamphlet. Fourthly, it is a way to communicate with customers directly by establishing a VR social network to manage venue members. This will help attract an audience to revitalize the theatre venue.

• Journal of the Korea Computer Graphics Society
• /
• v.30 no.3
• /
• pp.23-41
• /
• 2024

Recently, various virtual avatar music content that showcases singing and dancing have been produced, and as virtual artists gain popularity, offline virtual avatar concerts have also emerged. However, there are few examples of virtual avatar band content where avatars play instruments. In addition, offline virtual avatar concerts using large screens at the front are limited in their ability to utilize the fantastical effects and high degree of freedom unique to virtual reality. In this paper, inspired by these limitations of virtual avatar music content, we introduce the production case of virtual avatar band content and immersive interactive concert of virtual band idol Verse'day. Firstly, we present a case study on creating band performance animations and music videos using motion capture systems and real-time engines. Then, we introduce a production case of an immersive interactive concert using projection mapping technology and a light stick that allows real-time interaction in an offline concert. Finally, based on these production cases, we discussed the future research directions of developing virtual avatar music content creation. We expect that our production cases will inspire the creation of diverse virtual avatar music content and the development of immersive interactive offline virtual avatar concerts in the future.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.451-454
• /
• 1999

서양음악의 연구는 음향학의 측면에서 수십년 동안 연구가 진행되어왔다. 이를 통해 콘서트홀의 음향학적 특성을 평가할 수 있는 객관적 지표들을 제시할 수 있었다. 하지만 국악에 있어서는 공연장에 대한 음향학적인 지표가 공식화된 것이 없고, 게다가 지표를 찾기 위한 충분한 국악전용 공연장의 수가 부족하다. 따라서 본 논문에서는 국립국악원 예악당의 모델을 기초로 한 컴퓨터 모의실험을 통해서 얻어진 가상 국악공연장을 바탕으로 RT, Warmth, IACC, ITDG 등의 4가지 지표를 가지고 각기 다양한 시료를 제작하여 청취실험을 실시하였다. 그 결과 서양음악과는 다른 경향의 RT, Warmth 선호도를 추출할 수 있었다.

• Proceedings of the Korea Contents Association Conference
• /
• 2018.05a
• /
• pp.279-280
• /
• 2018

본 연구는 무용공연에서 사용되는 실시간 인터렉티브 미디어 시스템(interative media system)을 사이버물리시스템(CPS, Cyber-Physical System)의 관점으로 분석한 것이다. 4차 산업혁명시대에서 극대화된 가상공간과 현실공간의 연결성과 자동화가 무용예술에서 어떤 양상으로 일어나고 있는지 알아보기 위해 실시간 인터렉티브 미디어시스템을 활용한 무용공연들을 대상으로 연구한 결과, 사이버물리시스템의 연산, 통신, 조작의 과정들은 모션트레킹시스템(motion tracking system)을 통해 물리개체인 무용수들의 움직임, 근육 내부의 반응 등의 정보에 따라 조작되어 소프트웨어의 연산을 거쳐 프로젝션 맵핑(projection mapping)으로 영상으로 출력되는 과정을 거치는 것으로 나타났다. 추후, 다양한 사례연구를 통해 무용공연에서의 4차 산업혁명 요소들을 구체화하여야한다.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.851-854
• /
• 2009

This Research suggest that key features of lighting simulation and intuitive theaterical design method can unify single system. It can produce the virtual scene of stage which is able to predict the number of lighting box and design budget. the final goal of this research is unifying lighting and stage design into on single system.