• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 KOBA 방송기술 워크샵
• /
• pp.87-93
• /
• 1999

In this paper, we introduce a novel virtual studio environment where a broadcaster in the virtual set interacts with tele-viewers as if they are sharing the same environment as participants. A tele-viewer participates physically in the virtual studio environment by a dummy-head equipped with video "eyes" and microphone "ears" physically located in the studio. The dummy head as a surrogate of the tole-viewer follows the tele-viewer's head movements and views and hears through the dummy head like a tele-operated robot. By introducing the tele-presence technology in the virtual studio setting, the broadcaster can not only interact with the virtual set elements like the regular virtual studio environment but also share the physical studio with the surrogates of the tele-viewers as participants. The tele-viewer may see the real broadcaster in the virtual set environment and other participants as avatars in place of their respective dummy heads. With an immersive display like HMD, the tele-viewer may look around the studio and interact with other avatars. The new interactive virtual studio with the immersive viewer environment may be applied to immersive tele-conferencing, tele-teaching, and interactive TV program productions.program productions.

• 한국게임학회 논문지
• /
• 제20권6호
• /
• pp.75-88
• /
• 2020

디지털 게임 경험에 있어 몰입은 가장 중요한 요인이다. 그러나 일부 게임은 다양한 방법으로 플레이어의 몰입을 흩트리고 이로 인한 심리적 거리감을 말미암아 성찰의 기회를 부여한다. 이러한 전략은 '낯설게 하기' 기법과 유사한 측면이 있다. 이에 본고는 디지털 게임의 반몰입 전략의 특성과 유형을 검토하고, 이를 '감각정보의 교란', '서사의 반전 및 장르의 전복', '경험의 제한' 세 가지로 제시하였다. 분석 결과, 시청각적 정보의 과잉, 축적된 정보나 장르 문법을 낯설게 하기, 특정한 선택과 경험의 강요는 반몰입 유발에 효과적인 것으로 나타났다. 해당 연구는 대안적 게임의 반몰입 전략을 정리하였다는 점에서 의의가 있다.

• International Journal of Computer Science & Network Security
• /
• 제22권2호
• /
• pp.23-28
• /
• 2022

The present study has been conducted to evaluate the experience in using peer-to-peer platforms and immersive technologies in the training of future masters of pharmacy from the Pharmaceutical Faculty of Bogomolets National Medical University, Ukraine. The selected participants were given the pre- and post-test containing multiple choice questions to assess the effectiveness of immersive technologies. Further, a self-designed structured questionnaire contained 10 questions with 5 options was delivered to consented participants through email and WhatsApp. The results of test presented that students attained an average of 26% in their pre-test while the average attained score post-test was 74% that showed a significant improvement with peer-to-peer platforms and virtual reality technology. The results of survey questions also showed an overall 86.73% satisfaction for the use of peer-to-peer platforms and virtual reality technology in the training of future masters of pharmacy. These results demonstrated that 90.81% showed agreement that they gained a high level of confidence through peer-to-peer platforms and virtual reality to handle patients in clinical practice. It can be concluded that participants of this study showed a strong agreement with positive experience in using peer-to-peer platforms and virtual reality technology in the training of future masters of pharmacy in medical lyceum.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.157-160
• /
• 2022

본 논문에서는 다중 인물 포함 단일 영상으로부터 파라미터 기반 3차원 휴먼 모델 생성 기법 중 최근 발표된 SOTA 기법 4가지에 대해 대표적인 데이터 셋들에 대해 사전 학습 모델을 사용한 복원 성능 비교 실험을 수행하였다. 실험결과, CLIFF 기법과 PyMAF-x 기법이 PARE 기법이나 ROMP 기법에 비해 우수한 결과를 보였다.

• ETRI Journal
• /
• 제44권1호
• /
• pp.24-37
• /
• 2022

Virtual view synthesis, which generates novel views similar to the characteristics of actually acquired images, is an essential technical component for delivering an immersive video with realistic binocular disparity and smooth motion parallax. This is typically achieved in sequence by warping the given images to the designated viewing position, blending warped images, and filling the remaining holes. When considering 6DoF use cases with huge motion, the warping method in patch unit is more preferable than other conventional methods running in pixel unit. Regarding the prior case, the quality of synthesized image is highly relevant to the means of blending. Based on such aspect, we proposed a novel blending architecture that exploits the similarity of the directions of rays and the distribution of depth values. By further employing the proposed method, results showed that more enhanced view was synthesized compared with the well-designed synthesizers used within moving picture expert group (MPEG-I). Moreover, we explained the GPU-based implementation synthesizing and rendering views in the level of real time by considering the applicability for immersive video service.

• ETRI Journal
• /
• 제44권1호
• /
• pp.62-72
• /
• 2022

In this study, we propose a multi-GPU-based 8KVR stitching system that operates in real time on both local and cloud machine environments. The proposed system first obtains multiple 4 K video inputs, decodes them, and generates a stitched 8KVR video stream in real time. The generated 8KVR video stream can be downloaded and rendered omnidirectionally in player apps on smartphones, tablets, and head-mounted displays. To speed up processing, we adopt group-of-pictures-based distributed decoding/encoding and buffering with the NV12 format, along with multi-GPU-based parallel processing. Furthermore, we develop several algorithms such as equirectangular projection-based color correction, real-time CG overlay, and object motion-based seam estimation and correction, to improve the stitching quality. From experiments in both local and cloud machine environments, we confirm the feasibility of the proposed 8KVR stitching system with stitching speed of up to 83.7 fps for six-channel and 62.7 fps for eight-channel inputs. In addition, in an 8KVR live streaming test on the 5G MEC/cloud, the proposed system achieves stable performances with 8 K@30 fps in both indoor and outdoor environments, even during motion.

• ETRI Journal
• /
• 제44권1호
• /
• pp.73-84
• /
• 2022

The moving picture experts group (MPEG) immersive video (MIV) technology has been actively developed and standardized to efficiently deliver immersive video to viewers in order for them to experience immersion and realism in various realistic and virtual environments. Such services are provided by MIV technology, which uses multiview videos as input. The pruning process, which is an important component of MIV technology, reduces interview redundancy in multiviews videos. The primary aim of the pruning process is to reduce the amount of data that available video codec must handle. In this study, two approaches are presented to improve the existing pruning algorithm. The first method determines the order in which images are pruned. The amount of overlapping region between the source views is then used to determine the pruning order. The second method considers global region-wise color similarity to minimize matching ambiguity when determining the pruning area. The proposed methods are evaluated under common test condition of MIV, and the results show that incorporating the proposed methods can improve both objective and subjective quality.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.189-192
• /
• 2021

three degree of freedom (3DoF), three degree of freedom plus (3DoF+), six degree of freedom(6DoF) 등 몰입형 비디오의 높은 몰입감을 제공하기 위해 다중 비디오 영상을 효율적으로 처리하는 기법이 활발히 연구되고 있다. 이를 위해 원본의 몰입형 비디오가 입력되면 기본 시점 영상과 추가 시점 영상에서의 중복을 제거하고 기본 시점(basic view)에서는 보이지 않지만 추가 시점(additional view)에서는 보이는 영역을 추출하는 프루닝 과정이 이뤄지는 부호기에서의 부호화 모드 결정은 매우 중요하다. 본 논문은 test model for immersive video (TMIV)의 모드 중 하나인 MPEG immersive video (MIV) view mode 를 통해 만들어진 프루닝 (pruning) 그래프에서 선택된 시점들을 활용하여 뷰 간 중복성을 제거할 수 있는 효율적인 부호화 구조로 클러스터를 기반으로 병렬적으로 부호화하는 클러스터 기반 정렬 기법을 제안한다. 선택된 시점들을 인덱스 순서에 따라 부호화하는 기존 방법에 비해 제안하는 방법은 peak signal-to-noise ratio (Y-PSNR)에서 평균 3.9%의 BD-rate 절감을 보여주었다. 본 연구는 또한 더 객관적인 품질 측정을 위해 immersive video peak signal-to-noise ratio (IV-PSNR)에 의한 비교 결과도 함께 제공하며, 참조 순서에 맞게 정렬한 프루닝 기반 정렬 기법과의 비교도 함께 제공한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.33-36
• /
• 2021

본 논문에서는 강화학습을 이용하여 몰입형 영상의 압축 효율을 향상시키는 기법을 제안한다. 몰입형 영상이란 3DOF+ 영상 혹은 Point Cloud 영상과 같이 사용자가 직접 체험할 수 있는 영상을 의미한다. 또한 몰입형 영상은 그 특성에 의해 방대한 양의 정보를 가지고 있다. 따라서 이를 압축하기 위한 압축 방법들이 연구되고 있으며, 일반적으로 3D 공간의 영상을 2D 공간으로 사영하는 방식을 사용한다. 하지만 이 과정에서 정보가 존재하지 않는 영역이 생성되며 이는 압축 효율 저하의 원인이 된다. 이러한 문제를 해결하기 위하여 영상의 특성을 반영할 수 있도록 강화학습을 통한 채우기 기법을 제안한다. 실험 결과 제안한 기법이 기존 기법에 비해 좋은 성능을 보임을 확인할 수 있다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2020년도 추계학술대회
• /
• pp.70-71
• /
• 2020

자율운항선박시대에는 인공지능기술이 VR, AR과 결합하여 더욱 진화된 몰입형 경험을 제공할 수 있을 것이다. 몰입 기술은 사용자의 오감을 현혹시켜 실제와 유사한 경험과 감성을 제공할 수 있다. VR이나 AR을 통해 자율운항 시 선원이 운항에 몰입할 수 있고 가상의 선박과 상호작용할 수 있는 자연스런 환경을 제공해 주는 것이 필요하다. 본 연구에서는 자율운항선박시대를 대비하여 선원들이 VR이나 AR을 통해 자율운항 시에 몰입형 사용자경험을 구현할 수 있는 핵심 특성이