• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1213-1215
• /
• 2022

몰입형 비디오 부호화를 위한 MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 복수의 뷰 간 중복되는 영역을 제거하여 전송할 화소수를 줄이기 때문에 복호화기에서 렌더링(rendering)을 위해서 각 화소의 점유(occupancy) 정보도 전송되어야 한다. TMIV 는 점유맵을 깊이(depth) 아틀라스(atlas)에 포함하여 압축 전송하고, 부호화 오류로 인한 점유 정보 손실을 방지하기 위해 깊이값 표현을 위한 동적 범위의 일부를 보호대역(guard band)으로 할당한다. 이 보호대역을 줄여서 더 넓은 깊이값의 동적 범위를 사용하면 렌더링 화질을 개선시킬 수 있다. 따라서, 본 논문에서는 현재 TMIV 의 점유 정보 오류 분석을 바탕으로 이를 보정하는 기법을 제시하고, 깊이 동적 범위 확장에 따른 부호화 성능을 분석한다. 제안기법은 기존의 TMIV 와 비교하여 평균 1.3%의 BD-rate 성능 향상을 보여준다.

• Journal of Broadcast Engineering
• /
• v.24 no.7
• /
• pp.1209-1220
• /
• 2019

The demand for virtual reality (VR) is rapidly increasing. Providing the immersive experience requires much operation and many data to transmit. For example, a 360-degree video (360 video) with at least 4K resolution is needed to offer an immersive experience to users. Moreover, the MPEG-I group defined three degrees of freedom plus (3DoF+), and it requires the transmission of multiview 360 videos simultaneoulsy. This could be a burden for the VR streaming system. Accordingly, in this work, a bitrate-saving method using projection conversion is introduced, along with experimental results for streaming 3DoF+ 360 video. The results show that projection conversion of 360 video with 360lib shows a Bjontegaard delta bitrate gain of as much as 11.4%.

• Journal of KIISE:Computing Practices and Letters
• /
• v.9 no.6
• /
• pp.602-609
• /
• 2003

Emerging high-speed next-generation Internet is enabling immersive media communication systems and applications to realize geographically distributed team collaborations while overcoming the limit of distance and time. Focusing on the reliable real-time delivery of 3D (i.e., stereo) video among corresponding parties, in this paper, key schemes for stereo video processing/display and reliable transport of stereo video packets over high-speed Internet are designed and implemented. The performance of proposed stereo video delivery system is evaluated both by emulating various network situations for quantitative comparison and by transmitting over real-world Internet up to the speed of around 100 Mbps. The results demonstrate the feasibility of the proposed system in supporting the desired immersive communication.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.259-260
• /
• 2019

MPEG-I Visual group is actively working on enhancing immersive experiences with up to six degree of freedom (6DoF). In virtual space of 3DoF+, which is defined as an extension of 360 video with limited changes of the view position in a sitting position, looking at the scene from another viewpoint (another position in space) requires rendering additional viewpoints using multiple videos taken at the different locations at the same time. In the MPEG-I Visual workgroup, methods of efficient coding and transmission of 3DoF+ video are being studied, and they released Test Model for Immersive Media (TMIV) recently. This paper presents the enhanced clustering method which can pack the patches into atlas efficiently in TMIV. The experimental results show that the proposed method achieves significant BD-rate reduction in terms of various end-to-end evaluation methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.166-168
• /
• 2020

MPEG 비디오 그룹은 MPEG-I 표준의 일부로 포인트 클라우드(Point Cloud) 압축을 위한 비디오 기반 포인트 클라우드 부호화(V-PCC)와 몰입형(immersive) 비디오 압축을 위한 MPEG Immersive Video(MIV) 표준을 개발하고 있다. 최근에는 포인트 클라우드 및 몰입형 비디오와 같은 체적형(volumetric) 비디오를 모두 압축할 수 있도록 V-PCC 와 MIV 를 통합한 V3C(Visual Volumetric Video-based Coding) 표준화를 진행하고 있다. 본 논문에서는 V3C 코덱을 사용한 3DoF+(3 Degree of Freedom plus) 비디오 부호화 방안을 분석한다. 또한 V3C 코덱의 2D 코덱으로 기존 HEVC 대신 VVC 를 사용할 경우의 부호화 성능 향상을 분석한다.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.406-410
• /
• 2009

As studies on more realistic human-robot interface are being actively carried out, people's interests about telepresence which remotely controls robot and obtains environmental information through video display are increasing. In order to provide natural telepresence services by moving a remote robot, it is required to recognize user's behaviors. The recognition of user movements used in previous telepresence system was difficult and costly to be implemented, limited in its applications to human-robot interaction. In this paper, using the Nintendo's Wii controller getting a lot of attention in these days and infrared LEDs, we propose an immersive user interface that easily recognizes user's position and gaze direction and provides remote video information through HMD.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.1-5
• /
• 2020

최근 MPEG-I 그룹에서는 표준화가 진행중인 몰입형 미디어(Immersive Media)에 대한 압축 성능 탐색이 이루어지고 있다. 몰입형 비디오는 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적 6DoF 을 제공하고자 하는 기술이다. 현재 MIV(Model for Immersive Video) 기술에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. 그 중에서 추가 시점은 일반적인 영상과는 달리 시간적/공간적 상관성이 떨어지는 분절적인 형태로 이루어져 있어 비디오 인코더에 대해 최적화가 되어 있지 않으며, 처리 방법의 특성에 따라 자기 유사적인 형태를 지니게 된다. 따라서 MIV 에서 스크린 콘텐츠 코딩 성능과 함께 화면 내 블록 카피(IBC: intra block copy) 기술에 대한 성능을 분석 결과를 제시한다. IBC 미적용 대비 최대 7.56%의 Y-PSNR BD-rate 감소가 가능함을 확인하였으며, 영상의 특성에 따라 IBC 의 선택 비율을 확인하여 추가 시점의 효율적인 압축 형태를 고찰한다.

• Journal of KIISE:Software and Applications
• /
• v.33 no.10
• /
• pp.851-861
• /
• 2006

The paper proposes a novel unsupervised video object segmentation algorithm for image sequences with low depth-of-field (DOF), which is a popular photographic technique enabling to represent the intention of photographer by giving a clear focus only on an object-of-interest (OOI). The proposed algorithm largely consists of two modules. The first module automatically extracts OOIs from the first frame by separating sharply focused OOIs from other out-of-focused foreground or background objects. The second module tracks OOIs for the rest of the video sequence, aimed at running the system in real-time, or at least, semi-real-time. The experimental results indicate that the proposed algorithm provides an effective tool, which can be a basis of applications, such as video analysis for virtual reality, immersive video system, photo-realistic video scene generation and video indexing systems.

• Journal of Broadcast Engineering
• /
• v.25 no.7
• /
• pp.1052-1062
• /
• 2020

As the market demand for immersive media increases, an efficient streaming method is required in consideration of network conditions while maintaining the user's immersive experience. Accordingly, transmitting a viewport with relatively high-quality, such as tile-based streaming, is mainly used. But there still remains a lot of technical challenges, such as quickly providing a new viewport in high-quality according to the gaze. To solve the aforementioned problem, in this paper, we propose a method of configuring and transmitting a supplemental tile set through the predicted direction, and a range of stable utilization of the transmitted supplemental tile set.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.51-53
• /
• 2022

MIV(MPEG Immersive Video)의 시험모델 TMIV 는 다시점의 비디오와 깊이(depth) 비디오를 입력 받아 시점 사이의 중복성을 제거한 후 남은 텍스처(texture)와 깊이로 텍스처 아틀라스(atlas)와 깊이 아틀라스를 각각 생성하고 이를 압축한다. 각 화소별 점유(occupancy) 정보는 깊이 아틀라스에 포함되어 압축되는데 압축 손실로 인한 점유맵 오류를 방지하기 위하여 임계값 T = 64 로 설정한 보호대역을 사용한다. 기존에 설정된 임계값을 낮추어 깊이 동적범위를 확대하면 보다 정확한 깊이값 표현으로 부호화 효율을 개선할 수 있지만 보호대역 축소로 점유맵 오류가 증가한다. 본 논문에서는 TMIV 의 부호화기와 보호화기에 비대칭 임계값을 사용하여 보호대역 축소로 인한 점유맵 오류를 보정하면서 보다 정확한 깊이 값 표현을 통하여 부호화 효율을 개선하는 기법을 제안한다. 제안기법은 깊이 동적범위 확대와 비대칭 임계값 기반의 점유맵 오류 보정을 통하여 CG 시퀀스에서 2.2% BD-rate 이득과 주관적 화질 개선을 보인다.