• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.33-36
• /
• 2021

In this paper, we propose a new method for improving compression efficiency of immersive video using reinforcement learning. Immersive video means a video that a user can directly experience, such as 3DOF+ videos and Point Cloud videos. It has a vast amount of information due to their characteristics. Therefore, lots of compression methods for immersive video are being studied, and generally, a method, which projects an 3D image into 2D image, is used. However, in this process, a region where information does not exist is created, and it can decrease the compression efficiency. To solve this problem, we propose the reinforcement learning-based filling method with considering the characteristics of images. Experimental results show that the performance is better than the conventional padding method.

• Journal of Broadcast Engineering
• /
• v.25 no.2
• /
• pp.185-191
• /
• 2020

MPEG-I is actively working on standardization on the immersive video coding which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. In a virtual space of 3DoF+, which is defined as an extension of 360 with motion parallax, looking at the scene from another viewpoint (another position in space) requires rendering an additional viewpoint using multiple videos included in the 3DoF+ video. In the MPEG-I Visual workgroup, efficient coding methods for 3DoF+ video are being studied, and they released Test Model for Immersive Video (TMIV) recently. This paper presents a patch packing method which packs the patches into atlases efficiently for improving coding efficiency of 3DoF+ video in TMIV. The proposed method improves the reconstructed view quality with reduced coding artifacts by introducing guardbands between patches in the atlas.

• Journal of Broadcast Engineering
• /
• v.27 no.6
• /
• pp.861-871
• /
• 2022

The moving picture experts group (MPEG) developed the MPEG immersive video (MIV) standard for efficient compression of multiple immersive videos representing natural contents and computer graphics. The MIV compresses multiple immersive videos and generates multiple output videos which are defined as atlases. However, there is a synchronization issue of multiple decoders in a legacy device when decoding multiple encoded atlases. This paper proposes and implements the geometry packing method for adaptive control of decoder instances for low-end and high-end devices. The proposed method on the recent version of the MIV reference software worked correctly.

• ETRI Journal
• /
• v.44 no.1
• /
• pp.24-37
• /
• 2022

Virtual view synthesis, which generates novel views similar to the characteristics of actually acquired images, is an essential technical component for delivering an immersive video with realistic binocular disparity and smooth motion parallax. This is typically achieved in sequence by warping the given images to the designated viewing position, blending warped images, and filling the remaining holes. When considering 6DoF use cases with huge motion, the warping method in patch unit is more preferable than other conventional methods running in pixel unit. Regarding the prior case, the quality of synthesized image is highly relevant to the means of blending. Based on such aspect, we proposed a novel blending architecture that exploits the similarity of the directions of rays and the distribution of depth values. By further employing the proposed method, results showed that more enhanced view was synthesized compared with the well-designed synthesizers used within moving picture expert group (MPEG-I). Moreover, we explained the GPU-based implementation synthesizing and rendering views in the level of real time by considering the applicability for immersive video service.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.189-192
• /
• 2021

three degree of freedom (3DoF), three degree of freedom plus (3DoF+), six degree of freedom(6DoF) 등 몰입형 비디오의 높은 몰입감을 제공하기 위해 다중 비디오 영상을 효율적으로 처리하는 기법이 활발히 연구되고 있다. 이를 위해 원본의 몰입형 비디오가 입력되면 기본 시점 영상과 추가 시점 영상에서의 중복을 제거하고 기본 시점(basic view)에서는 보이지 않지만 추가 시점(additional view)에서는 보이는 영역을 추출하는 프루닝 과정이 이뤄지는 부호기에서의 부호화 모드 결정은 매우 중요하다. 본 논문은 test model for immersive video (TMIV)의 모드 중 하나인 MPEG immersive video (MIV) view mode 를 통해 만들어진 프루닝 (pruning) 그래프에서 선택된 시점들을 활용하여 뷰 간 중복성을 제거할 수 있는 효율적인 부호화 구조로 클러스터를 기반으로 병렬적으로 부호화하는 클러스터 기반 정렬 기법을 제안한다. 선택된 시점들을 인덱스 순서에 따라 부호화하는 기존 방법에 비해 제안하는 방법은 peak signal-to-noise ratio (Y-PSNR)에서 평균 3.9%의 BD-rate 절감을 보여주었다. 본 연구는 또한 더 객관적인 품질 측정을 위해 immersive video peak signal-to-noise ratio (IV-PSNR)에 의한 비교 결과도 함께 제공하며, 참조 순서에 맞게 정렬한 프루닝 기반 정렬 기법과의 비교도 함께 제공한다.

• Journal of IKEEE
• /
• v.24 no.3
• /
• pp.743-753
• /
• 2020

In this paper, we propose a set of robustness indicators for immersive 360-degree video. With the full-fledged service of mobile carriers' 5G networks, it is possible to use large-capacity, immersive 360-degree videos at high speed anytime, anywhere. Since it can be illegally distributed in web-hard and torrents through DRM dismantling and various video modifications, however, evaluation indicators that can objectively evaluate the filtering performance for copyright protection are required. In this paper, a robustness indicators is proposed that applies the existing 2D Video robustness indicators and considers the projection method and reproduction method, which are the characteristics of Immersive 360-degree Video. The performance evaluation experiment has been carried out for a sample filtering system and it is verified that an excellent recognition rate of 95% or more has been achieved in about 3 second execution time.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.54-57
• /
• 2022

다수의 색상 및 거리 정보로 구성된 몰입형 영상 부호화를 위한 MPEG immersive video (MIV) 표준은 각 시점의 영상 간 중복성 제거 및 잔여 영상 병합을 통한 압축률 향상을 목표로 한다. 시점에 따른 카메라 그룹핑을 통해 압축률 향상이 가능하나, 그룹 기반 MIV 부호화 기술은 최근 활발히 논의되고 있지 않다. 따라서 본 논문은 최신 버전의 MIV 참조 소프트웨어에 그룹 기반 부호화 기술을 이식하고 적응적 스트리밍을 위한 그룹 기반 부호화 기술의 효율을 검증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.126-128
• /
• 2021

MPEG(Moving Picture Experts Group) 비디오 그룹은 사용자에게 움직임 시차(motion parallax)를 제공하면서 3D 공간 내에서 임의의 위치와 방향의 시점(view)을 렌더링(rendering) 가능하게 하는 6DoF(Degree of Freedom)의 몰입형 비디오 부호화 표준인 MIV(MPEG Immersive Video) 표준화를 진행하고 있다. MIV 표준화 과정에서 참조 SW 인 TMIV(Test Model for Immersive Video)도 함께 개발하고 있으며 점진적으로 부호화 성능을 개선하고 있다. TMIV 는 여러 뷰로 구성된 방대한 크기의 6DoF 비디오를 압축하기 위하여 입력되는 뷰 비디오들 간의 중복성을 제거하고 남은 영역들은 각각 개별적인 패치(patch)로 만든 후 아틀라스에 패킹(packing)하여 부호화되는 화소수를 줄인다. 이때 아틀라스 비디오에 패킹된 패치들의 위치 정보를 메타데이터로 압축 비트열과 함께 전송하게 되며, 본 논문에서는 이러한 패킹 정보를 보다 효율적으로 표현하기 위한 방법을 제안한다. 제안방법은 기존 TMIV10.0 에 비해 약 10%의 메타데이터를 감소시키고 종단간 BD-rate 성능을 0.1% 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.75-77
• /
• 2021

MPEG 비디오 그룹은 제한된 3D 공간 내에서 움직임 시차(motion parallax)를 제공하면서 원하는 시점(view)을 렌더링(rendering)하기 위한 표준으로 TMIV(Test Model for Immersive Video)라는 테스트 모델과 함께 효율적인 몰입형 비디오의 부호화를 위한 MIV(MPEG Immersive Video) 표준을 개발하고 있다. 몰입감 있는 시각적 경험을 제공하기 위해서는 많은 수의 시점 비디오가 필요하기 때문에 방대한 양의 비디오를 고효율로 압축하는 것이 불가피하다. TMIV 는 여러 개의 입력 시점 비디오를 소수의 아틀라스(atlas) 비디오로 변환하여 부호화되는 화소수를 줄이게 된다. 아틀라스는 선택된 소수의 기본 시점(basic view) 비디오와 기본 시점으로부터 합성할 수 없는 나머지 추가 시점(additional view) 비디오의 영역들을 패치(patch)로 만들어 패킹(packing)한 비디오이다. 본 논문에서는 아틀라스 비디오의 보다 효율적인 부호화를 위해서 패치 내에 생기는 작은 홀(hole)들을 채우는 기법을 제안한다. 제안기법은 기존 TMIV8.0 에 비해 1.2%의 BD-rate 이 향상된 성능을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.239-241
• /
• 2022

MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 몰입감을 제공하기 위한 여러 시점의 입력 뷰들 간의 중복 영역을 제거하고 남은 영역들을 패치(patch)로 만들어 패킹(packing)한 아틀라스(atlas)를 생성하고 이를 압축 전송한다. 아틀라스 영상은 일반적인 영상 달리 많은 불연속성을 포함하고 있으며 이는 부호화 효율을 크게 저하시키다 본 논문에서는 아틀라스 영상의 부호화 손실을 줄이기 위한 신경망 기반의 후처리 필터링 기법을 제시한다. 제안기법은 기존의 TMIV 와 비교하여 아틀라스의 복원 화질 향상을 보여준다.