• Journal of Broadcast Engineering
• /
• v.25 no.5
• /
• pp.685-697
• /
• 2020

Immersive media videos, such as panorama and 360-degree videos, must provide a sense of realism as if the user visited the space in the video, so they should be able to represent the reality of the real world. However, in panorama and 360-degree videos, objects appear to overlap or disappear due to parallax between cameras, and such parallax distortion may interfere with immersion of the user's content. Accordingly, although many video stitching algorithms have been proposed to overcome parallax distortion, parallax distortion still occurs due to the low performance of the Object detection module and limitations of the Seam generation method. Therefore, this paper analyzes the limitations of the existing video stitching technology and proposes a method for detecting and correcting parallax distortion of video stitching using the LDPM (Local Differential Pixel Mean) image evaluation method that overcomes the limitations of the video stitching technique.

• Journal of Digital Convergence
• /
• v.15 no.8
• /
• pp.375-381
• /
• 2017

The America film, Beauty and Beast has grossed over 4,273,401 after being released for 21 days. The growth of movie profit in the video market is also developing rapidly. In this paper, we will focus on the PLF(Premium Large-Format) video technology, because PLF video technology can help audience to enhance the sense of 'immersion' and enjoy a different visual feast. In PLF video technology, IMAX, screen X, 360 degrees circular screen are the most important formats. By comparative analysis of these 3 formats, the biggest difference is their number of screens and appearance. Based on the result we can understand the 3 kinds of PLF platforms better and help us to make a choice between them. In addition, further research about the manufacture method of PLF technology will be discussed.

• Journal of Korea Multimedia Society
• /
• v.21 no.8
• /
• pp.942-951
• /
• 2018

In these days, 360 degree videos, which is provided via VR, have high resolution and quality of 8K. These kinds of videos inevitably require streaming technology which guarantees QoS. Therefore, we suggest MPEG DASH HTTP protocol which stably provides streaming services of high quality videos in 8K, which are 360 degree tile-encoded, on low-spec devices such as OTT and IPTV Settop and Tile Segment Cache management structure for servers operating streaming services.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.96-97
• /
• 2017

본 논문에서는 360 도 비디오 서비스를 제공하기 위한 타일기반 실시간 부호화 방법을 제시한다. 360 도 비디오 프레임을 공간적으로 분할하여 타일을 생성하고, GOP 길이만큼의 타일 개수로 구성된 타일 세트들을 순차적으로 부호화함으로써 단일 부호화기로 실시간 타일 부호화가 가능하도록 설계하였다. 상기 타일 세트는 독립적으로 부호화되므로 단말은 사용자의 시청영역에 해당하는 타일 세트만 수신 및 복호화함으로써 네트워크 대역폭을 줄일 수 있다. 또 작은 크기의 타일을 순차적으로 고속 부호화하는 방법이므로 타일의 병렬 처리를 효과적으로 수행하기 위한 로드밸런싱을 고려하지 않아도 된다. NVIDA 그래픽카드인 Geforce GTX 1080Ti를 이용하여 32 개의 타일로 분할된 4K 360 도 비디오 시퀀스를 HEVC 로 부호화할 경우 약 120 fps 의 속도로 처리가 가능함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.176-177
• /
• 2019

360 도 VR (Virtual Reality) 영상을 기존의 비디오처럼 재생하고 전송하기 위해서는 아직까지도 논의 되어야할 많은 문제들이 존재한다. 특히 보는 장면에 비하여 전방위의 영상을 보내야하는 VR 영상은 매우 큰 용량을 가질 수 밖에 없다. 그럼에도 불구하고 사용자의 불편함을 덜기 위해서는 HMD (Head-Mounted Displays) 의 빠른 반응 속도가 필요하다. 따라서 QER (Quality Emphasized Region)기반의 전송 기법은 영역별로 차별화된 화질의 영상을 전송하여 실감미디어의 몰입감을 유지하고 대역폭의 낭비를 줄이는 뷰포트 적응적 360 도 비디오 스트리밍 시스템 (Viewport-Adaptive 360-Degree Video Streaming System)의 일종으로 제안되었다. 그러나, 사용자의 시점 정보를 계산하기 위해서는 매 프레임마다 차원 변환을 위한 복잡하고 많은 계산이 필요하고, 이러한 중복된 계산은 시스템의 성능을 저하시키는 요인이 될 수 있다. 본 논문에서는 이러한 차원 변환에 따른 자원낭비를 줄이기 위하여 QER 선택을 위한 개선 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.92-95
• /
• 2018

가상 현실을 위한 360 영상 비디오 전송기술이 활발히 연구되고 있다. 그러나 현재 가상현실 기기의 컴퓨팅 연산능력과 대역폭은 고화질 360 영상을 재생하기에 한계가 있다. 이 한계를 극복하기 위해 본 논문은 High Efficiency Video Coding (HEVC)와 Scalability Extension of HEVC (SHVC)를 활용하여 타일 기반의 360 도 영상 전송 기법을 제안한다. 제안하는 HEVC 와 SHVC 인코더는 타일을 독립적으로 전송 할 수 있는 비트 스트림을 생성한다. 제안하는 추출기는 사용자 시점에 해당하는 타일의 비트 스트림을 추출한다. 제안하는 기법에 의해 추출된 SHVC 비트스트림의 기본계층은 전체화면을 나타내며, 강화계층은 사용자 시점에 해당하는 타일로 구성된다. 제안하는 HEVC 인코더를 사용할 때에는 저화질과 고화질을 따로 인코딩하여 고화질만 사용자 시점에 해당하는 타일을 추출한다. 전체화면을 고화질로 보내는 대신에 전체화면을 저화질로, 사용자화면을 고화질로 보내기 때문에 제안하는 기법은 디코더의 컴퓨팅 연산과 네트워크 bitrate 를 대폭 줄일 수 있다. 본 제안 기법의 실험 결과는 전체화면 전송 대비 47%이상의 bitrate 를 줄인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.01a
• /
• pp.231-233
• /
• 2020

최근 360도 형태로 영상을 촬영하고 제공하는 경우가 많아 일반적인 동영상과 달리 360도 형태의 영상저작물에 적절하고 효과적인 방법으로 광고를 삽입하여 노출 시킬 수 있는 방법이 필요하게 되었다. 따라서 본 논문에서는 실감형 360도 영상저작물 객체 추출을 통한 추천 광고 매칭방법을 제안한다. 360도 영상저작물 내에 광고를 매칭하고 추출된 객체와 연관된 광고를 추출하여 해당 프레임에 자동으로 삽입 노출이 가능하도록 하는 방법으로 이 방법을 이용함으로써 사용자의 현재 시점 영역 내에 광고 영상이 노출되도록 광고의 삽입 위치를 이동시켜 영상이 재생되도록 하거나, 광고 영상이 삽입된 좌표로 사용자의 현재 시점을 이동시켜 영상이 재생되게 할 수 있다.

• Journal of Broadcast Engineering
• /
• v.23 no.6
• /
• pp.866-875
• /
• 2018

With the popularity of VR content, actual image based VR 360-degree video production using various shooting devices has attracted attention in recent years. Requiring a lot of work, the existing VR content production was possible only at the level of the research institute, but the recent miniaturization of cameras has made the VR actual image shooting more common to the content creators. In this paper, we compare and study various VR contents distribute in today's context and analyze the strengths and weaknesses of robust actual image-based 360 video production in terms of cost. We are to point out the disadvantages that make it difficult for existing video shooting experts to use and suggest a solution for this. The experiment shooting proved that it can be operated more manually than action cam or integrated camera and 360-degree shooting on a raw format support camera is more suitable for film type post-production.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.200-201
• /
• 2018

In the workflow of 360 video coding of JVET (Joint Video Experts Team), firstly the 360 videos are projected onto the 2D plane with diverse projection formats, such as Equi-Rectangular Projection (ERP), Cubemap Projection (CMP), Rotated Sphere Projection (RSP), etc. The projection format of RSP has inactive regions in the converted 2D plane. The inactive regions may cause visual artifact as well as the reduction of the coding efficiency due to discontinuity at boundaries between active and inactive regions. In this paper, to overcome these problems, the inactive regions are padded by using two types of adjacent pixels. Then padded regions of RSP are blended with inactive regions padded by proposed method. The experimental results demonstrate that, in terms of end-to-end WS-PSNR-NN, the proposed method achieves 0.1% BD-rate reduction. In addition, the visual artifacts along the borders between discontinuous faces are noticeably reduced.

• Journal of Broadcast Engineering
• /
• v.25 no.2
• /
• pp.185-191
• /
• 2020

MPEG-I is actively working on standardization on the immersive video coding which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. In a virtual space of 3DoF+, which is defined as an extension of 360 with motion parallax, looking at the scene from another viewpoint (another position in space) requires rendering an additional viewpoint using multiple videos included in the 3DoF+ video. In the MPEG-I Visual workgroup, efficient coding methods for 3DoF+ video are being studied, and they released Test Model for Immersive Video (TMIV) recently. This paper presents a patch packing method which packs the patches into atlases efficiently for improving coding efficiency of 3DoF+ video in TMIV. The proposed method improves the reconstructed view quality with reduced coding artifacts by introducing guardbands between patches in the atlas.