사용자 시점 기반 360 영상을 위한 렌더러 구현

Implementing Renderer for Viewport Dependent 360 Video

Abstract

본 논문에서는 실시간 고화질 360 영상 전송을 위해 사용자 시점에 기반한 타일 분할 기법을 적용하고 화질 평가를 위해 360 영상을 가상현실 기기 화면에 표현하는 구현을 설명한다. 사용자 시점에 기반한 고화질 360 영상 전송을 위한 방안으로, 움직임 참조 문제를 해결하기 위한 MCTS (Motion Constrained Tile Sets) 기술과 미리 구성된 타일 정보들을 포함하는 EIS (Extraction Information Sets) SEI (Supplemental Enhancement Information), 타일 정보를 추출해내고 영상을 분할 및 추출해주는 추출기(extractor)를 구현한다. 또한 사용자 시점에 기반한 타일 추출 방법과 추출된 영상을 이용해 가상현실 기기 화면에 표현하는 방법에 대한 구현 내용을 설명한다. 따라서, 제안된 구현물을 기반으로 영상 전송을 수행하면, 사용자 시점 영역의 영상만 전송하여 불필요한 영상 전송을 하지않게 되어 화질 대비 낮은 대역폭의 향상된 영상을 표현할 수 있다.

In this paper, we implement viewport dependent tile partitioning for high quality 360 video transmission and rendering method to present a HMD (Head Mounted Display) screen for 360 video quality evaluation. As a method for high-quality video transmission based on a user's viewport, this paper introduces MCTS (Motion Constrained Tile Sets) technique for solving the motion reference problem and EIS (Extraction Information Sets) SEI including pre-configured tile information, and extractor that extracts tiles. In addition, it explains tile extraction method based on user's viewport and implementation contents of the method of expressing on an HMD. Therefore, if 360 video is transferred by the proposed implementation which only transfers video from the user viewport area, it is possible to express higher quality video with lower bandwidth while avoiding unnecessary image transmission.

그림 1. 사용자 시점에 기반한 개념적인 타일 추출 구조 Fig. 1. The conceptual architecture of tile extracting system based on user viewport

그림 2. MVP(Merciless Video Processing) 프로젝트 구조 Fig. 2. The conceptual architecture of merciless video processing project

그림 3. TIP에서 동일한 위치로의 타일 참조로 인한 보간 영역 문제 Fig. 3. Interpolation area problem due to the tile reference to the same location in TIP

그림 4. AMVP와 Merge 모드의 타일 간 수직 경계에서 후보 결정 문제 Fig. 4. Problems determining candidate on vertical boundaries between tiles in AMVP and Merge mode

그림 5. EIS SEI Message의 구조 Fig. 5. Structure of EIS SEI Message

그림 6. 원본 및 추출된 비트스트림의 정보 Fig. 6. Information of original and extracted bitstream

그림 7. 추출기의 기능 흐름도 Fig. 7. Flow chart of the extractor

그림 8. 사용자 시점에 해당하는 타일들을 추출하는 블록도 Fig. 8. Block diagram of extracting tiles corresponding to the user viewport

그림 9. 사용자 시점의 가장자리 면과 타일 경계 부분 간 교차하는 점 Fig. 9. The intersection of the viewport edge plane and the tile edge line

그림 10. 사용자 시점 기반 타일 결정의 예 Fig. 10. Example of tile decision based on viewport

그림 11. 렌더러 개념도 Fig. 11. The conceptual architecture of renderer

그림 12. 원본 비트스트림과 추출된 비트스트림 Fig. 12. Original bitstream and extracted bitstream

그림 13. 렌더링 화면 (Trolley_8192×4096) Fig. 13. Rendered display (Trolley_8192×4096)

그림 14. 360Lib를 이용한 360 영상 테스트 절차 Fig. 14. 360 video testing procedure using 360Lib

표 1. 테스트 시퀀스 정보 Table 1. Information of test sequences

표 2. MCTS가 적용되거나 적용되지않은 영상의 End-to-End PSNR Table 2. End-to-End PSNR with MCTS applied bitstream and non-applied bitstream

표 3. 사용자의 관심영역을 고려한 dynamic viewport의 yaw and pitch Table 3. Dynamic viewport’s yaw, pitch considering user’s region of interest

표 4. 시나리오에 따른 평균적인 bit-rate 절약율과 프레임 당 타일 개수 Table 4. Average bit-rate savings and number of tiles per frame in scenarios

표 5. MCTS가 적용된 비트스트림 및 적용되지 않은 비트스트림의 Dynamic Viewport PNSR Table 5. Dynamic Viewport PSNR with MCTS applied bitstream and non-applied bitstream