MPEG-DASH based 3D Point Cloud Content Configuration Method

MPEG-DASH 기반 3차원 포인트 클라우드 콘텐츠 구성 방안

Abstract

Recently, with the development of three-dimensional scanning devices and multi-dimensional array cameras, research is continuously conducted on techniques for handling three-dimensional data in application fields such as AR (Augmented Reality) / VR (Virtual Reality) and autonomous traveling. In particular, in the AR / VR field, content that expresses 3D video as point data has appeared, but this requires a larger amount of data than conventional 2D images. Therefore, in order to serve 3D point cloud content to users, various technological developments such as highly efficient encoding / decoding and storage, transfer, etc. are required. In this paper, V-PCC bit stream created using V-PCC encoder proposed in MPEG-I (MPEG-Immersive) V-PCC (Video based Point Cloud Compression) group, It is defined by the MPEG-DASH (Dynamic Adaptive Streaming over HTTP) standard, and provides to be composed of segments. Also, in order to provide the user with the information of the 3D coordinate system, the depth information parameter of the signaling message is additionally defined. Then, we design a verification platform to verify the technology proposed in this paper, and confirm it in terms of the algorithm of the proposed technology.

최근 3차원 스캐닝 장비 및 다차원 어레이 카메라의 발달로 AR(Augmented Reality)/VR(Virtual Reality), 자율 주행과 같은 응용분야에서 3차원 데이터를 다루는 기술에 관한 연구가 지속해서 이루어지고 있다. 특히, AR/VR 분야에서는 3차원 영상을 포인트 데이터로 표현하는 콘텐츠가 등장하였으나, 이는 기존의 2차원 영상보다 많은 양의 데이터가 필요하다. 따라서 3차원 포인트 클라우드 콘텐츠를 사용자에게 서비스하기 위해서는 고효율의 부호화/복호화와 저장 및 전송과 같은 다양한 기술 개발이 요구된다. 본 논문에서는 MPEG-I(MPEG-Immersive) V-PCC(Video based Point Cloud Compression) 그룹에서 제안한 V-PCC 부호화기를 통해 생성된 V-PCC 비트스트림을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 표준에서 정의한 세그먼트로 구성하는 방안을 제안한다. 또한, 사용자에게 3차원 좌표계 정보를 제공하기 위해 시그널링 메시지에 깊이 정보 파라미터를 추가로 정의한다. 그리고 본 논문에서 제안된 기술을 검증하기 위한 검증 플랫폼을 설계하고, 제안한 기술의 알고리듬 측면에서 확인한다.

그림 1. MPEG V-PCC 부호화기 Fig. 1. MPEG V-PCC Encoder

그림 2. MPEG V-PCC 복호기 Fig. 2. MPEG V-PCC Decoder

그림 3. V-PCC 비트스트림 구조 Fig. 3. V-PCC Bitstream structure

그림 4. V-PCC DASH 초기 세그먼트 구성 예시 Fig. 4. Example of V-PCC DASH Initialization Segment configuration

그림 5. V-PCC DASH 미디어 세그먼트 구성 예시 Fig. 5. Example of V-PCC DASH Media Segment configuration

그림 6. 검증플랫폼 구조도 Fig. 6. Verification platform structure

그림 7. V-PCC DASH 세그먼트 Fig. 7. V-PCC DASH Segment

그림 8. V-PCC MPD Fig. 8. V-PCC MPD

그림 9. DASH기반 3차원 포인트 클라우드 콘텐츠 서비스 Fig. 9. DASH-based 3D point cloud content service

표 1. V-PCC MPD의 구조와 내용 Table 1. Syntax and semantics of V-PCC MPD