• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1052-1062
• /
• 2020

As the market demand for immersive media increases, an efficient streaming method is required in consideration of network conditions while maintaining the user's immersive experience. Accordingly, transmitting a viewport with relatively high-quality, such as tile-based streaming, is mainly used. But there still remains a lot of technical challenges, such as quickly providing a new viewport in high-quality according to the gaze. To solve the aforementioned problem, in this paper, we propose a method of configuring and transmitting a supplemental tile set through the predicted direction, and a range of stable utilization of the transmitted supplemental tile set.

• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.942-951
• /
• 2018

In these days, 360 degree videos, which is provided via VR, have high resolution and quality of 8K. These kinds of videos inevitably require streaming technology which guarantees QoS. Therefore, we suggest MPEG DASH HTTP protocol which stably provides streaming services of high quality videos in 8K, which are 360 degree tile-encoded, on low-spec devices such as OTT and IPTV Settop and Tile Segment Cache management structure for servers operating streaming services.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1053-1063
• /
• 2019

최근 360 영상에 대한 관심이 증대됨에 따라, 이러한 360 영상을 보다 효율적으로 전송하기 위해 하나의 360 영상을 여러 개의 타일로 나누어 전송하는 타일 기반 스트리밍이 활발히 연구되고 있다. 본 논문에서는 타일 기반 스트리밍 시나리오에서 사용자 시점에 대응하는 고화질 360 영상 전송을 위해, 기존 네트워크 모델로 생성된 중요도 맵(Saliency map)을 타일 기반 스트리밍에 적용하여 각 위치의 타일의 품질을 할당하는 시스템을 제안한다. 각 타일들을 독립적으로 부호화하기 위해 motion constrained tile set (MCTS) 기법을 적용함과 동시에 Salient360! 데이터셋으로 사용자 시선 시나리오를 토대로 사용자 시점 영상으로 복원하여 검증한 결과, 제안된 시스템을 기반으로 360 비디오 영상을 전송하면 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때보다 사용자 시점의 영상은 큰 손실 없이 최대 23%의 BD-rate 효율을 보임을 확인하였다.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1073-1080
• /
• 2020

360-degree video streaming technologies have been widely developed to provide immersive virtual reality (VR) experiences. However, high computational power and bandwidth are required to transmit and render high-quality 360-degree video through a head-mounted display (HMD). One way to overcome this problem is by transmitting high-quality viewport areas. This paper therefore proposes a motion-constrained tile set (MCTS)-based tile extractor for versatile video coding (VVC). The proposed extractor extracts high-quality viewport tiles, which are simulcasted with low-quality whole video to respond to unexpected movements by the user. The experimental results demonstrate a savings of 24.81% in the bjøntegaard delta rate (BD-rate) saving for the luma peak signal-to-noise ratio (PSNR) compared to the rate obtained using a VVC anchor without tiled streaming.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.166-168
• /
• 2019

본 논문에서는 타일(tile) 기반 360 영상 스트리밍을 위해 Motion Constrained Tile Set(MCTS)을 적용하여 부호화된 영상을 독립적으로 전송하였을 때 독립적인 타일들을 하나의 영상으로 병합하는(merge) 기법의 제한점을 논의하고 타일 병합기를 구현한다. 360 영상 스트리밍 환경에서 타일 병합 기법을 적용하기 위한 방안으로, 시간적 및 공간적 독립성을 가진 타일들로 구성된 영상들을 이용하여 영상의 특성과 슬라이스 정보를 대체하여 병합된 영상을 생성하는 방법을 제안한다. 또한, 타일들을 병합을 하기 위해 일부 영상의 정보를 파싱하여 병합되는 영상 정보를 생성함으로써 송신단의 영상 정보를 이용하지 않고도 영상 병합이 가능해진다. 따라서, 제안하는 방식을 이용하면 미리 구성된 영상 정보로 병합하는 방법으로부터 더 나아가 영상 특성으로 인한 제한점을 해결하여 서로 다른 영상으로부터 분할된 타일들을 하나의 영상으로 병합할 수 있다.

• 인터넷정보학회논문지
• /
• 제22권3호
• /
• pp.1-8
• /
• 2021

가상 현실 공간에서 head-mounted display(HMD)를 통한 실감형 미디어를 제공하기 위해서는 초고화질 및 초고해상도의 전방위 360도 영상 전송이 필요하고, 이는 높은 대역폭 및 연산량을 요구한다. 이를 극복하기 위해 360도 영상에 대한 타일 기반 분할 기법을 사용하여 사용자 시점 기반 선택적 스트리밍 기법이 사용될 수 있다. 본 논문은 16K 초고화질 360도 영상 및 종래에 널리 쓰이는 4K 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법의 성능 평가를 소개한다. 16K 초고화질 360도 영상에 타일 스트리밍 기법을 적용하였을 때, 영상 전체 부호화 및 전송 방법 대비 42.47%의 bjotegaard delta rate(BD-rate) 절감을 확인하였고, 4K 360도 영상 타일 스트리밍 시 26.41%의 BD-rate 절감이 이루어지는 것을 확인하였다. 따라서, 타일 스트리밍이 초고해상도 영상에 더 효율적임을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권1호
• /
• pp.291-304
• /
• 2019

This paper proposes a dynamic-tiling-based bandwidth-efficient (DTBE) virtual reality (VR) streaming scheme. We consider 360-degree VR contents with multiple view points such as the front, back, upper, and bottom sides. At a given time, the focus of a client is always bound to a certain view among multiple view points. By utilizing this perspective, under our proposed scheme, tiles with high encoding rates are selectively assigned to the focused view where multiple view points consist of multiple tiles with different encoding rates. The other tiles with low encoding rates are assigned to the remaining view points. Furthermore, for reducing view adaptation delay, we design a novel rapid view adaptation mechanism that selectively delivers an I-frame during view point updates by using frame indexing. We implement the proposed scheme on a commercial VR test bed where we adopt the MPEG media transport (MMT) standard with high-efficiency video coding (HEVC) tile modes. The measurement-based experiments show that the proposed scheme achieves an average data usage reduction of almost 65.2% as well as average view adaptation delay reduction of almost 57.7%.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.51-54
• /
• 2020

본 논문에서는 360 도 VR 영상을 전송하는 기법의 일종인 타일 기반 전송을 MMT(MPEG Media Transport) 프로토콜 기반으로 구현하기 위하여 영상의 공간 분할 정보를 전달하는 방법을 소개한다. 360 도 VR 영상 전송은 대용량 미디어 전송인 동시에 사용자의 움직임에 따라 신속하게 적응적 영상을 전달해야 한다. 타일 기반 전송은 HEVC(High Efficiency Video Coding)의 MCTS(Motion Constrained Tile Sets) 기법을 이용하여 뷰포트에 해당하는 타일들을 고화질로 전달함으로써 이러한 요구사항을 해결한다. 반면, MMT 프로토콜은 초저지연 고화질 영상 전송에 유리한 기술로써 사용자의 시점 변화에 따라 기민하게 영상의 품질을 변환시킬 수 있다. 따라서 HEVC 의 SEI(Supplemental Enhancement Information) 메시지에 포함되는 타일들의 공간 분할 정보를 MMT 프로토콜에 적용하는 방식에 따라 적응적 타일 기반 전송 기법의 효율을 높일 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.230-232
• /
• 2019

최근 360 미디어 콘텐츠의 수요가 높아지면서 360 영상을 효율적으로 전송하기 위한 다양한 압축 및 전송 기법들이 연구되고 있다. 360 영상의 스트리밍 기법 중 하나인 타일 기반 적응적 스트리밍 기법은 360 비디오를 타일 그리드로 나누어 부호화 하고, 뷰포트(Viewport)에 해당하는 타일만 스트리밍 할 수 있도록 한다. 기존의 타일 기반 스트리밍 기법은 뷰포트가 전환될 때 서버에 새로운 인트라 프레임을 요구하고, 지연 시간을 줄이기 위해 빈번한 RAP(Random Access Point)가 요구된다는 단점이 있다. 본 논문은 기존의 타일 기반 스트리밍 방법에서 인트라 프레임의 공유를 통해 비트율의 효율을 높이는 IFS(Intra Frame Sharing) 알고리즘을 제안한다. 제안된 IFS 방법은 낮은 화질의 인트라 프레임을 높은 화질의 인트라 프레임 부호화 시 공유하여, 뷰포트 스위칭 시점에서 다른 화질 간의 뷰포트 전환 작업이 필요 없어 비트율의 증가를 최소화한다. 실험에서, IFS 방법은 기존의 MCTS 기반의 적응적 스트리밍 방식과 비교했을 때 BD-rate(%)가 약 13% 절감되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.92-95
• /
• 2018

가상 현실을 위한 360 영상 비디오 전송기술이 활발히 연구되고 있다. 그러나 현재 가상현실 기기의 컴퓨팅 연산능력과 대역폭은 고화질 360 영상을 재생하기에 한계가 있다. 이 한계를 극복하기 위해 본 논문은 High Efficiency Video Coding (HEVC)와 Scalability Extension of HEVC (SHVC)를 활용하여 타일 기반의 360 도 영상 전송 기법을 제안한다. 제안하는 HEVC 와 SHVC 인코더는 타일을 독립적으로 전송 할 수 있는 비트 스트림을 생성한다. 제안하는 추출기는 사용자 시점에 해당하는 타일의 비트 스트림을 추출한다. 제안하는 기법에 의해 추출된 SHVC 비트스트림의 기본계층은 전체화면을 나타내며, 강화계층은 사용자 시점에 해당하는 타일로 구성된다. 제안하는 HEVC 인코더를 사용할 때에는 저화질과 고화질을 따로 인코딩하여 고화질만 사용자 시점에 해당하는 타일을 추출한다. 전체화면을 고화질로 보내는 대신에 전체화면을 저화질로, 사용자화면을 고화질로 보내기 때문에 제안하는 기법은 디코더의 컴퓨팅 연산과 네트워크 bitrate 를 대폭 줄일 수 있다. 본 제안 기법의 실험 결과는 전체화면 전송 대비 47%이상의 bitrate 를 줄인다.