• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.839-842
• /
• 2022

실감적인 가상 현실을 위해서는 고화질의 360 도 영상 스트리밍이 필요하다. 그러나 이는 높은 대역폭과 연산량을 요구하기 때문에 일반적인 가상 현실 기기로는 감당하기 힘들다. 이를 보완하기 위한 360 도 영상 부호화 및 전송 기술이 활발히 연구되고 있으며, 대표적으로 사용자 시점 기반 타일 스트리밍 기법 등이 있다. 본 논문은 기존의 CTU 기반 스트리밍과 타일 기반 스트리밍과 함께 복호기 적응적인 단일 계층 타일 바인딩을 활용한 타일기반 스트리밍의 부호화 및 복호화 성능을 비교한다. 수행된 실험결과, 단일 계층 타일 바인딩을 활용한 타일 스트리밍 방법이 기존의 타일 스트리밍 기법에 비해 유사한 비트율 성능에 대비하여 복호화 시간에서 큰 이득을 볼 수 있음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.230-232
• /
• 2019

최근 360 미디어 콘텐츠의 수요가 높아지면서 360 영상을 효율적으로 전송하기 위한 다양한 압축 및 전송 기법들이 연구되고 있다. 360 영상의 스트리밍 기법 중 하나인 타일 기반 적응적 스트리밍 기법은 360 비디오를 타일 그리드로 나누어 부호화 하고, 뷰포트(Viewport)에 해당하는 타일만 스트리밍 할 수 있도록 한다. 기존의 타일 기반 스트리밍 기법은 뷰포트가 전환될 때 서버에 새로운 인트라 프레임을 요구하고, 지연 시간을 줄이기 위해 빈번한 RAP(Random Access Point)가 요구된다는 단점이 있다. 본 논문은 기존의 타일 기반 스트리밍 방법에서 인트라 프레임의 공유를 통해 비트율의 효율을 높이는 IFS(Intra Frame Sharing) 알고리즘을 제안한다. 제안된 IFS 방법은 낮은 화질의 인트라 프레임을 높은 화질의 인트라 프레임 부호화 시 공유하여, 뷰포트 스위칭 시점에서 다른 화질 간의 뷰포트 전환 작업이 필요 없어 비트율의 증가를 최소화한다. 실험에서, IFS 방법은 기존의 MCTS 기반의 적응적 스트리밍 방식과 비교했을 때 BD-rate(%)가 약 13% 절감되었다.

• 인터넷정보학회논문지
• /
• 제22권3호
• /
• pp.1-8
• /
• 2021

가상 현실 공간에서 head-mounted display(HMD)를 통한 실감형 미디어를 제공하기 위해서는 초고화질 및 초고해상도의 전방위 360도 영상 전송이 필요하고, 이는 높은 대역폭 및 연산량을 요구한다. 이를 극복하기 위해 360도 영상에 대한 타일 기반 분할 기법을 사용하여 사용자 시점 기반 선택적 스트리밍 기법이 사용될 수 있다. 본 논문은 16K 초고화질 360도 영상 및 종래에 널리 쓰이는 4K 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법의 성능 평가를 소개한다. 16K 초고화질 360도 영상에 타일 스트리밍 기법을 적용하였을 때, 영상 전체 부호화 및 전송 방법 대비 42.47%의 bjotegaard delta rate(BD-rate) 절감을 확인하였고, 4K 360도 영상 타일 스트리밍 시 26.41%의 BD-rate 절감이 이루어지는 것을 확인하였다. 따라서, 타일 스트리밍이 초고해상도 영상에 더 효율적임을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.197-200
• /
• 2021

몰입형 고품질 가상 현실 영상 스트리밍을 위한 360도 영상 부호화 및 전송 기술 중 하나로 사용자 시점 기반 타일 스트리밍 기법이 활발히 연구되고 있다. 360도 영상은 용량이 크기 때문에 개별 타일 기반 스트리밍 방법을 사용해 사용자 시점만 보내는 것이 효율적이다. 본 논문은 시점 기반 가상 현실 영상 복호화 시스템을 위한 복호기 적응적 타일 클러스터링 알고리즘을 제안한다. 제안하는 방법은 클라이언트의 복호기가 최대로 복호화 가능한 해상도를 탐색한 후, 사용자 시점 데이터와 복호기 적응적 타일 클러스터링 알고리즘을 이용해 클러스터화할 복수 개의 사용자 시점 타일들의 목록을 생성한 후, 타일 병합기를 이용해 타일들을 병합하여 클러스터 비트스트림을 생성한다. 이후 클라이언트는 병합된 클러스터 비트스트림들을 복호화한 후 사용자 시점을 생성한다. 제안하는 방법을 이용하면 클라이언트의 복호기 환경에 제약받지 않는 복호화가 가능하며, 제안하는 방법 중 하나인 4K_clustering 방법의 경우 8%의 복호화 속도 개선 효과를 얻을 수 있어 몰입형 고품질 가상 현실 영상을 위한 실시간 타일 스트리밍이 가능하다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.166-168
• /
• 2019

본 논문에서는 타일(tile) 기반 360 영상 스트리밍을 위해 Motion Constrained Tile Set(MCTS)을 적용하여 부호화된 영상을 독립적으로 전송하였을 때 독립적인 타일들을 하나의 영상으로 병합하는(merge) 기법의 제한점을 논의하고 타일 병합기를 구현한다. 360 영상 스트리밍 환경에서 타일 병합 기법을 적용하기 위한 방안으로, 시간적 및 공간적 독립성을 가진 타일들로 구성된 영상들을 이용하여 영상의 특성과 슬라이스 정보를 대체하여 병합된 영상을 생성하는 방법을 제안한다. 또한, 타일들을 병합을 하기 위해 일부 영상의 정보를 파싱하여 병합되는 영상 정보를 생성함으로써 송신단의 영상 정보를 이용하지 않고도 영상 병합이 가능해진다. 따라서, 제안하는 방식을 이용하면 미리 구성된 영상 정보로 병합하는 방법으로부터 더 나아가 영상 특성으로 인한 제한점을 해결하여 서로 다른 영상으로부터 분할된 타일들을 하나의 영상으로 병합할 수 있다.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1053-1063
• /
• 2019

최근 360 영상에 대한 관심이 증대됨에 따라, 이러한 360 영상을 보다 효율적으로 전송하기 위해 하나의 360 영상을 여러 개의 타일로 나누어 전송하는 타일 기반 스트리밍이 활발히 연구되고 있다. 본 논문에서는 타일 기반 스트리밍 시나리오에서 사용자 시점에 대응하는 고화질 360 영상 전송을 위해, 기존 네트워크 모델로 생성된 중요도 맵(Saliency map)을 타일 기반 스트리밍에 적용하여 각 위치의 타일의 품질을 할당하는 시스템을 제안한다. 각 타일들을 독립적으로 부호화하기 위해 motion constrained tile set (MCTS) 기법을 적용함과 동시에 Salient360! 데이터셋으로 사용자 시선 시나리오를 토대로 사용자 시점 영상으로 복원하여 검증한 결과, 제안된 시스템을 기반으로 360 비디오 영상을 전송하면 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때보다 사용자 시점의 영상은 큰 손실 없이 최대 23%의 BD-rate 효율을 보임을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.256-258
• /
• 2019

최근 MPEG-Immersive 표준화 그룹에서는 여러 위치에 존재하는 다수의 360 영상을 취득하고 처리하여 사용자에게 제한적인 화면 전환 이동에 따른 운동 시차(motion parallex)를 제공하는 3 degrees of freedom plus (3DoF+) 기술에 관한 표준화가 진행되고 있다. 이러한 3DoF+ 표준화 기술에서의 압축은 기존의 HEVC 코덱을 사용하나, 현재 존재하는 360 영상 사용자 시점 기반 스트리밍 기법을 3DoF+ 스트리밍에 적용하기 위해서는 기존의 360 영상과 다르게 영상 서로 간의 참조과정으로 인한 의존성으로 문제가 존재한다. 본 논문에서는 해당 문제점을 서술하고, MCTS(Motion-Constrained Tile Set)를 사용하여 보다 적은 디코더와 사용자 시점에 맞게 효율적으로 영상을 전송할 수 있는 MCTS 기반 타일 그룹 분할 방법을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.53-56
• /
• 2020

몰입감 있는 가상 현실 영상을 제공하기 위한 360 도 영상 부호화 및 전송 기술이 활발히 연구되고 있으나, 현재 가상현실 장비가 사용가능한 연산 능력 및 대역폭으로는 몰입감 있는 영상을 전송 및 재생하기에 한계가 있다. 따라서 본 논문은 고화질 360 도 사용자 시점 영상 제공을 위해 사용자 시점 타일을 추출하는 움직임 제한 타일 셋 기반 타일 추출기를 구현한다. 기존의 high-efficiency video coding (HEVC) 에서 구현되었던 타일 추출기와 달리 제안하는 추출기는 360 도 영상에 대한 비트스트림에서 여러 개의 타일을 추출한다. 이후 추출된 타일들은 전체 360 도 영상에 대한 저화질 비트스트림과 동시 전송되어 예상치 못한 사용자 시점 변경에 대응한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.51-54
• /
• 2020

본 논문에서는 360 도 VR 영상을 전송하는 기법의 일종인 타일 기반 전송을 MMT(MPEG Media Transport) 프로토콜 기반으로 구현하기 위하여 영상의 공간 분할 정보를 전달하는 방법을 소개한다. 360 도 VR 영상 전송은 대용량 미디어 전송인 동시에 사용자의 움직임에 따라 신속하게 적응적 영상을 전달해야 한다. 타일 기반 전송은 HEVC(High Efficiency Video Coding)의 MCTS(Motion Constrained Tile Sets) 기법을 이용하여 뷰포트에 해당하는 타일들을 고화질로 전달함으로써 이러한 요구사항을 해결한다. 반면, MMT 프로토콜은 초저지연 고화질 영상 전송에 유리한 기술로써 사용자의 시점 변화에 따라 기민하게 영상의 품질을 변환시킬 수 있다. 따라서 HEVC 의 SEI(Supplemental Enhancement Information) 메시지에 포함되는 타일들의 공간 분할 정보를 MMT 프로토콜에 적용하는 방식에 따라 적응적 타일 기반 전송 기법의 효율을 높일 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
• /
• pp.583-585
• /
• 2001

이동 단말의 프로토콜 스택을 설계할 때 가장 많이 선호되는 기법은 프로토콜 스택의 계층을 타스크로 정의하고 타스크 사이의 통신을 위해서 매시지 타를 이용하여 하위 계층에서 상위 계층으로 데이터를 전달하는 방식이다. 그러나 3세대 이상의 단말 시스템은 복잡한 응용 프로그램과 운영체제 환경을 가지게 되며 이러한 방식의 설계 방법은 더 이상 효율적이지 않게 되었다. 본 논문은 스트리밍 기술에 기반 한 단말 프로토콜 스택의 설계 방법에 대해서 소개하고 메시지 류 방식에 기반 한 설계 모델보다 가용성이 높음을 보여 준다.