• 전자통신동향분석
• /
• 제34권6호
• /
• pp.156-163
• /
• 2019

As a primitive immersive video technology, a three degrees of freedom (3DoF) $360^{\circ}$ video can currently render viewport images that are dependent on the rotational movements of the viewer. However, rendering a flat $360^{\circ}$ video, that is supporting head rotations only, may generate visual discomfort especially when objects close to the viewer are rendered. 3DoF+ enables head movements for a seated person adding horizontal, vertical, and depth translations. The 3DoF+ $360^{\circ}$ video is positioned between 3DoF and six degrees of freedom, which can realize the motion parallax with relatively simple virtual reality software in head-mounted displays. This article introduces the standardization trends for the 3DoF+ video in the MPEG-I visual group.

• 인터넷정보학회논문지
• /
• 제22권2호
• /
• pp.51-58
• /
• 2021

가상 현실 공간에서 실사 영상 및 그래픽 환경에 대해 사용자 움직임에 대응하는 영상을 제공하는 three degrees of freedom plus(3DoF+) 및 six degrees of freedom(6DoF) 시스템은 실감형 미디어를 제공하기 위해 서로 다른 위치에서 동시에 취득된 다수의 초고화질 및 고해상도의 영상 집합 전송을 요구한다. 다수의 영상들을 사용해 사용자 시점 영상을 생성할 때, 기존의 영상 압축 코덱에서 발생했던 것과는 다른 형태의 품질 저하가 발생하여 기존의 영상 품질 평가 기법들은 3DoF+ 및 6DoF 시스템 평가에 적합하지 않다. 본 논문은 3DoF+ 환경에서 합성된 사용자 시점 영상에 대한 다양한 객관적 영상 품질 평가 기법에 대한 성능 평가를 소개한다. 또한, 기존의 객관적 영상 품질 평가 기법을 조합하여 주관적인 평가와 상관관계를 더욱 높인 평가 기법인 슈퍼 메트릭(super metric)을 제시한다. 3DoF+ 몰입형 비디오 평가 시 제안한 기법을 사용하였을 때, 주관적 평가 점수와의 상관관계에서 peak signal-to-noise ratio(PSNR) 대비 0.4513의 상승이 있었음을 확인하였다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.743-754
• /
• 2019

사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+), 6DoF를 위한 시스템은 여러 위치에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이를 위해 본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 3DoF+ 360 비디오 중복성 제거 기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 3DoF+ 360 비디오 간 중복성 제거를 위한 3D warping을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 3DoF+ 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.185-191
• /
• 2020

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형 비디오의 압축 표준화를 진행하고 있다. 360 비디오에 움직임 시차(parallax)를 추가한 것으로 정의되는 3DoF+ 비디오의 가상 공간에서, 원하는 위치와 시점의 장면을 제공하려면 3DoF+ 비디오를 구성하는 여러 뷰(view) 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링해야 한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 효율적인 부호화를 위한 표준화가 진행되고 있으며, TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. 본 논문은 TMIV에서 패치(patch)를 아틀라스(atlas)에 효율적으로 패킹하여 부호화 성능을 향상시킬 수 있는 패치 패킹 방법을 제안한다. 제안기법은 패킹되는 패치들 간에 보호대역(guardband)을 적용하여 패치 간의 거리를 둠으로써 부호화로 인해 발생할 수 있는 아티팩트(artifact)를 줄여 최종 복원 뷰의 화질을 향상시킨다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.86-88
• /
• 2019

최근 다양한 VR/AR HMD 장비의 등장으로 영상표준에서는 3DoF 영상인 360 영상에 관한 표준이 정립되었다. 또한 이후 추가적인 표준인 3DoF+, 6DoF 로의 표준화가 계획 중이며 진행 중이다. 하지만 현제 실질적으로 6DoF 영상을 제작하거나 전송할 수 있는 표준은 존재하지 않으며, 표준화가 진행 되더라도 전송에 적합한 형태를 찾는 과정까지 오래 걸릴 것으로 예상된다. 따라서 본 논문에서는 기존에 표준화된 360 영상 표준과 전송 표준인 DASH를 활용하여 3DoF+ 이상의 6DoF를 구현하기 위한 DASH의 MPD 구조를 제안하여 실감 미디어 전송을 할 수 있도록 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.170-173
• /
• 2018

최근 360 비디오를 지원하는 가상현실 시스템에 대한 수요가 높아지면서, 사용자의 편의를 위해 다양한 방법이 제안되고 있다. Moving Picture Experts Group (MPEG) 에서는 제한적인 사용자 경험을 제공하는 3DoF 를 넘어 3DoF+, 6DoF 표준을 진행하고 있고, 이에 따른 많은 연구도 활발히 진행되고 있다. 사용자가 앉아있는 상태에서 머리의 움직임에 따라 제한적인 자유도를 제공하는 3DoF+ 시스템은 여러 고해상도의 360 비디오 전송을 요구하여 네트워크 대역폭에 상당한 부담을 준다. 본 논문은 3DoF+ 360 비디오 전송 시 대역폭의 효율적 사용을 위한 비트레이트 절감 방안을 제안한다. 이를 위해, 본 논문은 360 비디오의 프로젝션을 변경하여 해상도를 줄이면서도 정보 손실을 최소화할 수 있는 방법을 제시하고 결과를 설명한다. 프로젝션 변경을 위해 360 라이브러리를 사용하였고, 인코딩과 디코딩 시 효율 측정을 위해 HEVC Test Model (HM)을 사용하였다. 최종적으로 구현된 시스템은 360 비디오를 최적의 프로젝션으로 변환 후 인코딩, 디코딩을 거치고 다시 360 비디오로 변환하는 과정을 지원한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.256-258
• /
• 2019

최근 MPEG-Immersive 표준화 그룹에서는 여러 위치에 존재하는 다수의 360 영상을 취득하고 처리하여 사용자에게 제한적인 화면 전환 이동에 따른 운동 시차(motion parallex)를 제공하는 3 degrees of freedom plus (3DoF+) 기술에 관한 표준화가 진행되고 있다. 이러한 3DoF+ 표준화 기술에서의 압축은 기존의 HEVC 코덱을 사용하나, 현재 존재하는 360 영상 사용자 시점 기반 스트리밍 기법을 3DoF+ 스트리밍에 적용하기 위해서는 기존의 360 영상과 다르게 영상 서로 간의 참조과정으로 인한 의존성으로 문제가 존재한다. 본 논문에서는 해당 문제점을 서술하고, MCTS(Motion-Constrained Tile Set)를 사용하여 보다 적은 디코더와 사용자 시점에 맞게 효율적으로 영상을 전송할 수 있는 MCTS 기반 타일 그룹 분할 방법을 제안한다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.665-671
• /
• 2020

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형(immersive) 비디오의 압축 표준화를 진행하고 있다. 360 비디오의 전방위 뷰(view)와 함께 움직임 시차(parallax)를 제공하는 3DoF+ 비디오는 고정된 위치에서 상체 움직임 정도의 제한된 공간에서 획득된 여러 뷰 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 압축 표준화를 진행하고 있으며, 그 과정에서 TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. TMIV에서는 다수의 입력 뷰 비디오들의 중복성을 제거하고 남은 텍스쳐 및 깊이 영상 패치(patch)들을 촘촘히 프레임으로 패킹한 아틀라스(Atlas)를 생성하고 이를 부호화한다. 본 논문은 보다 효율적인 3DoF+ 비디오 부호화를 위해서 작은 크기의 블록들을 제거하는 아틀라스 생성 기법을 제시한다. 제안기법은 TMIV 대비 자연영상과 그래픽 영상에서 각각 0.7%와 1.4%의 BD-rate 비트율 감소의 성능 개선을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제26권3호
• /
• pp.51-57
• /
• 2021

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 피사계 심도(Depth of field, DoF) 영역을 효율적인 합성곱 신경망을 통해 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 합성곱 신경망 네트워크에 학습하기 위한 데이터를 구축하며, 이렇게 얻어진 데이터를 이용하여 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용하며, 네트워크 학습 단계에서 수렴률을 높이기 위해 스무딩을 과정을 한번 더 적용한 결과를 사용한다. 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 안정적으로 찾아내며, 제안하는 방법은 DoF영역을 사용자의 ROI(Region of interest)로 활용하여 NPR렌더링, 객체 검출 등 다양한 곳에 활용이 가능하다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.206-207
• /
• 2019

MPEG 에서는 최대 6 자유도(6DoF)를 가지는 몰입형 미디어의 압축 표준화를 진행하고 있다. 360 비디오에 움직임 시차(parallax)를 추가한 것으로 정의되는 3DoF+의 가상 공간에서, 원하는 위치의 장면을 제공하려면 다른 위치에서 찍은 여러 비디오를 사용하여 임의의 원하는 시점의 뷰(view)를 렌더링 해야 한다. MPEG-I Visual 그룹에서는 이러한 3DoF+ 비디오의 효율적인 부호화 및 전송을 위한 표준화가 진행되고 있으며, 최근 시험모델(TMIV)을 개발하고 있다. 본 논문은 TMIV 에서 패치(patch)를 아틀라스(atlas)에 효율적으로 패킹하여 부호화 성능을 향상시킬 수 있는 패치 패킹 방법을 제안한다. 제안 방식은 패킹되는 패치들 간에 보호 대역(Guard Band)를 적용하여 패치간의 거리를 둠으로써 부호화로 인해 발생할 수 있는 아티팩트(artifact)를 줄여 최종 복원 뷰의 화질을 향상시킨다.