• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.141-142
• /
• 2018

360 비디오는 VR 미디어의 확산과 함께 몰입형 미디어로 주목 받고 있으며, JVET(Joint Video Experts Team)에서는 post-HEVC 로 진행중인 VVC(Versatile Video Coding) 표준화에 360 비디오 부호화도 함께 포함하고 있다. 현재 JVET 에서는 360 비디오를 부호화 하기 위한 다양한 구(sphere) 영상의 2D 투영기법이 고려되고 있다. 이러한 2D 투영에서는 구 영상의 화소 샘플이 2D 영상에 비 균일하게 매핑되는 변환 왜곡이 발생하며, 이는 360 비디오의 부호화 효율을 저하시키는 원인이 된다. 본 논문에서는 CMP 의 개선된 투영기법인 기존의 EAC(Equi-Angular Cubemap)와 HEC(Hybrid Equiangular Cubemap)를 소개하고, 이를 바탕으로 HEC 의 확장 변환 기법을 제시하여 객관적/주관적 부호화 성능을 확인한다.

• 한국게임학회 논문지
• /
• 제17권6호
• /
• pp.153-164
• /
• 2017

구면 파노라마 영상에서는 심한 구면 왜곡으로 인하여 기존의 평면 패턴의 탐색 방법인 SURF가 올바르게 작동되지 않는다. 평면 패턴은 구면 영상에서 왜곡되어 나타나므로 구면 파노라마 영상에서의 패턴 탐색 및 다른 텍스처로의 대치는 평면 영상의 경우와 다르게 처리되어야 한다. 본 논문에서는 구면 파노라마 영상을 큐브맵 영상으로 변환하고 구면 왜곡이 제거된 평면 영상에서 SURF를 사용하여 패턴을 탐색하고 해당 평면 텍스처를 대치한 후 다시 구면 파노라마 영상으로 변환하는 구면 파노라마 영상에서의 평면 대치 방법을 제안한다.

• 한국게임학회 논문지
• /
• 제20권6호
• /
• pp.43-52
• /
• 2020

본 논문에서는 360도 VR을 위한 큐브맵 비디오 환경에서 패턴의 위치 예측을 사용한 빠른 패턴 추적 방법을 제안한다. 구면 큐브맵 프레임은 6면의 텍스처를 가지므로 패턴 탐색도 6면 텍스처에 대해서 모두 수행해야 하므로 평면 프레임의 경우보다 매우 느리다. 본 논문에서는 이러한 한계점을 극복하기 위해 칼만 필터를 활용하여 패턴의 향후 위치를 예측하고 패턴이 존재할 가능성이 큰 텍스처만 탐색하여 탐색 영역을 축소하는 방법을 제안한다. 실험 결과, 제안하는 시스템은 6면을 모두 탐색하는 방법보다 월등히 빠르게 수행하면서 정확한 패턴 인식 성능을 보였다.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.136-139
• /
• 2017

최근 VR(virtual reality)의 관심이 급격하게 늘어감에 따라 HMD(Head Mounted Display), 360도 VR 카메라 등 많은 VR기기들이 출시되고 있다. 그럼에도 불구하고 현재 360도 VR 비디오의 경우 기존의 일반 2D 비디오의 코덱을 그대로 사용하고 있다. 기존의 코덱은 360도 VR 비디오의 특징을 고려하지 않고 비디오를 부/복호화하기 때문에 압축효율이 떨어지게 된다. 본 논문에서는 360도 VR 비디오의 특성 중 시점이 달라 생기는 왜곡을 보정한 참조프레임으로 사용함으로써 압축효율을 높이는 방법을 제안한다. 제안한 방법을 적용할 경우 시간적 예측 효율이 높아져 압축효율이 높아진다.

• 한국게임학회 논문지
• /
• 제18권5호
• /
• pp.5-14
• /
• 2018

영상 인식 기술은 평면 영상에 대해서 많이 연구되고 그 성능 또한 발전하고 있다. 그러나 평면 영상이 아닌 구면 파노라마 영상과 다양한 환경에서 주어지는 특수한 형태의 영상에 대한 인식은 평면과 다르게 기하학적인 왜곡으로 인해서 많은 어려움이 따른다. 본 논문에서는 평면 영상의 인식 기술에서 최근 각광받는 훈련을 통한 신경망 인식 기법이 구면 파노라마 영상의 인식에서도 쓰일 수 있음을 보인다. 또한 구면 영상에 대한 기존 신경망 모델의 인식률을 높이기 위해서 큐브맵 변환을 활용하는 방법을 제시한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.65-75
• /
• 2017

360 영상은 상하좌우 모든 영역에 대한 정보를 갖고 있기 때문에 종종 지나치게 많은 정보를 포함하게 된다. 또한 360 영상의 내용을 2D 모니터를 이용하여 확인하기 위해서는 마우스를 이용하여 360 영상을 돌려 봐야 하거나, 또는 심하게 왜곡된 2D 영상으로 변환해서 봐야 하는 문제가 있다. 따라서 360 영상에서 사용자가 원하는 물체를 찾는 것은 상당히 까다로운 일이 될 수 있다. 본 논문은 물체나 영역을 묘사하는 문장이 주어졌을 때, 360 영상 내에서 문장과 가장 잘 어울리는 영상을 추출해 내는 방법을 제시한다. 본 논문에서 제시한 방법은 주어진 문장 뿐 아니라 구도 역시 고려하여 구도 면에서도 보기 좋은 결과 영상을 생성한다. 본 논문에서 제시하는 방법은 우선 360 영상을 2D 큐브맵으로 변환한다. 일반적인 큐브맵은 큐브맵의 경계 부분에 걸쳐 있는 물체가 있을 경우, 이를 검출하기 어려운 문제가 있다. 따라서 더 정확한 물체 검출을 위해 본 논문에서는 변형된 큐브맵을 제시한다. 이렇게 변형된 큐브맵에 Long Short Term Memory (LSTM) 네트워크 기반의 자연어 문장을 이용한 물체 검출 방법을 적용한다. 최종적으로 원래의 360영상에서 검출된 영역을 포함하면서도 영상 구도 면에서 보기 좋은 영역을 찾아서 결과 영상을 생성한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.200-201
• /
• 2018

In the workflow of 360 video coding of JVET (Joint Video Experts Team), firstly the 360 videos are projected onto the 2D plane with diverse projection formats, such as Equi-Rectangular Projection (ERP), Cubemap Projection (CMP), Rotated Sphere Projection (RSP), etc. The projection format of RSP has inactive regions in the converted 2D plane. The inactive regions may cause visual artifact as well as the reduction of the coding efficiency due to discontinuity at boundaries between active and inactive regions. In this paper, to overcome these problems, the inactive regions are padded by using two types of adjacent pixels. Then padded regions of RSP are blended with inactive regions padded by proposed method. The experimental results demonstrate that, in terms of end-to-end WS-PSNR-NN, the proposed method achieves 0.1% BD-rate reduction. In addition, the visual artifacts along the borders between discontinuous faces are noticeably reduced.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.401-404
• /
• 2017

360 VR 영상은 등장방형 또는 정육면체, 정십이면체 등의 입체 도형의 전개도 형태의 포맷을 가진다. 이러한 포맷들은 각각 다른 특성을 가지고 있지만, 공통적으로 해상도가 일반 2D 영상에 비해 높다는 공통점을 가지고 있다. 따라서 부호화/복호화를 할 때 시간이 많이 걸리며, 병렬 처리가 필수적으로 요구된다. 최신 2D 비디오 코덱인 HEVC에는 병렬화 기술로 Wavefront Parallel Processing(WPP) 기술이 표준으로 적용되어 있는데, 이 기술은 2D 영상을 고려하여 만들어진 기술으로 3D 영상에서 사용했을 때 최적의 성능을 보이지 않는다. 따라서, WPP를 3D 영상에 적절한 방법이 필요하며 본 논문에서는 큐브맵 포맷에서 개선된 WPP 부호화/복호화 방법을 제안한다. 실험은 HEVC 참조 소프트웨어인 HM 12.0에 적용하였고, 실험 결과 기존 WPP와 비교하여 PSNR에는 큰 손실이 없으며 15%~20% 정도의 부호화 복잡도가 추가로 감소했다. 제안하는 방법은 향후 3D VR 영상을 위한 코덱에 필수적으로 포함될 것으로 기대된다.