• 방송공학회논문지
• /
• 제25권5호
• /
• pp.685-697
• /
• 2020

파노라마(Panorama) 및 360도 영상과 같은 몰입형(Immersive) 미디어 영상은 영상 내 공간을 사용자가 직접 방문한 것 같은 현장감을 제공해야하므로 실제 세계의 모습을 사실 그대로 나타낼 수 있어야 한다. 그러나 파노라마 및 360도 영상에서는 촬영 카메라들간의 시차(Parallax)로 인해 사물이 사라지거나 중복해서 나타나는 현상이 나타나며, 이와 같은 시차 왜곡은 사용자의 콘텐츠 몰입을 방해할 수 있다. 이에 따라서, 시차 왜곡을 극복하기 위한 많은 동영상 스티칭 알고리즘이 제안되고 있지만, Object detection 모듈의 낮은 성능과 Seam 생성 방식 등의 제한으로 여전히 시차 왜곡이 발생하고 있다. 이에 본 논문에서는 기존 동영상 스티칭 기술의 제한 사항을 분석하고, 해당 동영상 스티칭 기술의 제한을 극복하기 위하여 LDPM(Local Differential Pixel Mean) 영상 평가를 활용한 동영상 스티칭의 시차 왜곡 검출 및 정정 방법을 제안한다.

• 디지털융복합연구
• /
• 제15권8호
• /
• pp.375-381
• /
• 2017

2017년 3월 16일 개봉한 미국 영화 미녀와 야수(Beauty and Beast, 2017)는 21일 동안에(4월6일 까지) 한국 국내에서 박스오피스를 4,273,401명으로 누적되었다. 이런 영화 흥행 수입을 따르면 영화 등 영상 시장이 급속도로 성장하고 있으며, 발달된 정보기술에 따라 PLF (Premium Large-Format) 영상의 관심도가 높아지고 있다. PLF 영상은 관객들에게 극대화된 몰입감을 선사할 수 있고 새로운 시각의 향연을 펼칠 수 있기 때문이다. 본 연구는 PLF 플랫폼에서 가장 중요한 이슈로 떠오르고 있는 아이맥스, 스크린 X 그리고 360도 서큘러 스크린을 중심으로 이 3 가지 PLF 플랫폼에 대한 개념과 특징을 분석 한 후 차이점을 비교 한다. 이 연구 결과에 따라 이 3가지 PLF 플랫폼에 대하여 더 쉽게 이해할 수 있고, 더불어 향후 PLF 영상이 관객들에게 극대화된 몰입감을 선사할 수 있는 콘텐츠를 제작하기 위한 특징들을 분석하고, 개념에 대한 연구를 하였으며 본 논문은 영상콘텐츠 관련 연구자와 산업계 종사자들에게 향후 도움이 될 수 있는 연구 논문으로 사료 될 것을 기대한다. 그리고 향후 각 PLF 영상 콘텐츠 제작 방식을 연구하며, 시각효과를 극대화한 콘텐츠에 대한 연구를 목표로 한다.

• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.942-951
• /
• 2018

In these days, 360 degree videos, which is provided via VR, have high resolution and quality of 8K. These kinds of videos inevitably require streaming technology which guarantees QoS. Therefore, we suggest MPEG DASH HTTP protocol which stably provides streaming services of high quality videos in 8K, which are 360 degree tile-encoded, on low-spec devices such as OTT and IPTV Settop and Tile Segment Cache management structure for servers operating streaming services.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 추계학술대회
• /
• pp.96-97
• /
• 2017

본 논문에서는 360 도 비디오 서비스를 제공하기 위한 타일기반 실시간 부호화 방법을 제시한다. 360 도 비디오 프레임을 공간적으로 분할하여 타일을 생성하고, GOP 길이만큼의 타일 개수로 구성된 타일 세트들을 순차적으로 부호화함으로써 단일 부호화기로 실시간 타일 부호화가 가능하도록 설계하였다. 상기 타일 세트는 독립적으로 부호화되므로 단말은 사용자의 시청영역에 해당하는 타일 세트만 수신 및 복호화함으로써 네트워크 대역폭을 줄일 수 있다. 또 작은 크기의 타일을 순차적으로 고속 부호화하는 방법이므로 타일의 병렬 처리를 효과적으로 수행하기 위한 로드밸런싱을 고려하지 않아도 된다. NVIDA 그래픽카드인 Geforce GTX 1080Ti를 이용하여 32 개의 타일로 분할된 4K 360 도 비디오 시퀀스를 HEVC 로 부호화할 경우 약 120 fps 의 속도로 처리가 가능함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.176-177
• /
• 2019

360 도 VR (Virtual Reality) 영상을 기존의 비디오처럼 재생하고 전송하기 위해서는 아직까지도 논의 되어야할 많은 문제들이 존재한다. 특히 보는 장면에 비하여 전방위의 영상을 보내야하는 VR 영상은 매우 큰 용량을 가질 수 밖에 없다. 그럼에도 불구하고 사용자의 불편함을 덜기 위해서는 HMD (Head-Mounted Displays) 의 빠른 반응 속도가 필요하다. 따라서 QER (Quality Emphasized Region)기반의 전송 기법은 영역별로 차별화된 화질의 영상을 전송하여 실감미디어의 몰입감을 유지하고 대역폭의 낭비를 줄이는 뷰포트 적응적 360 도 비디오 스트리밍 시스템 (Viewport-Adaptive 360-Degree Video Streaming System)의 일종으로 제안되었다. 그러나, 사용자의 시점 정보를 계산하기 위해서는 매 프레임마다 차원 변환을 위한 복잡하고 많은 계산이 필요하고, 이러한 중복된 계산은 시스템의 성능을 저하시키는 요인이 될 수 있다. 본 논문에서는 이러한 차원 변환에 따른 자원낭비를 줄이기 위하여 QER 선택을 위한 개선 방법을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.92-95
• /
• 2018

가상 현실을 위한 360 영상 비디오 전송기술이 활발히 연구되고 있다. 그러나 현재 가상현실 기기의 컴퓨팅 연산능력과 대역폭은 고화질 360 영상을 재생하기에 한계가 있다. 이 한계를 극복하기 위해 본 논문은 High Efficiency Video Coding (HEVC)와 Scalability Extension of HEVC (SHVC)를 활용하여 타일 기반의 360 도 영상 전송 기법을 제안한다. 제안하는 HEVC 와 SHVC 인코더는 타일을 독립적으로 전송 할 수 있는 비트 스트림을 생성한다. 제안하는 추출기는 사용자 시점에 해당하는 타일의 비트 스트림을 추출한다. 제안하는 기법에 의해 추출된 SHVC 비트스트림의 기본계층은 전체화면을 나타내며, 강화계층은 사용자 시점에 해당하는 타일로 구성된다. 제안하는 HEVC 인코더를 사용할 때에는 저화질과 고화질을 따로 인코딩하여 고화질만 사용자 시점에 해당하는 타일을 추출한다. 전체화면을 고화질로 보내는 대신에 전체화면을 저화질로, 사용자화면을 고화질로 보내기 때문에 제안하는 기법은 디코더의 컴퓨팅 연산과 네트워크 bitrate 를 대폭 줄일 수 있다. 본 제안 기법의 실험 결과는 전체화면 전송 대비 47%이상의 bitrate 를 줄인다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제61차 동계학술대회논문집 28권1호
• /
• pp.231-233
• /
• 2020

최근 360도 형태로 영상을 촬영하고 제공하는 경우가 많아 일반적인 동영상과 달리 360도 형태의 영상저작물에 적절하고 효과적인 방법으로 광고를 삽입하여 노출 시킬 수 있는 방법이 필요하게 되었다. 따라서 본 논문에서는 실감형 360도 영상저작물 객체 추출을 통한 추천 광고 매칭방법을 제안한다. 360도 영상저작물 내에 광고를 매칭하고 추출된 객체와 연관된 광고를 추출하여 해당 프레임에 자동으로 삽입 노출이 가능하도록 하는 방법으로 이 방법을 이용함으로써 사용자의 현재 시점 영역 내에 광고 영상이 노출되도록 광고의 삽입 위치를 이동시켜 영상이 재생되도록 하거나, 광고 영상이 삽입된 좌표로 사용자의 현재 시점을 이동시켜 영상이 재생되게 할 수 있다.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.866-875
• /
• 2018

최근 VR 콘텐츠의 인기와 함께 다양한 촬영장치를 이용한 실사기반 VR 360 영상제작이 주목을 받고 있다. 과거 VR 콘텐츠 제작은 많은 작업이 필요해 연구소 수준에서만 가능했으나 최근 카메라의 소형화로 VR 실사 촬영이 콘텐츠 제작자들에게 보편화되고 있다. 본 논문은 오늘날 상황에서 유통되는 다양한 VR 콘텐츠를 비교 연구하고 비용면에서 강인한 실사 기반 360 영상제작의 장단점을 분석하고 있다. 기존 영상 촬영 전문가가 사용하기 어려운 단점을 지적하고 이를 위한 해결 방안을 제시하고자 한다. 액션캠이나 일체형 카메라보다 수동조작이 가능하고, 원규격(raw foramt) 지원 카메라에서 360 촬영이 영화식 후반작업에 더 적합하다는 것을 간단한 실험 촬영을 통해 증명하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.200-201
• /
• 2018

In the workflow of 360 video coding of JVET (Joint Video Experts Team), firstly the 360 videos are projected onto the 2D plane with diverse projection formats, such as Equi-Rectangular Projection (ERP), Cubemap Projection (CMP), Rotated Sphere Projection (RSP), etc. The projection format of RSP has inactive regions in the converted 2D plane. The inactive regions may cause visual artifact as well as the reduction of the coding efficiency due to discontinuity at boundaries between active and inactive regions. In this paper, to overcome these problems, the inactive regions are padded by using two types of adjacent pixels. Then padded regions of RSP are blended with inactive regions padded by proposed method. The experimental results demonstrate that, in terms of end-to-end WS-PSNR-NN, the proposed method achieves 0.1% BD-rate reduction. In addition, the visual artifacts along the borders between discontinuous faces are noticeably reduced.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.185-191
• /
• 2020

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형 비디오의 압축 표준화를 진행하고 있다. 360 비디오에 움직임 시차(parallax)를 추가한 것으로 정의되는 3DoF+ 비디오의 가상 공간에서, 원하는 위치와 시점의 장면을 제공하려면 3DoF+ 비디오를 구성하는 여러 뷰(view) 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링해야 한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 효율적인 부호화를 위한 표준화가 진행되고 있으며, TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. 본 논문은 TMIV에서 패치(patch)를 아틀라스(atlas)에 효율적으로 패킹하여 부호화 성능을 향상시킬 수 있는 패치 패킹 방법을 제안한다. 제안기법은 패킹되는 패치들 간에 보호대역(guardband)을 적용하여 패치 간의 거리를 둠으로써 부호화로 인해 발생할 수 있는 아티팩트(artifact)를 줄여 최종 복원 뷰의 화질을 향상시킨다.