• 방송공학회논문지
• /
• 제22권1호
• /
• pp.136-139
• /
• 2017

최근 VR(virtual reality)의 관심이 급격하게 늘어감에 따라 HMD(Head Mounted Display), 360도 VR 카메라 등 많은 VR기기들이 출시되고 있다. 그럼에도 불구하고 현재 360도 VR 비디오의 경우 기존의 일반 2D 비디오의 코덱을 그대로 사용하고 있다. 기존의 코덱은 360도 VR 비디오의 특징을 고려하지 않고 비디오를 부/복호화하기 때문에 압축효율이 떨어지게 된다. 본 논문에서는 360도 VR 비디오의 특성 중 시점이 달라 생기는 왜곡을 보정한 참조프레임으로 사용함으로써 압축효율을 높이는 방법을 제안한다. 제안한 방법을 적용할 경우 시간적 예측 효율이 높아져 압축효율이 높아진다.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.876-885
• /
• 2018

최근 VR(Virtual Reality) 기반의 e-sports 중계 시장이 자리를 잡고 있다. 하지만 국내의 경우 시장경쟁력 확보를 위한 기술 개발이 미비한 실정이다. 이미 해외의 SLIVER TV, Facebook에서는 e-sports를 4K 30FPS급의 360 VR으로 중계할 수 있는 기술을 개발하고 사업화까지 진행하고 있다. 하지만 360 VR 영상으로 활용하기에는 2D영상으로 몰입감이 저하되고, 해상도가 낮고, 멀미현상이 있다. 이에 본 논문에서는 e스포츠 VR 중계방송을 위해 게임 내 공간을 4K 3D 60FPS으로 360영상으로 획득 할 수 있는 가상카메라 기술을 제안하고, 구현하였다. 그리고 게임엔진 샘플게임과, 상용게임에 가상카메라를 설치하고, 실험을 통해 최대 4K/60FPS Stereo 360 영상 획득이 가능함을 검증하였다.

• 디지털콘텐츠학회 논문지
• /
• 제19권9호
• /
• pp.1631-1639
• /
• 2018

VR 360 영상 콘텐츠는 이전 영상 콘텐츠와는 달리 필연적으로 관객이 부분적인 감상을 하게 되므로, 이에 대한 새로운 영상 언어 연구가 필요하다. 본 연구에서는 특히 VR 360 영상 콘텐츠가 360도로 배경이 확장되므로, 그 안에서 사건 요소와 배경 요소의 적절한 배치가 관객들의 시선을 유도하는데 주요한 역할을 하게 될 것이라는 점에 주목하였다. 따라서 본 연구에서는 서사적 관점에서 사건 요소 및 배경 요소의 배치에 초점을 맞춰, 선정 사례들의 양상을 분석하였다.

• 한국융합학회논문지
• /
• 제10권12호
• /
• pp.43-52
• /
• 2019

최근 5G의 등장에 따라 국내 스트리밍 시장에서는 360 VR(Virtual Reality) 서비스가 주목받고 있다. 하지만 기존 IPTV(Internet Protocol Television)의 360 VR 영상 서비스에서 사용자가 고품질로 느끼기 위해서는 8K 이상의 영상이 요구 되지만 현재는 4K 정도의 영상이 서비스되어 사용자의 만족도가 높지 않다. 8K 이상의 영상의 경우 비트율(bitrate)이 하나의 QAM 채널로 전송할 수 있는 38.8107mbps 이상이다. 때문에, 현재 IPTV 방송 케이블망 환경에서 8K 이상의 영상을 스트리밍 하는 것은 불가능 하다. 이에 본 논문에서는 8K이상의 360 VR 서비스를 위해 다수의 QAM 채널을 사용하여 영상을 분리 분산하여 전송하는 방식을 제안하고 설계 하였다. 그리고 IPTV 방송 수신기에서 댁내의 디스플레이 장치로 저지연 스트리밍을 할 수 있는 엣지 스트리밍 방식을 제안하고 구현하였다. 그리고 실험을 통해 100mbps 미만의 네트워크 대역폭을 사용하여 500ms 미만의 뷰포트(Viewport) 전환 지연 시간을 갖는 360 VR스트리밍을 할 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제21권7호
• /
• pp.795-801
• /
• 2018

In these days, various technologies to provide a service of high quality of 360 VR media contents is being studied and developed. However, rendering high-quality of media images is very difficult with the limited resources of HMD (Head Mount Display). In this paper, we designed and implemented a 360 VR Player for high quality 360 tiled video image render to HMD. Furthermore, we developed multi-resolution-based Foveated Rendering technology. By conducting several experiments, We have confirmed that it improved the performance of video rendering far more than existing tiled video rendering technology.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.965-973
• /
• 2019

본 논문에서는 Stereo 4K@60fps 360 VR 실시간 영상 획득 시스템을 영상 스트림 획득과 영상 인코딩(encoding), 영상 스티칭(stitching) 모듈로 나누어 설계하였다. 시스템은 6대의 카메라로부터 HDMI Interface를 통해 획득된 6개의 2K@60fps의 영상 스트림을 스티칭을 통하여 실시간으로 Stereo 4K@60fps 360 VR 영상을 획득한다. 영상 획득 단계에서는 멀티 스레드(Multi-Thread)를 이용하여 각 카메라로부터 실시간으로 영상 스트림을 획득하였다. 영상 인코딩 단계에서는 영상 획득과 영상 스티칭 모듈 간의 전송 리소스를 줄이기 위하여 멀티 스레드를 이용한 Raw Frame 메모리 전송과 병렬 인코딩을 하였다. 영상 스티칭 단계에서는 스티칭 Calibration 전처리작업을 통하여 스티칭 실시간성을 확보하였다.

• 방송공학회논문지
• /
• 제22권6호
• /
• pp.808-816
• /
• 2017

본 논문에서는 360 VR 멀티미디어 시스템에서 복수개의 카메라들이 촬영한 영상 신호들 간의 밝기 차이가 발생하여 360 VR 영상 품질을 저하시키는 것을 막기 위해, 360 VR 시스템에 적합한 밝기 보상 기법을 제안한다. 복수개의 카메라가 촬영한 영상들 간의 특징점들을 분석하고, 이 특징점들을 대상으로 누적 히스토그램을 계산한다. 그리고 이 누적 히스토그램을 기반으로 우선적으로 밝기 보상이 필요한 영상들을 선별한다. 선별된 영상들에 대해서 내부 특징점들의 누적 히스토그램과 외부 특징점들의 히스토그램들을 일치시키기 위한 룩업테이블을 제작하여, 선별된 영상 내부의 모든 화소들의 밝기값을 보상한다. 본 논문의 실험결과에서는 제안하는 알고리즘의 우수성을 히스토그램 보상 측면, 밝기보상 영상의 시각적인 평가, ERP 영상의 화질 평가, Viewport 영상의 화질 평가 등의 측면에서 보였으며, 다양한 기준들에서 제안한 방법이 기존 기술들보다 우수함을 보였다.

• 방송공학회논문지
• /
• 제22권5호
• /
• pp.600-607
• /
• 2017

VR (Virtual Reality)은 최근 스마트 폰 기반 HMD (Head Mounted Displays)에 대한 개발 및 관심이 급증 함에 따라 360 비디오에 대한 표준화에 대한 요구가 급증하고 있다. 본 논문에서는 MPEG 산하에서 진행되는 360 미디어를 지원하기 위한 미디어 포맷인 Omnidirectional Media Format 에서 다루는 핵심 표준 기술에 대하여 자세히 소개한다. 360 미디어를 위한 OMAF 아키텍처를 소개하고 OMAF 에서 다루는 360 비디오 처리 및 메타데이터에 대해 자세히 설명한다. 그리고 360 미디어를 파일 혹은 세그먼트 내에 저장하기 위한 미디어 포멧 및 MPEG DASH(Dynamic Adaptive Streaming over HTTP)기반 360 미디어에 대한 스트리밍 기법에 대해 자세히 언급한다.

• 디지털융복합연구
• /
• 제17권4호
• /
• pp.255-260
• /
• 2019

연구는 $360^{\circ}$ 동영상과 3D 그래픽의 효율적인 합성 방법에 관한 연구이다. 먼저, 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상을 스티칭하고, 영상에서 카메라 및 사물의 위치값을 추출하였다. 그리고 추출한 위치값의 데이터를 3D 프로그램으로 불러와 3D 오브젝트를 생성하고, 자연스러운 합성을 위한 방법에 관하여 연구하였다. 그 결과 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법으로 렌더링 요소와 렌더링 기법을 도출할 수 있었다. 첫째, 렌더링 요소로는 3D 오브젝트의 위치와 재질, 조명과 그림자가 있었고, 둘째, 렌더링 기법으로는 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 본 연구 과정 및 결과를 통해 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성에 관한 방법을 제시함으로써, $360^{\circ}$ 동영상 및 VR 영상 콘텐츠의 연구와 제작 분야에 도움이 될 것으로 기대한다.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.401-404
• /
• 2017

360 VR 영상은 등장방형 또는 정육면체, 정십이면체 등의 입체 도형의 전개도 형태의 포맷을 가진다. 이러한 포맷들은 각각 다른 특성을 가지고 있지만, 공통적으로 해상도가 일반 2D 영상에 비해 높다는 공통점을 가지고 있다. 따라서 부호화/복호화를 할 때 시간이 많이 걸리며, 병렬 처리가 필수적으로 요구된다. 최신 2D 비디오 코덱인 HEVC에는 병렬화 기술로 Wavefront Parallel Processing(WPP) 기술이 표준으로 적용되어 있는데, 이 기술은 2D 영상을 고려하여 만들어진 기술으로 3D 영상에서 사용했을 때 최적의 성능을 보이지 않는다. 따라서, WPP를 3D 영상에 적절한 방법이 필요하며 본 논문에서는 큐브맵 포맷에서 개선된 WPP 부호화/복호화 방법을 제안한다. 실험은 HEVC 참조 소프트웨어인 HM 12.0에 적용하였고, 실험 결과 기존 WPP와 비교하여 PSNR에는 큰 손실이 없으며 15%~20% 정도의 부호화 복잡도가 추가로 감소했다. 제안하는 방법은 향후 3D VR 영상을 위한 코덱에 필수적으로 포함될 것으로 기대된다.