• 방송공학회논문지
• /
• 제22권1호
• /
• pp.136-139
• /
• 2017

최근 VR(virtual reality)의 관심이 급격하게 늘어감에 따라 HMD(Head Mounted Display), 360도 VR 카메라 등 많은 VR기기들이 출시되고 있다. 그럼에도 불구하고 현재 360도 VR 비디오의 경우 기존의 일반 2D 비디오의 코덱을 그대로 사용하고 있다. 기존의 코덱은 360도 VR 비디오의 특징을 고려하지 않고 비디오를 부/복호화하기 때문에 압축효율이 떨어지게 된다. 본 논문에서는 360도 VR 비디오의 특성 중 시점이 달라 생기는 왜곡을 보정한 참조프레임으로 사용함으로써 압축효율을 높이는 방법을 제안한다. 제안한 방법을 적용할 경우 시간적 예측 효율이 높아져 압축효율이 높아진다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.110-113
• /
• 2015

SHVC(Scalable High efficiency Video Coding)는 다양한 멀티미디어 서비스 환경에서 높은 코딩 효율을 위해 공간적, 시간적, 화질적 스케일러빌리티를 이용한 표준 기술이다. SHVC는 멀티-계층 부/복호화를 수행하기 때문에 싱글-계층인 HEVC(High Efficiency Video Coding) 보다 추가적인 복잡도를 요구한다. 본 논문에서는 SHVC 복호화기의 복잡도를 분석하고 SHVC 복호화기에서 높은 복잡도를 차지하는 프레임 기반 업샘플링을 PU 기반 On-the-fly 업샘플링(On-the-fly Up-sampling) 방법과 SIMD 연산을 통해 고속화 한다. 제안하는 알고리즘이 적용된 SHVC 복호화기는 기존 SHVC 복호화기의 복호화 시간보다 평균 1.23배 고속화 성능을 보이며 업샘플링의 복잡도가 24.7%에서 1.9%로 감소하였다. On-the-fly 업샘플링 과정은 기존 프레임 레벨 업샘플링 과정 대비 평균 90.3% 수행시간 감소율을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1191-1194
• /
• 2022

인터넷의 발전으로 수많은 이미지와 비디오를 손쉽게 이용할 수 있게 되었다. 이미지와 비디오 데이터의 양이 기하급수적으로 증가함에 따라, JPEG, HEVC, VVC 등 이미지와 비디오를 효율적으로 저장하기 위한 부호화 기술들이 등장했다. 최근에는 인공신경망을 활용한 학습 기반 모델이 발전함에 따라, 이를 활용한 이미지 및 비디오 압축 기술에 관한 연구가 빠르게 진행되고 있다. NNIC (Neural Network based Image Coding)는 이러한 학습 가능한 인공신경망 기반 이미지 부호화 기술을 의미한다. 본 논문에서는 NNIC 모델과 인공신경망 기반의 초해상화(Super Resolution) 모델을 합동훈련하여 기존 NNIC 모델보다 더 높은 성능을 보일 수 있는 방법을 제시한다. 먼저 NNIC 인코더(Encoder)에 이미지를 입력하기 전 다운 스케일링(Down Scaling)으로 쌍삼차보간법을 사용하여 이미지의 화소를 줄인 후 부호화(Encoding)한다. NNIC 디코더(Decoder)를 통해 부호화된 이미지를 복호화(Decoding)하고 업 스케일링으로 초해상화를 통해 복호화된 이미지를 원본 이미지로 복원한다. 이때 NNIC 모델과 초해상화 모델을 합동훈련한다. 결과적으로 낮은 비트량에서 더 높은 성능을 볼 수 있는 가능성을 보았다. 또한 합동훈련을 함으로써 전체 성능의 향상을 보아 학습 시간을 늘리고, 압축 잡음을 위한 초해상화 모델을 사용한다면 기존의 NNIC 보다 나은 성능을 보일 수 있는 가능성을 시사한다.