• 대한전자공학회논문지SD
• /
• 제45권7호
• /
• pp.52-60
• /
• 2008

디블록킹 필터는 H.264/AVC의 디코딩 과정에서 생기는 블록 왜곡 현상을 없애주고 압축율을 높여준다. 하지만 디블록킹 필터는 디코더에서 1/3의 계산 량을 차지할 만큼 계산 량이 많아 이를 위한 효율적인 하드웨어 설계가 필요하다. 본 논문에서는 적절한 메모리 구조를 사용하여 데이터의 재사용을 높이고, 두 개의 필터를 사용하여 성능을 개선한 디블록킹 필터의 구조를 제안한다. 제안된 구조는 적은 초기화 클럭 이후 두 개의 필터가 동시에 동작하여 데이터가 준비되는 대로 필터링을 수행하여 처리량을 높이고, 외부메모리의 참조를 최소화한다. 제안된 구조는 하나의 매크로블록을 필터링하는 데에 96클럭이 소요되며, 동부아남 $0.18{\mu}m$ 표준 셀 라이브러리를 사용하여 합성한 결과 최대 동작 주파수는 200MHz이다.

• 방송공학회논문지
• /
• 제18권4호
• /
• pp.647-650
• /
• 2013

HEVC RExt(High Efficiency Video Coding Range Extension)는 RGB/YUV 4:2:2 4:4:4 색 샘플링 영상과 10비트 심도 이상의 영상 지원을 목표로 한다. RGB 영상은 YUV 4:2:0 색 샘플링 영상과는 달리 색평면 간 높은 상관도를 갖고 있으며, 이를 이용하여 화소값을 예측하는 기법들이 JCT-VC 표준화 회의에서 기고되었다. 하지만 일반적으로 RGB 영상의 고주파수 성분은 색평면 간 낮은 상관도를 갖고 있으며, 이는 색평면 간 예측 시 부호화 효율 저하의 원인이 된다. 따라서 본 논문에서는 색평면 간 예측 시 고주파수 성분을 저역통과필터를 통해 적응적으로 제거하는 기법을 제안한다. HEVC RExt의 RGB 영상을 통한 실험 결과, 본 논문에서 제안하는 기법은 기존 색평면 간 예측 기법에 비해 큰 복잡도의 증가 없이 평균 0.6%의 BD(Bjontegaard Distortion)-율 이득을 얻을 수 있었다.

• 한국인터넷방송통신학회논문지
• /
• 제21권3호
• /
• pp.99-105
• /
• 2021

넥플릭스,유튜브로 대표되는 OTT 동영상 제작 서비스에 인공지능으로 콘텐츠를 개인별 맞춤식 추천 시스템은 보편화 되었다. 유튜브의 개인별 맞춤 추천서비스 시스템은 두 개의 신경망으로 구성되는데 신경망 하나는 추천 후보생성 모델이고 다른 하나는 순위평가 네트워크로 구성된다. Netflix의 동영상 추천 시스템은 두 개 데이터 분류 시스템으로 구성되어 있으며 콘텐츠 기반 필터링과 협업 필터링으로 나누어진다. 코로나 펜데믹으로 온라인 플랫폼 주도의 콘텐츠 제작이 활성화 되면서 인공지능을 활용한 가상 인플루언서 분야가 부각되고 있다. 가상인플루언서는 GAN(Generative Adversarial Networks) 인공지능으로 제작되는데 성격이 다른 두 시스템이 서로 경쟁하는 방식으로 학습이 반복되는 비교사(Unsupervised) 학습 알고리즘이다. 이 연구는 AI 개인별 추천 기반 플랫폼과 가상인플루언서(메타버스)가 향후 OTT의 핵심콘텐츠로의 발전 가능성도 연구해 보았다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.145-147
• /
• 2020

딥러닝 기술이 발전함에 따라 High-Efficiency-Video-Coding(HEVC)와 같은 비디오 코덱을 딥러닝 기술을 사용해 발전시키는 방법이 많아 시도되었다. 가장 많이 연구된 분야 중 하나에는 코덱 내부의 필터들을 영상 복원 기술을 통해 개선시키는 연구가 있다. 본 논문에서는 그 중 Sample adaptive offset(SAO) 필터링 기법을 깊은 신경망으로 대체하는 방식을 제안한다. SAO는 주변 정보들을 통해 에러의 형태를 결정하고 그를 상쇄하는 값을 전송하는 형태를 가진다. 이 때 찾은 보상 값이 최적의 값이 아니기 때문에 제안 기법에서는 깊은 신경망을 통해서 그 값을 찾는다. 제안하는 네트워크는 최적의 보상 값을 찾는 부분과 에러의 형태를 찾는 부분으로 이루어져 있으며, 두 네트워크를 통해 비선형적이고 복잡한 형태의 에러를 제거할 수 있다. 실험 결과 제안하는 방식은 저지연 P 모드와 임의접근 모드에서 기존 HEVC 보다 좋은 성능을 낸 것을 확인할 수 있다.

• 방송공학회논문지
• /
• 제17권5호
• /
• pp.742-755
• /
• 2012

본 논문에서는 high efficiency video coding (HEVC) 복호화기의 디블록킹 필터를 병렬화할 때 발생하는 작업량 불균형 문제를 해결하는 병렬화 방법을 제안한다. HEVC의 디블록킹 필터는 인-루프 필터로써 먼저 수직 에지에서 필터링을 수행한 후, 수평 에지에서 필터링을 수행한다. 수직 및 수평 에지에 대해 필터링을 수행하는 경우 주변 에지와 의존성이 없기 때문에 데이터 레벨의 병렬화를 통하여 복호화를 고속화 할 수 있다. 그러나 데이터 레벨 병렬화 방법을 통해 데이터가 균등하게 분할된 경우에도 영역 간의 작업량은 불균등 할 수 있으며, 이는 복호화기의 병렬화 성능을 저하시킨다. 본 논문에서는 coding tree block (CTB)에서 coding unit (CU)의 깊이 정보를 사용하여, 현재 프레임에 대한 디블록킹 필터링 과정의 연산량을 예측하고, 이를 통해 각 코어에 동등한 작업량이 분배되게 함으로써 작업량 불균형 문제를 해결하였다. 실험 결과, 제안하는 작업량 예측 기반의 데이터 레벨 병렬화 방법은 단일 코어를 사용하여 디블록킹 필터를 수행하는 것에 비하여 64.3%의 평균 시간 감소 (average time saving; ATS)를 얻었고, 기존의 균등 분할 데이터 레벨 병렬화 방법보다 평균 6.7%, 최대 13.5% 감소를 얻었다.

• 한국컴퓨터정보학회논문지
• /
• 제10권6호
• /
• pp.137-152
• /
• 2005

본 논문에서는 사용자 프로파일을 기반으로 한 정보 필터링을 사용하여 개개인의 학생들에게 맞는 효율적인 웹 기반 비디오 학습 평가 시스템을 제시한다. 비디오 기반 문제들이 주어지면, 키 프레임들은 위치, 크기, 그리고 컬러 정보를 기반으로 추출되고, 문제 출제 구간은 시간 윈도우와 그레이-레벨 히스토그램의 차이에 의해 추출된다 게다가, 카테고리-기반 시스템과 키워드 기반 시스템을 합성하여 문제 출제가 효율적인 평가를 확실해 하도록 주어진다. 따라서 학생들은 관심 영역을 유지하면서 부족한 영역을 보충함으로서 학업 성취도를 향상시킬 수 있다.

• 대한공간정보학회지
• /
• 제4권2호
• /
• pp.161-172
• /
• 1996

본 연구는 동영상과 수치지도를 결합하는 기법 및 공정의 개발을 그 목적으로 한다. 이를 위해 본 연구에서는 동영상을 GIS에 도입하는 과정에서 필요한 동영상의 위치색인(georeferencing)기법을 개발하고 실험용 데이터베이스를 구축하여 평가를 수행하였다. 본 연구에서 개발된 동영상의 georeferencing 기법은 DGPS를 이용한 위치측정, 이상점의 제거, 지도융합기법, time-tag을 이용한 동영상의 위치색인 등으로 구성되며, 정확한 위치가 알려져 있는 가로등을 기준점으로 위치정확도 평가를 행한 결과, 92.8%의 기준점이 전후 2프레임안에 포함되는 결과를 얻었다. 본 논문의 궁극적 의미는 기존의 2차원 수치지도의 한계를 넘어선 새로운 개념의 수치지도에 대한 가능성을 제시하였다는 것에 있다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제3권1호
• /
• pp.1-9
• /
• 2014

This paper proposes a low-latency Sample Adaptive Offset filter (SAO) architecture and its Single Instruction Multiple Data (SIMD) optimization scheme to achieve fast High Efficiency Video Coding (HEVC) decoding in a multi-core environment. According to the HEVC standard and its Test Model (HM), SAO operation is performed only at the picture level. Most realtime decoders, however, execute their sub-modules on a Coding Tree Unit (CTU) basis to reduce the latency and memory bandwidth. The proposed low-latency SAO architecture has the following advantages over picture-based SAO: 1) significantly less memory requirements, and 2) low-latency property enabling efficient pipelined multi-core decoding. In addition, SIMD optimization of SAO filtering can reduce the SAO filtering time significantly. The simulation results showed that the proposed low-latency SAO architecture with significantly less memory usage, produces a similar decoding time as a picture-based SAO in single-core decoding. Furthermore, the SIMD optimization scheme reduces the SAO filtering time by approximately 509% and increases the total decoding speed by approximately 7% compared to the existing look-up table approach of HM.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.939-947
• /
• 2019

미디어 시장의 활성화로 영상의 압축, 검색, 편집, 저작권 보호등의 필요성이 높아지고 있다. 본 논문에서는 이 모든 분야에 사용되는 영상의 장면 전환을 검출하는 방법을 제안한다. 유통 과정에서 발생 가능한 해상도 변환, 자막 삽입, 압축, 영상 반전등의 변형이 추가되더라도 동일하게 장면 전환을 검출하기 위해 전처리 과정과 SIFT를 이용한 특징점 추출, 변형을 고려한 매칭 알고리즘을 제시한다. 또한 이를 필터링 기술에 적용하여 알고리즘에서 고려한 변형 이외의 변형에도 유효함을 확인한다.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.768-779
• /
• 2018

본 논문에서는 동영상 화질을 최대한 유지하면서 압축 비트량 절감을 효율적으로 이루기 위해 복수개의 영상처리 필터를 영상의 블록에 따라 선택적으로 적용하고, 영상처리 필터의 선택을 위한 MSSSIM(Multi-Scale Structural SIMilarity) 및 쿨백-라이블러 발산(Kullback-Leibler divergence: KL-Divergence) 기반의 영상 처리 평가 함수를 제안한다. 영상압축의 경우, 영상 내 특징에 따라 화질과 비트량 절감의 특성이 다르며, 이에 따라 단일 목적을 가진 영상처리 필터로서는 화질을 유지하면서, 비트량 절감이라는 목적을 동시에 만족 시키기 어렵다. 이에 따라, 주관적 화질을 최대한 유지하면서, 비트량을 절감시키기 위해 주관적 화질 측도로서 MSSSIM를 사용하고 비트 량 측도를 위하여 쿨백-라이블러 발산을 사용함과 동시에 두 가지 척도를 하나의 척도로 결합시키기 위한 방법을 제안한다. 아울러 제안한 측도를 사용하여 서로 다른 특성을 가진 영상처리 필터를 전처리 필터로 사용할 경우, 주관적 화질을 최대한 유지하면서 비트량 절감을 유지할 수 있도록 동영상 압축이 가능함을 확인할 수 있었다.