• 방송공학회논문지
• /
• 제21권3호
• /
• pp.349-356
• /
• 2016

본 논문에서는 HEVC 부호화기에서의 주어진 Group of picture(GOP) 구조에 맞추어 양자화 파라미터(Quantization parameter, QP)를 효율적으로 할당하는 방법을 제안한다. HEVC에서는 주어진 GOP 설정에 따라 각 비디오 프레임에 다른 QP값들을 할당할 수 있다. 특히, 낮은 QP값은 중요한 프레임에 할당시키고, 높은 QP값은 덜 중요한 프레임들에 할당하는 QP 변화 전략을 통해 압축률 증가를 꾀할 수 있다. 그러나 지금까지 효율적으로 QP를 할당하는 방법에 대한 정밀한 분석은 철저히 이루어진 바가 없다. HEVC 참조소프트웨어 부호화기에서도 단지 단조로운 QP 할당 방식만을 사용하고 있을 뿐이다. 본 제안기술은 QP할당을 각 GOP마다 적응적으로 하는 방식으로써, 그 기반은 GOP간의 시간적인 동적 활동 특성들을 활용한다는 것에 있다. 실험 결과, 저지연 부호화 환경설정에서 제안기술은 HEVC 테스트 모델(HM)과 비교하여 BD-rate의 관점으로 7.3%의 압축률을 더 이루었으며, 타 QP 할당방식 연구보다도 평균적으로 압축성능이 우월함을 확인하였다.

• 한국정보통신학회논문지
• /
• 제21권3호
• /
• pp.594-600
• /
• 2017

본 논문에서는 고성능 HEVC(High Efficiency Video Coding) 부호기를 위한 전역탐색 기반의 움직임추정 알고리즘과 이에 적합한 하드웨어 구조를 제안한다. HEVC 화면 간 예측에서의 움직임추정은 시간적 중복성을 제거하기 위하여 보간 된 참조 픽쳐에서 현재 PU와 상관도가 높은 예측 블록을 탐색하는 과정으로 전역탐색 알고리즘과 고속탐색 알고리즘을 이용한다. 전역 탐색 기법은 주어진 탐색 영역내의 모든 후보 블록에 대하여 움직임을 예측하기 때문에 최적의 결과를 보장하지만 연산량 및 연산시간이 많은 단점을 지닌다. 그러므로 본 논문에서는 Inter Prediction의 연산량 및 연산시간을 줄이기 위해 전역탐색에서 SAD연산을 재사용하여 연산복잡도를 줄이는 새로운 알고리즘을 제안하고 이에 적합한 하드웨어 구조를 제안한다. 제안된 알고리즘은 HEVC 표준 소프트웨어 HM16.12에 적용하여 검증한 결과 기존 전역탐색 알고리즘보다 연산시간은 61%, BDBitrate는 11.81% 감소하였고, BDPSNR은 약 0.5% 증가하였다. 또한 하드웨어설계 결과 최대 동작주파수는 255 Mhz, 총 게이트 수는 65.1K 이다.

• 대한전자공학회논문지SD
• /
• 제46권12호
• /
• pp.66-72
• /
• 2009

본 논문에서는 H.264/AVC에서 사용되는 엔트로피 부호화 방법 중 하나인 CABAC를 위한 효율적인 이진 산술 부호화기를 제안한다. 기존의 이진 산술 부호화 알고리즘은 연산의 복잡도와 각 단계간의 데이터 의존도가 매우 높기 때문에 빠른 연산이 어렵다. 따라서 연산 과정의 복잡도와 데이터 의존도를 줄이기 위하여 재정규화 과정을 효율적으로 처리할 수 있는 2단 파이프라인 구조를 사용한다. 하드웨어 면적을 줄이기 위해서 문맥 모델 갱신기는 transIdxMPS 표를 간단한 식으로 표현하고, transIdxLPS 표와 rangeTabLPS 표를 함께 구현한다. 산술 연산기는 입력 값의 발생 확률에 따라 일반 모드, 우회 모드, 종결 모드로 나누어 설계하여 각 모드마다 최대 속도로 동작할 수 있게 한다. 제안하는 이진 산술 부호화기는 0.18um 표준 셀 라이브러리에서 7282 게이트의 면적을 사용하며 입력 심벌 당 소요되는 사이클 수는 약 1을 갖는다.

• 전자공학회논문지
• /
• 제52권12호
• /
• pp.167-173
• /
• 2015

본 논문에서는 고해상도(Full-HD)급의 비디오를 처리할 수 있는 고효율 비디오 코딩(HEVC) 표준을 따르는 인코더 IP 설계에 대하여 기술한다. 설계된 IP는 HEVC 메인 프로파일 4.1급에 해당되며, 프레임 레이트는 60 fps 로 실시간 인코딩 가능하다. 하드웨어 및 소프트웨어 IP 설계 전에 C 언어로 전체 참조 모델을 개발하였으며 고속처리를 위한 병렬처리구조와 저 전력을 위한 스킵모드를 제안하였다. 또한 IP 관련 펌웨어 및 드라이버 프로그램을 작성하였다. IP 검증을 위한 플랫폼을 개발하였고 설계된 통합 IP를 FPGA 보드로 구현하여 다양한 영상에 대하여 여러 인코딩 조건에서 기능 및 성능을 검증하였다. HM-13.0대비 동일 PSNR에서 약 35% 정도의 비트율 감소와 저전력 모드에서 약 25% 정도의 전력 소모 감소 효과가 있었다.

• 스마트미디어저널
• /
• 제3권4호
• /
• pp.16-21
• /
• 2014

HEVC 차세대 비디오 압축 표준은 ITU-TSG16 WP와 ISO/IEC JTC1/SC29, WG 11 두 단체 공동으로 2013년 표준화가 완료되었으며 기존 H.264 하이프로파일과 비교하여 압축효율은 두배 정도이다. HEVC에서 화면내 예측 (intra prediction) 모드는 planar와 DC 모드를 포함한 35개의 방향성 모드가 있으나 모든 모드를 적용한 부호화기를 구현하기 위해서는 하드웨어 복잡도가 증가하며 각 코딩유닛(coding unit) 사이즈에 따라 정확한 모드예측을 위한 RDO (rate distortion optimization) 계산에 필요한 DCT 사이즈도 증가하였기 때문에 본 논문에서는 하드웨어 사이즈를 줄이기 위하여 양자화를 위한 DCT와 SSE 계산을 위한 RDO 블럭내 DCT를 공유하는 화면내 예측부호기를 제안한다. 성능은 HEVC 참조소프트웨어인 HM-13.0과 비교하여 BD-rate는 평균 20% 증가하며 부호화시간은 4배 이상 단축되어 300MHz에서 FHD ($1920{\times}1080p$) 영상의 초당 60 프레임 실시간 부호화가 가능하다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제33권10호
• /
• pp.823-835
• /
• 2006

멀티미디어 서비스가 전체 인터넷의 많은 부분을 차지하고 있으며, 계속해서 관심이 증가되고 있다. 네트워크가 다양해지고 구성 단말들의 종류도 다양해짐에 따라, 획일적인 컨텐츠로 멀티미디어 서비스를 하는 것이 불가능해졌다. 각 단말별 요구도 다양해지고, 네트워크의 대역폭도 다양해짐에 따라서 적응적인 서비스가 요구된다. 비디오 트랜스코딩은 멀티미디어 데이타를 적응성 있게 서비스할 수 있는 좋은 방법이다. 본 논문은 멀티미디어 데이타를 스트리밍 하기 위해 부호기, 트랜스코더, 복호기로 구성된 시스템을 제안한다. 부호기는 예측 주기를 이용하여 트랜스코딩할 경우의 계산 복잡도 및 PSNR을 향상시켰고, 복호기는 일반적인 미디어 재생기와 거의 유사하다. 트랜스코더에서는 부호기의 예측주기와 프레임율을 조절하는 삭제주기를 통해서 효율적인 계산 과정을 선택한다. 실험 결과, 기존의 트랜스코더와 부호기, 복호기를 이용한 시스템에 비해서 본 논문에서 제안한 시스템이 계산복잡도와 PSNR에서 높게 나타났다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.166-173
• /
• 2024

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

• 방송공학회논문지
• /
• 제15권4호
• /
• pp.498-512
• /
• 2010

인트라 프레임 부호화 기술은 임의 접근성과 에러 확산 방지에 용이하기 때문에 비디오 부호화 기술의 필수적인 기술로 자리 잡고 있다. 그러나 인터 부호화 기술에 비해 낮은 부호화 효율이 문제점으로 지적되고 있다. H.264/AVC 인트라 부호화 방식은 기존 표준 방법들보다 부호화 효율을 크게 향상시켰지만 부호화 과정이 복잡하여 저 비트율 기반의 양방향 서비스에는 부적합하다. 따라서 본 논문에서는 복호화기 측의 예측을 이용해 인트라 부호화 효율을 보다 향상시키며 부호화 시간을 단축시키는 V-IMBS (Voting-based Intra Mode Bit Skip)를 제안한다. 제안하는 방법은 복호화기가 부호화기에서와 동일하게 최적의 인트라 예측 모드를 결정할 수 있으면 인트라 예측 모드를 전송하지 않는다. 그러나 최적의 인트라 예측 모드를 결정할 수 없을 경우에는 기존의 H.264/AVC 표준과 동일한 방식으로 인트라 예측 모드를 부호화하여 복호화기로 전송한다. V-IMBS는 H.264/AVC보다 시험 시퀀스에 대해 PSNR 값이 평균 약 0.24 dB 정도 향상되었고, 비트율도 평균 약 4.44% 정도 감소되었다. 또한 전체 부호화 시간도 평균 약 42.8% 정도 감소되었다.

• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.327-334
• /
• 2016

본 논문에서는 고성능 HEVC(High Efficiency Video Coding) 부호기를 위한 변환양자화기 하드웨어 구조를 제안한다. HEVC 변환기는 율-왜곡 비용을 비교하여 최적의 변환모드를 결정하지만 율-왜곡 비용은 변환과, 양자화, 역양자화 그리고 역변환을 통해 계산된 왜곡 값과 비트 량으로 결정된다. 따라서 상당히 많은 연산량과 소요시간이 필요하기 때문에 고해상도/고화질의 영상을 실시간으로 처리하는데 어려움이 따른다. 본 논문에서는 변환을 통한 계수의 합계를 비교하여 변환모드를 결정하는 방법을 제안한다. 성능 평가 지표는 BD-PSNR과 BD-Bitrate를 사용하였으며, 실험 결과를 토대로 영상의 화질에서 큰 변화 없이 신속하게 모드를 결정할 수 있음을 확인하였다. 제안하는 하드웨어 구조는 변환모드에 따라 다른 값을 동일한 출력에 할당하고 곱셈 계수가 최대한 중복되도록 구성하여 하드웨어 면적을 감소시키고 연속적인 파이프라인 동작으로 구현함으로써 성능을 높였으며, 기존의 제안된 논문에서 사용한 공정 대비 더 큰 공정을 사용한 것을 감안하여 면적은 1/2배 감소, 성능은 2.3배 증가하였다.

• JSTS:Journal of Semiconductor Technology and Science
• /
• 제17권3호
• /
• pp.446-457
• /
• 2017

In order to reduce the size of frame memory or bus bandwidth, frame memory compression (FMC) recompresses reconstructed or reference frames of video codecs. This paper proposes a novel FMC design based on discrete wavelet transform (DWT) - set partitioning in hierarchical trees (SPIHT), which supports fine-scalable throughput and is area-efficient. In the proposed design, multi-cores with small block sizes are used in parallel instead of a single core with a large block size. In addition, an appropriate pipelining schedule is proposed. Compared to the previous design, the proposed design achieves the processing speed which is closer to the target system speed, and therefore it is more efficient in hardware utilization. In addition, a scheme in which two passes of SPIHT are merged into one pass called merged refinement pass (MRP) is proposed. As the number of shifters decreases and the bit-width of remained shifters is reduced, the size of SPIHT hardware significantly decreases. The proposed FMC encoder and decoder designs achieve the throughputs of 4,448 and 4,000 Mpixels/s, respectively, and their gate counts are 76.5K and 107.8K. When the proposed design is applied to high efficiency video codec (HEVC), it achieves 1.96% lower average BDBR and 0.05 dB higher average BDPSNR than the previous FMC design.