• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제13권1호
• /
• pp.17-27
• /
• 2024

비디오 프레임 보간(Video Frame Interpolation)은 움직임의 연속성을 증가시켜 영상을 부드럽게 재생할 수 있어 영상, 미디어 분야에서 사용되는 중요한 기술이다. 딥러닝 기반 비디오 프레임 보간 연구에서 널리 사용되는 방법 중 하나인 커널 기반 방법(Kernel Based Method)의 경우, 지역적인 변화를 잘 포착하지만 전체적인 변화를 처리하는 데 한계가 있었다. 이에 본 논문에서는 주요 변화 포착에 집중하기 위한 특성맵 차분, Two Direction을 적용한 새로운 U-Net 구조를 통해 파라미터 수를 줄이면서 중간 프레임을 보다 정확하게 생성하고자 한다. 실험 결과 제안한 구조가 기존보다 Vimeo, Middle-burry 등의 일반적인 데이터셋과 새로운 YouTube 데이터셋에서 기존 모델보다 약 61% 더 적은 파라미터로 PSNR 수치가 최대 0.3 우수한 성능을 달성하였다. 본 논문에서 사용한 코드는 https://github.com/Go-MinSeong/SF-AdaCoF에서 확인 가능하다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 추계학술대회
• /
• pp.927-929
• /
• 2011

본 논문에서는 FRUC(Frame Rate Up Conversion)에 사용되는 대표적인 움직임 보상 프레임 보간 기술들에 사용되는 블록 기반의 왜곡 예측기법에 대한 성능을 비교한다. 기존에 제안된 블록 기반의 움직임 보상 보간에 대한 왜곡 측정 기법들에 대한 각각 특징과 차이점에 대하여 조사하고, 각각의 독립적인 제어와 결합된 통합 제어에 의해 실제 왜곡을 효과적으로 예측하는 모델에 대해 논한다. 특히, 블록 기반의 시간축 정합특성, 공간적 정합특성, 이웃블록과의 움직임 벡터 유사성, 공간 주파수 특성 등으로 세분화하고, 컴퓨터 모의실험에 기초하여 성능을 비교한다. 본 논문에서 제시된 결과들은 FRUC 기법에 효과적으로 사용될 수 있을 뿐만 아니라, 분산 비디오 부호화 기법에 효과적으로 사용되어 성능개선을 이룰 수 있음을 보인다.

• 전자공학회논문지
• /
• 제52권6호
• /
• pp.62-69
• /
• 2015

본 논문에서는 움직임 추정 기법을 적응적으로 사용하는 프레임율 증강 기법인 AME-FRUC (Adaptive Motion Estimation Frame Rate Up-Conversion)을 제안하고자 한다. 제안하는 알고리즘은 영상의 움직임이 적은 영역에서 기존의 EBME (Extended Bilateral Motion Estimation)을 활용하고, 움직임 벡터 정보를 활용하여 관심영역을 결정한다. 관심 영역에서는 제안하는 텍스쳐 정보에 기반한 블록 분할을 활용한 단방향 움직임 추정을 수행하도록 하여 정확도를 높였다. 최종적으로 MCFI (Motion Compensated Frame Interpolation)기법을 움직임 추정 방법에 따라 적용하고 보간 하여 중간 프레임을 생성 한다. 실험 결과를 통해 제안하는 알고리즘이 기존의 FRUC 알고리즘에 비해 최대 68% 적은 SAD 연산으로 3dB 높은 PSNR 성능과 0.07 더 높은 SSIM 성능을 보이는 것을 확인할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제12권3호
• /
• pp.1-8
• /
• 2012

비디오 프레임 율 증가 변환은 가전 분야에서 매우 다양한 응용으로 인해 매우 많은 관심을 받아 오고 있다. 대 부분의 진보된 FRUC 알고리즘은 보간된 프레임들의 움직임 벡터장을 결정하는 움직임 보간 기술을 사용하고 있다. 그러나 몇 개의 응용 분야에서는 움직임 보상 보간 프레임이 얼마나 잘 복원되었는지에 대한 정보를 필요로 한다. 이와 같은 목적을 위해 본 논문에서는 프레임 기반의 적응적 예측에 기초한 움직임 보상 보간 프레임의 왜곡 예측 기법을 제안한다. 제안된 기법은 대칭형 움직임 탐색 및 보상 보간 기법에 적용되며, 세 가지 다른 예측 기법 즉, 순방향, 역방향 그리고 적응적 양방향 예측 기법으로 분석된다. 모의 실험을 통하여 제안된 적응적 양방향 왜곡 예측 방식이 다른 두 방식에 비해 성능이 우수함을 보인다.

• 한국통신학회논문지
• /
• 제30권9C호
• /
• pp.877-886
• /
• 2005

Various frame recovery algorithms have been suggested to overcome the communication quality degradation problem due to Internet-typical impairments on Voice over IP(VoIP) communications. In this paper, we propose a new receiver-based recovery method which is able to enhance recovered speech quality with almost free computational cost and without an additional increment of delay and bandwidth consumption. Most conventional recovery algorithms try to recover the lost or erroneous speech frames by reconstructing missing coefficients or speech signal during speech decoding process. Thus they eventually need to modify the decoder software. The proposed frame recovery algorithm tries to reconstruct the missing frame itself, and does not require the computational burden of modifying the decoder. In the proposed scheme, the Vector Quantization(VQ) codebook indices of the erased frame are directly estimated by referring the pre-computed VQ Codebook Index Interpolation Tables(VCIIT) using the VQ indices from the adjacent(previous and next) frames. We applied the proposed scheme to the ITU-T G.723.1 speech coder and found that it improved reconstructed speech quality and outperforms conventional G.723.1 loss recovery algorithm. Moreover, the suggested simple scheme can be easily applicable to practical VoIP systems because it requires a very small amount of additional computational cost and memory space.

• 전자공학회논문지
• /
• 제50권10호
• /
• pp.199-203
• /
• 2013

In this paper, a fast algorithm of discrete cosine transform-based interpolation filter (DCT-IF) for HEVC (high efficiency video coding) encoder is proposed. DCT-IF filter accounts for around 30% of encoder complexity, according to the computational complexity analysis with the HEVC reference software. In this work, the proposed DCT-IF is optimized by applying frame-level interpolation, SIMD optimization, and task-level parallelization via OpenMP on a developed C-based HEVC encoder. Performance analysis is conducted by measuring speed-up factor of the proposed optimization technique on the developed encoder. The results show that speed-up factors by frame-level interpolation, SIMD, and OpenMP are approximately 38-46, 3.6-4.4, and 3.0-3.7, respectively. In the end, we achieved the speed-up factor of 498.4 with the proposed fast algorithm.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.325-326
• /
• 2006

This paper proposes a new frame interpolation algorithm mainly designed for intra-mode blocks. In order to improve the accuracy of pixel interpolation, the new algorithm exploits two different interpolation modes for inter-mode blocks and intra-mode blocks, respectively. The use of the two modes reduces ghost artifacts but increases blocking artifacts between the blocks interpolated by different modes. To reduce blocking artifacts, this paper proposes an interpolation algorithm that attempts to isolate a fast moving object and interpolates such objects as the intra-mode while the remaining blocks are interpolated as the inter-mode. Simulation results show that the proposed algorithm improves subjective and objective quality of pictures by reducing ghost artifacts.

• 한국통신학회논문지
• /
• 제25권3B호
• /
• pp.510-518
• /
• 2000

A new video interpolation technique based on variable skip rate of video sequence is proposed in this paper. in the proposed technique. the determination whether a frame is skipped or not is done by the degree of motion complexity of the frame. If the motion complexity of a frame is low the frame is skipped. otherwise it is coded and transmitted. To determine the motion complexity of a frame a new technique using MEF (moving edge in frame),the set of pixels considered as moving edges in a frame. is introduced. In the course of decoding and interpolating of receiver., the motion field is segmented. For the purpose of dividing vector field morphological filtering is applied. Morphological filtering also used to smooth the boundaries between the changed and unchanged region. In the simulation results, the proposed technique shows higher quality and lower fluctuation of picture quality than the conventional techniques on conditioning of the same bit rate.

• Journal of the Optical Society of Korea
• /
• 제19권5호
• /
• pp.537-543
• /
• 2015

Liquid crystal displays (LCDs) have slow responses, so motion blurs are often perceived in fast moving scenes. To reduce this motion blur, we propose a novel method of robust motion compensated frame interpolation (MCFI) based on bidirectional motion estimation (BME) and weight-overlapped block motion compensation (WOBMC) with variable block sizes. In most MCFI methods, a static block size is used, so some block artefacts and motion blurs are observed. However, the proposed method adjusts motion block sizes and search ranges by comparing matching scores, so the precise motion vectors can be estimated in accordance with motions. In the MCFI, overlapping ranges for WOBMC are also determined by adjusted block sizes, so the accurate MCFI can be performed. In the experimental results, the proposed method strongly reduced motion blurs arisen from large motions, and yielded interpolated images with high visual performance and peak signal-to-noise ratio (PSNR).

• ETRI Journal
• /
• 제33권2호
• /
• pp.295-298
• /
• 2011

We propose a motion-compensated frame interpolation method in which an accurate backward/forward motion vector pair (MVP) is estimated based on a parabolic motion model. A reliability measure for an MVP is also proposed to select the most reliable MVP for each interpolated block. The possibility of deformation of bidirectional corresponding blocks is estimated from the selected MVP. Then, each interpolated block is produced by combining corresponding blocks with the weights based on the possibility of deformation. Experimental results show that the proposed method improves PSNR performance by up to 2.8 dB as compared to conventional methods and achieves higher visual quality without annoying blockiness artifacts.