• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.46 no.5
• /
• pp.135-142
• /
• 2009

Since hold-type display systems have been developed, frame-rate up conversion (FRUC) is an essential technique to improve the temporal resolution in the display. FRUC improves the temporal resolution by interpolating one or multiple intermediate frames between two adjacent frames. In this paper, a new frame-rate up-conversion algorithm based on bilateral motion refinement with rotation is proposed. First, we perform bi-directional motion estimation between adjacent two frames to obtain a motion vector for each block. Then, we apply a modified median filtering to motion vectors for outlier-rejection and motion field smoothing. The filtered motion vectors are updated by the bilateral motion refinement with rotation. After the refined motion vector is obtained, the intermediate frame is generated by applying the overlapped block motion compensation (OBMC). Experimental results show that the proposed algorithm provides a better performance than the previous methods subjectively and objectively.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.18 no.7
• /
• pp.1663-1670
• /
• 2014

Recently, lots of research works have been actively focused on the DVC (Distributed Video Coding) techniques which provide a theoretical basis for the implementation of light video encoder. However, most of these studies have showed poorer performances than the conventional standard video coding schemes such as MPEG-1/2, MPEG-4, H.264 etc. In order to overcome the performance limits of the conventional approaches, several channel-divided distributed video coding schemes have been designed in such a way that some information are obtained while generating side information at decoder side and then these are provided to the encoder side, resulting in channel-divided video coding scheme. In this paper, the interpolation scheme by weighted sum of multiple motion-compensated interpolation frames is introduced and a new channel-divided DVC scheme is designed to effectively describe noisy channels based on the motion vector and its matching characteristics. Through several simulations, it is shown that the proposed method performs better than the conventional methods at low bit-rate and keeps the reconstructed visual quality constantly.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.90-92
• /
• 2014

본 논문에서는 피라미드 구조와 쿼드트리를 이용하는 움직임 보상 프레임 보간(motion compensated frame interpolation, MCFI)의 새로운 방법을 제안한다. 일반적인 MCFI 방법에서는 고정된 크기의 프레임과 블록에서 움직임 벡터(motion vector, MV)를 이용하여 두 프레임 사이의 프레임 영상을 추정한다. 그러나 이와 같은 방법은, 큰다양한 방향으로 움직이는 물체들의 MV 나 큰 움직임을 추정하기 어렵다. 이러한 문제점을 해결하기 위해서 본 논문에서는 블록 크기와 정합 영역이 가변적으로 적용될 수 있는 피라미드 구조와 쿼드트리를 이용한 프레임 보간 기법(pyramid structure and quadtree motion compensated frame interpolation, PQ-MCFI)를 제안한다. 제안하는 기법은 물체들이 빠르게 움직이는 장면과 다양한 방향으로 움직이는 장면에서 이전의 기법에 비해서 높은 PSNR 을 보이며, 실제 인간의 시각적인 측면에서는 더욱 정밀한 결과를 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.1-3
• /
• 2014

본 논문에서는 하드웨어 HEVC 인코더의 화면간 예측의 구조를 제안한다. 제안된 화면간 예측은 정수화소 움직임 예측을 통해 코딩 트리 유닛 내 코딩 유닛 분할과 각 코딩 유닛의 분할모드를 결정한다. 그리고, 부화소 움직임 예측, Merge모드 판단을 통해 예측 유닛의 움직임 벡터를 확정하고 움직임 보상을 수행한다. 이 과정에서 율-왜곡 비용계산 및 보간 필터 등의 하드웨어 자원이 효율적으로 공유된다. 또한, 전력소모를 줄이기 위하여 코딩 유닛의 skip 여부의 조기 판단을 통해 부화소 움직임 예측 및 화면내-화면간 최종 예측모드 결정과정의 전부 또는 일부를 생략하는 방법을 제공한다. 제안된 화면간 예측을 포함한 하드웨어 HEVC 인코더를 구현하여 실험한 결과, 250 MHz 의 동작 주파수에서 초당 124 Mpixel 의 처리성능을 보였으며, HM-14.0 대비 PSNR 0.5~0.8 dB 수준의 화질열화를 나타냈다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.93-95
• /
• 2010

기존의 비디오 부호화 표준에서는 참조영상을 보간하여 해상도를 증가시킨 후, 고정된 움직임 벡터 해상도로 영상 전체를 부호화 한다. 참조 영상의 해상도를 증가시킨 만큼 움직임 보상에 의하여 예측에러가 줄어들지만, 움직임 벡터 해상도가 증가한 만큼 움직임 벡터의 부호화 비트량이 증가한다. 고정된 해상도의 움직임 벡터로 부호화하는 경우, 영상의 지역적인 움직임 특성이 다른 경우 부호화 효율이 떨어질 수 있다. 따라서 본 논문에서는 기존의 비디오 부호화 표준들이 영상의 지역적인 특성을 고려하지 않고 고정된 해상도의 움직임 벡터를 사용하여 부호화하는 문제점을 극복하기 위하여 슬라이스 단위로 1/4 화소 해상도 또는 1/8 화소 해상도 또는 움직임 벡터 단위로 적응적으로 화소 해상도를 결정하는 것 중에서 최적의 슬라이스 움직임 벡터 해상도를 결정하여 부호화하는 방법을 제안한다. 제안한 방법을 사용하여 부호화하면 움직임 벡터의 부호화 비트의 낭비를 막고, 예측 에러도 줄어들어 부호화 효율을 높일 수 있다. 제안하는 방법을 사용하여 부호화 하는 경우 H.264/AVC와 비교하여 평균 1.97%의 BD-RATE을 감소한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.176-177
• /
• 2013

최신 비디오 부호화 표준인 HEVC는 종래의 H.264/AVC에 비해 높은 부호화 효율을 달성하는 반면, 연산 복잡도 또한 크게 증가하여, 제한된 자원을 가진 휴대 단말에서 고화질 및 고해상도 영상의 실시간 복원이 어려운 문제점이 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 HEVC 복호화기의 연산 복잡도를 감소시키기 위한 저 복잡도의 움직임 보상 기술을 제안한다. 제안 방법은 참조 픽셀 간의 유사성을 측정하여, 유사성이 높은 예측 단위에 대해 간략한 보간 필터를 적용함으로써 HEVC 복화기의 연산 복잡도를 감소시킨다. 실험 결과를 통해 제안 방법은 HEVC 복호화기의 연산 복잡도를 최대 13.5%를 감소시킬 수 있으며, 그에 따른 화질 열화는 약 0.48 dB로 크지 않는 것을 확인하였다. 뿐만 아니라, 제안 방법은 임계값의 조절을 통해 연산 복잡도 조절 복호화기의 실현 가능성을 확인할 수 있었다.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.52 no.6
• /
• pp.62-69
• /
• 2015

In this paper, a new frame rate up conversion (FRUC) algorithm using adaptive motion estimation (AME-FRUC) is proposed. The proposed algorithm performs extended bilateral motion estimation (EBME) conducts motion estimation (ME) processes on the static region, and extract region of interest with the motion vector (MV). In the region of interest block, the proposed AME-FRUC uses the texture block partitioning scheme and the unilateral motion estimation for improving ME accuracy. Finally, motion compensated frame interpolation (MCFI) are adopted to interpolate the intermediate frame in which MCFI is employed adaptively based on ME scheme. Experimental results show that the proposed algorithm improves the PSNR up to 3dB, the SSIM up to 0.07 and 68% lower SAD calculations compared to the EBME and the conventional FRUC algorithms.

• Journal of the Korean Institute of Telematics and Electronics S
• /
• v.36S no.2
• /
• pp.81-87
• /
• 1999

In this research, we propose a field mismatch compensation method for interlaced scan image and a image restoration technique for removing motion blur. In order to compensate field mismatch, the edge classification-based linear interpolation technique and the method using the object-based motion compensation are described. We also propose an edge estimation method and an motion-based image segmentation algorithm. For removing motion blur, we adopt an adaptive iterative image restoration method using the motion-based segmentation result to improve the quality of restored image.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.787-789
• /
• 2001

본 논문에서는 소프트웨어 기반의 실시간 MPEG겨 비디오 부호화기를 제안하였다. MPEG 에서 제공하는 MPEG-4 참조 소프트웨어 비디오 부호화기는 여러 가지 기능이 혼합되어 있는 복잡한 구조를 가지고 있기 때문에 실시간으로 부호화하는 데 많은 어려움이 있다. 이를 PC에서 실시간으로 부호화할 수 있도록 목표를 심플 프로파일로 제한하여 이에 맞도록 구조를 수정하고, 고속 움직임 벡터 예측 알고리즘을 사용하여 움직임 예측시의 계산량을 줄였으며, 실시간으로 부호화할 시에 많은 부하를 주는 부분인 DCT, 움직임 예측 및 보상, 보간 부분을 MMX(MultiMedia Extention) 방법으로 구현하여 계산량과 부하를 줄임으로써 보다 향상된 성능을 제공한다. 기존 부호화기의 부호화 시의 복잡성을 감소시키고 윈도우 환경에서 간단한 조작만으로 부호화를 할 수 있도록 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.947-949
• /
• 2015

본 논문은 기존의 시간적으로 이웃한 프레임 사이의 움직임을 추정 보상하여 새로운 프레임을 생성하는 프레임률 향상 기법 (frame rate up conversion)을 제안한다. 움직임 추정(Motion Estimation)을 통하여 계산된 움직임 벡터를 이용하여 프레임을 생성하며, 생성된 프레임에서 발생되는 구명 (hole)과 중첩 (overlap) 영역을 처리하는 기법을 제안한다. 특히 k-NN 보간법(k-nearest neighbor interpolation)[3]과 중간값을 적응적으로 활용하여 향상된 화질의 영상을 생성한다. 실험 결과를 통하여 제안하는 기술의 우수성을 입증하였다.