• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.47 no.4
• /
• pp.1-8
• /
• 2010

This paper proposes a new frame rate up-conversion method. First, the proposed triple frame-based bidirectional motion estimation method reduce block artifacts in the interpolated frame by solving the wrong motion estimation in the area with similar characteristics. Second, the proposed motion vector smoothing reduces outliers, which result in block artifacts, considering the spatio-temporal neighboring motion vectors. In the experiments, the proposed frame rate up-conversion method improves the average PSNR and SSIM by up to 4.337 dB and 0.089, respectively, compared to the existing methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.322-324
• /
• 2021

최근 고주사율 디스플레이 시장 확대와 실감콘텐츠에 대한 요구에 따라, 높은 프레임율의 동영상 콘텐츠에 대한 관심이 증가하고 있다. 본 논문은 이용자의 비디오를 초슬로우 비디오로 변환해주는 웹 기반 서비스 시스템을 제안한다. 이는 사용자가 웹을 통해 비디오를 업로드하면, 딥러닝 기반의 비디오 프레임 보간 알고리즘을 이용하여 초고프레임율의 동영상으로 변환하며. 변환된 초저속 비디오를 웹을 통해 보여주거나 파일 포맷으로 제공한다. 제안 시스템은 복잡한 연산을 요구하는 딥러닝 네트워크 모듈과 사용자와의 상호작용을 위한 웹 페이지 모듈로 구성되었다. 프레임 보간을 위해서, State-of-the-art 기술인 딥러닝 기반의 Real-Time Intermediate Flow Estimation for Video Frame Interpolation 방법이 활용되었으며, 웹페이지는 HTML, CSS, Javascript, Flask를 사용하여 구축되었고, Flask를 활용하여 두 모듈이 연동되었다. 제안 웹 기반 시스템을 통해, 사용자는 딥러닝 네트워크 구동에 필요한 별도의 지식 없이 통신 자원만으로 고실감의 경험과 편의성을 제공받을 수 있다.

• The Journal of the Korea Contents Association
• /
• v.12 no.3
• /
• pp.1-8
• /
• 2012

Video FRUC (Frame Rate Up Conversion) has been a technique of great interest due to its diversified applications in consumer electronics. Most advanced FRUC algorithms adopt a motion interpolation technique to determine the motion vector field of interpolated frames. But, in some applications, it is necessary to evaluate how well the MCI (Motion Compensated Interpolation) frame is reconstructed. For this aim, this paper proposes a distortion estimation for motion compensated interpolation frame using frame-adaptive distortion estimation. The proposed method is applied for the symmetric motion estimation and compensated scheme and then analyzed by three different approaches, that is, forward estimation, backward estimation and adaptive bi-directional estimation schemes. Through computer simulations, it is shown that the proposed bi-directional estimation method outperforms others and can be effectively applied for FRUC.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.46 no.5
• /
• pp.135-142
• /
• 2009

Since hold-type display systems have been developed, frame-rate up conversion (FRUC) is an essential technique to improve the temporal resolution in the display. FRUC improves the temporal resolution by interpolating one or multiple intermediate frames between two adjacent frames. In this paper, a new frame-rate up-conversion algorithm based on bilateral motion refinement with rotation is proposed. First, we perform bi-directional motion estimation between adjacent two frames to obtain a motion vector for each block. Then, we apply a modified median filtering to motion vectors for outlier-rejection and motion field smoothing. The filtered motion vectors are updated by the bilateral motion refinement with rotation. After the refined motion vector is obtained, the intermediate frame is generated by applying the overlapped block motion compensation (OBMC). Experimental results show that the proposed algorithm provides a better performance than the previous methods subjectively and objectively.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2004.11a
• /
• pp.233-236
• /
• 2004

다양한 처리능력을 가진 단말기들은 복잡한 네트워크, 환경의 호환성을 제공하기 위해서, 전송 네트워크 채널이 허용하는 범위내로 부호화 된 비디오의 비트 율을 적응적으로 맞춰 주어야 한다 트랜스코더는 특정 비트율로 부호화되어 있는 비디오를 원하는 비트율의 다시 변환하기 위해서 복호화 만 후 다시 부호와의 과정을 거쳐야 하기 때문에 이에 따른 계산량의 증가와 더불어 전송시간에 문제가 발생한다. 이를 해결하기 위한 한 가지 방법으로 제안된 것이 프레임 건너뜀 기법 즉 시간적 해상도 변환 트랜스코딩이다. 비디오를 부호화하는 과정에서 계산량을 가장 많이 차지하는 움직임 추정과정의 계산량을 줄임으로써 트랜스코딩을 수행하는데 소모되는 시간과 노력을 크게 줄이고, 건너뛰지 않고 남아있는 프레임에 더 많은 비트를 할당하여 요구되는 화질을 유지할 수 있다. 본 논문에서는 움직임 벡터의 방향성을 고려한 움직임 벡터 재추정 기법과 정제 기법을 제안한다 제안된 기법인 E-FDVS(Efficient-Forward Dominant Vector Selection)는 움직임 벡터의 방향성을 고려하여 매크로블록과 움직임 벡터의 차이를 이용하여 움직임 벡터를 재추정한다. 그리고 제안한 기법인 DOS(Direction Oriented Search)를 사용하여 재추정 된 움직임 벡터의 방향으로 강한 움직임 벡터 정제를 함으로써 기존의 기법에 비해 우수한 화질을 제공한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2005.11a
• /
• pp.181-184
• /
• 2005

다양한 처리능력을 가진 단말기들은 복잡한 네트워크 환경의 호환성을 제공하기 위해서, 전송 네트워크 채널이 허용하는 범위내로 부호화된 비디오의 비트율을 적응적으로 맞춰 주어야 한다. 트랜스코더는 특정 비트율로 부호화 되어 있는 비디오를 원하는 비트율로 다시 변환하기 위해서 복호화한 후 다시 부호화의 과정을 거쳐야 하기 때문에 이에 따른 계산량의 증가와 더불어 전송시간에 문제가 발생한다. 이를 해결하기 위한 한 가지 방법으로 제안된 것이 프레임 건너뜀 기법, 즉 시간적 해상도 변환 트랜스코딩이다. 비디오를 부호화하는 과정에서 계산량을 가장 많이 차지하는 움직임 추정과정의 계산량을 줄임으로써 트랜스코딩을 수행하는데 소모되는 시간과 노력을 크게 줄이고, 건너뛰지 않고 남아있는 프레임에 더 많은 비트를 할당하여 요구되는 화질을 유지할 수 있다. 본 논문에서 움직임 벡터의 방향성을 고려하여 제안한 기법인 E-FDVS (Efficient-Forward Dominant Vector Selection)는 움직임 벡터의 방향성을 고려하여 매크로블록과 움직임 벡터의 차이를 보상하여 움직임 벡터를 재추정한다. 실험에서는 MPEG-2 영상에 대해서 제안한 방법을 적용하여 기존의 방법들에 비해서 성능이 우수함을 보인다.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.207-210
• /
• 2000

본 논문에서는 신호를 해석하는데 유용한 웨이블렛 변환을 적용하여 장면전환 요소 중 cut과 fade를 검출하는 알고리즘을 제안한다. 제안된 방법은 웨이블렛 저대역 부밴드로부터 각 프레임의 히스토그램을 구한 후 이전 프레임과 현재 프레임사이의 히스토그램 차를 구하여 이 값이 임계값 이상이면 급격한 장면전환(abrut shot transition)인 cut으로 분류한다. 다음으로 페이드인(fade in)이나 페이드 아웃(fade out)등 컷의 지점이 불분명한 점진적 장면전환(gradual scene transition)을 검출하기 위하여 고대역 부밴드에서 추출한 에지성분에 모멘트를 계산하여 인접한 프레임 사이의 변동율을 분석하여 값이 증가하면 페이드 인을 검출하고 반면에 감소하면 페이드 아웃을 검출하게된다. 성능평가를 위하여 실제의 비디오 분할에 적용한 결과 웨이블렛 적용 방법론이 매우 높은 Precision을 갖는다는 것을 알 수 있으며 윤곽정보에 모멘트 정보를 더함으로써 기존의 방법보다 정확한 페이드(fade) 구간을 검출할 수 있었다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.33 no.7C
• /
• pp.548-553
• /
• 2008

To reduce the bit-rate requirements imposed by a network or satisfy processing limitations imposed by a terminal, Conversion the temporal resolution of a video bit stream is a technique that may be used. This paper discusses the problem of reduced resolution transcoding of compressed video bit streams, and discussed the technique for temporal transcoding. To speed up this operation, a video transcoder usually reuses the coded motion vectors from the input video bit stream. In this paper we propose an enhanced motion re-estimation technique to maintain higher quality of coded frames. The performance of experimental results can be improved while maintaining low computational complexity for a reduced frame rate video transcoder.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.46 no.3
• /
• pp.18-27
• /
• 2009

In this paper, we propose a frame rate conversion algorithm using adaptive search-based motion estimation (ME). The proposed ME method uses recursive search, 3-step search, and single predicted search as candidates for search strategy. The best method among the three candidates is adaptively selected on a block basis according to the predicted motion type. The adaptation of the search method improves the accuracy of the estimated motion vectors while curbing the increase of computational load. To support the proposed ME method, an entire image is divided into three regions with different motion types. Experimental results show that the proposed FRC method achieves better image quality than existing algorithms in both subjective and objective measures.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.90-92
• /
• 2014

본 논문에서는 피라미드 구조와 쿼드트리를 이용하는 움직임 보상 프레임 보간(motion compensated frame interpolation, MCFI)의 새로운 방법을 제안한다. 일반적인 MCFI 방법에서는 고정된 크기의 프레임과 블록에서 움직임 벡터(motion vector, MV)를 이용하여 두 프레임 사이의 프레임 영상을 추정한다. 그러나 이와 같은 방법은, 큰다양한 방향으로 움직이는 물체들의 MV 나 큰 움직임을 추정하기 어렵다. 이러한 문제점을 해결하기 위해서 본 논문에서는 블록 크기와 정합 영역이 가변적으로 적용될 수 있는 피라미드 구조와 쿼드트리를 이용한 프레임 보간 기법(pyramid structure and quadtree motion compensated frame interpolation, PQ-MCFI)를 제안한다. 제안하는 기법은 물체들이 빠르게 움직이는 장면과 다양한 방향으로 움직이는 장면에서 이전의 기법에 비해서 높은 PSNR 을 보이며, 실제 인간의 시각적인 측면에서는 더욱 정밀한 결과를 보인다.