• 방송공학회논문지
• /
• 제20권2호
• /
• pp.265-272
• /
• 2015

폐색영역 탐지(Occlusion detection)와 중간값 필터(Median filter)를 조합한 새로운 움직임 추정 기반의 프레임율 변환(Frame rate up-conversion based on motion estimation) 기술을 소개한다. 움직임 추정은 움직임 벡터(Motion vector)를 얻기 위해 수행한다. 그 후 폐색영역 탐지방법은 폐색된 부분에서 움직임 벡터를 개선한다. 폐색된 영역에서는 잘못된 움직임 벡터를 찾을 가능성이 높으므로 움직임 벡터 의존율이 적은 중간값 필터를 적용하고, 비폐색된 영역에서는 움직임 벡터가 연속적이고 신뢰도가 높으므로 BDMC(Bi-Directional Motion Compensated interpolation)를 적용하여 보간 영상을 생성한다. 양방향 움직임 벡터를 사용하는 BDMC는 움직임 벡터의 연속성과 신뢰도가 높을수록 좋은 결과를 얻는다. 실험결과에서 제안된 알고리즘이 기존의 방법보다 더 나은 성능을 갖는다. 실험에서의 평균 PSNR(Peak signal to noise ratio)은 테스트 시퀀스들에 대하여 BDMC 대비 약 0.16dB 향상되었다.

• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2007년도 7th International Meeting on Information Display 제7권1호
• /
• pp.810-813
• /
• 2007

Recently, mobile video communication is getting more and more popular. Visual quality and computational complexity are primary factors affecting performance of video communication. Frame rate up-conversion (FRC) is necessary for achieving high visual quality in mobile projection displays. In this paper, a FRC method using motion compensation based on block matching algorithm (BMA) with adaptive block size is proposed. In order to improve the accuracy of the estimated motion vectors, the motion vector refinement technique is proposed. Experiment results indicate that the proposed technique exhibits better performance with lower hardware complexity compared to the conventional methods.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 추계학술대회
• /
• pp.927-929
• /
• 2011

본 논문에서는 FRUC(Frame Rate Up Conversion)에 사용되는 대표적인 움직임 보상 프레임 보간 기술들에 사용되는 블록 기반의 왜곡 예측기법에 대한 성능을 비교한다. 기존에 제안된 블록 기반의 움직임 보상 보간에 대한 왜곡 측정 기법들에 대한 각각 특징과 차이점에 대하여 조사하고, 각각의 독립적인 제어와 결합된 통합 제어에 의해 실제 왜곡을 효과적으로 예측하는 모델에 대해 논한다. 특히, 블록 기반의 시간축 정합특성, 공간적 정합특성, 이웃블록과의 움직임 벡터 유사성, 공간 주파수 특성 등으로 세분화하고, 컴퓨터 모의실험에 기초하여 성능을 비교한다. 본 논문에서 제시된 결과들은 FRUC 기법에 효과적으로 사용될 수 있을 뿐만 아니라, 분산 비디오 부호화 기법에 효과적으로 사용되어 성능개선을 이룰 수 있음을 보인다.

• 대한전자공학회논문지SP
• /
• 제46권5호
• /
• pp.135-142
• /
• 2009

홀드형 디스플레이 시스템이 개발되면서 화질의 개선을 위해 프레임율 증가 변환 기법이 고려되고 있다. 프레임율 증가 변환 기법은 두 인접 프레임들로부터 하나 이상의 사이 프레임을 보간하여 시간적 해상도를 향상시킨다. 본 논문에서는 회전을 고려하여 양방향 움직임 예측 방법을 적용한 새로운 프레임율 증가 변환 기법을 제안한다. 먼저 각 블록의 정확한 움직임 벡터를 얻기 위해 두 인접 프레임들로부터 양방향 움직임 예측 방법을 수행한다. 초기 움직임 벡터가 정해지면, 움직임 벡터 필드의 연속성과 정확하지 못한 움직임 벡터의 제거를 위해 움직임 벡터 필드에 메디안 필터를 적용한다. 벡터 메디안 필터를 거친 움직임 벡터들은 회전을 고려한 정밀 움직임 보정을 통해 정밀한 움직임 벡터로 갱신된다. 회전요소를 가진 최종 움직임 벡터가 구해지면, 중첩된 블록 이동 보상 방법을 적용하여 중간 프레임을 생성할 수 있다. 실험결과, 제안하는 알고리즘은 이전 방법에 비해 주관적 및 객관적으로 더 좋은 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 하계학술대회
• /
• pp.66-69
• /
• 2017

본 논문에서는 프레임율 향상 기법 (Frame Rate Up-Conversion, FRUC)에 사용되는 새로운 움직임 예측(motion estimation)알고리즘을 제시한다. 제안된 알고리즘은 단 방향 움직임 예측(unilateral motion estimation)에 의해 순방향 및 역방향의 움직임 벡터(motion vector)를 독립적으로 추정한다. 움직임 벡터를 찾은 후, weighted motion vector smoothing(WMVS)가 적용된다. 다음으로, 보간 프레임 (interpolated frame)의 관점에서 현재 블록의 인접 블록들의 모션 벡터들을 후보들로 사용하여 현재 블록과 가장 잘 일치하는 움직임 벡터를 찾는다. 그 후, 선택된 움직임 벡터를 현재 블록의 유도 움직임 벡터 (guidance motion vector)로 정한다. 그런 다음 motion vector shifting error 를 없애기 위해 motion vector refinement (MVR)가 진행된다. 마지막 단계에서는 각 움직임 벡터의 신뢰도를 계산하여 순방향 및 역방향 움직임 벡터 중 최종 움직임 벡터를 선택한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.309-312
• /
• 2019

본 논문에서는 계산의 복잡성을 줄이고 피크 신호 대 잡음 비율(PSNR) 성능을 개선하기 위한 새로운 프레임 상향 변환 (Frame Rate Up Conversion) 알고리즘을 제안한다. 제안된 알고리즘을 사용하기 위한 모션 추정 과정(Motion Estimation) 은 이전 프레임과 현재 프레임에서 마크로블록(Macroblock) 값의 최소 차이값(Sum of absolute differences) 을 이용하여 보간된 프레임(Interpolated Frame) 의 마크로블록이 가지게 되는 모션 벡터 값을 추출한다. 이 때 반복된 배경 패턴 및 여러 움직임들 때문에 모션 추정 과정에서 출력되는 벡터값이 비정상적으로 출력되는 경우가 있다. 여기서 제안된 알고리즘을 통해 모션 벡터값들의 특이치(Outlier) 를 검출하고 이를 교정하기 위한 분산값(Variance) 을 이용하여 모션 벡터 평활화 작업(Motion Vector Smoothing) 을 거친다. 이와 같이 제안된 알고리즘을 이용하여 실험한 결과값으로 프레임률 상향 변환 과정을 통해 상대적으로 계산의 복잡성은 낮으면서 양호한 PSNR 값이 출력됨을 확인할 수 있다.

• 한국산업정보학회논문지
• /
• 제24권1호
• /
• pp.1-12
• /
• 2019

본 논문에서는 영상의 프레임률을 증가시키기 위한 새로운 움직임 벡터 평활화 기법과 움직임 보상 기법에 대해 제안한다. 제안하는 움직임 벡터 평활화 방법은 적응적 가중 벡터 중간값 필터를 사용하는 기존 방법의 한계를 극복하기 위해 정확도를 반영하여 가중치를 개선함으로써 잘못된 움직임 평활화를 줄인다. 또한 기존 움직임 보상 기법인 OBMC로 보간된 영상의 화질을 향상시키기 위해 원래의 블록을 4등분하여 등분된 각 블록을 기준으로 움직임 벡터를 재추정하고 이를 통해 보간 프레임을 생성하는 방법을 제안하다. 모의실험 결과는 제안된 방법이 객관적 측면과 주관적 측면에서 기존 기법에 비해 우수한 화질을 제공할 수 있음을 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.650-652
• /
• 2022

Frame rate up-conversion (FRUC) 알고리즘은 동영상의 프레임율을 향상시키는 영상 보간 기술이다. 이는 고화질 디지털 비디오 시스템에서 저프레임율 동영상으로 인한 화면 떨림이나 흐릿한 움직임 등의 문제를 해소하고 시청자에게 보다 자유롭고 매끄러운 시각 경험을 제공한다. 본 논문에서는 딥러닝 기반의 FRUC 알고리즘을 이용하여 동영상을 압축하는 기술을 제안한다. 제안 방법은 원시 동영상에서 일부 영상을 제외한 후 압축 및 전송하고, 복호화 과정에서 딥러닝 기반의 보간 방법을 이용하여 제외된 영상을 복원함으로써 고효율로 압축한다. 실험에서는 동영상을 1, 3장 단위로 건너뛰며 부호화한 후 복호된 영상과 FRUC 알고리즘에 의해 복원한 영상으로 압축 성능을 평가했다. 1장 및 3장씩 제외했을 때 실험결과는 평균 81.22%, 27.80% BD-rate 감소를 보였다. 3 장씩 제외하는 것이 1장의 제외에 비해 부호화 효율이 낮은 이유는 FRUC 방법으로 복원한 영상의 PSNR이 낮기 때문이다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권10호
• /
• pp.2448-2463
• /
• 2013

The traditional block-based motion compensation methods in frame rate up-conversion (FRUC) only use a single uniquely motion vector field. However, there will always be some mistakes in the motion vector field whether the advanced motion estimation (ME) and motion vector analysis (MA) algorithms are performed or not. Once the motion vector field has many mistakes, the quality of the interpolated frame is severely affected. In order to solve the problem, this paper proposes a novel joint overlapped block motion compensation method (8J-OBMC) which adopts motion vectors of the interpolated block and its 8-neighbor blocks to jointly interpolate the target block. Since the smoothness of motion filed makes the motion vectors of 8-neighbor blocks around the interpolated block quite close to the true motion vector of the interpolated block, the proposed compensation algorithm has the better fault-tolerant capability than traditional ones. Besides, the annoying blocking artifacts can also be effectively suppressed by using overlapped blocks. Experimental results show that the proposed method is not only robust to motion vectors estimated wrongly, but also can to reduce blocking artifacts in comparison with existing popular compensation methods.

• 한국통신학회논문지
• /
• 제33권7C호
• /
• pp.548-553
• /
• 2008

네트워크에 의해서 필요한 비트율로 줄이거나 터미널의 제한된 한계를 만족하기 위해서, 비디오 비트 스트림의 시간적 해상도를 줄이는 것이 사용된다. 본 논문에서는 압축된 비디오 스트림의 감소된 해상도 트랜스코딩의 문제점에 대해서 논의하고, 시간적 해상도 변환을 위한 트랜스코딩 기법을 논의한다. 트랜스코딩의 속도를 증가시키기 위해서, 비디오 트랜스코더는 보통 입력된 비디오 스트림으로부터의 움직임 벡터를 재사용한다. 본 논문에서는 코딩된 프레임의 높은 화질을 유지하기 위해서 강화된 움직인 재추정 기법을 제안한다. 실험결과는 감소된 프레임율을 가진 비디오 트랜스코더를 위한 저 복잡도를 가지면서도 성능이 개선된 것을 보여준다.