Abstract
Conventional research on image restoration has focused on restoring degraded images resulting from image formation, storage and communication, mainly in the signal processing field. Related research on recovering original image information of caption regions includes a method using BMA(block matching algorithm). The method has problem with frequent incorrect matching and propagating the errors by incorrect matching. Moreover, it is impossible to recover the frames between two scene changes when scene changes occur more than twice. In this paper, we propose a method for recovering original images using EBMA(Extended Block Matching Algorithm) and a region compensation method. To use it in original image recovery, the method extracts a priori knowledge such as information about scene changes, camera motion and caption regions. The method decides the direction of recovery using the extracted caption information(the start and end frames of a caption) and scene change information. According to the direction of recovery, the recovery is performed in units of character components using EBMA and the region compensation method. Experimental results show that EBMA results in good recovery regardless of the speed of moving object and complexity of background in video. The region compensation method recovered original images successfully, when there is no information about the original image to refer to.
기존의 원영상 복원 기술은 주로 신호 처리 분야에서 영상의 형성(formation), 저장 및 통신상에서 발생되는 왜곡 현상을 복원하는 연구가 많이 이루어 졌다. 원 영상 복원과 관련된 기존의 연구는 블록 정합(block matching algorithm)을 이용한 원영상 복원 방법이 있다. 이 방법은 오 정합(incorrect matching)이 발생하기 쉽고, 오 정합 시 에러가 전파되는 문제점이 있다. 그리고 장면 전환이 2회 이상 발생될 경우 장면 전환 지점과 지점 사이의 복원이 불가능하다는 문제점이 있다. 본 논문에서는 기존의 문제점들을 해결하기 위하여 확장적 블록 정합 방법(EBMA: Extended Block Matching Algorithm)과 영역 보상법(Region compensation method)을 이용한 원영상 복원 방법을 제안하고자 한다. 원영상 복원에 사용하기 위하여 비디오 사전 정보(장면 전환 정보, 카메라 모션 정보, 캡션 영역 정보)를 추출한다. 추출된 캡션 영역 정보를 이용하여 캡션 문자의 구성 요소 정보를 추출한다. 추출된 비디오 사전 정보를 이용하여 복원의 방향성을 결정하고, 복원의 방향성에 따라 문자의 구성 요소 단위로 확장적 블록 정합 방법과 영역 보상법을 이용하여 원영상 복원을 수행한다. 실험결과 확장적 블록 정합 방법은 빠른 물체의 움직임이나 복잡한 배경에 영향을 받지 않고 복원이 잘 되는 것을 알 수 있었다. 참조할 원영상이 없이 원영상 복원을 수행하는 영역 보상법의 복원 결과 또한 좋음을 볼 수 있었다.
