• 대한임베디드공학회논문지
• /
• 제17권6호
• /
• pp.329-335
• /
• 2022

In this paper, we study the effect of noise on video inpainting, a technique that fills missing regions of video. Since the video may contain noise, the quality of the video may be affected when applying the video inpainting technique. Therefore, in this paper, we compare the inpainting performance in video with and without denoising techniqueDAVIS dataset. For that, we conducted two experiments: 1) applying inpainting technique after denoising the noisy video and 2) applying the inpainting technique to the video and denoising the video. Through the experiment, we observe the effect of denoising technique on the quality of video inpainting and conclude that video inpainting after denoising would improve the quality of the video subjectively and objectively.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.114-117
• /
• 2009

A new video inpainting algorithm is proposed for removing unwanted objects or error of sources from video data. In the first step, the block bundle is defined by the motion information of the video data to keep the temporal consistency. Next, the block bundles are arranged in the 3-dimensional graph that is constructed by the spatial and temporal correlation. Finally, we pose the inpainting problem in the form of a discrete global optimization and minimize the objective function to find the best temporal bundles for the grid points. Extensive simulation results demonstrate that the proposed algorithm yields visually pleasing video inpainting results even in a dynamic scene.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 추계학술발표대회
• /
• pp.349-350
• /
• 2009

In this paper, we describe an error concealment techniques based on image inpainting for the image impairments due to the packet loss. Image inpainting is to remove or restore the damaged sections from the images, which is usually old images, paintings, or video films. Inpainting has a long history which goes back to the era when the paintings come out. Manual inpainting is no more used, and we can use digital inpainting for the digitally impaired images and video sequences. In this paper, we review the error concealment techniques for the packet loss recovery and propose our inpainting based image impairment recovery scheme for video communication over packet networks.

• 정보처리학회논문지B
• /
• 제17B권1호
• /
• pp.47-54
• /
• 2010

오래된 영화 필름이나 비디오 테이프 등의 영상물에서 나타나는 대표적인 손상으로는 긁힘과 얼룩무늬 손상이 있으며, 본 논문은 긁힘 손상을 자동 탐지하고, 자기상관 (AR: autoregressive) 이미지 생성모델 (PAST-PRESENT 모델) 기반의 영상 인페인팅 모델을 사용하여 손상을 복원하는 시스템을 설계하고 구현하였다. AR 이미지 모델 생성을 위해, 지역성을 최대화할 수 있도록 인접 화소를 모으는 Sampling Pattern을 사용하였으며, 추출된 화소들을 필터링 (filtering)하는 단계, AR 모델 파라미터 계산 (model fitting)을 위한 Durbin-Levinson 알고리즘, 최종 파라미터를 통한 훼손된 화소의 예측 및 보간 단계로 구성된다. 구현된 시스템은(1) VHS 테이프를 통한 아날로그 영상물의 디지털화, (2) 긁힘 손상의 자동탐지와 자동손상복원, (3) 얼룩무늬의 수동탐지와 자동복원의 3단계 복원절차를 지원하도록 설계하였다. 단계 1과 단계 2는 영상복원 고속화를 위해 TIDSP 보드 (TMS320DM642 EVM)을 이용하여 구현하였으며, 단계 3은 사용자의 수동탐지를위해, PC 를 사용하여 구현하였다. 본 논문에서 제안된 기법을 고전 한국영화 2편 (자유만세와 로보트 태권 V)에 대하여 실험하였으며, 본 논문에서 제안한 자기상관 기반의 복원 시스템은 Bertalmio 인페인팅 기법과 비교하였으며, 주관적 화질 (MOS 테스트) 및 객관적 화질 (PSNR), 특히, 숙련된 복원기술자에 의한 복원과의 차이를 정의하는 복구품질 (RR)에서 향상된 결과를 보임을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.48-60
• /
• 2011

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.

• 전기전자학회논문지
• /
• 제20권1호
• /
• pp.31-44
• /
• 2016

본 논문에서는 자유 시점 텔레비전에서 시점 합성 영상 획득을 위해 시공간적 배경 정보 추정 기반 홀 채움 방식을 제안한다. 신뢰할 수 있는 시간적 배경 정보를 획득하기 위해 새로운 배경 코드북의 구성 및 갱신하는 과정을 수행한다. 더불어, 공간적인 국부 배경 정보 추정을 위해 홀 영역의 배경 및 전경 영역의 구별 및 갱신 과정을 수행한다. 추정된 시공간 배경 정보를 조합하여 홀 채움 과정을 수행하고, 잔여 홀 채움을 수행하기 위해 깊이 배경 정보를 이용한 우선순위 함수를 결정하여 표본 기반 인페인팅 기법을 적용한다. 실험 결과를 통해 제안 방식은 기존방식들과 비교하여 평균 0.3~0.6dB의 성능 향상이 있음을 확인하였으며, 동영상 특성 및 홀 형태에 관계없이 제안된 방식이 새로운 시점 영상을 효과적으로 합성할 수 있음을 확인할 수 있었다.