• 전자공학회논문지CI
• /
• 제44권6호
• /
• pp.36-42
• /
• 2007

고화질의 멀티미디어 콘텐츠 수요 증가에 따라서 고전영화의 복원이 필요하다. 그러나 고전영화의 필름은 라인 스크래치와 먼지에 의해서 영상이 많이 훼손되어 있다. 본 논문에서는 필름상의 흑, 백 라인 스크래치를 검출하여 복원하는 알고리즘을 제안한다. 제안된 알고리즘은 라인 스크래치 좌우 영역의 밝기 값을 고려하여 선형회귀 곡선 추적과 미디언 필터링으로 라인 스크래치 부분의 손상된 부분정보를 추정, 보간한다. 그 결과 흑, 백 라인 스크래치가 있는 PSNR 44.68인 필름영상을 48.60으로 향상시켰으며, 보간된 픽셀은 원 영상 픽셀에 14정도의 밝기 차로 접근되었다.

• 전자공학회논문지CI
• /
• 제45권6호
• /
• pp.162-169
• /
• 2008

필름 복원은 오래된 필름에서 손상된 영역을 검출하고 복원하는 것으로 최근 고화질의 멀티미디어 서비스에 대한 요구가 급증함에 따라 많은 연구자들로부터 관심을 받고 있다. 여러 손상요인 중 가장 빈번하게 나타나는 요인은 스크래치다. 따라서 본 논문에서는 모든 종류의 스크래치를 검출하고 이를 복원함으로써 자동으로 스크래치를 제거할 수 있는 시스템을 제안한다. 제안한 시스템은 다양한 종류의 스크래치를 제거하기 위하여 스크래치의 공간 정보를 이용한다.: 1) 스크래치는 주변 화소에 비해 밝거나 어두운 밝기 값을 가진다. 2) 대부분의 스크래치는 세로의 가늘고 긴 직선 형태로 나타난다. 제안한 시스템은 스크래치 검출과 스크래치 복원으로 구성된다. 다양한 종류의 스크래치들은 신경망 기반의 텍스처 분류기와 모폴로지 기반의 형태필터링을 통해 검출되며, 검출된 손상 영역은 양선형 보간법을 이용하여 복원된다. 제안한 방법의 효율성을 검증하기 위하여 모든 종류의 스크래치에 대해 실험하였고, 실험 결과는 제안된 방법이 다양한 종류의 스크래치를 강건하고 효율적으로 제거할 수 있음을 보여준다.

• 정보처리학회논문지D
• /
• 제15D권4호
• /
• pp.581-588
• /
• 2008

오래된 필름이나 영상들은 물리적 또는 화학적으로 많은 손상을 받기 때문에 손상부분에 대한 특별한 처리가 요구된다. 영상 손상은 손상의 범위에 따라, 영상 전체에 걸쳐 나타나는 전역 손상과, 영상 일부분이 손상되어 나타나는 지역손상으로 구분할 수 있으며, 오래된 영상은 지역 손상 부분의 복구만으로도 상당한 화질 향상이 가능하다. 기존의 연구는 긁힘으로 인한 line scratch 검출 알고리즘의 연구와 얼룩, 긁힘, 또는 의도적인 손상으로 인해 손상된 영역을 복원하는 복원 알고리즘이 연구되고 있다. 오래된 영상 복원 연구의 대표적인 방법은 편미분방정식을 적용한 인페인팅 기법이며, 영상의 형태를 편미분방정식으로 모델링하기 때문에, 편미분 차수의 제한에 의해 복잡한 형태의 영상 복원 화질이 좋지 못하고, 계산복잡도가 높은 단점을 가지고 있다. 본 논문에서는 오래된 영상에서 주로 나타나는 필름의 긁힘으로 인해 생기는 line scratch를 검출하고, 영상의 특성을 반영하는 에지검출연산자의 일종인 Sobel 연산자를 이용하는 인페인팅 기법을 제안한다. 실제 영상 복원실험을 위해 오래된 한국영화인 1945년 작 "자유만세" 와 1976년 작 "로보트 태권V" 영상을 사용하였으며, 기존의 연구결과와 비교하여 화질개선 뿐만이 아니라, 개선된 복원 속도를 얻을 수 있었다.

• 전자공학회논문지CI
• /
• 제43권6호
• /
• pp.26-33
• /
• 2006

영화복원은 오래된 필름으로부터 손상된 영역을 자동으로 검출하여 복원하는 것이다. 영화복원은 고화질의 멀티미디어 서비스를 위한 필수작업이기 때문에, 현재 많은 연구자들로부터 관심을 받고 있다. 필름은 flick, dust, 스크래치 등의 원인으로 손상이 이루어지는데, 이 중 가장 주된 요인은 스크래치이다. 스크래치로 손상된 데이터의 복원연구는 지난 몇 년간 활발히 수행되고 있다. 스크래치 복원을 위해서는 위치 및 길이 등의 기준에 따라 나타나는 다양한 종류의 스크래치들을 모두 검출할 수 있어야만 한다. 본 논문에서는 영화의 각 프레임 상에 나타나는 다양한 종류의 모든 스크래치를 자동으로 검출할 수 있는 신경망 기반의 검출 방법을 제안한다. 다양한 높이와 폭을 가진 스크래치들을 검출하기 위해 pyramid를 이용하여 입력 영상은 다양한 해상도의 영상으로 변환된다. 각 변환된 영상에 대하여 신경망기반의 텍스처 분류기를 이용하여 스크래치와 비스크래치의 영역으로 분류한다. 이때, 처리속도의 향상을 위해 에지로 분류된 화소에 대하여만 신경망을 적용한다. 제안된 방법의 평가를 위해 다양한 종류의 스크래치를 가진 영화 및 애니메이션 데이터에 대해 실험이 이루어졌고, 그 결과, 제안된 방법의 강건함과 효율성이 입증되었다.

• 정보처리학회논문지B
• /
• 제17B권1호
• /
• pp.47-54
• /
• 2010

오래된 영화 필름이나 비디오 테이프 등의 영상물에서 나타나는 대표적인 손상으로는 긁힘과 얼룩무늬 손상이 있으며, 본 논문은 긁힘 손상을 자동 탐지하고, 자기상관 (AR: autoregressive) 이미지 생성모델 (PAST-PRESENT 모델) 기반의 영상 인페인팅 모델을 사용하여 손상을 복원하는 시스템을 설계하고 구현하였다. AR 이미지 모델 생성을 위해, 지역성을 최대화할 수 있도록 인접 화소를 모으는 Sampling Pattern을 사용하였으며, 추출된 화소들을 필터링 (filtering)하는 단계, AR 모델 파라미터 계산 (model fitting)을 위한 Durbin-Levinson 알고리즘, 최종 파라미터를 통한 훼손된 화소의 예측 및 보간 단계로 구성된다. 구현된 시스템은(1) VHS 테이프를 통한 아날로그 영상물의 디지털화, (2) 긁힘 손상의 자동탐지와 자동손상복원, (3) 얼룩무늬의 수동탐지와 자동복원의 3단계 복원절차를 지원하도록 설계하였다. 단계 1과 단계 2는 영상복원 고속화를 위해 TIDSP 보드 (TMS320DM642 EVM)을 이용하여 구현하였으며, 단계 3은 사용자의 수동탐지를위해, PC 를 사용하여 구현하였다. 본 논문에서 제안된 기법을 고전 한국영화 2편 (자유만세와 로보트 태권 V)에 대하여 실험하였으며, 본 논문에서 제안한 자기상관 기반의 복원 시스템은 Bertalmio 인페인팅 기법과 비교하였으며, 주관적 화질 (MOS 테스트) 및 객관적 화질 (PSNR), 특히, 숙련된 복원기술자에 의한 복원과의 차이를 정의하는 복구품질 (RR)에서 향상된 결과를 보임을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
• /
• pp.454-459
• /
• 2007

최근 다양한 형태의 멀티미디어의 확산과 영상에 대한 관심이 높아짐에 따라 필름 복원은 많은 사람들로부터 관심을 받고 있는 연구 분야다. 본 논문에서는 스크래치 텍스처 및 형태 특성을 이용하여 모든 종류의 스크래치를 자동으로 검출하고 복원 할 수 있는 방법을 제안한다. 제안된 방법은 손상된 필름에서 자주 발생되는 스크래치의 공간적인 정보를 이용하여 텍스처 분류기와 형태 필터링을 통해 스크래치를 검출 하고, 양선형 보간법을 사용하여 손상된 필름 영역을 주변 픽셀 값을 이용하여 스크래치를 제거 함으로써 영상을 복원한다. 본 논문에서 제안된 방법은 Kokaram의 논문에 제안된 방법보다 다양한 종류의 스크래치를 정확하게 인식하며, 적은 계산 비용임에도 불구하고 양선형 보간법은 스크래치 영역을 제거한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
• /
• pp.868-870
• /
• 2005

스크래치는 오래된 필름에서 가장 많이 나타나는 손상 요인이다. 고화질의 멀티미디어 서비스를 제공하기 위해서는 이러한 스크래치들은 반드시 검출 및 복원되어야 한다. 이러한 중요성 때문에 지금까지 많은 복원 알고리즘이 개발되어 왔으나, 스크래치 영역의 자동검출에 대한 연구는 거의 이루어지지 않은 실정이다. 따라서 본 논문에서는 자동으로 스크래치영역을 추출할 수 있는 신경망 기반의 검출 방법을 제안한다. 다층 퍼셉트론 (Multi-layer perceptron: MLP)을 이용하여 스크래치영역과 비 스크래치영역을 구분하는데, 이 MLP는 다양한 크기의 스크래치를 검출하기 위해 다양한 크기의 입력 영상에 대해 적용된다. 제안된 방법의 평가를 위해 principal/ secondary 스크래치, alone/not-alone 스크래치, moving/static 스크래치등의 다양한 종류의 스크래치를 가진 영상에 대해 실험이 이루어졌고, 그 결과 제안된 방법의 강건함과 효율성을 입증되었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.277-279
• /
• 2006

본 논문에서는 스크래치 텍스처 및 형태특성을 이용하여 모든 종류의 스크래치를 자동으로 검출 할 수 있는 방법을 제안한다. 제안한 방법은 텍스처 분류 단계와 형태 필터링 단계를 구성된다. 텍스처 분류단계에서는 스크래치의 텍스처 정보를 이용하여 입력영상의 각 화소를 스크래치와 비스크래래치 영역으로 분류한다. 이때 분류기로 신경망을 사용한다. 형태필터링단계에서는 스크래치의 형태정보에 기반하여 설계된 원소구조를 사용하는 모폴로지 필터를 사용하여 잘못 분류된 스크래치 영역을 제거한다. 제안된 방법의 평가를 위해 다양한 종류의 스크래치를 가진 영화 및 애니메이션 데이터에 대해 실험이 이루어 졌고, 그 결과 제안된 방법의 강건함과 효율성이 입증되었다.