• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• 정보과학회 논문지
• /
• 제43권4호
• /
• pp.437-449
• /
• 2016

평면 대 평면 간 기하 변환에 기반을 두는 기존 영상처리 기술들은 구면 파노라마 영상에서의 픽셀 좌표에는 적용될 수 없다. 본 논문에서는 평면 영상을 전제로 개발된 표본 기반 영상 인페인팅 기술을 구면 파노라마 영상에 적용할 수 있는 방법을 제안한다. 구면 영상에서 위도에 따라 다른 표본을 추출하는 방법을 이용하여 평면 영상에서의 표본 기반 인페인팅을 구면 파노라마 영상에서도 동일하게 사용할 수 있도록 하는 것이 본 논문에서 제안하는 방법의 목적이다. 기존의 표본 기반 영상 인페인팅은 정사각형 표본을 그대로 사용하기 때문에 좌표계가 다른 구면 파노라마 영상에서는 사용할 수 없다. 본 논문에서는 구면 파노라마 영상의 위도에 따른 각기 다른 모양의 표본을 취득한 후 이를 정사각형으로 균일화하는 방법을 사용한다. 이후 균일화된 표본을 이용하여 표본 기반 영상 인페인팅을 수행하는 방법으로 영상을 복원한다. 실험 결과 본 논문에서 제안하는 방법은 구면 파노라마 영상에서 표본 기반 영상 인페인팅을 성공적으로 수행함을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제14권2호
• /
• pp.1-9
• /
• 2014

영상 인페인팅(image inpainting)은 영상에서 훼손된 부분을 복원하거나 영상 내의 불필요한 문자나 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 널리 사용되는 기법이다. 예제기반 인페인팅은 비어있는 영역에서 어떤 부분부터 채울 것인지를 결정하는 패치 우선순위 결정과 결정된 패치를 어떤 패치로 채울 것인지 결정하는 패치탐색의 두 부분으로 구성되어 있다. 기존 예제기반 인페인팅에서는 패치 내의 알고 있는 영역의 화소 값만을 이용하여 유사패치를 탐색한다. 이는 패치의 일부분만 이용하여 비교하게 되므로 비교 대상이 아닌 영역에 상관성이 없는 화소 값을 갖는 패치가 선택될 수 있다. 이를 개선하기 위해 본 논문에서는 패치외삽을 이용한 예제기반 인페인팅 방식을 제안한다. 제안 방식은 우선순위가 결정된 패치에 대해 패치 내 이미 알고 있는 영역의 화소 값을 이용하여 패치 내 비어있는 영역의 화소 값을 외삽 방식으로 예측치를 구하여 채운 후 유사 패치를 탐색한다. 실험 결과를 통해 제안방식이 기존 예제기반 인페인팅 방식에 비해 자연스러운 결과 영상을 얻을 수 있음을 보여준다.

• 한국게임학회 논문지
• /
• 제15권6호
• /
• pp.121-130
• /
• 2015

본 논문에서는 표본 기반 영상 인페인팅을 이용하여 틀린그림찾기 게임의 컨텐츠를 자동으로 생성하는 방법을 제안한다. 틀린그림찾기 게임은 원본 영상에서 특정 물체를 제거하거나 색상을 변경, 혹은 다른 물체로 대치시켜서 새로운 영상을 만든 후 두 영상의 차이점을 찾아내는 게임이다. 표본 기반 영상 인페인팅 기술은 정지 영상에서 의미가 없거나 관심 밖의 피사체를 영상에서 제거하는 역할을 한다. 본 논문에서는 표본 기반 영상 인페인팅을 이용해 물체 제거 문제를 자동화시키는 방법을 제안한다. 실제 구현 및 실험을 통해 틀린그림찾기 영상을 생성한 결과 제안하는 방법이 틀린그림찾기 컨텐츠를 자동 생성하는데 효과적임을 확인하였다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.186-189
• /
• 2019

영상 인페인팅(image inpainting)이란 입력 영상에 훼손되거나 빈 영영이 존재할 경우 이 영역을 자연스럽게 채워 영상을 복원해내는 영상처리 기법이다. 본 논문에서는 기존의 예제 기반(exemplar-based) 영상 인페인팅의 단점 중 하나인 텍스쳐 가비지(texture garbage)의 생성을 억제할 수 있는 새로운 영상 인페인팅 기법을 제시한다. 기존 기법과 달리 영상의 텍스쳐는 통계적으로 정적(stationary)이라는 가정 하에 정적인 소스 패치만을 후보 패치로 샘플링 한다. 이를 통해 주변 신호와 일치하지 않는 신호인 텍스쳐 가비지가 타겟 영역에 복사되는 것을 방지할 수 있다. 실험을 통해 제안 기법을 이용한 텍스쳐 합성이 기존 기법에 비해 더욱 자연스러운 영상 인페인팅 결과를 생성함을 확인한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권8호
• /
• pp.629-640
• /
• 2010

영상에서 일부분을 제거하거나 훼손된 영상에서 훼손된 부분을 복원하기위해 예제기반 인페인팅 방법이 주로 사용되고 있다. 예제 기반 인페인팅은 데이터 항 계산, 신뢰도 항 계산, 그리고 복사할 패치 선택 등 세가지 부분으로 구성되어 있는데 본 논문에서는 이들 각각 부분을 개선하여 기존의 예제기반 인페인팅 방법의 성능을 향상하는 방법을 제안한다. 기존에는 데이터 항을 계산하는데 편미방을 이용해서 국부적인 기울기를 구하기 때문에 잡음에 민감한 문제가 있어 이를 16개의 방향성 마스크를 사용하여 전역적 기울기를 구하도록 하여 잡음에 강건하도록 개선하였다. 신뢰도 항을 계산하는 과정에서 복원할 영역 내부에서 신뢰도 값이 매우 작아지는 문제를 개선하기 복원할 영역의 내부에서 신뢰도 항이 천천히 감소하도록 하는 방법을 제안하였다. 또한 복원할 영역에서 가까운 패치에 가중치를 주도록 패치 선택 방법을 개선하였다. 여러 가지 영상에 대한 실험한 결과 제안된 방법을 통한 인페인팅이 기존의 예제 기반 인페인팅보다 자연스럽게 복원함을 알 수 있었으며 훼손된 영상을 복원하는 경우에도 제안된 방법이 기존 방법보다 오차가 줄어듦을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• 한국멀티미디어학회논문지
• /
• 제11권2호
• /
• pp.153-162
• /
• 2008

본 논문은 밴드 매칭과 경계제거 두 부분으로 나누어진 새로운 인페인팅 방법을 제안한다. 밴드 매칭은 삭제하고자하는 영역(인페인팅 영역)을 둘러싸는 밴드와 영상의 나머지 영역을 비교하여 그 차이가 가장 작은 영역을 인페인팅 영역에 채워 넣는 것이고, 경계제거는 밴드매칭으로 채워진 영역과 주변영역 사이에 나타나는 경계를 제거하는 것이다. 제안하는 방법은 인페인팅 영역으로 연속된 선이 지나는 경우 좋지 못한 결과를 얻는 경우가 있는데, 이러한 경우 영역분할이라는 과정을 더한다. 영역분할 방법은 인페인팅 영역을 작게 나누고, 분할된 각각의 영역에 대해 밴드 매칭과 경계제거를 수행하는 것이다. 영역분할을 이용하는 경우 분할 개수에 따라 여러 개의 다른 결과를 얻을 수 있고, 사용자는 그 결과들 중에서 가장 좋은 결과를 선택할 수 있다.

• 정보처리학회논문지D
• /
• 제15D권4호
• /
• pp.581-588
• /
• 2008

오래된 필름이나 영상들은 물리적 또는 화학적으로 많은 손상을 받기 때문에 손상부분에 대한 특별한 처리가 요구된다. 영상 손상은 손상의 범위에 따라, 영상 전체에 걸쳐 나타나는 전역 손상과, 영상 일부분이 손상되어 나타나는 지역손상으로 구분할 수 있으며, 오래된 영상은 지역 손상 부분의 복구만으로도 상당한 화질 향상이 가능하다. 기존의 연구는 긁힘으로 인한 line scratch 검출 알고리즘의 연구와 얼룩, 긁힘, 또는 의도적인 손상으로 인해 손상된 영역을 복원하는 복원 알고리즘이 연구되고 있다. 오래된 영상 복원 연구의 대표적인 방법은 편미분방정식을 적용한 인페인팅 기법이며, 영상의 형태를 편미분방정식으로 모델링하기 때문에, 편미분 차수의 제한에 의해 복잡한 형태의 영상 복원 화질이 좋지 못하고, 계산복잡도가 높은 단점을 가지고 있다. 본 논문에서는 오래된 영상에서 주로 나타나는 필름의 긁힘으로 인해 생기는 line scratch를 검출하고, 영상의 특성을 반영하는 에지검출연산자의 일종인 Sobel 연산자를 이용하는 인페인팅 기법을 제안한다. 실제 영상 복원실험을 위해 오래된 한국영화인 1945년 작 "자유만세" 와 1976년 작 "로보트 태권V" 영상을 사용하였으며, 기존의 연구결과와 비교하여 화질개선 뿐만이 아니라, 개선된 복원 속도를 얻을 수 있었다.

• 전자공학회논문지CI
• /
• 제48권1호
• /
• pp.8-16
• /
• 2011

영상 인페인팅(Image Inpainting)은 영상에서 손상된 영역을 제거하고 제거한 영역을 주변 영역과 유사하게 채워 넣어 자연스럽게 만E는 영상 복원의 한 기법이다. 그러나 제거할 영액이 클 경우, 복원한 결과의 구조가 자연스럽지 않아 원하지 않는 영상을 획득할 수 있는 문제가 발생한다. 본 논문에서는 화소 값 차이뿐만 아니라 거리 정보를 고려한 다중 패치들을 사용하는 향상된 예제 기반 영상 인페인팅 기법을 제안한다. 일반적인 예제 기반 영상 인페인팅 기법에서는 패치를 잘못 선택함으로써 블록 현상 같은 부자연스러운 결과들이 발생할 수 있다. 이런 문제점을 개선하기 위해 채워질 패치와 원본 영역에서의 패치들 간의 공간상 거리와 화소 값 차이를 둘 다 고려하여 여러 후보 패치들을 선택하고 선택된 패치들의 가중치를 적용하여 새로운 구조와 질감 정보를 생성하는 것을 제안한다. 실험 결과를 통해 제안하는 방법을 이용한 결과가 기존의 방법을 이용한 결과보다 구조와 질감 정보가 보다 향상된 결과를 보여준다.