밴드 매칭, 경계제거, 영역분할을 이용한 영상 인페인팅

Image Inpainting by Band Matching, Seamless Cloning and Area Sub-Division

본 논문은 밴드 매칭과 경계제거 두 부분으로 나누어진 새로운 인페인팅 방법을 제안한다. 밴드 매칭은 삭제하고자하는 영역(인페인팅 영역)을 둘러싸는 밴드와 영상의 나머지 영역을 비교하여 그 차이가 가장 작은 영역을 인페인팅 영역에 채워 넣는 것이고, 경계제거는 밴드매칭으로 채워진 영역과 주변영역 사이에 나타나는 경계를 제거하는 것이다. 제안하는 방법은 인페인팅 영역으로 연속된 선이 지나는 경우 좋지 못한 결과를 얻는 경우가 있는데, 이러한 경우 영역분할이라는 과정을 더한다. 영역분할 방법은 인페인팅 영역을 작게 나누고, 분할된 각각의 영역에 대해 밴드 매칭과 경계제거를 수행하는 것이다. 영역분할을 이용하는 경우 분할 개수에 따라 여러 개의 다른 결과를 얻을 수 있고, 사용자는 그 결과들 중에서 가장 좋은 결과를 선택할 수 있다.

We propose a novel image inpainting method composed of two parts: band matching and seamless cloning. In band matching, a band enclosing the boundary of a missing region is compared to those from the other parts of the image. The inner area of the minimum difference band is then copied to the missing region. Even though this band matching results in successful inpainting in many practical applications, brightness discontinuity (a seam) may appear between the filled missing region and its neighborhood. We apply seamless cloning to remove such discontinuity between the two regions. However, since this basic method using one patch may not deal with cases where there are abrupt changes of color or brightness along the boundary, we furthermore devise one more step: target sub-division. The target area is subdivided into small sub-areas, and the band matching and seamless cloning are applied to each of them. The multiple results from the sub-division are then ordered according to inpainting quality, which is measured based on the edge map or discontinuity map along the boundary band.