• Journal of Korea Multimedia Society
• /
• v.11 no.2
• /
• pp.153-162
• /
• 2008

We propose a novel image inpainting method composed of two parts: band matching and seamless cloning. In band matching, a band enclosing the boundary of a missing region is compared to those from the other parts of the image. The inner area of the minimum difference band is then copied to the missing region. Even though this band matching results in successful inpainting in many practical applications, brightness discontinuity (a seam) may appear between the filled missing region and its neighborhood. We apply seamless cloning to remove such discontinuity between the two regions. However, since this basic method using one patch may not deal with cases where there are abrupt changes of color or brightness along the boundary, we furthermore devise one more step: target sub-division. The target area is subdivided into small sub-areas, and the band matching and seamless cloning are applied to each of them. The multiple results from the sub-division are then ordered according to inpainting quality, which is measured based on the edge map or discontinuity map along the boundary band.

• Journal of KIISE:Software and Applications
• /
• v.37 no.8
• /
• pp.629-640
• /
• 2010

The exemplar-based inpainting model is widely used to remove objects from natural images and to restore a damaged region. This paper presents a method which improves the performance of the conventional exemplar-based inpainting model by modifying three major parts in the model: data term, confidence term and patch selection. While the conventional data term is calculated using the local gradient, the proposed method uses 16 compass masks to get the global gradient to make the method robust to noise. To overcome the problem that the confidence term gets negligible in the inside of the eliminated region, a method is proposed which makes the confidence term decrease slowly in the eliminated region. The patch selection procedure is modified so that the closer patch has higher weight. Experiments showed that the proposed method produced more natural images and lower reconstruction error than the conventional exemplar-based inpainting.

• Journal of KIISE
• /
• v.43 no.4
• /
• pp.437-449
• /
• 2016

Previous image processing techniques based on plane-to-plane transformations cannot be utilized for spherical panoramic images. In this paper, we propose a new method to inpaint a spherical panoramic image using exemplar, which is deformed by the location of the patch. Our proposed method makes the deformed exemplar patch by latitude and uses it as the reference patch to restore the damaged area. The exemplar-based inpainting method is based on the planar image coordinate system and thus the classical method cannot be applied to the spherical panoramic image. The merit of our proposed method is the fact that it is not dependent on the location of the damaged area. From the experimental results, we proved that our proposed method satisfies the original purpose of the exemplar-based inpainting technique for the spherical panoramic image.

• Journal of Korea Game Society
• /
• v.15 no.6
• /
• pp.121-130
• /
• 2015

In this paper, we propose a method to automatically create the contents for spot-the-difference games. A spot-the-difference game is the game that finds the differences such as removal of some objects in the image or changes of shapes and colors from the original image. The original purpose of the exemplar-based image inpainting technique is to remove unnecessary objects. We use the exemplar-based inpainting technique to make the spot-the-difference game contents. From our implementation and experiments, we showed the effectiveness of our automatic generation technique of spot-the-difference contents.

• Journal of Broadcast Engineering
• /
• v.24 no.1
• /
• pp.186-189
• /
• 2019

Image inpainting is an image processing technique that restores an image by naturally filling the empty or damaged regions in an image. In this paper, we present a new image inpainting technique that can suppress the generation of texture garbage which is one of the artifacts of existing exemplar-based image inpainting. Unlike the existing technique, only the stationary source patch is sampled as the exemplar patch based on the assumption of spatial stationarity of the texture. This prevents the texture garbage, which is an inconsistent piece of texture from being copied to the target region. Experimental results show that the texture synthesis using the proposed method produces more natural inpainting results than the existing method.

• Journal of Broadcast Engineering
• /
• v.26 no.1
• /
• pp.61-69
• /
• 2021

Image outpainting is a very interesting problem in that it can continuously fill the outside of a given image by considering the context of the image. There are two main challenges in this work. The first is to maintain the spatial consistency of the content of the generated area and the original input. The second is to generate high quality large image with a small amount of adjacent information. Existing image outpainting methods have difficulties such as generating inconsistent, blurry, and repetitive pixels. However, thanks to the recent development of deep learning technology, deep learning-based algorithms that show high performance compared to existing traditional techniques have been introduced. Deep learning-based image outpainting has been actively researched with various networks proposed until now. In this paper, we would like to introduce the latest technology and trends in the field of outpainting. This study compared recent techniques by analyzing representative networks among deep learning-based outpainting algorithms and showed experimental results through various data sets and comparison methods.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.500-506
• /
• 2007

얼굴에 대한 시각적 인지는 오랫동안 인간에게 중요한 문제로 인식되어 왔다. 수 세기 동안 이루어져 왔던 미용 화장과 성형, 치아 교정 등의 다양한 연구는 사람의 얼굴을 감성적 측면에서 어떻게 하면 아름답게 만들 수 있는 가에 초점을 두었다. 본 논문에서는 휴먼 입출력 인터페이스로서 햅틱 장치와 스테레오 디스플레이를 혼합한 다중 감각 인터랙션 기반의 감성적인 3차원 얼굴 메이크업 시뮬레이션 프레임워크를 개발한다. 본 연구는 3차원 스캐너 장비로부터 사용자의 얼굴 모델을 추출하고, 그 데이터를 이용하여 자연스럽고 직관적인 얼굴 메이크업 시뮬레이션을 수행하는 것을 목표로 하고 있다. 이를 위하여 본 연구에서는 surface elements 표현 기반의 3차원 얼굴 필터링 방법과 얼굴 메이크업을 지원하는 페인팅 방법을 개발한다. 우선 사용자의 얼굴 모델을 3차원 스캐너로 획득한 후, 전처리 얼굴 필터링을 수행하여 조명, 그리고 사용자 얼굴 피부 상태에 기인하는 에러 및 속성들을 보정하고 피부 톤을 사용자가 선호하는 색으로 변경한다. 최종적으로 사용자는 햅틱 및 스테레오 디스플레이 장치를 이용하여 두 개의 레이어로 구성된 페인팅 표면 모델에 메이크업을 수행한다. 본 연구에서 적용한 surface elements 표현 기반의 그래픽 렌더링은 일반적인 메쉬 기반 페인팅의 문제점인 텍스쳐 왜곡 현상을 완화하고, 3차원 스캐너 장치에 기인하는 표면 에러를 보정한다. 그리고 전처리 얼굴 필터링과 메이크업 페인팅 방법은 사용자 중심의 감성적인 3차원 얼굴을 재구성하도록 한다. 결과적으로 본 연구에서 개발한 이러한 기술들이 다중 감각 인터페이스 기반의 메이크업 시뮬레이터의 기본 프레임워크가 되어, 차후 메이크업이나 코디네이션 분야 등의 디지털 콘텐츠 산업에서 활용될 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.517-519
• /
• 2011

본 논문에서는 DIBR(Depth image-based rendering)을 통해 생성되는 3D 영상의 홀을 고품질로 채우는 방법을 제안한다. 이를 위해, 생성된 영상의 깊이도를 고려한 희소성(Sparsity) 기반의 인페인팅 알고리즘을 홀 채우기에 적용하였다. 본 논문에서 제안하는 알고리즘은 홀 주변의 전경 텍스쳐를 제외한 배경 텍스쳐 정보만을 이용하기 때문에, 홀 채우기 시 전경 텍스쳐와 배경 텍스쳐가 혼합되는 문제점이 발생하지 않는다. 또한 희소성 기반의 인페인팅을 이용하기 때문에 에지 정보를 활용한 고품질의 홀 채우기가 가능하다. 본 논문에서 제안하는 알고리즘과 기존의 홀 채우기 알고리즘과의 주관적 화질 비교 결과, 본 논문에서 제안하는 알고리즘의 우수성을 확인할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.848-850
• /
• 2015

본 논문에서는 픽셀 그레디언트의 방향성 정보를 이용하여 복원하는 예제기반 인페인팅 방법을 제안한다. 제안하는 방법에서는 영상 내에서 픽셀 그레디언트의 방향성을 검출하여 강도가 높은 그레디언트를 가지는 픽셀들을 먼저 복원하는 특징을 가진다. 지역적인 그래디언트의 특성을 이용하여 복원 영역의 연결성을 높이고 에러의 파급 효과를 줄임으로써, 기존의 예제기반 인페인팅 방법보다 개선된 결과를 보여준다.