• 한국멀티미디어학회논문지
• /
• 제11권2호
• /
• pp.153-162
• /
• 2008

본 논문은 밴드 매칭과 경계제거 두 부분으로 나누어진 새로운 인페인팅 방법을 제안한다. 밴드 매칭은 삭제하고자하는 영역(인페인팅 영역)을 둘러싸는 밴드와 영상의 나머지 영역을 비교하여 그 차이가 가장 작은 영역을 인페인팅 영역에 채워 넣는 것이고, 경계제거는 밴드매칭으로 채워진 영역과 주변영역 사이에 나타나는 경계를 제거하는 것이다. 제안하는 방법은 인페인팅 영역으로 연속된 선이 지나는 경우 좋지 못한 결과를 얻는 경우가 있는데, 이러한 경우 영역분할이라는 과정을 더한다. 영역분할 방법은 인페인팅 영역을 작게 나누고, 분할된 각각의 영역에 대해 밴드 매칭과 경계제거를 수행하는 것이다. 영역분할을 이용하는 경우 분할 개수에 따라 여러 개의 다른 결과를 얻을 수 있고, 사용자는 그 결과들 중에서 가장 좋은 결과를 선택할 수 있다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권8호
• /
• pp.629-640
• /
• 2010

영상에서 일부분을 제거하거나 훼손된 영상에서 훼손된 부분을 복원하기위해 예제기반 인페인팅 방법이 주로 사용되고 있다. 예제 기반 인페인팅은 데이터 항 계산, 신뢰도 항 계산, 그리고 복사할 패치 선택 등 세가지 부분으로 구성되어 있는데 본 논문에서는 이들 각각 부분을 개선하여 기존의 예제기반 인페인팅 방법의 성능을 향상하는 방법을 제안한다. 기존에는 데이터 항을 계산하는데 편미방을 이용해서 국부적인 기울기를 구하기 때문에 잡음에 민감한 문제가 있어 이를 16개의 방향성 마스크를 사용하여 전역적 기울기를 구하도록 하여 잡음에 강건하도록 개선하였다. 신뢰도 항을 계산하는 과정에서 복원할 영역 내부에서 신뢰도 값이 매우 작아지는 문제를 개선하기 복원할 영역의 내부에서 신뢰도 항이 천천히 감소하도록 하는 방법을 제안하였다. 또한 복원할 영역에서 가까운 패치에 가중치를 주도록 패치 선택 방법을 개선하였다. 여러 가지 영상에 대한 실험한 결과 제안된 방법을 통한 인페인팅이 기존의 예제 기반 인페인팅보다 자연스럽게 복원함을 알 수 있었으며 훼손된 영상을 복원하는 경우에도 제안된 방법이 기존 방법보다 오차가 줄어듦을 알 수 있었다.

• 융합신호처리학회논문지
• /
• 제8권4호
• /
• pp.249-254
• /
• 2007

본 논문은 실명(loss of eyesight)의 원인 중 하나인 녹내장의 진행과 진단 등의 의료 정보제공을 목적으로 양방향 곡선 전개 방식을 이용하여 망막 영상에서 시신경 원판(optic disk)의 경계를 검출하는 방법을 제안한다. 정확한 경계 검출을 위하여 PDE 기반의 Image inpainting 방법으로 시신경 원판 위를 지나는 혈관을 제거하고 전처리 과정에서 발생하는 잡음제거와 경계의 보존을 위해 비등방성 필터링(anisotropic filtering)을 행한다. 혈관이 제거된 망막 영상에서 시신경 원판의 경계 검출은 초기 곡선에 강인한 양방향 곡선 방식으로 검출한다. 실험결과, 제안한 방법이 전체영상의 블러링 현상뿐만 아니라 시신경 원판 경계의 블러링 현상을 줄일 수 있었고, 기존의 방법에 비하여 정확한 경계를 검출할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권3호
• /
• pp.881-895
• /
• 2023

Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제24권4호
• /
• pp.363-374
• /
• 2020

Fingerprint authentication identifies a user based on the individual's unique fingerprint features. Fingerprint authentication methods are used in various real-life devices because they are convenient and safe and there is no risk of leakage, loss, or oblivion. However, fingerprint authentication methods are often ineffective when there is contamination of the given image through wet, dirty, dry, or wounded fingers. In this paper, a method is proposed to remove noise from fingerprint images using a convolutional neural network. The proposed model was verified using the dataset from the ChaLearn LAP Inpainting Competition Track 3-Fingerprint Denoising and Inpainting, ECCV 2018. It was demonstrated that the model proposed in this paper obtains better results with respect to the methods that achieved high performances in the competition.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2007년도 하계종합학술대회 논문집
• /
• pp.365-366
• /
• 2007

In this paper, a novel correction method of red-eye effect is proposed. Conventional methods simply reduce red components in red-eye regions, not considering the expanded size of a pupil, thus the correction results can be unnatural. In the proposed method, an exemplar-based inpainting method is used for reducing the pupil region and filling the iris texture instead. Experimental results show that the proposed method is effective and its correction results look more natural than those of conventional methods.

• 정보과학회 논문지
• /
• 제43권4호
• /
• pp.437-449
• /
• 2016

평면 대 평면 간 기하 변환에 기반을 두는 기존 영상처리 기술들은 구면 파노라마 영상에서의 픽셀 좌표에는 적용될 수 없다. 본 논문에서는 평면 영상을 전제로 개발된 표본 기반 영상 인페인팅 기술을 구면 파노라마 영상에 적용할 수 있는 방법을 제안한다. 구면 영상에서 위도에 따라 다른 표본을 추출하는 방법을 이용하여 평면 영상에서의 표본 기반 인페인팅을 구면 파노라마 영상에서도 동일하게 사용할 수 있도록 하는 것이 본 논문에서 제안하는 방법의 목적이다. 기존의 표본 기반 영상 인페인팅은 정사각형 표본을 그대로 사용하기 때문에 좌표계가 다른 구면 파노라마 영상에서는 사용할 수 없다. 본 논문에서는 구면 파노라마 영상의 위도에 따른 각기 다른 모양의 표본을 취득한 후 이를 정사각형으로 균일화하는 방법을 사용한다. 이후 균일화된 표본을 이용하여 표본 기반 영상 인페인팅을 수행하는 방법으로 영상을 복원한다. 실험 결과 본 논문에서 제안하는 방법은 구면 파노라마 영상에서 표본 기반 영상 인페인팅을 성공적으로 수행함을 확인하였다.

• 정보처리학회논문지D
• /
• 제15D권4호
• /
• pp.581-588
• /
• 2008

오래된 필름이나 영상들은 물리적 또는 화학적으로 많은 손상을 받기 때문에 손상부분에 대한 특별한 처리가 요구된다. 영상 손상은 손상의 범위에 따라, 영상 전체에 걸쳐 나타나는 전역 손상과, 영상 일부분이 손상되어 나타나는 지역손상으로 구분할 수 있으며, 오래된 영상은 지역 손상 부분의 복구만으로도 상당한 화질 향상이 가능하다. 기존의 연구는 긁힘으로 인한 line scratch 검출 알고리즘의 연구와 얼룩, 긁힘, 또는 의도적인 손상으로 인해 손상된 영역을 복원하는 복원 알고리즘이 연구되고 있다. 오래된 영상 복원 연구의 대표적인 방법은 편미분방정식을 적용한 인페인팅 기법이며, 영상의 형태를 편미분방정식으로 모델링하기 때문에, 편미분 차수의 제한에 의해 복잡한 형태의 영상 복원 화질이 좋지 못하고, 계산복잡도가 높은 단점을 가지고 있다. 본 논문에서는 오래된 영상에서 주로 나타나는 필름의 긁힘으로 인해 생기는 line scratch를 검출하고, 영상의 특성을 반영하는 에지검출연산자의 일종인 Sobel 연산자를 이용하는 인페인팅 기법을 제안한다. 실제 영상 복원실험을 위해 오래된 한국영화인 1945년 작 "자유만세" 와 1976년 작 "로보트 태권V" 영상을 사용하였으며, 기존의 연구결과와 비교하여 화질개선 뿐만이 아니라, 개선된 복원 속도를 얻을 수 있었다.

• 방송공학회논문지
• /
• 제15권1호
• /
• pp.3-13
• /
• 2010

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준 영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스처의 연관성을 보존하며 보간할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• 한국콘텐츠학회논문지
• /
• 제5권6호
• /
• pp.138-145
• /
• 2005

본 연구에서는 실명(loss of eyesight)의 원인 질병중 하나인 녹내장의 진행과 진단 등의 의료 정보제공을 목적으로 양방향 곡선 전개 방식을 이용하여 망막 영상에서 시신경 원판(optic disk)의 경계를 검출하는 방법을 제안한다. 정확한 경계 검출의 위하여 텍스처 병합(texture synthesis)기반의 이미지 인페인팅 방법으로 시신경 원판 위를 지나는 혈관을 제거하고 전처리 과정에서 발생하는 잡음제거와 경계의 보존을 위해 비등방성 확산 필터링(anisotropic diffusion filtering)을 행한다. 혈관이 제거된 망막 영상에서 시신경 원판의 경계 검출은 양방향 곡선 방식으로 검출한다. 실험 결과에서, 제안한 알고리즘은 복잡한 망막영상에도 효율적으로 시신경 원판을 검출한다는 것을 보여준다.