• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.44 no.5
• /
• pp.54-63
• /
• 2007

The purpose of this study is to present a new energy minimization method for image completion with hierarchical approach. The goal of image completion is to fill in missing part in a possibly large region of an image so that a visually plausible outcome is obtained. An exemplar-based Markov Random Field Modeling(MRF) is proposed in this paper. This model can deal with following problems; detection of global features, flexibility on environmental changes, reduction of computational cost, and generic extension to other related domains such as image inpainting. We use the Priority Belief Propagation(Priority-BP) which is a kind of Belief propagation(BP) algorithms for the optimization of MRF. We propose the hierarchical Priority-BP that reduces the number of nodes in MRF and to apply hierarchical propagation of messages for image completion. We show that our approach which uses hierarchical Priority-BP algorithm in image completion works well on a number of examples.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.256-261
• /
• 2007

본 논문은 이미지 완성(Image Completion)을 위한 근사적 에너지 최적화 알고리즘을 제안한다. 이미지 완성이란 이미지의 특정영역이 지워진 상태에서, 그 지워진 부분을 나머지 부분과 시각적으로 어울리도록 완성시키는 기법을 말한다. 본 논문에서 이미지 완성은 유사-확률적(pseudo-probabilistic) 시스템인 Markov Random Field로 모델링된다. MRF로 모델링된 이미지 완성 시스템에서 사후 확률(posterior probability)을 최대로 만드는 MAP(Maximum A Posterior) 문제는 결국 시스템의 전체 에너지를 낮추는 에너지 최적화 문제와 동일하다. 본 논문에서는 MRF의 최적화 알고리즘들 중에서 Belief Propagation 알고리즘을 이용한다. BP 알고리즘이 이미지 완성 분야에 적용될 때 다음 두 가지가 계산시간을 증가시키는 요인이 된다. 첫 번째는 완성시킬 영역이 넓어 MRF를 구성하는 정점의 수가 증가할 때이다. 두 번째는 비교할 후보 이미지 조각의 수가 증가할 때이다. 기존에 제안된 Priority-Belief Propagation 알고리즘은 우선순위가 높은 정점부터 메시지를 전파하고 불필요한 후보 이미지 조각의 수를 제거함으로써 이를 해결하였다. 하지만 우선순위를 정점에 할당하기 위한 최초 메시지 전파의 경우 Belief Propagation의 단점은 그대로 남아있다. 이를 개선하기 위해 본 논문에서는 이미지 완성을 위한 MRF 모델을 피라미드 구조와 같이 층위로 나누어 정점의 수를 줄이고, 계층적으로 메시지를 전파하여 시스템의 적합성(fitness)을 정교화 해나가는 Hierarchical Priority Belief Propagation 알고리즘을 제안한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.10 no.9
• /
• pp.4405-4418
• /
• 2016

Automatic image completion techniques have difficulty processing images in which the target region has multiple planes or is non-facade. Here, we propose a new image completion method that uses belief propagation based on planar priorities. We first calculate planar information, which includes planar projection parameters, plane segments, and repetitive regularity extractions within the plane. Next, we convert this planar information into planar guide knowledge using the prior probabilities of patch transforms and offsets. Using the energy of the discrete Markov Random Field (MRF), we then define an objective function for image completion that uses the planar guide knowledge. Finally, in order to effectively optimize the MRF, we propose a new optimization scheme, termed Planar Priority-belief propagation that includes message-scheduling-based planar priority and dynamic label cropping. The results of experiment show that our approach exhibits advanced performance compared with existing approaches.