• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권9호
• /
• pp.4405-4418
• /
• 2016

Automatic image completion techniques have difficulty processing images in which the target region has multiple planes or is non-facade. Here, we propose a new image completion method that uses belief propagation based on planar priorities. We first calculate planar information, which includes planar projection parameters, plane segments, and repetitive regularity extractions within the plane. Next, we convert this planar information into planar guide knowledge using the prior probabilities of patch transforms and offsets. Using the energy of the discrete Markov Random Field (MRF), we then define an objective function for image completion that uses the planar guide knowledge. Finally, in order to effectively optimize the MRF, we propose a new optimization scheme, termed Planar Priority-belief propagation that includes message-scheduling-based planar priority and dynamic label cropping. The results of experiment show that our approach exhibits advanced performance compared with existing approaches.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.517-519
• /
• 2011

본 논문에서는 DIBR(Depth image-based rendering)을 통해 생성되는 3D 영상의 홀을 고품질로 채우는 방법을 제안한다. 이를 위해, 생성된 영상의 깊이도를 고려한 희소성(Sparsity) 기반의 인페인팅 알고리즘을 홀 채우기에 적용하였다. 본 논문에서 제안하는 알고리즘은 홀 주변의 전경 텍스쳐를 제외한 배경 텍스쳐 정보만을 이용하기 때문에, 홀 채우기 시 전경 텍스쳐와 배경 텍스쳐가 혼합되는 문제점이 발생하지 않는다. 또한 희소성 기반의 인페인팅을 이용하기 때문에 에지 정보를 활용한 고품질의 홀 채우기가 가능하다. 본 논문에서 제안하는 알고리즘과 기존의 홀 채우기 알고리즘과의 주관적 화질 비교 결과, 본 논문에서 제안하는 알고리즘의 우수성을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.48-60
• /
• 2011

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.

• ETRI Journal
• /
• 제38권5호
• /
• pp.996-1007
• /
• 2016

This paper presents new hole-filling methods for generating multiview images by using depth image based rendering (DIBR). Holes appear in a depth image captured from 3D sensors and in the multiview images rendered by DIBR. The holes are often found around the background regions of the images because the background is prone to occlusions by the foreground objects. Background-oriented priority and gradient-oriented priority are also introduced to find the order of hole-filling after the DIBR process. In addition, to obtain a sample to fill the hole region, we propose the fusing of depth and color information to obtain a weighted sum of two patches for the depth (or rendered depth) images and a new distance measure to find the best-matched patch for the rendered color images. The conventional method produces jagged edges and a blurry phenomenon in the final results, whereas the proposed method can minimize them, which is quite important for high fidelity in stereo imaging. The experimental results show that, by reducing these errors, the proposed methods can significantly improve the hole-filling quality in the multiview images generated.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권10호
• /
• pp.2663-2678
• /
• 2012

Due to sharp depth transition, big holes may be found in the novel view that is synthesized by depth-image-based rendering (DIBR). A hole-filling method based on disparity map is proposed. One important aspect of the method is that the disparity map of destination image is used for hole-filling, instead of the depth image of reference image. Firstly, the big hole detection based on disparity map is conducted, and the start point and the end point of the hole are recorded. Then foreground pixels and background pixels are distinguished for hole-dilating according to disparity map, so that areas with matching errors can be determined and eliminated. In addition, parallaxes of pixels in the area with holes and matching errors are changed to new values. Finally, holes are filled with background pixels from reference image according to these new parallaxes. Experimental results show that the quality of the new view after hole-filling is quite well; and geometric distortions are avoided in destination image, in contrast to the virtual view generated by depth-smoothing methods and image inpainting methods. Moreover, this method is easy for hardware implementation.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
• /
• pp.452-455
• /
• 2007

3D stereoscopic viewing of large scale imagery, such as aerial photography and satellite images, needs different parallaxes relative to the display scale. For example, when a viewer sees a stereoscopic image of aerial photography, the optimal parallax of its zoom-in image should be smaller than that of its zoom-out. Therefore, relative parallax adjustment according to the display scale is required. Merely adjusting the spacing between stereo images is not appropriate because the depths of the whole image are either exaggerated or reduced entirely. This paper focuses on the improving stereoscopic viewing with a single remote sensing image and a digital surface model (DSM). We present the parallax adjustment technique to maximize the 3D realistic effect and the visual comfort. For remote sensing data, DSM height value can be regarded as disparity. There are two possible kinds of methods to adjust the relative parallax with a single image performance. One is the DSM compression technique: the other is an adjustment of the distance between the original image and its stereo-mate. In our approach, we carried out a test to evaluate the optimal distance between a single remote sensing image and its stereo-mate, relative to the viewing scale. Several synthetic stereo-mates according to certain viewing scale were created using a parallel projection model and their anaglyphs were estimated visually. The occlusion of the synthetic stereo-mate was restored by the inpainting method using the fields of experts (FoE) model. With the experiments using QuickBird imagery, we could obtain stereoscopic images with optimized parallax at varied display scales.

• 대한전자공학회논문지SP
• /
• 제44권5호
• /
• pp.54-63
• /
• 2007

본 논문은 영상 완성(image completion)을 위해 계층적으로 적용되는 새로운 에너지 최적화 방식을 제안한다. 영상 완성의 목적은 영상의 특정 영역이 지워진 상태에서, 그 지워진 부분을 나머지 부분과 시각적으로 어울리도록 완성시키는 기법을 말한다. 본 논문에서는 전역적 특징의 탐지, 주변 환경 변화에 대한 유연성, 계산비용의 감소, 영상 인페인팅과 같은 관련기법들로의 확장성 문제들을 다룰 수 있도록 마르코프 랜덤 필드(Markov Random Field)로 모델링 된 예제 기반 방식(exampler-based mehtod) 접근법을 택한다. 그리고 MRF에서의 에너지 최적화를 위해 BP 알고리즘(Belief Propagation Algorithm)의 변형인 우선순위 BP 알고리즘(Priority-Belief Propagation Algorithm)을 적용하였다. 본 논문에서 제안한 계층적 우선순위 BP 알고리즘(Hierarchical Priority-Belief Propagation Algorithm)은 MRF의 정점의 수를 줄이고 메시지를 계층적으로 전파한다. 이렇게 계층적 우선순위 BP 알고리즘을 영상 완성에 적용하여 여러 영상들에서 바람직한 결과를 얻었다.

• 전자공학회논문지
• /
• 제54권8호
• /
• pp.67-80
• /
• 2017

본 논문에서는 추정된 시공간 배경 정보를 이용하여 자유 시점에서 합성영상을 생성하기 위한 홀채움 방식을 제안한다. 시간적 배경 정보를 추정하기 위해 비겹침 패치 기반의 배경 코드북을 이용한 새로운 시간적 배경 모델을 소개한다. 더불어, 공간적 배경 후보의 하한 및 상한 값의 제약 조건을 설정하는 깊이영상 기반 공간적 국부 배경 예측 방식에 대해 제안한다. 추정된 시간적 배경 정보와 공간적 배경 정보의 유사도를 비교하여 가려짐 배경 영역의 홀채움 과정을 수행한다. 또한 3-D 워핑 후 발생하는 컬러영상과 깊이영상간의 불일치 문제를 해결하기 위해 깊이영상 기반의 고스트 제거 필터를 기술한다. 마지막으로 잔여 홀을 채우기 위해 새로운 깊이 항을 포함한 우선순위 함수를 이용하여 인페인팅 방식이 적용된다. 실험 결과를 통해 기존의 홀채움 방식들과 비교하여 제안하는 방식의 객관적, 주관적 성능의 우수성을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제23권4호
• /
• pp.503-510
• /
• 2018

손상된 영상의 복원은 디지털 영상 처리기술이 등장하기 이전부터 시도되었던 근원적 문제이다. 컴퓨터의 연산 능력과 다양한 기술의 발전에 따라 손상된 영상을 복원하는 다양한 연구가 소개되었으나 그 결과는 사람에 의한 수동적 결과물과 비교하여 낮은 복원 결과를 보여 왔다. 최근 심층 신경망 (DNN, Deep Neural Network)의 발전으로 이미지 복원에 이를 적용한 다양한 연구가 소개 되고 있지만, 광범위한 영역이 손상된 경우 근접한 화소를 활용하는 방법으로 해결이 어렵다. 이와 같은 경우는 주변의 영상의 문맥적 정보를 통해 손상된 영역을 추론을 통한 복원이 필요하다. 본 논문에서는 심층 신경망 기술 중 하나인 적대적 생성신경망(GAN, Generative Adversarial Network)을 이용한 이미지 복원 네트워크를 제안한다. 제안하는 시스템은 이미지 생성 네트워크, 생성 결과 판별 네트워크로 구성 된다. 본 논문에서는 제안하는 방안을 통해 다양한 종류의 이미지를 복원함에 있어서 훼손된 영역의 추론을 통하여 자연스러운 영상 복원뿐 아니라 원본 영상의 질감까지 복원이 가능함을 실험을 통해 확인 하였다.

• 한국HCI학회논문지
• /
• 제2권2호
• /
• pp.11-18
• /
• 2007

본 논문은 영상의 자연스러운 증강을 위하여 패치 기반 텍스쳐 합성에 의한 마커 은닉 방법을 제안한다. 마커는 증강현실을 구성하는 물체의 인식과 추적을 위해 효과적인 도구로 활용되지만, 시각적으로 강조되어야 하는 특성으로 인해 증강현실의 실감성 감소와 사용성 저하를 유발한다는 문제점을 가지고 있다. 제안된 방법은 영상 속의 마커를 대체할 수 있도록 주변 배경과 어울리는 새로운 영상을 합성하여 마커를 은닉한다. 패치 기반의 텍스쳐 합성알고리즘을 사용하여 실시간성을 보장하는 동시에, 배경 텍스쳐의 전역적인 특성을 유지하고, 영상 주변의 조명 변화에 유연하다는 장점이 있다.