• Journal of the Institute of Electronics and Information Engineers
• /
• v.54 no.8
• /
• pp.67-80
• /
• 2017

This paper presents a hole-filling method using extrapolated spatio-temporal background information to obtain a synthesized view. A new temporal background model using non-overlapped patch based background codebook is introduced to extrapolate temporal background information In addition, a depth-map driven spatial local background estimation is addressed to define spatial background constraints that represent the lower and upper bounds of a background candidate. Background holes are filled by comparing the similarities between the temporal background information and the spatial background constraints. Additionally, a depth map-based ghost removal filter is described to solve the problem of the non-fit between a color image and the corresponding depth map of a virtual view after 3-D warping. Finally, an inpainting is applied to fill in the remaining holes with the priority function that includes a new depth term. The experimental results demonstrated that the proposed method led to results that promised subjective and objective improvement over the state-of-the-art methods.

• Journal of the HCI Society of Korea
• /
• v.2 no.2
• /
• pp.11-18
• /
• 2007

We propose a novel method to conceal fiducial markers observed in augmented scenes using patch-based texture synthesis. Despite the efficiency for simple object recognition and tracking, the markers deliver inherent obtrusiveness. They do not only reduce immersiveness, but also severely degrade usability of augmented reality. The proposed method constructs alternative images in real time to overlay markers present in the sequence of images. The global characteristics of background textures are retained and the results are more adaptive to illumination changes.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11a
• /
• pp.718-720
• /
• 2005

반짝이는 물체를 촬영하면 이미지에 하이라이트(highlight)와 반짝거림(specularity)이 발생한다. 하이라이트가 발생한 이미지에서 하이라이트를 제거하고 원색으로 복원하는 방법 중에 하나가 하이라이트 색 복원(inpainting)이다. 하이라이트 색을 복원하는 과정은 다음 두 단계로 구성된다. 첫 단계로 하이라이트의 위치를 알고 있다고 가정하aus 하이라이트의 주변 영역을 찾고 CL-projection을 이용해 주변 영역의 색에서 하이라이트나 반짝거림의 영향을 제거한다. 두 번째 단계로 하이라이트 주변 영역의 색을 기반으로 upper mean을 이용하여 distance transform을 수행한다. Upper mean을 이용한 distance transform의 가장 큰 장점은 하이라이트 주변을 보정하고 그 정보를 이용하기 때문에 하이라이트 색을 복원할 뿐만 아니라 반짝거림에 대한 보정도 된다.

• Journal of Korea Multimedia Society
• /
• v.15 no.12
• /
• pp.1442-1448
• /
• 2012

The problem of Metal Area Segmentation (MAS) in X-ray CT images is a very hard task because of metal artifacts. This research features a practical yet effective method for MAS in X-ray CT images that exploits both projection image and reconstructed image spaces. We employ the Relevant Neighbor Area (RNA) idea [1] originally developed for projection image inpainting in order to create a novel feature in the projection image space that distinctively represents metal and near-metal pixels with opposite signs. In the reconstructed result of the feature image, application of a simple thresholding technique provides accurate segmentation of metal areas due to nice separation of near-metal areas from metal areas in its histogram.

• Journal of Korea Multimedia Society
• /
• v.19 no.2
• /
• pp.271-279
• /
• 2016

The recent development of the HD (High Definition) and UHD (Ultra High Definition) technology allowed the growth of 3D contents market. Yet the majority of the 3D contents in the market are strictly for 6.5 cm inter-ocular distance, causing various visual discomforts for the viewers who have different inter-ocular distance. Moreover, because the 3D contents are created for a fixed viewing distance, the change of the viewing distances when watching 3D contents can also cause visual conflicts. To solve this problem, we devised techniques that consider the environmental information of the viewer watching 3D contents. By analyzing the relationship between viewing distance, inter-ocular distance, and perceived depth, we created an adaptive content viewing system that reflects the viewer's environment to minimize any conflicts in watching 3D contents. From our experiments, we found that the performance of our adaptive content viewing system was reasonable.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.517-519
• /
• 2011

본 논문에서는 DIBR(Depth image-based rendering)을 통해 생성되는 3D 영상의 홀을 고품질로 채우는 방법을 제안한다. 이를 위해, 생성된 영상의 깊이도를 고려한 희소성(Sparsity) 기반의 인페인팅 알고리즘을 홀 채우기에 적용하였다. 본 논문에서 제안하는 알고리즘은 홀 주변의 전경 텍스쳐를 제외한 배경 텍스쳐 정보만을 이용하기 때문에, 홀 채우기 시 전경 텍스쳐와 배경 텍스쳐가 혼합되는 문제점이 발생하지 않는다. 또한 희소성 기반의 인페인팅을 이용하기 때문에 에지 정보를 활용한 고품질의 홀 채우기가 가능하다. 본 논문에서 제안하는 알고리즘과 기존의 홀 채우기 알고리즘과의 주관적 화질 비교 결과, 본 논문에서 제안하는 알고리즘의 우수성을 확인할 수 있었다.

• Proceedings of the KSRS Conference
• /
• 2008.03a
• /
• pp.59-62
• /
• 2008

고해상도 위성영상의 관측시, 위성센서는 보통 지표면으로부터 어느정도의 기울기를 갖는 상태에서 촬영이 되기 때문에 영상 내에서 건물은 지표면에 누워있는 형태로 나타나게 된다. 때문에 건물의 옆벽면 및 지붕에 의해 지표의 일부가 가려지게 되는데 이를 건물에 의한 폐색영역이라 한다. 이러한 폐색영역은 건물의 기복오차가 제거된 정사영상에서는 검게 비어있는 상태로 남게 되며 시각적으로나 영상판독시 불편을 초래하여 위성영상을 베이스 맵으로 사용하기 어렵게 하는 요인이 된다. 이러한 폐색영역을 보정하기 위해서는 일반적으로 동일 영역에 대한 두 장 이상의 영상을 이용하여 폐색 지역을 채워넣는 작업을 수행하나, 이 방법은 위성영상 구입 및 처리 비용에 대한 부담이 커 실제로 자주 사용되지 못 한다. 본 연구에서는 고해상도 위성 단영상의 건물에 의한 폐색영역에, 주변 화소값들의 분광 및 기하학적 특성을 이용하여 복원하는 기술인 inpainting 기법을 적용하여 그 보정 결과를 평가하고 활용 가능성을 검증해보고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.129-130
• /
• 2011

본 논문에서는 입체감을 보존하여 스테레오 영상의 크기를 조정하는 기법을 제안한다. 스테레오 영상의 디스패리티 데이터를 이용하여 좌우 영상의 중요 영역을 추출하고, 영상의 빈 공간을 인페인팅(inpainting) 기법을 통해 복원한다. 복원된 배경 영역의 크기를 선형적으로 조정하고, 중요 영역은 최대한 보존하도록 크기를 조정하여 배경 영역에 붙여 넣는다. 실험 결과 제안하는 알고리즘이 기존 이미지 크기 조정 기법보다 스테레오 영상의 중요 정보와 입체감을 왜곡하지 않고 보존함을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.12 no.8
• /
• pp.3842-3855
• /
• 2018

A novel image completion method is proposed that uses the advantage of planar structural information to fill corrupted portions of an image. First, in estimating parameters of the projection plane, the image is divided into several planes, and their planar structural information is analyzed. Second, in calculating the a priori probability of patch and patch offset regularity, this information is converted into a constraint condition to guide the process of filling the hole. Experimental results show that the proposed algorithm is fast and effective, and ensures the structure continuity of the damaged region and smoothness of the texture.