• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.129-130
• /
• 2011

본 논문에서는 입체감을 보존하여 스테레오 영상의 크기를 조정하는 기법을 제안한다. 스테레오 영상의 디스패리티 데이터를 이용하여 좌우 영상의 중요 영역을 추출하고, 영상의 빈 공간을 인페인팅(inpainting) 기법을 통해 복원한다. 복원된 배경 영역의 크기를 선형적으로 조정하고, 중요 영역은 최대한 보존하도록 크기를 조정하여 배경 영역에 붙여 넣는다. 실험 결과 제안하는 알고리즘이 기존 이미지 크기 조정 기법보다 스테레오 영상의 중요 정보와 입체감을 왜곡하지 않고 보존함을 확인할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.848-850
• /
• 2015

본 논문에서는 픽셀 그레디언트의 방향성 정보를 이용하여 복원하는 예제기반 인페인팅 방법을 제안한다. 제안하는 방법에서는 영상 내에서 픽셀 그레디언트의 방향성을 검출하여 강도가 높은 그레디언트를 가지는 픽셀들을 먼저 복원하는 특징을 가진다. 지역적인 그래디언트의 특성을 이용하여 복원 영역의 연결성을 높이고 에러의 파급 효과를 줄임으로써, 기존의 예제기반 인페인팅 방법보다 개선된 결과를 보여준다.

• Korean Journal of Remote Sensing
• /
• v.23 no.5
• /
• pp.439-445
• /
• 2007

Stereoscopic viewing is an efficient technique for not only computer vision but also remote sensing applications. Generally, stereo pair obtained at the same time is necessary for 3D viewing, but it is possible to synthesize a stereomate suitable for stereo view with a single image and disparity-map. There have been researches concerning the generation of the synthetic stereomate from remote sensing imagery. However it is hard to find researches concerning the restoration of occlusion in stereomate. In this paper, we generated synthetic stereomates from remote sensing images, focused on the occlusion restoration. In order to figure out proper restoration methods depending on the spatial resolution of remote sensing imagery, we tested several methods including general interpolation and inpainting technique, then evaluated the results.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.65-68
• /
• 2021

본 연구에서는 Dilated U-Net 기반의 이미지 복원기법을 통해 콘크리트 균열 추출 성능 개선 방안을 제안한다. 콘크리트 균열은 구조물의 미관상의 문제뿐 아니라 추후 큰 안전사고의 원인이 될 수 있어 초기대응이 중요하다. 현재는 점검자가 직접 육안으로 검사하는 외관 검사법이 주로 사용되고 있지만, 이는 정확성 및 비용, 시간, 그리고 안전성 면에서 한계를 갖고 있다. 이에 콘크리트 구조물 표면에 대해 획득한 영상 처리 기법을 사용한 검사 방식 도입의 관심이 늘어나고 있다. 또한, 딥러닝 기술의 발달로 딥러닝을 적용한 영상처리의 연구 역시 활발하게 진행되고 있다. 본 연구는 콘크리트 균열 추개선출 성능 개선을 위해 Dilated U-Net 기반의 이미지 복원기법을 적용하는 방안을 제안하였고 성능 검증 결과, 기존 U-Net 기반의 정확도가 98.78%, 조화평균 82.67%였던 것에 비해 정확도 99.199%, 조화평균 88.722%로 성능이 되었음을 확인하였다.

• Journal of the Korean Mathematical Society
• /
• v.61 no.3
• /
• pp.427-444
• /
• 2024

The matrix completion problem is to predict missing entries of a data matrix using the low-rank approximation of the observed entries. Typical approaches to matrix completion problem often rely on thresholding the singular values of the data matrix. However, these approaches have some limitations. In particular, a discontinuity is present near the thresholding value, and the thresholding value must be manually selected. To overcome these difficulties, we propose a shrinkage and thresholding function that smoothly thresholds the singular values to obtain more accurate and robust estimation of the data matrix. Furthermore, the proposed function is differentiable so that the thresholding values can be adaptively calculated during the iterations using Stein unbiased risk estimate. The experimental results demonstrate that the proposed algorithm yields a more accurate estimation with a faster execution than other matrix completion algorithms in image inpainting problems.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.1
• /
• pp.15-31
• /
• 2013

This paper proposes an intermediate image generation method for the viewer's view point by tracking the viewer's face, which is converted to a digital hologram. Its purpose is to increase the viewing angle of a digital hologram, which is gathering higher and higher interest these days. The method assumes that the image information for the leftmost and the rightmost view points within the viewing angle to be controlled are given. It uses a stereo-matching method between the leftmost and the rightmost depth images to obtain the pseudo-disparity increment per depth value. With this increment, the positional informations from both the leftmost view point and the rightmost view point are generated, which are blended to get the information at the wanted intermediate viewpoint. The occurrable dis-occlusion region in this case is defined and a inpainting method is proposed. The results from implementing and experimenting this method showed that the average image qualities of the generated depth and RGB image were 33.83[dB] and 29.5[dB], respectively, and the average execution time was 250[ms] per frame. Also, we propose a prototype system to service digital hologram interactively to the viewer by using the proposed intermediate view generation method. It includes the operations of data acquisition for the leftmost and the rightmost viewpoints, camera calibration and image rectification, intermediate view image generation, computer-generated hologram (CGH) generation, and reconstruction of the hologram image. This system is implemented in the LabView(R) environments, in which CGH generation and hologram image reconstruction are implemented with GPGPUs, while others are implemented in software. The implemented system showed the execution speed to process about 5 frames per second.

• Journal of the Institute of Convergence Signal Processing
• /
• v.24 no.1
• /
• pp.69-75
• /
• 2023

In recent years, there has been a growing interest in deep learning-based animal pose estimation, especially in the areas of animal behavior analysis and healthcare. However, existing animal pose estimation techniques do not perform well when body parts are occluded or not present. In particular, the occlusion of dog tail or ear might lead to a significant degradation of performance in pet behavior and emotion recognition. In this paper, to solve this intractable problem, we propose a simple yet novel framework for pet pose estimation where pet pose is predicted on an outpainted image where some body parts hidden outside the input image are reconstructed by the image inpainting network preceding the pose estimation network, and we performed a preliminary study to test the feasibility of the proposed approach. We assessed CE-GAN and BAT-Fill for image outpainting, and evaluated SimpleBaseline for pet pose estimation. Our experimental results show that pet pose estimation on outpainted images generated using BAT-Fill outperforms the existing methods of pose estimation on outpainting-less input image.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.369-372
• /
• 2011

본 논문에서는 가상 시점 생성 시 발생하는 홀 영역의 메움 기법에 관하여 기하학적 제약조건을 이용한 예제 기반 영상 인페인팅 기술을 제안한다. 생성된 가상 시점이 실제 카메라들의 중간에 위치하는 경우, 이 때 발생하는 홀 영역은 시점 간 보상으로 메울 수 있다. 하지만, 가상 시점이 실제 카메라들의 Field-of-View를 벗어난 경우에는 홀 영역에 대한 정보가 없기 때문에 이를 메우는데 어려운 문제가 따른다. 이러한 문제를 해결하기 위해 제안한 방법은 예제 기반의 영상 인페인팅 기술을 이용하여 홀 영역을 메운다. 제안한 방법은 홀 영역의 기하학적 특성을 제약조건으로 우선순위(Priority)를 계산한다. 최적의 패치를 찾기 위해 컬러 정보뿐만 아니라 깊이 정보(Depth)를 활용한다. 또한, 전경 물체의 텍스쳐로 인하여 잘못된 패치가 선택되는 문제를 해결하기 위해 적응적으로 패치 크기를 변경한다. 실험 결과에서 제안한 방법은 일반적인 홀 메움 방식과 비교하여 객관적 평가와 주관적 평가 모두에서 시각적으로 우수한 결과를 보여주었다.

• Proceedings of the KSRS Conference
• /
• 2009.03a
• /
• pp.13-17
• /
• 2009

고해상도 위성영상의 분류 기술은 최근 가장 활발히 연구되고 있는 분야 중 하나로 텍스쳐(texture), NDVI, PCA 영상 등 다양한 전처리 정보들을 추출하고 이를 멀티스펙트럴 밴드와 조합하여 분류 정확도를 높이는 기술을 개발하는 연구들이 주를 이루고 있다. 고해상도 위성영상에서 건물의 그림자와 옆벽면의 폐색 지역은 개체 추출 및 분류를 방해하는 주된 요인이 되며, 다양한 형태와 분광특성을 갖는 개개의 건물은 자동 분류 과정을 통해 제대로 식별되지 않는다는 한계를 갖는다. 이에 본 연구에서는 KOMPSAT-2 단영상으로부터 효율적으로 건물 정보 및 토지피복을 분류하기 위하여, 추출된 건물 정보를 바탕으로 건물의 그림자와 폐색지역을 보정한 후 비건물 지역에 대한 분류를 수행하여 분류 정확도를 높이고자 하였다. 우선 삼각벡터구조 기반의 반자동 인터페이스를 이용하여 건물의 3차원 모델 및 그림자 영역을 추출하고 이로부터 추출된 그림자 영역을 효과적으로 보정하기 위해 반복 선형회귀 연산을 이용한 그림자 보정을 수행한 후 inpainting 기법을 건물 폐색영역 복원에 적용하여 영상의 품질을 향상시켰다. 이러한 과정을 통해 도심 지역의 영상 분석에 있어 가장 큰 오차를 일으키는 인공물의 그림자와 폐색에 의한 오차를 최소화한 후 분류에 적용하여 이를 보정 전 영상을 이용한 분류 결과와 비교하였다.