• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.369-372
• /
• 2011

본 논문에서는 가상 시점 생성 시 발생하는 홀 영역의 메움 기법에 관하여 기하학적 제약조건을 이용한 예제 기반 영상 인페인팅 기술을 제안한다. 생성된 가상 시점이 실제 카메라들의 중간에 위치하는 경우, 이 때 발생하는 홀 영역은 시점 간 보상으로 메울 수 있다. 하지만, 가상 시점이 실제 카메라들의 Field-of-View를 벗어난 경우에는 홀 영역에 대한 정보가 없기 때문에 이를 메우는데 어려운 문제가 따른다. 이러한 문제를 해결하기 위해 제안한 방법은 예제 기반의 영상 인페인팅 기술을 이용하여 홀 영역을 메운다. 제안한 방법은 홀 영역의 기하학적 특성을 제약조건으로 우선순위(Priority)를 계산한다. 최적의 패치를 찾기 위해 컬러 정보뿐만 아니라 깊이 정보(Depth)를 활용한다. 또한, 전경 물체의 텍스쳐로 인하여 잘못된 패치가 선택되는 문제를 해결하기 위해 적응적으로 패치 크기를 변경한다. 실험 결과에서 제안한 방법은 일반적인 홀 메움 방식과 비교하여 객관적 평가와 주관적 평가 모두에서 시각적으로 우수한 결과를 보여주었다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2009년도 춘계학술대회 논문집
• /
• pp.13-17
• /
• 2009

고해상도 위성영상의 분류 기술은 최근 가장 활발히 연구되고 있는 분야 중 하나로 텍스쳐(texture), NDVI, PCA 영상 등 다양한 전처리 정보들을 추출하고 이를 멀티스펙트럴 밴드와 조합하여 분류 정확도를 높이는 기술을 개발하는 연구들이 주를 이루고 있다. 고해상도 위성영상에서 건물의 그림자와 옆벽면의 폐색 지역은 개체 추출 및 분류를 방해하는 주된 요인이 되며, 다양한 형태와 분광특성을 갖는 개개의 건물은 자동 분류 과정을 통해 제대로 식별되지 않는다는 한계를 갖는다. 이에 본 연구에서는 KOMPSAT-2 단영상으로부터 효율적으로 건물 정보 및 토지피복을 분류하기 위하여, 추출된 건물 정보를 바탕으로 건물의 그림자와 폐색지역을 보정한 후 비건물 지역에 대한 분류를 수행하여 분류 정확도를 높이고자 하였다. 우선 삼각벡터구조 기반의 반자동 인터페이스를 이용하여 건물의 3차원 모델 및 그림자 영역을 추출하고 이로부터 추출된 그림자 영역을 효과적으로 보정하기 위해 반복 선형회귀 연산을 이용한 그림자 보정을 수행한 후 inpainting 기법을 건물 폐색영역 복원에 적용하여 영상의 품질을 향상시켰다. 이러한 과정을 통해 도심 지역의 영상 분석에 있어 가장 큰 오차를 일으키는 인공물의 그림자와 폐색에 의한 오차를 최소화한 후 분류에 적용하여 이를 보정 전 영상을 이용한 분류 결과와 비교하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.25-28
• /
• 2012

본 논문에서는 키넥트(Kinect)에서 획득한 깊이 영상의 품질을 향상시키는 기법을 제안한다. 키넥트는 마이크로소프트사에서 출시한 카메라로 깊이 영상과 컬러 영상을 획득 할 수 있다. 하지만 적외선 패턴을 이용한 깊이 영상의 획득 방법의 한계로 인해 객체의 경계 주변으로 홀 및 잡음이 생긴다. 따라서 정확한 깊이 영상을 얻기 위해서는 깊이 영상의 품질 향상이 필수적이다. 일반적으로 깊이 영상의 홀을 채울 때, 인페인팅(inpainting) 또는 결합형 양방향 필터(joint bilateral filter) 등의 기법을 사용한다. 그러나 이러한 기법들의 경우 한 장의 영상만을 이용하기 때문에 객체 경계 주변의 흔들림 현상을 보정할 수 없다. 제안하는 기법에서는 먼저 수행속도가 빠른 가우시안 필터를 이용하여 경계 주변의 홀을 채운다. 이전 프레임의 컬러 영상을 그레이 영상으로 변환한 다음에 그레이 영상과 깊이 영상의 값의 변화를 분석하여 흔들림 화소를 찾아 이전 깊이 영상들 중 최대 화소 값으로 변환함으로써 깊이 영상의 경계 흔들림 현상을 줄일 수 있다. 실험을 통해 제안하는 기법이 기존의 방법들 보다 우수하다는 것을 확인하였다.

• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제17권3호
• /
• pp.197-207
• /
• 2013

The Cahn-Hilliard equation was proposed as a phenomenological model for describing the process of phase separation of a binary alloy. The equation has been applied to many physical applications such as amorphological instability caused by elastic non-equilibrium, image inpainting, two- and three-phase fluid flow, phase separation, flow visualization and the formation of the quantum dots. To solve the Cahn-Hillard equation, many numerical methods have been proposed such as the explicit Euler's, the implicit Euler's, the Crank-Nicolson, the semi-implicit Euler's, the linearly stabilized splitting and the non-linearly stabilized splitting schemes. In this paper, we investigate each scheme in finite-difference schemes by comparing their performances, especially stability and efficiency. Except the explicit Euler's method, we use the fast solver which is called a multigrid method. Our numerical investigation shows that the linearly stabilized stabilized splitting scheme is not unconditionally gradient stable in time unlike the known result. And the Crank-Nicolson scheme is accurate but unstable in time, whereas the non-linearly stabilized splitting scheme has advantage over other schemes on the time step restriction.

• ETRI Journal
• /
• 제38권5호
• /
• pp.996-1007
• /
• 2016

This paper presents new hole-filling methods for generating multiview images by using depth image based rendering (DIBR). Holes appear in a depth image captured from 3D sensors and in the multiview images rendered by DIBR. The holes are often found around the background regions of the images because the background is prone to occlusions by the foreground objects. Background-oriented priority and gradient-oriented priority are also introduced to find the order of hole-filling after the DIBR process. In addition, to obtain a sample to fill the hole region, we propose the fusing of depth and color information to obtain a weighted sum of two patches for the depth (or rendered depth) images and a new distance measure to find the best-matched patch for the rendered color images. The conventional method produces jagged edges and a blurry phenomenon in the final results, whereas the proposed method can minimize them, which is quite important for high fidelity in stereo imaging. The experimental results show that, by reducing these errors, the proposed methods can significantly improve the hole-filling quality in the multiview images generated.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.47-50
• /
• 2016

객체를 추적하는 기술은 컴퓨터 비전 분야에서 활발히 연구되고 있는 분야 중 하나이다. 그 중 고정된 단일 카메라를 이용한 객체 추적 기술은 비디오 감시(Surveillance) 등에서 활용되고 있다. 고정된 카메라 환경에서 객체를 추적하는 방법 중 배경 모델링(Background Modeling)을 이용한 방법은 간단하면서도 널리 사용되는 방법 중 하나이다. 객체의 움직임이나 특징을 분석하여 배경 모델을 생성한 후 배경 정보를 이용하여 전경을 분리하면 쉽게 객체를 추출할 수 있다. 그러나 객체의 움직임이 적은 경우 해당 영역에서의 배경 모델은 정확하게 생성될 수 없다. 배경 모델을 학습하는 동안 객체가 충분이 움직이면 이런 문제를 해결할 수 있으나 객체가 움직이기 전까지는 오류가 지속된다. 이런 문제를 해결하기 위해 본 논문에서는 인페인팅(Inpainting)을 이용하여 움직임이 적은 영역을 보정하여 정확한 배경 모델을 생성하는 방법을 제안한다. 배경 모델을 생성한 후 객체로 식별할 수 있는 후보 영역을 식별한다. 선정된 영역들 중 사용자가 객체로 판단되는 영역을 선택하여 해당 영역에 대해 인페인팅으로 화소값 및 가중치들을 보정한다. 보정된 영상으로 배경 모델링을 수행하면 움직임이 적은 영역에 대해서도 효과적으로 배경 모델을 생성 할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• Journal of Information Technology Applications and Management
• /
• 제30권6호
• /
• pp.69-80
• /
• 2023

Ship collision accidents not only cause loss of life and property damage, but also cause marine pollution and can become national disasters, so prevention is very important. Most of these ship collision accidents are caused by human factors due to the navigation officer's lack of vigilance and carelessness, and in many cases, they can be prevented through the support of a system that helps with situation awareness. Recently, artificial intelligence has been used to develop systems that help navigators recognize the situation, but the sea is very wide and deep, so it is difficult to secure maritime traffic datasets, which also makes it difficult to develop artificial intelligence models. In this paper, to solve these difficulties, we propose a method to build a dataset with characteristics similar to actual maritime traffic datasets. The proposed method uses segmentation and inpainting technologies to build a foreground and background dataset, and then applies compositing technology to create a synthetic dataset. Through prototype implementation and result analysis of the proposed method, it was confirmed that the proposed method is effective in overcoming the difficulties of dataset construction and complementing various scenes similar to reality.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권10호
• /
• pp.2663-2678
• /
• 2012

Due to sharp depth transition, big holes may be found in the novel view that is synthesized by depth-image-based rendering (DIBR). A hole-filling method based on disparity map is proposed. One important aspect of the method is that the disparity map of destination image is used for hole-filling, instead of the depth image of reference image. Firstly, the big hole detection based on disparity map is conducted, and the start point and the end point of the hole are recorded. Then foreground pixels and background pixels are distinguished for hole-dilating according to disparity map, so that areas with matching errors can be determined and eliminated. In addition, parallaxes of pixels in the area with holes and matching errors are changed to new values. Finally, holes are filled with background pixels from reference image according to these new parallaxes. Experimental results show that the quality of the new view after hole-filling is quite well; and geometric distortions are avoided in destination image, in contrast to the virtual view generated by depth-smoothing methods and image inpainting methods. Moreover, this method is easy for hardware implementation.

• 방송공학회논문지
• /
• 제23권4호
• /
• pp.503-510
• /
• 2018

손상된 영상의 복원은 디지털 영상 처리기술이 등장하기 이전부터 시도되었던 근원적 문제이다. 컴퓨터의 연산 능력과 다양한 기술의 발전에 따라 손상된 영상을 복원하는 다양한 연구가 소개되었으나 그 결과는 사람에 의한 수동적 결과물과 비교하여 낮은 복원 결과를 보여 왔다. 최근 심층 신경망 (DNN, Deep Neural Network)의 발전으로 이미지 복원에 이를 적용한 다양한 연구가 소개 되고 있지만, 광범위한 영역이 손상된 경우 근접한 화소를 활용하는 방법으로 해결이 어렵다. 이와 같은 경우는 주변의 영상의 문맥적 정보를 통해 손상된 영역을 추론을 통한 복원이 필요하다. 본 논문에서는 심층 신경망 기술 중 하나인 적대적 생성신경망(GAN, Generative Adversarial Network)을 이용한 이미지 복원 네트워크를 제안한다. 제안하는 시스템은 이미지 생성 네트워크, 생성 결과 판별 네트워크로 구성 된다. 본 논문에서는 제안하는 방안을 통해 다양한 종류의 이미지를 복원함에 있어서 훼손된 영역의 추론을 통하여 자연스러운 영상 복원뿐 아니라 원본 영상의 질감까지 복원이 가능함을 실험을 통해 확인 하였다.