• 전자공학회논문지
• /
• 제54권8호
• /
• pp.67-80
• /
• 2017

본 논문에서는 추정된 시공간 배경 정보를 이용하여 자유 시점에서 합성영상을 생성하기 위한 홀채움 방식을 제안한다. 시간적 배경 정보를 추정하기 위해 비겹침 패치 기반의 배경 코드북을 이용한 새로운 시간적 배경 모델을 소개한다. 더불어, 공간적 배경 후보의 하한 및 상한 값의 제약 조건을 설정하는 깊이영상 기반 공간적 국부 배경 예측 방식에 대해 제안한다. 추정된 시간적 배경 정보와 공간적 배경 정보의 유사도를 비교하여 가려짐 배경 영역의 홀채움 과정을 수행한다. 또한 3-D 워핑 후 발생하는 컬러영상과 깊이영상간의 불일치 문제를 해결하기 위해 깊이영상 기반의 고스트 제거 필터를 기술한다. 마지막으로 잔여 홀을 채우기 위해 새로운 깊이 항을 포함한 우선순위 함수를 이용하여 인페인팅 방식이 적용된다. 실험 결과를 통해 기존의 홀채움 방식들과 비교하여 제안하는 방식의 객관적, 주관적 성능의 우수성을 확인할 수 있었다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.

• 전기전자학회논문지
• /
• 제20권1호
• /
• pp.31-44
• /
• 2016

본 논문에서는 자유 시점 텔레비전에서 시점 합성 영상 획득을 위해 시공간적 배경 정보 추정 기반 홀 채움 방식을 제안한다. 신뢰할 수 있는 시간적 배경 정보를 획득하기 위해 새로운 배경 코드북의 구성 및 갱신하는 과정을 수행한다. 더불어, 공간적인 국부 배경 정보 추정을 위해 홀 영역의 배경 및 전경 영역의 구별 및 갱신 과정을 수행한다. 추정된 시공간 배경 정보를 조합하여 홀 채움 과정을 수행하고, 잔여 홀 채움을 수행하기 위해 깊이 배경 정보를 이용한 우선순위 함수를 결정하여 표본 기반 인페인팅 기법을 적용한다. 실험 결과를 통해 제안 방식은 기존방식들과 비교하여 평균 0.3~0.6dB의 성능 향상이 있음을 확인하였으며, 동영상 특성 및 홀 형태에 관계없이 제안된 방식이 새로운 시점 영상을 효과적으로 합성할 수 있음을 확인할 수 있었다.

• 융합신호처리학회논문지
• /
• 제8권4호
• /
• pp.249-254
• /
• 2007

본 논문은 실명(loss of eyesight)의 원인 중 하나인 녹내장의 진행과 진단 등의 의료 정보제공을 목적으로 양방향 곡선 전개 방식을 이용하여 망막 영상에서 시신경 원판(optic disk)의 경계를 검출하는 방법을 제안한다. 정확한 경계 검출을 위하여 PDE 기반의 Image inpainting 방법으로 시신경 원판 위를 지나는 혈관을 제거하고 전처리 과정에서 발생하는 잡음제거와 경계의 보존을 위해 비등방성 필터링(anisotropic filtering)을 행한다. 혈관이 제거된 망막 영상에서 시신경 원판의 경계 검출은 초기 곡선에 강인한 양방향 곡선 방식으로 검출한다. 실험결과, 제안한 방법이 전체영상의 블러링 현상뿐만 아니라 시신경 원판 경계의 블러링 현상을 줄일 수 있었고, 기존의 방법에 비하여 정확한 경계를 검출할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제44권5호
• /
• pp.54-63
• /
• 2007

본 논문은 영상 완성(image completion)을 위해 계층적으로 적용되는 새로운 에너지 최적화 방식을 제안한다. 영상 완성의 목적은 영상의 특정 영역이 지워진 상태에서, 그 지워진 부분을 나머지 부분과 시각적으로 어울리도록 완성시키는 기법을 말한다. 본 논문에서는 전역적 특징의 탐지, 주변 환경 변화에 대한 유연성, 계산비용의 감소, 영상 인페인팅과 같은 관련기법들로의 확장성 문제들을 다룰 수 있도록 마르코프 랜덤 필드(Markov Random Field)로 모델링 된 예제 기반 방식(exampler-based mehtod) 접근법을 택한다. 그리고 MRF에서의 에너지 최적화를 위해 BP 알고리즘(Belief Propagation Algorithm)의 변형인 우선순위 BP 알고리즘(Priority-Belief Propagation Algorithm)을 적용하였다. 본 논문에서 제안한 계층적 우선순위 BP 알고리즘(Hierarchical Priority-Belief Propagation Algorithm)은 MRF의 정점의 수를 줄이고 메시지를 계층적으로 전파한다. 이렇게 계층적 우선순위 BP 알고리즘을 영상 완성에 적용하여 여러 영상들에서 바람직한 결과를 얻었다.

• 스마트미디어저널
• /
• 제3권4호
• /
• pp.28-34
• /
• 2014

최근 깊이 영상 기반 합성 방법을 이용한 가상시점 합성 방법이 3차원 영상의 적용 분야에서 많이 사용되고 있다. 가상 시점 영상은 기존에 알고 있는 영상과 이와 관련된 깊이 영상 정보를 이용하여 카메라로 촬영 하지 않은 가상시점 영상을 생성하게 된다. 하지만 깊이 영상 기반 합성 방법을 이용해 가상시점 영상을 생성할 경우, 깊이 영상을 기반으로 합성하기 때문에 이미지 워핑 과정에서 폐색 영역이 발생하게 된다. 이러한 폐색 영역을 제거하기 위해 지금까지 다양한 홀 채움 방법들이 제안되어 왔다. 동일 색상영역 검색, 수평방향 보간 방법, 수평방향 보외 방법 그리고 다양한 인페인팅 방법들이 홀 채움 방법들로 제안되었다. 하지만 이러한 방법들을 사용하여 텍스쳐 영역의 홀을 제거할 경우 다른 종류의 간섭 현상이 발생하는 문제가 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 다양한 방향성을 고려한 홀 채움 방법을 새롭게 제안하여 확장된 홀 영역을 효율적으로 채우는 방법을 설명한다. 제안된 방법들은 복잡한 텍스쳐들이 있는 배경부분에서 발생하는 홀 영역을 채울 때 성능 효율성을 나타낸다. 방향성을 고려한 홀 채움 방법은 픽셀 단위로 홀 채움 영역 값을 측정하는 과정에서 홀 영역의 주변 텍스쳐 픽셀 값들을 사용하게 된다. 제안한 방법을 이용해 가상시점 영상 합성 결과 발생하는 홀 영역을 기존의 홀 채움 방법보다 보다 더 효율적으로 채울 수 있는 것을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.48-60
• /
• 2011

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.