• 한국콘텐츠학회지
• /
• 제8권1호
• /
• pp.12-17
• /
• 2010

• 스마트미디어저널
• /
• 제2권4호
• /
• pp.27-33
• /
• 2013

다시점 영상 시스템은 실감나는 3차원 입체감을 제공하고, 사용자로 하여금 자유로운 시점을 선택할 수 있게 한다. 하지만 한 번에 많은 양의 데이터를 전송하는 것은 어려운 일이므로 두 시점 흑은 세 시점의 영상을 전송하고, 깊이 정보를 이용하여 중간 시점의 영상을 합성하여 제공한다. 본 논문에서는 양안식 영상으로부터 고품질의 다시점 영상을 생성하는 방법을 제안한다. 먼저 스테레오 정합은 폐색 영역을 비롯한 모든 화소들의 정확한 변위 값을 찾을 수 없기 때문에, 배경 값을 이용하여 폐색 영역의 화소들을 처리하는 방법을 제안한다. 또한 합성 영상의 품질을 저하시키는 변위 영상 내의 물체 경계선 불일치 문제점 해결을 위해 결합형 양방향 필터를 적용한다. 마지막으로 불량 화소와 빈 공간때문에 발생하는 오류를 줄이기 위해 신뢰 영상을 이용하여 중간 시점의 영상을 생성한다. 실험을 통해 제안한 방법을 이용할 때 기존의 방법보다 합성 성능이 뛰어남을 확인했다.

• 한국통신학회논문지
• /
• 제33권12C호
• /
• pp.1029-1038
• /
• 2008

본 논문에서는 다시점 동영상에서 임의시점영상을 생성하기 위한 기법과 생성된 영상 내에 존재하는 미처리 영역을 보상하기 위한 전처리 및 후처리 기법을 제안한다. 임의시점영상을 생성하기 위한 방법으로는 카메라의 기하학적 특성을 이용하는 방법을 사용한다. 다시점 영상의 깊이정보와 카메라의 파라미터 정보를 이용하여 텍스쳐 영상 내 화소들의 실제 3차원 좌표를 얻어낼 수 있고, 산출된 3차원 좌표를 다른 시점 카메라의 2차원 영상면으로 재 배치함으로써 원하는 시점의 영상을 생성할 수 있다. 하지만 생성된 영상 내에는 다수의 미처리 영역이 존재한다. 본 논문에서는 영상의 시간적인 중복성, 공간적인 방향성, 획득된 다시점 영상 또는 깊이정보의 오차의 특징을 고려하여 미처리 영역을 보상하는 방법을 제안한다. 제안한 방법을 적용한 결과 30dB 이상의 PSNR과 3.5이상의 DSCQS(double stimulus continuous quality scale method) 점수를 얻음으로써 객관적, 주관적 평가에서 모두 신뢰도가 높은 임의시점 영상을 생성할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.193-198
• /
• 2009

Generally a TV broadcast video of ball sports is composed from those of multiple cameras strategically mounted around a stadium under the supervision of a master director. The director decides which camera the current view should be from and how the camera work should be. In this paper, such a decision rule is based on the 3D location of ball which is the result of multi-view tracking. While current TV sports broadcast are accompanied with professional cameramen and expensive equipments, our system requires few video cameras and no cameraman. The resulted videos were stable and informative enough to convey the flow of a match.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1070-1075
• /
• 2009

본 논문에서는 3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법을 제안한다. 제안하는 방법은 깊이맵의 시간적 상관도를 향상시키기 위해 깊이값을 추정하는 과정에서 기존의 정합 함수에 이전 프레임에서 추정한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 중간시점 영상을 합성하는 과정에서 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점 영상을 합성할 때, 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 (disocclusion) 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용하여 경계 잡음을 처리한다. 컴퓨터 모의실험 결과를 통해 깊이맵의 시간적 상관도를 향상시켜서 사용자의 시각적 피로감을 줄일 수 있었고, 배경 잡음이 사라진 자연스러운 중간시점 영상을 생성할 수 있었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
• /
• pp.111-114
• /
• 2003

In this paper, we propose a depth-based mesh modeling method to generate virtual environment. The proposed algorithm constructs mesh model from unorganized point cloud obtained from a multi-view camera. We separate the point cloud consisting objects from the background. Then, we apply triangulation to each object and background. Since the objects and the background are modeled independently, it is possible to construct effective virtual environment. The application of proposed modeling method is applicable to entertainment, such as movie and video game and effective virtual environment generation.

• 한국통신학회논문지
• /
• 제39B권9호
• /
• pp.590-597
• /
• 2014

본 논문은 고품질 파노라마 영상 획득을 위하여 대상 공간을 여러 대의 카메라로 촬영 시, 촬영 정보를 제공하는 모니터링 시스템과 클라우드 컴퓨팅을 이용한 생성 과정 분산 처리에 관한 것이다. 파노라믹 비디오의 특성상 이웃 카메라 간 일정한 중복영역을 가져야 하지만 이로 인하여 동일한 촬영 대상에 대해 촬영 화각이 다르고, 카메라의 물리적인 크기로 인하여 촬영 중심점을 동일하게 맞추기 어려운 상황에서 2D 입력 영상기반으로 모니터링 하여 카메라를 보정하는 경우 시차원인으로 오보정이 발생하는 문제가 있다. 이를 해결하기 위하여 카메라별 촬영 화각에 따라 3차원으로 투영하여 모니터링 함으로써 카메라 오보정 문제를 최소화하고 획득 영상의 품질을 높이는 3차원 기반 모니터링 시스템을 제안한다. 또한 여러 영상을 하나의 영상으로 합성하는 파노라믹 비디오 생성알고리즘은 합성 정보추출과 합성, 두 부분으로 나눌 수 있는데 이를 클라우드와 클라이언트에 적절히 분산하여 고화질의 파노라믹 비디오를 효율적으로 서비스 하는 방법에 대해 제안한다.

• 방송공학회논문지
• /
• 제11권4호
• /
• pp.471-482
• /
• 2006

본 논문은 깊이맵의 정보 분해(information decomposition)와 적응적 경계 평탄 필터링(adaptive edge smooth filtering)을 이용하여 다시점 영상을 생성하는 방법을 제안한다. 제안한 방법은 깊이맵의 경계 영역에 평탄 필터링을 수행한 후, 깊이맵을 네 가지 종류의 분해 영상, 즉, 규칙 메쉬 영상, 경계 영상, 특징점 영상, 계층의 수 영상으로 변환한다. 그런 다음, 네 가지의 분해 영상에 3차원 메쉬 표현법을 적용하여 3차원 장면을 생성하고, 3차원 공간에서 가상 카메라의 위치를 변경하여 생성한 3차원 장면으로부터 다시점 영상을 추출한다. 실험 결과는 제안한 방법이 rubber-sheet 문제를 최소화하여 다시점 영상을 성공적으로 생성할 수 있었고, 깊이맵의 정보 분해를 통해 실시간으로 3차원 장면을 렌더링할 수 있었음을 보여준다. 또한, 제안한 방법은 기존의 방법과 달리 깊이맵 정보를 보존하기 때문에, 깊이 키잉(depth keying)과 같이 깊이 정보를 이용하는 3차원 응용에 활용할 수 있다.

• 방송공학회논문지
• /
• 제17권5호
• /
• pp.838-850
• /
• 2012

본 논문에서는 스테레오 영상에서 얻은 다양한 특징들을 이용하여 다시점 영상을 생성하는 방법을 제안한다. 제안된 기법에서는 먼저 주어진 스테레오 영상에서 명암변화 주목도 지도(intensity gradient saliency map)를 생성한다. 다음으로 좌우 영상 간에 블럭 단위의 움직임을 나타내는 광류(optical flow)를 계산하고 scale-invariant feature transform(SIFT) 기법을 통해 사물의 크기와 회전에 변하지 않는 영상의 특징 점을 구하여 이 특징점 간의 변이를 구한 다음, 이 두 변이 정보들을 결합하여 변이 주목도 지도(disparity saliency map)를 생성 한다. 생성된 변이 주목도 지도는 가려짐 영역 검출을 통해 오류 변이가 제거된다. 세 번째로 영상 워핑시에 직선의 왜곡을 최소화하기 위해 직선 세그먼트를 얻는다. 마지막으로 다시점 영상은 이렇게 추출된 영상 특징들을 제한 조건으로 사용하여 그리드 메쉬(grid-mesh) 기반 영상 워핑(warping) 기법에 의해 생성된다. 실험 결과를 통해 제안한 기법으로 생성된 다시점 영상의 화질이 기존 DIBR 기법보다 우수한 것을 확인할 수 있었다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.