• 한국통신학회논문지
• /
• 제31권1C호
• /
• pp.55-64
• /
• 2006

본 논문에서는 실시간으로 입력되는 스테레오 영상에 효과적인 시차 추정 기법을 적용한 새로운 웹 기반의 원격 다시점 3D 화상 통신 시스템을 구현하였다. 제시된 방법에서는 먼저, IEEE 1394 방식의 스테레오 카메라를 이용하여 자체 설계된 Intel Xeon 서버 시스템을 통해 실시간으로 입력되며, 입력된 스테레오 영상을 중심으로 특징점의 크기에 따라 세밀하면서도 정확한 시차 지도를 검출한 뒤, 검출된 시차지도와 좌 영상을 Directshow SDK를 이용하여 네트워크 채널로 연결된 클라이언트 영역으로 전송하게 된다. 전송된 클라이언트 영역에서는 수신된 시차지도와 좌 영상을 중심으로 정확한 우 영상을 복원한 뒤, 중간시점 합성 기법을 이용하여 16시점의 다시점 입체 화상 통신을 이루게 된다. 각기 다른 상황에서 촬영된 'Joo' 영상과 'Hoon'영상을 웹 기반의 실시간 전송 및 중간영상 합성 실험결과, 본 논문에서 제안된 전송기법으로 우 영상을 복원할 경우 각각 30dB, 27dB의 높은 PSNR이 측정되었으며, 4시점의 8비트 영상을 전송할 경우, 각각 67.2ms의 속도로 디스플레이 함으로써 이를 통한 새로운 실시간 웹 기반의 원격 3D 화상 통신 시스템의 실질적인 구현 가능성을 제시하였다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1070-1075
• /
• 2009

본 논문에서는 3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법을 제안한다. 제안하는 방법은 깊이맵의 시간적 상관도를 향상시키기 위해 깊이값을 추정하는 과정에서 기존의 정합 함수에 이전 프레임에서 추정한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 중간시점 영상을 합성하는 과정에서 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점 영상을 합성할 때, 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 (disocclusion) 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용하여 경계 잡음을 처리한다. 컴퓨터 모의실험 결과를 통해 깊이맵의 시간적 상관도를 향상시켜서 사용자의 시각적 피로감을 줄일 수 있었고, 배경 잡음이 사라진 자연스러운 중간시점 영상을 생성할 수 있었다.

• 한국통신학회논문지
• /
• 제27권6A호
• /
• pp.610-617
• /
• 2002

본 논문에서는 적응적 변이추정 기법을 이용한 새로운 중간시점영상합성 방법을 제시하였다. 즉, 스테레오 입력 영상으로부터 특징값을 추출하고, 설정된 임계값과 비교하여 특징값의 크기를 결정한 다음, 특징값의 크기에 따라 정합창의 크기를 적응적으로 선택하여 정합함으로써 중간시점의 영상을 합성하는 새로운 기법을 제안하였다. 제안된 기법에서는 배경과 같인 특징값이 작은 영역에서는 비교적 큰 정합창에 의한 블록정합이 이루어지고 물체의 윤곽선과 같이 특징값이 큰 영역에서는 상대적으로 작은 정합창에 의한 미세한 정합이 적응적으로 수행되기 때문에 전체적인 정합성능의 개선뿐만 아니라 기존의 기법에서 나타나는 오정합이나 블록화 현상등의 문제점 해결의 가능성을 제시하였다. 또한, 'Parts' 및 'Piano' 영상을 사용한 실험결과 본 논문에서 새로이 제안한 중간시점 영상합성 방법은 기존의 방식에 비해 평균적으로 PSNR은 약 2.32∼4.16dB가 향상되었고, 수행시간은 약 39.34∼65.58% 감소됨을 확인하였다.

• 한국통신학회논문지
• /
• 제26권11A호
• /
• pp.1872-1879
• /
• 2001

본 논문에서는 다시점 영상에서 영상의 특성을 고려하여 효율적으로 미세 변이를 추정하고 중간 시점 영상을 합성하는 알고리듬을 제안하며 이를 모의 실험을 통해 검증한다. 제안한 방법은 영역분할 양방향 화소정합을 통해 변이 추정의 수행 속도를 향상시키는 동시에 신뢰도를 높이며, 적절한 비용함수의 제안과 유사 영역에 대한 정합 창 확장 알고리듬, 변이 평활화와 불확실 영역 변이 할당 알고리듬을 통해 잘못 할당된 변이와 불확실 영역을 제거함으로서 변이의 신뢰도를 더욱 높일 수 있다. 이렇게 추정된 변이는 다시점 영상의 중간 시점 영상 합성을 위해 사용된다. 제안된 방식을 통해 기존의 방식들보다 더욱 안정적인 변이 정보를 얻을 수 있었고, 합성된 중간 시점 영상도 객관적으로나 주관적으로나 더욱 좋은 결과를 보였으며, 또한 전체적인 수행 시간도 줄어들어 더 효율적인 알고리듬임을 확인할 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 추계학술발표논문집
• /
• pp.101-104
• /
• 2001

3차원 TV를 구현하기 위한 기술은 아날로그 TV, 디지털 TV, HDTV에 이어 차세대의 TVRL 기술로서 미국, 유럽, 일본 등에서 국가의 대형연구과제로 연구되고 있다. 이를 위한 중요기술로서 다 시점 입체영상구현을 위한 많은 연구들이 진행되고 있다. 다 시점 입체영상 구현을 위하여서는 많은 시점의 영상들이 필요한데 여기에는 카메라 설치, 데이터 전송 등에서 많은 문제가 존재한다. 이런 문제를 해결하기 위하여 본 논문에서는 적은 량의 정보로 양질의 디스플레이를 할 수 있는 한 기법으로 중간영상합성 기법을 제안한다. 본 연구의 결과를 평가하기 위해 기존 방법과 비교한 결과 좋은 효과를 보였다.

• 한국정보통신학회논문지
• /
• 제19권1호
• /
• pp.127-135
• /
• 2015

본 연구에서는 DIBR(Depth-Image-Based Rendering) 기법을 사용한 다시점 중간 영상 생성을 하는데 있어서 최종 중간 영상의 화질을 개선하기 위한 방법으로 깊이 정보의 확장과 메쉬 구성 (즉, 표면 재구성) 그리고 이 방법들을 교차 적용하여 어떤 것이 가장 좋은 결과를 낼 수 있는 지에 대해서 실험하였다. 마이크로소프트사에서 제공하는 브레이크 댄서와 발레 영상을 사용하여 실험 결과를 살펴보았고 다양한 틈새 영역 채움 알고리즘을 적용시켜 분석해 보았다. 실험 결과는 기존의 점 구름만을 활용하는 것보다 깊이 정보를 확장하는 방법과 메쉬 구성 방법을 모두 시켰을 때 가장 좋은 결과가 나타났다. 그리고 틈새 영역 채움 알고리즘을 적용하기 전에는 깊이 확장만으로도 충분히 화질이 향상됨을 확인할 수 있었다.

• 한국통신학회논문지
• /
• 제40권12호
• /
• pp.2530-2538
• /
• 2015

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다.

• 정보처리학회논문지B
• /
• 제10B권5호
• /
• pp.561-566
• /
• 2003

본 논문에서는 파노라마 기반 네비게이션 시스템에서 한 시점에서 다른 시점으로 이동할 때 자연스럽게 장면을 전환할 수 있는 알고리즘을 제안한다. 제안된 방법은 두 파노라마 영상에서 시선 방향을 일치시키는 사전 워핑(prewarping) 단계와 시선 방향이 일치된 두 영상에서 대응점을 찾아 중간 시점의 영상을 생성하는 양방향 시차 몰핑(bidirectional disparity morphing) 단계로 나누어진다. 사전 워핑은 FFT를 이용해서 두 영상간의 위상 관계를 분석한 후, 두 영상간의 변위, 회전, 및 스케일의 변화를 계산하여 시선 방향을 일치시킨다. 그리고 양방향 시차 몰핑에서는 블록 단위의 시차 벡터(disparity vector)를 계산하고, 가려질 영역에 대한 정확한 시차를 교정하기 위해 가려짐 패턴을 이용하였다. 제안된 방법은 실제 파노라마 영상에 적용하여 실험하였고, 그 결과 두 파노라마 영상 사이를 자연스럽게 이동할수 있었다.

• 방송공학회논문지
• /
• 제4권1호
• /
• pp.59-67
• /
• 1999

본 논문에서는 입체 영상 시스템 중 전송단에서의 영상의 입체감 분석을 위한 변이추정 과정과 수신단에서의 중간시점영상 재구성 방식에 대해 중점적으로 연구하였다. 변이추정은 기본적으로 MAE(mean absolute error)를 최소가 되도록 하는 동시에, 블록의 변이를 각 방향에서의 영상의 벼화량에 반비례하게 평활화하는 반복적 블록 정합 방식을 제안하여 적용하였다. 수신단에서는 복원된 영상과 변이 정보를 이용하여 중간시점 영상을 재구성하였으며, 보간법(interpolation)을 사용하는 동시에 좌 또는 우영상의 가려진 영역(occlusion)에서는 좌우 영상 중 한 영상에서의 외삽법(extrapolation)을 사용하여 변이-보상 변이 전달방식으로 이를 합성하였다. 이 변이 추정 방식으로영상의 평활 영역에서 일정하게 평활화된 변이를 추정하여 변이 정보에 대한 정보량을 줄이고, 경계부분에서는 평활화 방식에서 흔히 발생하는 과평활화 문제를 해결하였다. 또한 IVR 에서는 다른 방식에 비해 영상의 경계 부분을 보존하며, occlusion 영역을 잘 살리는 특성을 보였다.

• 한국정보통신학회논문지
• /
• 제16권8호
• /
• pp.1642-1652
• /
• 2012

일반적인 화상회의 시스템에서는 카메라의 위치가 모니터 중앙에 위치하여 있지 않기 때문에 화자간의 시점 불일치 현상이 발생하게 되며 따라서 대화 시 현장감이 떨어지는 문제가 발생한다. 본 논문에서는 컬러 카메라와 깊이 카메라(depth camera)를 이용하여 획득한 컬러 영상과 깊이 정보를 가지고 DIBR(Depth image based rendering) 기반의 시점 일치(eye-contacted) 영상을 생성하는 기법을 제안한다. 제안하는 기법에서는 생성된 시점 일치 영상에서 발생하는 홀(hole)을 인접 화소 값의 산술평균을 이용하여 효율적으로 채울 수 있는 홀 채움 기법과 객체 경계에서 발생하는 잡음을 효율적으로 제거하기 위해 깊이 정보에서 획득된 객체의 경계를 확장하여 보정하는 기법이 포함되어 있다. 제안하는 기법으로 생성된 시점 일치 영상은 매우 좋은 화질을 갖는다는 것을 실험을 통하여 보였다.