• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 추계학술대회
• /
• pp.175-177
• /
• 2010

본 논문에서는 MPEG 의 3차원 비디오 시스템의 표준 깊이정보 맵에 대한 효율적인 부호화를 위하여 전처리 방법을 제안한다. 현재 3차원 비디오 부호화(3DVC)에 대한 표준화가 진행 중에 있지만 아직 깊이정보 맵의 부호화 방법에 대한 표준이 확정되지 않은 상태이다. 제안하는 기법에서는 우선, 입력된 깊이정보 맵에 대하여 원래의 히스토그램 분포를 가우시안 혼합모델(GMM)기반의 EM 군집화 기법에 의한 방법으로 분리 후, 분리된 히스토그램을 기반으로 깊이정보 맵을 여러 개의 영상으로 분리한다. 그 후 분리된 각각의 영상을 배경과 객체에 따라 다른 조건의 mean shift filter로 필터링한다. 결과적으로 영상내의 각 영역 경계는 최대한 살리면서 영역내의 화소 값에 대해서는 평균 연산을 취하여 부호화시 효율을 극대화 하고자 하였다. 실험조건은 $1024{\times}768$ 영상에 대해서 50 프레임으로 H.264/AVC base 프로파일로 부호화를 진행하였다. 최종 실험결과 bit rate는 대략 23% ~ 26% 정도 감소하고 부호화 시간도 다소 줄어드는 것을 확인 할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.87-90
• /
• 2009

영상의 깊이 정보를 추출하는 것은 매우 어려운 연구이다. 다양한 유형의 영상 구조의 분석이 필요하지만 많은 경우에 주관적인 판단의 도움이 필요하다. 본 논문에서는 로스 텍스처 필터를 기반으로 정지 영상의 깊이를 자동으로 생성하는 방법을 제안한다. 로스 텍스처 필터는 단안 비전에서 3D 깊이를 얻기 위한 방법으로 활용되었는데, 실제 2D 영상에서 깊이를 예측하기 위해 텍스처 편차, 텍스처 기울기, 색상 등을 활용한다. 로스 필터는 $1{\times}5$ 벡터로부터 콘볼루션을 이용하여, 20여개의 $5{\times}5$ 콘볼루션 필터가 구해지는데, 영상에 필터를 적용하여 로스 에너지를 계산한다. 구해진 에너지를 깊이 맵으로 변환하고, 깊이 맵에서 특징 점을 구하고, 특징 점들로부터 델러노이 삼각화를 이용하여 삼각형 깊이 메쉬를 얻는다. 구해진 깊이 맵의 성능을 측정하기 위해 카메라 시점을 변경하면서 영상의 3D 구조를 분석하였으며, 입체영상을 생성하여 3D 입체 시청 결과를 분석하였다. 실험에서는 로스 텍스처 필터를 이용하는 깊이 생성 방법이 좋은 효과를 얻는 것을 확인하였다.

• 방송공학회논문지
• /
• 제20권2호
• /
• pp.204-214
• /
• 2015

업샘플링 깊이맵은 깊이 카메라로부터 획득된 깊이맵의 공간 해상도를 증가시키는 방법이다. 깊이맵의 성능은 입체영상, 멀티뷰의 3D 입체감과 밀접한 관계가 있다. PSNR 등의 객관적 메트릭으로 깊이맵의 업샘플링 성능을 평가하고, 생성된 입체영상은 주관적 평가를 통해서 입체감 및 시각적 피로도를 조사한다. 후자의 주관적 평가는 인적 물적 자원을 필요로 하는 반면에, 전자의 객관적 메트릭은 수학적 표현으로 정량적 수치값을 알려준다. 따라서 주관적 평가와 높은 상관관계를 가지는 객관적 메트릭이 주관적 평가를 대체할 수 있다면 많이 시간을 필요로 하는 주관적 평가가 불필요하다. 이를 위해 본 논문에서는 다양한 객관적 메트릭과 3D 주관적 평가 사이의 관계를 조사한 후에, 이용한 메트릭에 기반한 주관평가와 상관관계가 높은 객관적 메트릭을 제안한다. 업샘플링된 깊이맵의 성능을 측정하기 위해 다양한 참조영상 및 무참조영상 평가 메트릭들을 이용하였다. 주관적 평가는 DSCQS 입체영상 테스트로 수행되었다. 세 종류의 상관관계의 활용 및 분석을 통해서, SSIM과 Edge-PSNR이 주관적 평가를 대체할 수 있는 적합한 객관적 메트릭임을 실험을 통해서 검증하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
• /
• pp.424-427
• /
• 2007

스테레오 영상으로부터 3차원 구조를 복원하기 위해서는 깊이맵에 해당하는 시차맵을 생성해야 한다. 시차맵 생성을 위해서는 정합비용을 계산하고, 집성한 후에 시차를 계산하는 절차로 이루어진다. 본 논문에서는 스테레오 영상으로부터 빠르고 안정된 시차맵을 생성하기 위해서 후처리 과정으로 각 스캔라인에 대해서 분산을 이용하여 세그멘테이션을 한 후에 세그멘테이션 별로 평균을 내어 객체간의 구분을 명확히 한다. 조밀 시차맵을 생성하기 위해서는 시차 계산에 실패한 화소들에 대해서도 시차를 계산해야 하는데 본 논문에서는 간단하게 인접 화소의 값을 복사하는 방법으로 홀을 메우는 방법을 제안한다. 실제 환경에서의 다양한 스테레오 영상에 대한 실험 결과들은 제안된 시차맵 생성과 홀을 메우는 방법이 기존의 시차맵 생성 기법만큼 빠르고 기존의 방법보다 좀더 안정적이고 다양한 컴퓨터 비전 시스템응용에 적용될 수 있음을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.352-355
• /
• 2011

본 논문에서는 깊이 맵의 재배열 과정을 통해서, 보다 개선된 영상을 합성하는 방법을 제안한다. 제안하는 방법은 전체 깊이 맵을 여러 그룹(Group)으로 나누고, 각각의 그룹에 서로 다른 가중치를 주어 가까운 물체에 좀 더 많은 깊이 값을 가질수 있도록 조절하였다. 깊이 맵 추정(Depth Estimation) 및 중간 시점 영상의 합성(View Synthesis)을 통하여 기존 방식과의 비교를 진행하였고 그 결과, 전체적인 비디오 시퀀스(Video Sequence)에 대한 PSNR은 유지하면서, 보다 시각적으로 자연스러운 영상을 얻을 수 있었다.

• 한국정보통신학회논문지
• /
• 제15권5호
• /
• pp.1155-1163
• /
• 2011

본 논문에서는 깊이 맵(depth map)에 대한 효율적인 부호화를 위하여 전처리 기법을 제안한다. 현재 3차원 비디오 부호화(3D video coding : 3DVC)에 대한 표준화가 진행 중에 있지만 아직 깊이 맵의 부호화 방법에 대한 표준은 확정되지 않은 상태이다. 제안하는 기법에서는 먼저 입력된 깊이 맵의 히스토그램 분포를 가우시안 혼합모델(Gaussian mixture model : GMM) 기반의 EM(expectation maximization) 군집화 기법을 이용하여 분리한다. 분리된 히스토그램을 기반으로 깊이 맵을 여러 개의 레이어로 분리하게 된다. 분리된 각각의 레이어에서 배경과 객체의 포함여부에 따라 다른 조건의 민쉬프트 필터(mean shift filter)를 적용한다. 결과적으로 영상내의 각 영역 경계는 최대한 살리면서 영역내의 화소 값에 대해서는 평균 연산을 취하여 부호화시 효율을 극대화 하고자 하였다. 다양한 실험영상에 대하여 제안한 기법을 적용한 깊이 맵을 부호화하여 비트율(bit rate)이 감소하고 부호화 시간도 다소 줄어드는 것을 확인 할 수 있었다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1070-1075
• /
• 2009

본 논문에서는 3차원 영상 생성을 위한 깊이맵 추정 및 중간시점 영상합성 방법을 제안한다. 제안하는 방법은 깊이맵의 시간적 상관도를 향상시키기 위해 깊이값을 추정하는 과정에서 기존의 정합 함수에 이전 프레임에서 추정한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 중간시점 영상을 합성하는 과정에서 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점 영상을 합성할 때, 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 (disocclusion) 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용하여 경계 잡음을 처리한다. 컴퓨터 모의실험 결과를 통해 깊이맵의 시간적 상관도를 향상시켜서 사용자의 시각적 피로감을 줄일 수 있었고, 배경 잡음이 사라진 자연스러운 중간시점 영상을 생성할 수 있었다.

• 방송공학회논문지
• /
• 제16권1호
• /
• pp.44-53
• /
• 2011

본 논문에서는 depth layer partition을 이용한 2D 동영상의 자동 3D 변환 기법을 제안한다. 제안하는 기법에서는 먼저 2D 동영상의 장면 전환점을 검출하여 각각의 프레임 그룹을 설정하여 움직임 연산 과정에서의 오류 확산을 방지하여 깊이맵(depth map) 생성과 정에서 오차를 줄여준다. 깊이정보는 두 가지 방법으로 생성되는데 하나는 영역 분할과 움직임 정보를 이용하여 깊이맵을 추출하는 것이고 다른 하나는 에지 방향성 히스토그램(edge directional histogram)을 이용하는 방법이다. 제안하는 기법에서는 객체와 배경을 분리하는 depth layer partition 과정을 수행한 후 생성된 두 개의 깊이맵을 원 영상에 최적이 되도록 병합하게 된다. 제안된 기법으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있다는 것을 다양한 실험 결과를 통해 알 수 있다.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.31-43
• /
• 2014

깊이맵은 3D 입체영상의 생성을 위해 중요한 요소이다. 하지만 깊이 카메라를 이용하여 획득한 깊이맵들은 낮은 해상도를 갖는 단점이 있기 때문에 이를 고해상도로 변환하는 연구들이 활발하게 진행되고 있다. 이러한 연구들은 일반적으로 PSNR, Sharpness Degree, Blur Metric 등과 같은 객관적인 평가방법으로 성능을 검증해왔다. 이러한 평가방법 이외에 DIBR로 가상시점(virtual view)을 생성하여 주관적으로 평가하는 연구도 있으나, 입체영상을 생성하여 깊이맵 업샘플링의 성능을 분석하는 것은 많지 않다. 본 논문에서는 다양한 깊이맵 업샘플링 방법들을 이용하여 생성된 입체영상의 주관적 평가와 업샘플링 방법의 객관적 평가 결과의 상관관계 및 선형회귀법을 이용하여 관련성을 분석한다. 실험결과에서는 에지 PSNR이 시각적 피로도와의 상관관계가 가장 높고, Blur Metric은 가장 낮다는 것을 보여준다. 또한 선형회귀에서는 최적의 입체영상을 얻을 수 있는 객관적 평가의 가중치를 구하고, 기존 또는 새로운 업샘플링 알고리즘의 3D성능을 예측할 수 있는 공식을 보여준다.

• 대한전자공학회논문지SP
• /
• 제45권3호
• /
• pp.1-10
• /
• 2008

점유맵은 3차원 공간상에서 장애물이 놓인 부분과 빈 공간을 구분해서 2차원 평면상에 표현하는 방식으로 자율 내비게이션이나 물체 인식 등을 위해 사용된다. 본 논문에서는 스테레오 영상에서 추출된 깊이 정보를 활용하여 3차원 공간의 점유맵을 구축하고 그 정보를 물체 영역 추출에 활용하는 기법을 제안한다. 스테레오 깊이 영상에서 기반 평면을 추출한 다음, 각 정합점들을 기반 평면 중심 좌표계로 투사하여 점유맵을 추출한다. 본 연구에서는 이렇게 추출된 점유맵을 활용하여 실내외의 다양한 환경에서 움직임 물체 영역을 추출하였는데, 실제 실험 영상을 홍해 제안된 방식의 유용성을 확인한다.