• 한국통신학회논문지
• /
• 제40권6호
• /
• pp.1175-1184
• /
• 2015

3D 영상의 획득을 위해 이용하는 깊이 지도는 영상의 깊이 정보를 가지고 있다. 그러나 일반적으로 고해상도이며 잡음이 제거된 고화질의 깊이 지도를 카메라로부터 직접 획득하는 것은 어렵다. 그래서 저해상도의 깊이 지도를 획득하고 업샘플링 및 전/후 영상처리를 통해 높은 품질의 고해상도 깊이 지도를 획득하는 기법들이 연구되고 있다. 하지만 기존의 연구는 영상의 질에 큰 변수로 작용하는 에지 부분의 효과적 업샘플링이 미흡하다. 그래서 본 논문은 에지 부분을 차별적으로 고려하는 인지적인 특성을 반영한 영상품질향상 연구에 초점을 맞춰 결합 양방향 필터의 가중치를 적응적으로 조절함으로써 깊이 지도와 합성 영상을 개선한 고해상도의 깊이 지도를 얻는 업샘플링 방법을 제안하였다. 제안 방식을 기존의 방식과 비교하였을 때 PSNR 측면과 주관적 품질에서 이득이 있음을 보였다.

• 디지털융복합연구
• /
• 제10권9호
• /
• pp.351-356
• /
• 2012

본 논문은 단일영상의 실안개 정보와 상대적 높이 단서를 기반으로 깊이 지도를 생성하고, 이를 이용하여 2D/3D 변환을 하는 기법에 관한 연구이다. 기존의 실안개 정보만을 깊이 지도로써 이용하는 경우, 안개가 없는 영상에서 오류가 발생할 수 있다. 본 논문에서는 이러한 오류를 줄이기 위해, 상대적 높이 단서 기반의 깊이 지도를 생성하고, 실안개 정보와 결합하는 방법을 제안하였다. 또한 Mean Shift Segmentation을 이용한 gray scale 영상과 실안개 정보의 깊이 지도를 결합하여 객체의 경계를 선명화함으로써 3D 영상의 품질을 향상시킬 수 있도록 하였다. 입력영상과 최종 깊이 지도를 DIBR(Depth Image Based Rendering)을 통해 좌영상과 우영상의 시점영상을 생성하고, 적청영상의 형태로 결합함으로써 3D 영상을 생성하였고, 깊이 지도간의 PSNR을 측정하여 검증하였다.

• 한국ITS학회 논문지
• /
• 제20권6호
• /
• pp.313-330
• /
• 2021

카메라와 라이다가 탑재된 자율주행 시스템에서 깊이완성기술을 통해 조밀한 깊이추정을 할 수 있다. 특히, 자기지도학습을 이용하면 깊이정답이 없는 주행데이터로도 깊이완성 네트워크의 학습이 가능하다. 실제 자율주행환경에서 이러한 깊이완성의 출력은 다른 알고리즘들의 입력으로 사용되므로 매우 빠른 지연속도를 요구한다. 그래서 본 논문에서는 종래의 연구들처럼 네트워크를 고도화하여 정확도를 높이기보단 추론속도를 극대화한 형태의 깊이완성 네트워크를 사용한다. GPU 연산에 최적화된 RegNet 인코더를 사용하고 네트워크의 병렬성을 고려한 U-Net 형태의 네트워크를 설계한다. 대신, 본 논문에서는 자기지도학습 과정에서 정확도를 높일 수 있는 몇 가지 기법들을 제시한다. 제시하는 기법들은 신뢰할 수 없는 라이다 입력에 대한 강인함을 높이고 사전에 추출한 시맨틱 정보를 바탕으로 에지와 하늘 영역에 대한 깊이 추정 품질을 향상시킨다. 실험을 통해 우리의 모델은 매우 경량임에도 (2.42ms at 1280x480) 노이즈에 강하며 최신 연구들과 대등한 정확도를 보임을 확인한다.

• 한국정보통신학회논문지
• /
• 제17권12호
• /
• pp.2927-2936
• /
• 2013

본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.

• 방송공학회논문지
• /
• 제13권4호
• /
• pp.427-439
• /
• 2008

본 논문에서는 일반 단일 시점의 축구 비디오를 스테레오스코픽 영상으로 변환하는 방법을 제안한다. 축구 비디오 분석 과정을 통하여 축구 비디오를 일정한 종류의 샷으로 분류하고, 분류된 샷 종류에 따른 깊이지도 생성 방법을 제안한다. 원거리 샷의 경우에는 운동장 영역 추출을 통하여 운동장 영역에 깊이기도 (Depth Map)을 생성하는 방법을 제안한다. 그리고 비 원거리 샷의 경우, 운동장 영역 블록 수와, 간단한 피부색 발견 알고리즘을 통해 생성한 스킨 블록의 수에 따라 다시 3가지로 샷을 분류하고, 각 종류의 샷에 따른 깊이지도 생성 방식 1) 오브젝트 영역 추출을 통한 깊이지도 생성, 2) 스킨 블록을 이용한 전경 영역 추출과 가우시안 함수를 이용한 깊이기도 생성, 그리고 3) 스킨블록이 없는 상황에서의 깊이기도 생성 방법을 제안한다. 제안한 방법을 통하여 생성한 깊이 지도를 이용하여, 스테레오스코픽 영상을 생성하는 방법을 소개하고, 생성한 실험영상을 결과로 제공한다. 그리고 주관적 깊이감 품질 평가를 통해서, 제안된 방법을 통해 생성된 영상이 원본 영상에 비해 깊이감이 향상됨을 증명한다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제5권9호
• /
• pp.237-246
• /
• 2016

DIBR (Depth Image Based Rendering)은 동일 시점의 색상 영상과 깊이 영상을 참조해서 임의 개수의 중간 시점 영상을 생성하는 기법으로 무안경식 다시점 입체 디스플레이를 위한 콘텐츠 제작에 활용할 수 있다. 본 연구에서는 DIBR 기법을 사용해서 생성되는 다시점 중간 영상의 객관적 품질에 깊이 정확도가 미치는 영향에 대해 설명한다. 본 연구는 먼저 사람이 인지할 수 없는 범위에서 왜곡을 보장하기 위한 최소 깊이 양자화 계수를 도출한다. 그리고 장면 구성의 특성에 따라 같은 양자화 수준에서 깊이 정보의 정확도를 효과적으로 표현하기 위한 비균등 영역분할 양자화 방법을 선형 양자화와 비교 분석한 결과를 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.140-141
• /
• 2012

최근 영상분야의 키워드는 초고품질화, 초실감화, 스마트화로 대표될 수 있다. 그 중에서도 무안경식 3D는 초실감화를 이루기 위한 핵심응용분야 중 하나이다. 하지만 무안경식 3D 단말기가 성공적으로 보급되기 위해서는 연구되어야 할 분야가 여전히 존재한다. 그 중에서도 본 논문에서는 고화질의 무안경식 3D 스마트 콘텐츠 제작에 필요한 자동 스테레오 정합 기법을 제안하였다. 이전까지 연구된 변이지도 추출을 위한 알고리즘은 전역적 최적화 방법을 사용할 시 영상의 해상도와 깊이 정도에 따른 연산량의 증가로 많은 수행시간이 요구되었다. 또한 좌/우 영상의 intensity 정보만으로는 정확한 변이지도 추출이 어렵다는 한계점이 존재하였다. 이러한 이유로 본 논문에서는 스트림 영상에서 프레임 간의 정보를 이용하여 신뢰지도와 경계정보를 생성하였으며 belief propagation 스테레오 정합 방법을 이용하여 고화질의 정확한 변이지도를 추출하였다. 또한, 알고리즘의 연산량에 대한 문제를 해결하기 위한 고속화 방안으로, 최근 많은 연구가 이루어지고 있는 GPU(graphics processing units) 를 이용한 병렬처리를 연구하였다. 마지막으로 연구결과의 신뢰성을 향상하기 위하여 다양한 데이터를 이용한 실험을 통해 고화질의 영상정보를 고속으로 추출할 수 있음을 확인하였다.

• 스마트미디어저널
• /
• 제3권1호
• /
• pp.52-62
• /
• 2014

입체 디스플레이 보급의 보편화가 진행됨에 따라, 입체 콘텐츠의 수요가 증가하고 있다. 이러한 증가에 맞추어 2010년도를 기점으로 2D to 3D 변환 콘텐츠가 부족한 수요를 충족시킬 대안으로 제시되었다. 그러나 입체효과만을 강조한 2D to 3D 변환콘텐츠가 생산되면서 시각적 피로도와 입체감에 대한 품질의 저하가 문제로 지적되고 있다. 본 연구에서는 2011년 개봉한 '명장 관우'에서, 13개 Scene을 선별하여 입체 변환 콘텐츠로 제작하고, 변환에 적용된 Depth-Map의 품질이 시각적 피로도와 입체감을 표현하는데 있어서, 적정성을 가지는가의 여부를 전문가 그룹을 대상으로 인터뷰 및 설문조사를 시행하였다. 움직임의 변화가 많은 영상에 적용한 Depth-Map의 구성방식은 입체변환 기술에 많이 사용되는 방법으로 전(前) 후(後)관계의 분석을 통해 계단식 구성방식으로 깊이 단계 지도를 제작하게 된다. 실험을 통하여, 본 연구에서 제시한 Depth-Map의 구성이 입체변환 콘텐츠 제작에 있어 시각적 피로도를 낮추고 입체감 향상에 타당한지에 대한 결과를 도출하였으며, 실험에 응한 전문가 그룹의 과반수이상이 긍정적인 반응을 표시하였다. 본 연구의 결과 빠른 움직임을 가지는 2D영상을 3D영상으로 변환하는데 적용한 계단식 Depth-map의 구성방식으로도 시각적 피로도를 감소시키고, 입체감 인식을 증가시키는데 효율성을 가진다는 결과를 도출하였다.