• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.228-230
• /
• 2016

본 논문은 깊이 영상 기반의 렌더링 방식을 이용하는 다시점 영상 시스템에서 새로운 프레임율 변환(Frame Rate Up-Conversion, FRUC) 방식을 소개한다. 제안된 방식은 깊이 영상을 이용해 각각의 블록을 세부 영역으로 나누고, 주변 시점의 영상을 이용해 각각 세부 영역의 폐쇄 영역의 정보를 복원한다. 복원된 폐쇄 영역의 정보와 기존의 세부 영역의 정보를 이용해 움직임 예측 및 보상을 수행한다. 제안하는 방법은 폐쇄 영역이 발생하는 영역에서 기존의 방법보다 정확한 움직임 예측을 수행한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.248-249
• /
• 2010

본 논문에서는 최근 국내 및 국제 표준화 작업이 활발히 진행되고 있는 3DV/FTV(Free viewpoint TV)를 위한 코딩에 대하여 알아본다. 먼저 기존의 2D 영상 코딩 방법을 사용하여 Texture와 Depth를 코딩하고, 복원한 영상을 사용하여 가상시점 영상을 합성하여, 코딩된 영상의 품질과 합성된 영상의 품질 사이의 관계에 대해서 알아본 후, 고품질 3DV/FTV 서비스를 위해 고려해야 할 사항들에 대하여 살펴본다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.600-603
• /
• 2020

360 영상은 시청자가 시야방향을 결정하는 3DoF(3 Degree of Freedom)를 지원한다. 본 연구에서는 다수의 360 영상에서 깊이 정보를 획득하고, 이를 DIBR (Depth -based Image Rendering) 기법을 사용하여 임의 시점 시청기능을 제공하는 6DoF(6 Degree of Freedom) 영상제작 기법을 제안한다. 이를 위하여 기존의 평면 다시점 영상기법을 확장하여 360 ERP 투영 영상으로부터 카메라의 파라미터 예측을 하는 방법과 깊이영상 추출 방법을 설계 및 구현하고 그 성능을 조사하였으며, OpenGL 그래픽스기반의 RVS(Reference View Synthesizer) 라이브러리를 사용하여 DIBR을 적용하였다.

• 방송공학회논문지
• /
• 제14권2호
• /
• pp.164-177
• /
• 2009

DIBR(depth image-based rendering) 기법은 한 장의 칼라 영상과 그에 대응하는 깊이맵을 이용하여 수신측에서 가상의 좌우 영상을 생성하여 시청자에게 깊이감을 제공해주는 방법이다. 이 때 생성되는 좌우 영상의 화질과 깊이감은 좌우 영상의 시점에 해당하는 가상 카메라의 간격에 영향을 받게 된다. 본 논문에서는 가상 카메라의 간격 조절을 통해 양질의 깊이감을 제공하는 기법을 제안한다. 영상의 기하 분석에 따르면 스테레오스코픽 영상의 변이가 증가할수록 영상의 왜곡이 줄어들어 깊이감이 좋아지게 되나, 이 경우에는 그에 따른 영상의 열화가 고려되지 않았다. 실험결과에 따르면 영상열화나 시역형성의 제한 등으로 인해 변이의 증가폭에 제한이 있음을 알 수 있다. 변이 증가폭을 늘리기 위해서는 영상의 열화 현상을 줄여야 하므로 깊이맵의 전처리 과정을 추가하였다. 제안하는 방법은 시청자의 요구에 따라 카메라의 위치와 시점을 추가적으로 조절할 수 있게 하는 양방향 서비스를 추가로 제공하므로 3차원 TV 뿐만 아니라, DMB와 같은 이동형 방송 시스템에도 적용이 가능하다.

• 한국콘텐츠학회논문지
• /
• 제14권12호
• /
• pp.555-564
• /
• 2014

DIBR(Depth Image Based Rendering)을 이용한 영상 합성 시에 발생하는 경계 잡음은 원래 전경 영역에 속하던 화소가 배경으로 흩어져 나와 생성된 잡음이며, 이는 주로 참조 영상과 깊이지도 간 경계 불일치나 참조 영상에서의 블러링 때문에 발생된다. 영상 합성 과정에서 발생된 홀 영역은 일반적으로 주위 화소를 이용하여 채워지게 되므로, 홀에 인접한 경계 잡음은 합성 영상의 화질을 저하시키는 주요 원인으로 작용한다. 이 문제를 해결하기 위해 본 논문은 깊이지도의 전처리를 이용한 새로운 경계 잡음 제거 알고리즘을 제안한다. 기존의 전처리 기법들은 경계 불일치에 따른 경계 잡음의 제거를 위해 참조 영상과 깊이지도의 경계가 일치되도록 깊이지도를 수정한다. 그러나 대부분의 기존 기법들이 신호 기울기 기반의 단순 경계 탐색 알고리즘에 기반을 두고 있어 블러링이 존재하는 경계에서는 탐색 성능의 저하가 나타난다. 제안 알고리즘은 이의 해결을 위해 2단계 경계 탐색을 이용함으로써 이행 영역과 배경 영역 간 경계를 보다 효과적으로 탐색할 수 있는 구조를 제안하였다. 실험 결과를 통해 제안 알고리즘이 기존 알고리즘에 비해 우수한 경계 잡음 제거 성능을 가짐을 보인다.

• 한국정보통신학회논문지
• /
• 제16권8호
• /
• pp.1642-1652
• /
• 2012

일반적인 화상회의 시스템에서는 카메라의 위치가 모니터 중앙에 위치하여 있지 않기 때문에 화자간의 시점 불일치 현상이 발생하게 되며 따라서 대화 시 현장감이 떨어지는 문제가 발생한다. 본 논문에서는 컬러 카메라와 깊이 카메라(depth camera)를 이용하여 획득한 컬러 영상과 깊이 정보를 가지고 DIBR(Depth image based rendering) 기반의 시점 일치(eye-contacted) 영상을 생성하는 기법을 제안한다. 제안하는 기법에서는 생성된 시점 일치 영상에서 발생하는 홀(hole)을 인접 화소 값의 산술평균을 이용하여 효율적으로 채울 수 있는 홀 채움 기법과 객체 경계에서 발생하는 잡음을 효율적으로 제거하기 위해 깊이 정보에서 획득된 객체의 경계를 확장하여 보정하는 기법이 포함되어 있다. 제안하는 기법으로 생성된 시점 일치 영상은 매우 좋은 화질을 갖는다는 것을 실험을 통하여 보였다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.655-664
• /
• 2020

자유시점 영상합성기술은 MPEG-I(Immersive) 표준에서 중요한 기술 중 하나이다. 현재 MPEG-I에서 개발하여 사용하는 RVS (Reference View Synthesizer) 프로그램은 다수의 시점의 컬러영상과 깊이영상을 바탕으로 임의시점의 영상을 생성하는 DIBR (Depth Information-Based Rendering) 프로그램이다. RVS는 기존의 DIBR이 갖는 깊이정보 전달의 문제를 컴퓨터 그래픽스의 메쉬 표면 방식으로 접근하여 이전 화소방식에 비하여 2.5dB 이상의 성능향상을 보이며 OpenGL을 사용하면 CPU에서 동작하는 코드보다 10배 이상의 속도를 보인다. 그러나 여전히 2개의 2k 해상도 입력 영상에서 0.75fps 정도의 비실시간 처리속도를 보인다. 본 논문에서는 현 RVS의 내부 구현을 분석하고 이를 바탕으로 1) OpenGL 버퍼와 텍스쳐 객체의 재사용 2) 파일 입출력과 OpenGL 실행의 병렬화 3) GPU 셰이더 프로그램과 버퍼 데이터 전송의 병렬화를 적용하였다. 그 결과 두 개의 2k 해상도 입력 영상의 처리속도를 34배 이상 가속하여 22-28fps의 실시간 성능을 확보하였다.

• 한국정보통신학회논문지
• /
• 제18권3호
• /
• pp.551-561
• /
• 2014

3차원 영상을 생성하기 위해 깊이영상과 텍스쳐 영상의 활용이 보편화되면서 이들 영상에 대한 보호도 많은 관심을 받고 있다. 본 논문에서는 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안한다. 3D 워핑을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에 2차원 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환한다. 이 계수의 일부를 양자화하여 워터마크를 삽입한다. 삽입된 워터마크는 확인이 되지 않기 때문에 비가시성을 확인할 수 있었고, 일반적인 영상처리 공격에 의해서 강인함을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권7호
• /
• pp.3558-3577
• /
• 2017

In 2D-to-3D video conversion process, the virtual left and right view can be generated from 2D video and its corresponding depth map by depth image based rendering (DIBR). The depth map plays an important role in conversion system, so the copyright protection for depth map is necessary. However, the provided virtual views may be distributed illegally and the depth map does not directly expose to viewers. In previous works, the copyright information embedded into the depth map cannot be extracted from virtual views after the DIBR process. In this paper, a new copyright protection scheme for the depth map is proposed, in which the copyright information can be detected from the virtual views even without the depth map. The experimental results have shown that the proposed method has a good robustness against JPEG attacks, filtering and noise.

• Journal of information and communication convergence engineering
• /
• 제9권2호
• /
• pp.197-200
• /
• 2011

In this paper, we propose a multi-view stereoscopic image synthesis algorithm for 3DTV system using depth information with an RGB texture from a depth camera. The proposed algorithm synthesizes multi-view images which a virtual convergence camera model could generate. Experimental results showed that the performance of the proposed algorithm is better than those of conventional methods.