• 한국정보과학회논문지:시스템및이론
• /
• 제33권11호
• /
• pp.853-858
• /
• 2006

본 논문에서는 깊이 영상기반의 3차원 그래픽 객체에 대하여 그래픽 처리 장치(Graphics Processing Unit, GPU)의 가속을 이용한 고속의 렌더링 기법을 제안한다. 제안하는 알고리즘은 최근의 그래픽 처리 장치의 새로운 특징과 프로그래밍이 가능한 쉐이더 기법을 이용하여, 속도가 느리거나 정적인 조명과 같은 기존의 일반적인 깊이 영상기반 렌더링 방법이 갖고 있는 단점을 극복할 수 있다. 깊이 영상기반 데이타의 3차원 변환 및 조명에 의한 효과 연산은 정점 쉐이더(vertex shader)에서 수행을 하고, 점 데이타의 적응적인 스플래팅(splatting)은 화소 쉐이더(fragment shader)에서 수행된다. 모의 실험결과, 소프트웨어 렌더링 또는 OpenGL 기반의 렌더링과 비교해서 괄목할 만한 렌더링 속도의 향상이 이루어졌다.

• 정보과학회 논문지
• /
• 제44권2호
• /
• pp.186-194
• /
• 2017

깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1188-1193
• /
• 2006

본 논문에서는 동적 객체의 3 차원 정보를 표현하는 깊이 영상의 노이즈 필터링 방법을 제안한다. 실제 객체의 동적인 3 차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 이용하여 실시간으로 획득되며, 일련의 깊이 영상, 즉 깊이 비디오(depth video)로 표현될 수 있다. 하지만 측정환경의 조명조건, 객체의 반사속성, 카메라의 시스템 오차 등으로 인해 깊이 영상에는 고주파 성분의 노이즈가 발생하게 된다. 이를 효과적으로 제거하기 위해 깊이 영상기반의 모델링 기법(depth image-based modeling)을 이용한 3 차원 메쉬 모델링을 수행한다. 생성된 3 차원 메쉬 모델은 깊이 영상의 노이즈로 인해 경계 영역과 형상 내부 영역에 심각한 형상 오차를 가진다. 경계 영역의 오차를 제거하기 위해 깊이 영상으로부터 경계 영역을 추출하고, 가까운 순서로 정렬한 후 angular deviation 을 이용하여 불필요하게 중복된 점들을 제거한다. 그리고 나서 2 차원 가우시안 스무딩 기법을 적용하여 부드러운 경계영역을 생성한다. 형상 내부에 대해서는 경계영역에 제약조건을 주고 3 차원 가우시안 스무딩 기법을 적용하여 전체적으로 부드러운 형상을 생성한다. 최종적으로 스무딩된 3 차원 메쉬모델을 렌더링할 때, 깊이 버퍼에 있는 정규화된 깊이 값들을 추출하여 원래 깊이 영상과 동일한 깊이 영역을 가지도록 저장함으로서 전역적으로 연속적이면서 부드러운 깊이 영상을 생성할 수 있다. 제안된 방법에 의해 노이즈가 제거된 깊이 영상을 이용하여 고품질의 영상기반 렌더링이나 깊이 비디오 기반의 햅틱 렌더링에 적용할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제4권2호
• /
• pp.15-28
• /
• 1998

최근 영상 기반 렌더링(image-based rendering)을 위한 새로운 접근방법으로서 광학 흐름 요소 렌더링(optical flow rendering)이 제안되었다. 이 방법은 좌우 영상 대응(stereo matching)에서 발생하는 오류와 무관하게 고품질의 영상을 생성할 수 있고 깊이 정보 비교를 통해 기존의 렌더링 방법으로 생성한 영상과 광학 흐름 요소로부터 생성한 영상을 합성할 수 있는 반면에, 한 화소 당 하나 이상의 광학 흐름 요소를 필요로하기 때문에 연산량이 많아져 영상 생성이 느려지는 단점이 있었다. 본 논문에서는 실시간 영상 생성을 위한 광학 흐름 요소 구성법과 영상 생성법을 제안한다. 각각의 광학 흐름 요소가 영상 내에서 화소들의 구간에 대응되도록 개선하여 전체 광학 흐름 요소의 수를 줄였으며, 필터링 탐색법 (filtering search)을 적용하여 전체 광학 흐름 요소를 모두 탐색하는 대신 실제로 영상 생성에 사용되는 광학 흐름 요소만을 탐색함으로써 전체 연산량을 크게 줄였다. 제안된 방법을 SGI Indigo2 Impact 워크스테이션(R10000 CPU; 128 Mbytes)상에서 구현한 결과, 초당 10장 이상의 고속 영상 생성이 가능했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 춘계학술발표대회
• /
• pp.67-70
• /
• 2009

본 논문에서는 지상파 DMB에서의 DIBR(깊이 영상 기반 렌더링) 기반의 3차원 서비스를 위한 깊이 영상 전처리 방법을 제안한다. 지상파 DMB 환경에서의 3차원 서비스는 HD급 화질의 3차원TV와 달리 작은 화면을 통해 3차원 영상이 출력되고, 3차원 영상의 전송량에 제약이 따르기 때문에 DIBR을 이용한 3차원 서비스 모델이 주목 받고 있다. 그러나 DIBR을 이용하여 3차원 서비스를 하는 경우에 획득된 깊이 영상을 그대로 사용하게 되면 비 폐색 영역으로 인한 홀이 발생하게 되고, 깊이 영상의 연속성으로 인해 객체 내에 홀이 발생되는 문제점을 가지게 된다. 이에 깊이 영상이 가지는 값을 화소의 이동거리와 특성에 따라 같은 값으로 조절하여 객체 내에 발생되는 홀의 수를 감소시키고, 경사도 방향 기반 평활화 필터를 이용하여 깊이 영상의 비연속성을 줄여 홀을 분산시킴으로서 렌더링된 3차원 영상의 입체감을 유지하면서 화질을 향상시켰다.

• 한국정보통신학회논문지
• /
• 제16권7호
• /
• pp.1428-1436
• /
• 2012

본 논문에서는 낮은 대역폭을 가진 모바일 DMB 환경에서 사용할 수 있도록 깊이 영상 기반 렌더링(DIBR) 기법을 이용한 3차원 스테레오 입체 방송의 부가정보 영상 구성 방법을 설명한다. DIBR에서는 좌측 시점의 영상과 깊이 정보를 전송하고 수신측에서 우측 시점을 복원하는데, 화질이 손상될 수 있다. 본 논문에서는 부가 정보를 구성해서 함께 전송하여 복원된 영상의 질을 높이고 전송하는 데이터의 양을 줄이는 방법을 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.31-34
• /
• 2011

본 논문에서는 2D-3D 변환 후, 입체감 수정에 관련한 피드백 시스템과 그에 맞게 적용되는 적응적 관계식을 제안한다. 2D-3D 변환을 통해 우선 깊이 영상을 생성하고 이를 이용하여 깊이 영상 기반 렌더링(DIBR)을 통해 수평방향의 이동을 계산하여 좌영상과 우영상을 생성한다. 그러나 깊이 정보 기반 렌더링 후 사용자 선호에 따라 입체감을 수정할 필요가 있을 때 깊이 영상을 재생성 해야 하는 문제점이 발생하며 이를 극복하고자 피드백 시스템을 통한 두 개의 조절 파라메터를 소개 한다. 즉, 'Pull-in'혹은 'Push-away'의 입체감을 조절 할 수 있는 시차 이동식을 제안한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
• /
• pp.685-687
• /
• 2005

본 논문에서는 깊이 영상기반 3차원 물체(depth image-based 3-D object)의 고속 렌더링 기법을 제안한다. 제안하는 알고리즘은 그래픽 가속기가 지원하는 shader programming 기법을 이용하여 하드웨어 가속을 직접 이용하도록 설계되었다. 또한, 기존의 영상 기반 렌더링의 한계를 극복하여 조명 효과를 표현할 수 있으며 렌더링시 각 화소당 Splat 크기를 하드웨어에서 직접 조절하여 고속 렌더링이 가능하다. 모의 실험결과, 소프트웨어 렌더링 또는 OpenGL 기반의 렌더링에 비해 괄목할 만한 렌더링 속도의 향상이 이루어졌다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제46권1호
• /
• pp.41-48
• /
• 2009

본 논문에서는 복잡한 삼차원 장면을 다시점 텍스처와 깊이맵을 이용해 표현하고 이를 부호화하는 기법을 제안한다. 이를 위해 입력 다시점 데이터를 압축된 텍스처 및 깊이맵쌍 포맷으로 변환하고 제안한 코덱인 X-Codec을 통해 손실을 최소화하면서 부호화 효율을 향상시킨다. 우선 제안한 부호화 시스템은 다시점 색상과 깊이영상을 입력으로 사용하므로 기존의 기하학 기반 렌더링 기법과 달리 렌더링 속도가 장면의 복잡도가 아닌 입력 영상의 해상도에 따라 좌우된다. 또한, 영상을 블록 단위로 나누어 부호화와 복호화를 수행하기 때문에 임의 영역 접근이 용이하고 그래픽스 프로세싱 유닛을 이용한 실시간 렌더링이 가능하다. 실험결과 제안한 방법은 다시점 데이터를 이용한 다시점 렌더링, 선택적 복호화, 깊이정보를 이용한 삼차원 장면의 조작 등 다양한 기능을 동시에 제공하므로 대용량 데이터로부터 삼차원 장면을 탐색하는 그래픽스 응용에 유용하다.