• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.16 no.7
• /
• pp.1477-1486
• /
• 2012

In this paper, we propose Multi-view CGH Making System using method of generation of virtual view-point depth image. We acquire reliable depth image using TOF depth camera. We extract parameters of reference-view cameras. Once the position of camera of virtual view-point is defined, select optimal reference-view cameras considering position of it and distance between it and virtual view-point camera. Setting a reference-view camera whose position is reverse of primary reference-view camera as sub reference-view, we generate depth image of virtual view-point. And we compensate occlusion boundaries of virtual view-point depth image using depth image of sub reference-view. In this step, remaining hole boundaries are compensated with minimum values of neighborhood. And then, we generate final depth image of virtual view-point. Finally, using result of depth image from these steps, we generate CGH. The experimental results show that the proposed algorithm performs much better than conventional algorithms.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.127-130
• /
• 2012

본 논문에서는 자유시점 또는 오토스테레오스코픽 비디오나 홀로그래픽 비디오 서비스 들을 목표로 가상시점 영상을 빠르게 생성하는 방법을 제안한다. 이 방법에서 좌/우 깊이영상이 주어졌다고 가정하고, 두 깊이 영상을 이용하여 깊이 값과 변위를 계산 한 후 깊이 당 변위증분을 계산하여 사용한다. 계산된 깊이 값 당 변위증분과 해당 픽셀의 깊이정보를 이용하여 텍스쳐 이미지를 원하는 가상 시점으로 이동시킨다. 좌영상과 우영상을 원하는 가상시점으로 각각 생성한 후, 잡음과 disocclusion을 효과적으로 제거하기 위하여 두 영상을 결합한다. 그 다음 남은 홀을 효과적인 hole-filling으로 제거하여 가상 시점 영상을 생성한다.

• Broadcasting and Media Magazine
• /
• v.26 no.4
• /
• pp.11-22
• /
• 2021

실감형 미디어를 구성하기 위해서는 다시점 영상 또는 비디오들로 구성된 대용량의 콘텐츠가 필수적이다. 이러한 콘텐츠는 다량의 카메라들을 목적에 따라 배치하여 획득하므로 영상 구성의 복잡성과 콘텐츠의 크기가 급격히 커진다는 문제점을 갖고 있다. 3D 미디어 환경에서 카메라의 개수를 최소화하면서도 목적에 맞게 다양한 시점을 제공할 수 있는 가상시점 영상 생성은 핵심적인 기술이다. 본 기고문에서는 다시점 영상과 비디오로부터 학습 기반의 가상 시점 영상 생성 연구들에 대해 체계적인 조사를 통해 그 결과를 다음과 같이 제시한다. 첫째, 가상 시점 영상 생성에 대한 배경 개념을 정의한다. 둘째, 제안하는 분류 방식에 따라 기존의 제안된 방법들을 상세하게 분석한다. 셋째, 가상 시점 영상 생성에 주로 사용되는 관련 데이터셋을 조사한다. 마지막으로는 각 연구들이 갖고 있는 특징들을 분석하고, 정량적, 정성적 평가 결과를 비교한다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.12C
• /
• pp.1154-1166
• /
• 2009

In this paper, we propose algorithms for generating high quality virtual intermediate views on the baseline or out of baseline. In this proposed algorithm, depth information as well as 3D warping technique is used to generate the virtual views. The coordinate of real 3D image is calculated from the depth information and geometrical characteristics of camera and the calculated 3D coordinate is projected to the 2D plane at arbitrary camera position and results in 2D virtual view image. Through the experiments, we could show that the generated virtual view image on the baseline by the proposed algorithm has better PSNR at least by 0.5dB and we also could cover the occluded regions more efficiently for the generated virtual view image out of baseline by the proposed algorithm.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.93-96
• /
• 2014

본 논문에서는 가상시점 영상을 생성할 때 발생하는 홀 영역을 효율적으로 채우는 방법을 제안한다. 가상시점 영상을 생성하려면 우선 깊이 영상에 대해 3차원 워핑을 수행한 뒤, 이때 발생하는 작은 홀을 미디언 필터를 이용하여 적절히 채워야 한다. 홀이 채워진 깊이 영상을 기반으로 하여 입력받은 참조 컬러 영상에 대해 3차원 워핑을 수행하여 가상 위치에 새로운 시점 영상을 생성하게 된다. 이때 또한 마찬가지로 3차원 워핑을 수행하기 때문에 홀 영역이 발생하게 된다. 텍스쳐 영상을 워핑하여 새로운 좌표계로 옮긴 영상은 주변 컬러 화소들과의 관계들을 가지고 있다. 텍스쳐 영상을 워핑한 결과 영상에서 발생하는 홀 영역을 채우기 위해 방향성을 고려한 홀 채움 방법을 사용한다. 홀 주변 화소 영역의 값들을 홀을 채우게 될 후보 화소 값으로 설정한 뒤, 각각의 화소값에 대해 비용값을 계산한다. 이때 가장 적은 비용값을 갖게 하는 주변 화소 값을 해당 영역의 홀 채움 값으로 사용하게 된다. 좌영상과 우영상을 워핑할 때 발생하는 홀 영역의 위치가 각각 다르게 나타난다. 홀 영역은 배경화소 값을 이용해 채울 경우 자연스러운 결과를 보인다. 배경화소 값을 이용하기 위해 좌영상과 우영상에 따른 새로운 홀 스캔 방향 또한 제안한다. 능동적으로 홀 스캔 방향을 선택하여 홀 주변 화소값들을 스캔해가며 워핑 결과 발생하는 홀 영역을 효율적으로 채우게 된다. 결과적으로 제안한 방법을 통하여 생성된 가상시점 영상의 화질이 좋아지는 결과를 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.36-37
• /
• 2011

깊이 영상은 가상 시점 영상을 합성할 때 사용되는 3차원 거리 정보로 깊이 영상 기반 렌더링에서 가상 시점을 합성할 때 사용한다. 따라서, 깊이 영상 부호화에서는 부호화 효율 못지않게 합성 영상의 화질이 중요하다. 깊이 영상의 화질은 합성된 가상 시점 영상의 화질에 큰 영향을 미친다. 따라서 고화질 깊이 영상이 필요한 경우, 부호화 손실이 적은 무손실 부호화를 사용한다. 하지만, 이와 같은 무손실 부호화 방법은 복호를 통해 원래의 깊이 영상을 그대로 복원할 수 있지만, 압축률이 낮다는 단점이 있다. 본 논문에서는 복호된 영상의 화질과 부호화 비트의 균형을 모두 고려하기 위해 근접 무손실 HEVC(high efficiency video coding)와 향상된 CABAC(context-based adaptive bnary arithmetic coding)을 이용한 새로운 깊이 영상 부호화 방법을 제안한다. 실험을 통해 제안한 방법이 합성된 가상 시점 영상의 화질 손실 없이, 기존의 무손실 및 근접 무손실 방법보다 더 나은 부호화 성능을 제공함을 알 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.46-49
• /
• 2012

본 논문에서는 3차원 입체 비디오처리 기술의 최종목표인 디지털 홀로그램을 생성하는데 필요한 객체의 좌표와 색상정보가 들어있는 같은 시점과 해상도인 RGB 영상과 깊이 영상을 획득하여 가상 시점의 디지털 홀로그램을 생성하는 시스템을 제안한다. 먼저, 가시광선과 적외선의 파장을 이용하여 파장에 따라 투과율이 달라지는 콜드 미러를 사용하여 각각의 시점이 같은 다시점 RGB와 깊이 영상을 얻는다. 카메라 시스템이 갖는 다양한 렌즈 왜곡을 없애기 위한 보정 과정을 거친 후에 해상도가 서로 틀린 RGB 영상과 깊이 영상의 해상도를 같게 조절한다. 그 다음, DIBR(Depth Image Based Rendering) 알고리즘을 이용하여 원하는 가상 시점의 깊이 정보와 RGB 영상을 생성한다. 그리고 깊이 정보를 이용하여 디지털 홀로그램으로 구현할 객체만을 추출한다. 마지막으로 컴퓨터 생성 홀로그램 (computer-generated hologram, CGH) 알고리즘을 이용하여 추출한 가상 시점의 객체를 디지털 홀로그램으로 변환한다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.8A
• /
• pp.679-688
• /
• 2012

In this paper, performance improved hole-filling algorithm including boundary noise removing pre-process which can be used for an arbitrary view synthesis with given two views is proposed. Boundary noise usually occurs because of the boundary mismatch between the reference image and depth map and common-hole is defined as the occluded region. These boundary noise and common-hole created while synthesizing a virtual view result in some defects and they are usually very difficult to be completely recovered by using only given two images as references. The spiral weighted average algorithm gives a clear boundary of each object by using depth information and the gradient searching algorithm is able to preserve details. In this paper, we combine these two algorithms by using a weighting factor ${\alpha}$ to reflect the strong point of each algorithm effectively in the virtual view synthesis process. The experimental results show that the proposed algorithm performs much better than conventional algorithms.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.197-200
• /
• 2021

몰입형 고품질 가상 현실 영상 스트리밍을 위한 360도 영상 부호화 및 전송 기술 중 하나로 사용자 시점 기반 타일 스트리밍 기법이 활발히 연구되고 있다. 360도 영상은 용량이 크기 때문에 개별 타일 기반 스트리밍 방법을 사용해 사용자 시점만 보내는 것이 효율적이다. 본 논문은 시점 기반 가상 현실 영상 복호화 시스템을 위한 복호기 적응적 타일 클러스터링 알고리즘을 제안한다. 제안하는 방법은 클라이언트의 복호기가 최대로 복호화 가능한 해상도를 탐색한 후, 사용자 시점 데이터와 복호기 적응적 타일 클러스터링 알고리즘을 이용해 클러스터화할 복수 개의 사용자 시점 타일들의 목록을 생성한 후, 타일 병합기를 이용해 타일들을 병합하여 클러스터 비트스트림을 생성한다. 이후 클라이언트는 병합된 클러스터 비트스트림들을 복호화한 후 사용자 시점을 생성한다. 제안하는 방법을 이용하면 클라이언트의 복호기 환경에 제약받지 않는 복호화가 가능하며, 제안하는 방법 중 하나인 4K_clustering 방법의 경우 8%의 복호화 속도 개선 효과를 얻을 수 있어 몰입형 고품질 가상 현실 영상을 위한 실시간 타일 스트리밍이 가능하다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.559-561
• /
• 1999

구형 파노라믹 영상은 영상기반의 가상현실 시스템에서 가상환경을 구축하기 위해 널리 이용되고 있다. 이러한 구형 파노라믹 영상은 카메라를 회전시켜 실세계를 촬영하고 각 영상들을 정렬(image alignment)을 거쳐 구에 사상시킴으로써 얻어진다. 실세계로부터 직업 입력된 영상을 가상환경으로 표현하기 때문에 기하학적 기반의 가상환경에 비해 현실감이 뛰어나다. 그러나 고정된 시점에서 카메라의 회전에 대해서만 가상환경의 영상이 복원 가능하므로 가상환경의 항해(navigation)에 있어서 제약을 받는다. 본 논문에서는 시점의 이동 운동에 따른 운동시차(motion parallax)를 제공하기 위해 구 파노라믹 영상의 특정 부분에 TIP(Tour Into the Picture)기법을 이용하여 spidery mesh 인터페이스를 제공하는 방법을 제안한다. 본 논문에서 제안하는 가상환경 저작 기술은 보다 나은 사용자 상호 작용(interaction)을 제공하는 영상기반 가상 환경 구축에 활용될 수 있다.