• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.727-731
• /
• 2009

In this paper, we propose a method to generate a free viewpoint image using multi-viewpoint images which are taken by cameras arranged circularly. In past times, we have proposed the method to generate a free viewpoint image based on Ray-Space method. However, with that method, we can not generate a walk-through view seen from a virtual viewpoint among objects. The method we propose in this paper realizes the generation of such view. Our method gets information of the positions of objects using shape from silhouette method at first, and selects appropriate cameras which acquired rays needed for generating a virtual image. A free viewpoint image can be generated by collecting rays which pass over the focal point of a virtual camera. However, when the requested ray is not available, it is necessary to interpolate it from neighboring rays. Therefore, we estimate the depth of the objects from a virtual camera and interpolate ray information to generate the image. In the experiments with the virtual sequences which were captured at every 6 degrees, we set the virtual camera at user's choice and generated the image from that viewpoint successfully.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.751-754
• /
• 2009

This paper deals with the Cell-based distributed processing for generating free viewpoint images by merging multiple differently focused images. We previously proposed the method of generating free viewpoint images without any depth estimation. However, it is not so easy to realize real-time image reconstruction based on our previous method. In this paper, we discuss the method to reduce the processing time by dimension reduction for image filtering and Cell-based distributed processing. Especially, the method of high-speed image reconstruction by the Cell processor on SONY PLAYSTATION3(PS3) is described in detail. We show some experimental results by using real images and we discuss the possibility of real-time free viewpoint image reconstruction.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.583-587
• /
• 2009

In this paper we propose a new method of Depth-Image-Based Rendering (DIBR) for Free-viewpoint TV (FTV). In the proposed method, virtual viewpoint images are rendered with 3D warping instead of estimating the view-dependent depth since depth estimation is usually costly and it is desirable to eliminate it from the rendering process. However, 3D warping causes some problems that do not occur in the method with view-dependent depth estimation; for example, the appearance of holes on the rendered image, and the occurrence of depth discontinuity on the surface of the object at virtual image plane. Depth discontinuity causes artifacts on the rendered image. In this paper, these problems are solved by reconstructing disparity information at virtual camera position from neighboring two real cameras. In the experiments, high quality arbitrary viewpoint images were obtained.

• 방송공학회논문지
• /
• 제15권2호
• /
• pp.163-172
• /
• 2010

자유시점 비디오는 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 가상 카메라와 깊이맵을 이용하여 한 장의 영상 내부를 항해하는 입체 자유시점 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 단안 사진 내부를 항해하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전경 마스크, 배경영상, 및 깊이맵을 반자동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 입체 원근투영 영상들을 획득한다. 배경영상과 전경객체의 3D 데이터를 기반으로 가상 카메라의 3차원 공간이동, 요/피치/롤링 등의 회전, 룩어라운드, 줌 등의 다양한 카메라 기능을 활용하여 입체 자유시점 비디오를 구현한다. 원근투영은 직교투형보다 우수한 입체감을 전달하며, 기존 방법과 비교하여 텍스쳐의 3D 데이터를 직접 원근투영하여 처리속도를 향상시켰다. 소프트웨어는 MFC Visual C++ 및 OpenGL 기반으로 구축되었으며, 실험영상으로 신윤복의 단오풍정을 사용하여 고전화의 입체 자유시점 비디오를 시청이 가능하다.

• 디지털산업정보학회논문지
• /
• 제7권2호
• /
• pp.91-100
• /
• 2011

Free viewpoint TV can provide multi-angle view point images for viewer needs. In the real world, But all angle view point images can not be captured by camera. Only a few any angle view point images are captured by each camera. Group of the captured images is called multi-view image. Therefore free viewpoint TV wants to production of virtual sub angle view point images form captured any angle view point images. Interpolation methods are known of this problem general solution. To product interpolated view point image of correct angle need to depth image of multi-view image. Unfortunately, multi-view video including depth image is necessary to develop a new compression encoding technique for storage and transmission because of a huge amount of data. Layered depth image is an efficient representation method of multi-view video data. This method makes a data structure that is synthesis of multi-view color and depth image. This paper proposed enhanced compression method using layered depth image representation and H.264/AVC video coding technology. In experimental results, confirmed high compression performance and good quality reconstructed image.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.71-73
• /
• 2015

본 논문에서는 여러 대의 Microsoft Kinect 와 NVidia 사의 GPGPU 라이브러리 CUDA 를 사용하여 실시간 Free Viewpoint TV System 을 제안한다. Kinect 로부터 얻어진 컬러 및 깊이 영상을 통하여 두 카메라 사이의 가상시점에서 영상을 실시간으로 출력하는 시스템을 설계한다. 이 과정에서 많은 연산량을 요구하는 좌표계 변환 과정과 IR 패턴의 간섭문제를 해결하기 위해 사용되는 Nearest Neighbor 홀 채움 방식을 CUDA 를 이용해 병렬화시켰다. 실험 결과 CUDA 를 이용해 구성한 시스템이 기존의 CPU 만을 이용해 구성한 시스템보다 같은 시간 동안 더 많은 합성영상을 만들 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.122-124
• /
• 2015

본 논문에서는 Microsoft 에서 나온 여러 대의 Kinect 를 이용하여 Free Viewpoint TV System 을 구현해 보고자 한다. Kinect 로부터 얻어진 색상 영상과 깊이 영상을 통하여, 실시간으로 두 대의 카메라 사이에서의 가상시점에서 영상이 출력되는 시스템을 설계한다. 또한, 여러 대의 Kinect 를 이용할 때, 간섭현상으로 인해 IR 패턴을 제대로 인식하지 못하여 홀이 생성되는 문제점을 확인하고, Nearest Neighbor 방식과 Inpainting 기법을 사용하여 홀을 제거하는 방식을 소개한다. 실험 결과, 홀의 주변과 비슷한 값으로 홀을 채울 수 있었지만, 홀의 크기에 따라 Edge 경계가 부정확해 지는 현상을 확인할 수 있다.

• 방송공학회논문지
• /
• 제19권3호
• /
• pp.342-354
• /
• 2014

본 논문에서는 사용자 측에서 임의의 시점 영상을 렌더링하여야 하는 초다시점 또는 자유시점 영상서비스를 타겟으로 소유자의 지적재산권을 보호하기 위한 디지털 워터마킹 방법을 다룬다. 본 논문의 주된 목적은 기존방법들에 비해 우수한 방법을 제안하는 것보다는 시점이동 공격을 이겨내는 워터마킹 방법이 얼마나 어려운지를 보이는 것이다. 따라서 대상 영상은 시점이동을 포함한 다양한 공격을 가한 영상이다. 본 논문은 먼저 2D영상에 대한 워터마킹 방법 중 2DDCT(2D discrete cosine transform)를 사용하는 방법과 2DDWT(2D discrete wavelet transform)를 사용하는 방법의 기본적인 scheme으로 시점이동이 추출한 워터마크 데이터의 오차율을 얼마나 높이는 지를 보인다. 시점이동된 영상에 대한 워터마킹의 어려움은 이동된 시점을 모르기 때문이며, 따라서 본 논문에서는 이동된 시점을 찾는 방법을 제안한다. 이 방법은 원시점의 영상과 해당 깊이정보를 사용한다. 또한 이 방법을 사용한 non-blind 워터마킹 방법을 제안하여, 이동된 시점을 복원하는 것이 추출된 워터마크의 오차율에 큰 영향을 미친다는 것을 보인다. 제안한 방법과 기존 방법의 성능을 비교하여, 비록 non-blind 방법이기는 하지만 기존 방법보다 비가시성 및 강인성에서 우수함을 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.835-837
• /
• 2016

본 연구에서는 사용자의 시점을 인지하고 이에 대응하는 원격지의 스테레오 영상을 획득하여 제공함으로서, 공간적 한계를 탈피하여 원격지를 관찰할 수 있는 시스템을 제공하고자 한다. 시스템 구성을 위하여 인간의 시점 변화에 가장 큰 요인이 되는 좌,우 움직임과 머리의 회전 등의 신체적 동작을 고려하여 설계하였다. 따라서 본 시스템은 크게 사용자의 시선을 분석하기 위한 연산, 3차원 영상획득과 제공을 위한 시스템 제어 및 데이터 전송을 위한 네트워크 통신 등으로 구현되어, 사용자가 동일한 공간에서 특정 대상을 관찰하는 것처럼 자유롭게 동작하며 원격지의 대상을 관찰하더라도 시점에 대응하는 스테레오 영상을 획득하고 3차원 영상으로 제공함으로서 직접적인 관찰과 동일한 시각 효과를 제공하는 시스템을 구현하였다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.655-664
• /
• 2020

자유시점 영상합성기술은 MPEG-I(Immersive) 표준에서 중요한 기술 중 하나이다. 현재 MPEG-I에서 개발하여 사용하는 RVS (Reference View Synthesizer) 프로그램은 다수의 시점의 컬러영상과 깊이영상을 바탕으로 임의시점의 영상을 생성하는 DIBR (Depth Information-Based Rendering) 프로그램이다. RVS는 기존의 DIBR이 갖는 깊이정보 전달의 문제를 컴퓨터 그래픽스의 메쉬 표면 방식으로 접근하여 이전 화소방식에 비하여 2.5dB 이상의 성능향상을 보이며 OpenGL을 사용하면 CPU에서 동작하는 코드보다 10배 이상의 속도를 보인다. 그러나 여전히 2개의 2k 해상도 입력 영상에서 0.75fps 정도의 비실시간 처리속도를 보인다. 본 논문에서는 현 RVS의 내부 구현을 분석하고 이를 바탕으로 1) OpenGL 버퍼와 텍스쳐 객체의 재사용 2) 파일 입출력과 OpenGL 실행의 병렬화 3) GPU 셰이더 프로그램과 버퍼 데이터 전송의 병렬화를 적용하였다. 그 결과 두 개의 2k 해상도 입력 영상의 처리속도를 34배 이상 가속하여 22-28fps의 실시간 성능을 확보하였다.