• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.727-731
• /
• 2009

In this paper, we propose a method to generate a free viewpoint image using multi-viewpoint images which are taken by cameras arranged circularly. In past times, we have proposed the method to generate a free viewpoint image based on Ray-Space method. However, with that method, we can not generate a walk-through view seen from a virtual viewpoint among objects. The method we propose in this paper realizes the generation of such view. Our method gets information of the positions of objects using shape from silhouette method at first, and selects appropriate cameras which acquired rays needed for generating a virtual image. A free viewpoint image can be generated by collecting rays which pass over the focal point of a virtual camera. However, when the requested ray is not available, it is necessary to interpolate it from neighboring rays. Therefore, we estimate the depth of the objects from a virtual camera and interpolate ray information to generate the image. In the experiments with the virtual sequences which were captured at every 6 degrees, we set the virtual camera at user's choice and generated the image from that viewpoint successfully.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.751-754
• /
• 2009

This paper deals with the Cell-based distributed processing for generating free viewpoint images by merging multiple differently focused images. We previously proposed the method of generating free viewpoint images without any depth estimation. However, it is not so easy to realize real-time image reconstruction based on our previous method. In this paper, we discuss the method to reduce the processing time by dimension reduction for image filtering and Cell-based distributed processing. Especially, the method of high-speed image reconstruction by the Cell processor on SONY PLAYSTATION3(PS3) is described in detail. We show some experimental results by using real images and we discuss the possibility of real-time free viewpoint image reconstruction.

• 방송공학회논문지
• /
• 제15권2호
• /
• pp.163-172
• /
• 2010

자유시점 비디오는 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 가상 카메라와 깊이맵을 이용하여 한 장의 영상 내부를 항해하는 입체 자유시점 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 단안 사진 내부를 항해하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전경 마스크, 배경영상, 및 깊이맵을 반자동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 입체 원근투영 영상들을 획득한다. 배경영상과 전경객체의 3D 데이터를 기반으로 가상 카메라의 3차원 공간이동, 요/피치/롤링 등의 회전, 룩어라운드, 줌 등의 다양한 카메라 기능을 활용하여 입체 자유시점 비디오를 구현한다. 원근투영은 직교투형보다 우수한 입체감을 전달하며, 기존 방법과 비교하여 텍스쳐의 3D 데이터를 직접 원근투영하여 처리속도를 향상시켰다. 소프트웨어는 MFC Visual C++ 및 OpenGL 기반으로 구축되었으며, 실험영상으로 신윤복의 단오풍정을 사용하여 고전화의 입체 자유시점 비디오를 시청이 가능하다.

• 한국항만경제학회지
• /
• 제25권3호
• /
• pp.43-66
• /
• 2009

가장 근본적인 경제자유구역사업에 대한 문제점은 "경제자유구역 지정만 잘 하면 다 잘된다."고 전제하고, 이에 대한 관심과 집중으로 인한 단순 논리의 집중과 더불어 연구의 경향도 지정의 타당성 여부나 효율성 및 경제성 평가 등이 대부분이어서 연구의 한계를 갖는다는 것이다. 결국, 경제자유구역에 대한 기본 전제에 대한 생각은 정책학적 관점으로 분석과 연구 경향의 미흡을 나았다고 볼 수 있으며, 더 나아가 정책과정 및 정책내용적 분석의 한계 그리고, 정책집행적 차원, 특히 지방정부 중심의 정부간 관리의 간과로 귀결되어진다. 따라서, 본 연구에서는 상술한 경제자유구역에 대한 전제의 한계에 따른 관련 연구의 경향의 간과를 극복해 보고자 정책학적 관점, 즉 정책과정 및 정책내용(유형)에 따른 분석을 시도해보고, 더 나아가 정책집행적 측면에서 가장 최근의 연구 경향으로 정책집행적 차원에서 정부간 관계를 넘어 지방정부 중심의 정부간 관리를 통한 시사점((1)경제자유구역청의 독립성 확보, (2)중앙정부와 지방정부간 공동업무에 대한 공동의 목표지향, (3)적응적인 접근방법 활용)을 제시해 경제자유구역에 대한 기존의 연구와 경향의 한계를 극복해 보고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.71-73
• /
• 2015

본 논문에서는 여러 대의 Microsoft Kinect 와 NVidia 사의 GPGPU 라이브러리 CUDA 를 사용하여 실시간 Free Viewpoint TV System 을 제안한다. Kinect 로부터 얻어진 컬러 및 깊이 영상을 통하여 두 카메라 사이의 가상시점에서 영상을 실시간으로 출력하는 시스템을 설계한다. 이 과정에서 많은 연산량을 요구하는 좌표계 변환 과정과 IR 패턴의 간섭문제를 해결하기 위해 사용되는 Nearest Neighbor 홀 채움 방식을 CUDA 를 이용해 병렬화시켰다. 실험 결과 CUDA 를 이용해 구성한 시스템이 기존의 CPU 만을 이용해 구성한 시스템보다 같은 시간 동안 더 많은 합성영상을 만들 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.122-124
• /
• 2015

본 논문에서는 Microsoft 에서 나온 여러 대의 Kinect 를 이용하여 Free Viewpoint TV System 을 구현해 보고자 한다. Kinect 로부터 얻어진 색상 영상과 깊이 영상을 통하여, 실시간으로 두 대의 카메라 사이에서의 가상시점에서 영상이 출력되는 시스템을 설계한다. 또한, 여러 대의 Kinect 를 이용할 때, 간섭현상으로 인해 IR 패턴을 제대로 인식하지 못하여 홀이 생성되는 문제점을 확인하고, Nearest Neighbor 방식과 Inpainting 기법을 사용하여 홀을 제거하는 방식을 소개한다. 실험 결과, 홀의 주변과 비슷한 값으로 홀을 채울 수 있었지만, 홀의 크기에 따라 Edge 경계가 부정확해 지는 현상을 확인할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2006년도 학술대회
• /
• pp.41-43
• /
• 2006

FTV (Free Viewpoint TV, 자유시점 TV)는 사용자들이 원하는 시점을 자유자재로 결정할 수 있는 차세대 TV이다. 또한 영상 획득 시 카메라가 위치하지 않은 새로운 시점을 만들 수 있다. 따라서 FTV는 개인, 산업, 사회, 의학. 사회 분야의 유망한 응용이 될 수 있다. Ray-space에 의한 데이터 표현은 FTV를 위한 데이터 포맷의 한 후보가 될 수 있으며, 실시간으로 임의시점의 영상을 구성하는 데에 있어서 우수한 장점을 가지고 있다. Ray-space에서 사용하는 기법은 컴퓨터 그래픽스가 아니라 순수한 신호 처리 방식이다. 스케일러블 구조, 계층적 구조가 Ray-space로 표현 가능하므로, Ray-space는 비디오 처리의 새로운 플랫폼을 구성할 수 있고 비디오의 개념을 확장할 수 있다. 본 논문에서는 Ray-space 데이터를 이용하여 임의 시점 영상을 생성하기 위해 기존의 보간(interpolation) 기법을 보완한 새로운 기법을 제안함으로써, 보다 자연스러운 영상을 얻고자 하는데 목적이 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.583-587
• /
• 2009

In this paper we propose a new method of Depth-Image-Based Rendering (DIBR) for Free-viewpoint TV (FTV). In the proposed method, virtual viewpoint images are rendered with 3D warping instead of estimating the view-dependent depth since depth estimation is usually costly and it is desirable to eliminate it from the rendering process. However, 3D warping causes some problems that do not occur in the method with view-dependent depth estimation; for example, the appearance of holes on the rendered image, and the occurrence of depth discontinuity on the surface of the object at virtual image plane. Depth discontinuity causes artifacts on the rendered image. In this paper, these problems are solved by reconstructing disparity information at virtual camera position from neighboring two real cameras. In the experiments, high quality arbitrary viewpoint images were obtained.

• 인터넷정보학회논문지
• /
• 제20권1호
• /
• pp.47-55
• /
• 2019

Free-viewpoint video (FVV) service provides multi viewpoints of contents and synthesizes intermediate video files which are not captured on some view angles so that enables users to watch as they choose wherever they want. Synthesizing video is necessary technique to provide FVV video service, because every video of the FVV contents for different view angles cannot be stored to the content server physically. For the reason, fast view synthesis can improve the quality of video service and increase user's satisfaction. One of the studies for FVV service, a method was proposed to transmit FVV service based on DASH (Dynamic Adaptive Streaming over HTTP). There is big advantage on using DASH that it is commonly used to transport video service. However, the method was only a conceptual proposal, so it is difficult to implement the system using the proposal. In this paper, we propose an implementation method to provide real-time FVV service smoothly. We suggest a system structure and operation method on the server and client side in detail, which is to be applicable to synthesize video quickly. Also, we suggest generating FVV service map additionally which controls a FVV service overall. We manage real-time information of the whole service through the service map. The service can be controlled by reducing the possible delay from network situation.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권3호
• /
• pp.929-946
• /
• 2022

Free viewpoint video (FVV) service is an immersive media service that allows a user to watch it from a desired location or viewpoint. It is composed of various forms according to the direction of the viewpoint of the provided video, and includes zoom in/out in the service. As consumers' demand for active watching is increasing, the importance of FVV services is expected to grow gradually. However, additional considerations are needed to seamlessly stream FVV service. FVV includes a plurality of videos, video changes may occur frequently due to movement of the viewpoint. Frequent occurrence of video switching or re-request another video can cause service delay and it also can lower user's quality of service (QoS). In this case, we assumed that if a video showing an object that the user wants to watch is selected and provided, it is highly likely to meet the needs of the viewer. In particular, it is important to provide an object-oriented FVV service when zooming in. When video zooming in in the usual way, it cannot be guaranteed to zoom in around the object. Zoom function does not consider about video viewing. It only considers the viewing screen size and it crop the video view as fixed screen location. To solve this problem, we propose a zoom in/out method of object-centered dynamic adaptive streaming of FVV in this paper. Through the method proposed in this paper, users can enjoy the optimal video service because they are provided with the desired object-based video.