• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.620-624
• /
• 2009

In this paper, we present a new camera system combining a high-quality 3-D scanner and hybrid camera system to generate a multiview video-plus-depth. In order to get the 3-D video using the hybrid camera system and 3-D scanner, we first obtain depth information for background region from the 3-D scanner. Then, we get the depth map for foreground area from the hybrid camera system. Initial depths of each view image are estimated by performing 3-D warping with the depth information. Thereafter, multiview depth estimation using the initial depths is carried out to get each view initial disparity map. We correct the initial disparity map using a belief propagation algorithm so that we can generate the high-quality multiview disparity map. Finally, we refine depths of the foreground boundary using extracted edge information. Experimental results show that the proposed depth maps generation method produces a 3-D video with more accurate multiview depths and supports more natural 3-D views than the previous works.

• Journal of Broadcast Engineering
• /
• v.13 no.5
• /
• pp.586-595
• /
• 2008

In this paper, we propose an adaptive multi-view video service framework suitable for mobile environments. The proposed framework generates intermediate views in near-realtime and overcomes the limitations of mobile services by adapting the multi-view video according to the processing capability of a mobile device as well as the user characteristics of a client. By implementing the most of adaptation processes at the server side, the load on a client can be reduced. H.264/AVC is adopted as a compression scheme. The framework could provide an interactive service with efficient video service to a mobile client. For this, we present a multi-view video DIA (Digital Item Adaptation) that adapts the multi-view video according to the MPEG-21 DIA multimedia framework. Experimental results show that our proposed system can support a frame rate of 13 fps for 320{\times}240 video and reduce the time of generating an intermediate view by 20 % compared with a conventional 3D projection method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.130-133
• /
• 2010

멀티미디어 신호 처리 분야의 급속한 발전으로 인해 3차원 TV(3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자에게 입체감을 제공하여 사용자가 마치 그곳에 있는 듯한 효과를 줄 수 있다. 이에 최근 다시점 컬러 영상과 그에 대응되는 깊이 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 활발히 진행되고 있다. 본 논문에서는 주어지는 다시점 컬러 영상과 깊이 영상의 정보를 동시에 이용하여 다시점 영상 부호화의 효율을 높이는데 그 목적이 있다. 이를 위해 시점 생성 기법을 통해 다시점 영상의 부호화 시 참조하는 주변 시점의 영상들로부터 계산되는 변이 벡터 정보를 줄이는 방법을 제안한다. 실험 결과, 기존의 다시점 비디오 부호화에 비해서 약 0.5~1.5 dB정도의 화질 개선이 이뤄졌고, 평균 17.5%의 비트율 감소를 보였다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.48 no.3
• /
• pp.13-18
• /
• 2011

In this paper, we explain capturing, postprocessing, and depth generation methods using multiple color and depth cameras. Although the time-of-flight (TOF) depth camera measures the scene's depth in real-time, there are noises and lens distortion in the output depth images. The correlation between the multi-view color images and depth images is also low. Therefore, it is essential to correct the depth images and then we use them to generate the depth information of the scene. The results of stereo matching based on the disparity information from the depth cameras showed the better performance than the previous method. Moreover, we obtained the accurate depth information even at the occluded or textureless regions which are the weaknesses of stereo matching.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.535-538
• /
• 2006

디지털 기술이 급격하게 발전함에 따라서 사용자들은 더 현실감을 느낄 수 있고 능동적으로 상호작용 할 수 있는 방송을 원하게 되었다. 최근 들어서 삼차원 다시점 방송이 이러한 것을 만족시키는 서비스로서 많은 관심을 받으면서 두각 되고 있다. 일반적으로 서버에 입력되는 모든 영상들은 전부 클라이언트로 전송되게 된다. 이후에 사용자는 전체 시점 중에서 몇 개의 시점을 골라서 보게 된다. 하지만 이러한 종류의 시스템은 클라이언트와 서버 모두가 막대한 처리 능력을 필요로 하게 되고 이것은 응용 프로그램을 구현하는데 있어서 어려운 문제가 된다. 이러한 문제를 극복하기 위해서 두 개의 시점을 선택하여 클라이언트로 전송하는 간략한 방법이 사용 가능하다. 본 논문의 시점 선택 과정은 MPEG-21 DIA (Digital Item Adaptation)와 융합되어있기 때문에 우리의 시스템은 MPEG-21 멀티미디어 프레임워크와 완벽하게 호환된다. 그리고 다시점 카메라와 시스템에 대한 XML 형식의 다시점 명세서를 최초로 소개한다. 마지막으로 우리는 다시점 입체 영상을 시청하는 동안에 사용자가 느낄 수 있는 불편함을 최소화 하는 방법으로 IVR (Intermediate View Reconstruction) 제안한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.442-445
• /
• 2002

기존 증강현실과 같은 합성 추적기법에서, 시점을 확장시켜 깊이감을 얻을 수 있는 다시점 영상기술을 적용하였을 경우 특징추출 및 대응의 연산량은 급격히 증가하며, 넓어진 FOV(field-of-view)는 대응을 어렵게 하여 특징의 흔들림을 초래하고 광원과 가려진 영역의 영향을 증대시켜 시점간의 추적을 어렵게 한다. 이에 본 논문은 등극선 기하조건을 고려한 다시점 실감 영상 합성 추적 기법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.63-65
• /
• 2016

최근 기술의 발전으로 자연스로운 미디어와 실재감을 제공하는 차세대 3D 기술이 많은 관심을 받고 있다. 그 중 (초)다시점 미디어 기술은 기존의 안경식 3D 미디어 기술을 대체할 수 있는 기술로써 각광받고 있다. (초) 다시점 미디어는 기존의 미디어와 비교하여 많게는 10배가 넘는 시점 정보를 포함하고 있다. 그러므로, 대용량의 (초) 다시점 미디어를 전송하기 위해서는 IP 망에서 실시간성을 고려한 프로토콜 사용이 필요하다. 이를 위하여 본 논문에서는 차세대 미디어 전송 규격인 MPEG MMT를 이용하여 DirectShow를 기반으로 (초) 다시점 미디어를 전송, 재현할 수 있는 스트리밍 시스템을 구현 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.439-440
• /
• 2015

기존에 H.264를 기본 계층으로 SVC와 MVC를 결합한 스케일러블 다시점 비디오 부호화기를 SVC와 MVC의 DPB를 통합한 통합형 DPB(Decoded Picture Buffer) 설계를 바탕으로 구현하였다. 그러나 구현된 비디오 부호화기로 HD급 이상의 해상도를 갖는 영상을 압축하는데 있어서 효과적인 성능이 나오지 않았다. 이러한 이유로 SHVC와 MV-HEVC의 부호화 구조를 결합하여 고해상도 처리를 위한 스케일러블 다시점 부호화기 설계를 제안한다. 제안된 방법을 통해서 SHVC와 MV-HEVC가 통합된 스케일러블 다시점 비디오 부호화를 효율적으로 구현할 수 있을 것으로 예상한다.

• Information and Communications Magazine
• /
• v.24 no.4
• /
• pp.15-26
• /
• 2007

멀티미디어 기술이 빠르게 발전함에 따라 보다 사실감 있는 콘텐츠의 수요가 급증하고 있다. 특히 2차원의 단방향 방송시스템에서 사용자의 요구에 따라 콘텐츠의 내용이 바뀌는 상호작용이 가능한 시스템이 활발히 연구되고 있다. 이러한 기술 중에 다시점 비디오는 여러 대의 카메라로 한 장면을 동시에 촬영한 영상으로, 사용자의 요구에 따라 시청 시점을 자유로이 선택할 수 있는 차세대 방송기술이다. 그러나 데이터의 양이 방대하여 다양한 서비스에 적용이 쉽지 않다. 이에 따라 MPEG(moving picture experts group)과 JVT (joint video team) 그룹은 다시점 비디오 부호화(multi-view video coding)의 국제 표준화 작업을 진행하고 있다. 2001년 12월에 시작하여 2007년 1월 국제회의까지 다시점 비디오 부호화의 요구사항, 부호화 조건, 테스트영상 선정, 세부 기술 제안 및 선정 등 국제 기술의 표준화를 위한 활동이 진행되었다. 그리고 향후 2008년까지 최종 국제 규격안이 제정될 예정이다.