• 방송공학회논문지
• /
• 제14권2호
• /
• pp.197-209
• /
• 2009

스테레오 영상은 기존의 영상과는 달리 사용자에게 깊이감을 제공한다. 따라서 스테레오 영상을 평가하기 위해서는 새로운 화질평가 모델이 필요하다. 본 논문에서는 스테레오 영상을 위한 객관적 화질평가 방법을 제안한다. 제안된 화질평가 방법은 기존의 화질평가 모델을 기반으로 하여 블로킹 현상과 경계 영역에서의 열화 현상을 검출하였으며, 깊이 정보를 고려하여 시점 간 화질 격차 검출을 통해 알고리즘의 성능을 높이고자 하였다. 제안된 알고리즘의 성능 확인을 위해 스테레오 영상의 주관적 화질평가를 수행하였으며 주관적 화질평가와의 상관성 측면에서 제안 알고리즘이 PSNR에 비해 우수함을 확인하였다.

• 방송공학회논문지
• /
• 제19권5호
• /
• pp.640-655
• /
• 2014

최근 영상시스템 환경은 2D 비디오카메라에 깊이 카메라가 부착되어 2D 및 3D 어플리케이션을 지원하는 형태로 보편화 되고 있다. 이러한 3차원 멀티미디어 시스템 환경으로의 변화는 비디오 시스템에서 깊이정보 획득을 용이하게 만들었다. 깊이정보는 객체 구분, 배경영역 인지 등에 이용할 수 있는데, 2D 부호화에 이를 이용한다면 높은 부호화 효율을 얻을 수 있다. 따라서, 본 논문에서는 차세대 2D 비디오 코덱인 HEVC 인코더에 반영한 깊이정보 이용 비디오 부호화 방법을 제안한다. 제안방법으로, 현재 부호화하려는 CU가 배경영역에 위치할 경우 1) 주변블록의 SKIP 모드를 참조하여 결정하는 CU 분할 조기 결정, 2) 시간적 위치의 CU 정보를 이용하여 수행하는 CU 분할 구조 제한, 3) 배경영역에 따른 움직임 예측 탐색 범위 제한이 있다. 실험은 HEVC 참조 소프트웨어인 HM 12.0에 적용하였고, 실험결과 40% 이상의 부호화 복잡도가 감소했으며, BD-Bitrate는 0.5% 손실되었다. 특히, 마이크로소프트사에서 개발한 키넥트를 통해 획득한 영상을 이용한 실험 결과에서는 영상 품질의 큰 열화 없이 기존대비 최대 53%의 부호화 복잡도가 감소하는 결과를 나타내어, 향후 실시간 화상통신, 모바일 또는 핸드헬드 환경에서의 비디오 서비스 등에서 광범위하게 적용할 수 있을 것으로 기대된다.

• Journal of Electrical Engineering and Technology
• /
• 제11권6호
• /
• pp.1857-1862
• /
• 2016

Human activity recognition using depth information is an emerging and challenging technology in computer vision due to its considerable attention by many practical applications such as smart home/office system, personal health care and 3D video games. This paper presents a novel framework of 3D human body detection, tracking and recognition from depth video sequences using spatiotemporal features and modified HMM. To detect human silhouette, raw depth data is examined to extract human silhouette by considering spatial continuity and constraints of human motion information. While, frame differentiation is used to track human movements. Features extraction mechanism consists of spatial depth shape features and temporal joints features are used to improve classification performance. Both of these features are fused together to recognize different activities using the modified hidden Markov model (M-HMM). The proposed approach is evaluated on two challenging depth video datasets. Moreover, our system has significant abilities to handle subject's body parts rotation and body parts missing which provide major contributions in human activity recognition.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2009년도 정보 및 제어 심포지움 논문집
• /
• pp.28-30
• /
• 2009

This paper describes a 3-DTIP(3-D Tour Into Picture) using depth map for a Korean classical painting being composed of persons and landscape. Unlike conventional TIP methods providing 2-D image or video, our proposed TIP can provide users with 3-D stereoscopic contents. Navigating inside a picture provides more realistic and immersive perception. The method firstly makes depth map. Input data consists of foreground object, background image, depth map, foreground mask. Firstly we separate foreground object and background, make each of their depth map. Background is decomposed into polygons and assigned depth value to each vertexes. Then a polygon is decomposed into many triangles. Gouraud shading is used to make a final depth map. Navigating into a picture uses OpenGL library. Our proposed method was tested on "Danopungjun" and "Muyigido" that are famous paintings made in Chosun Dynasty. The stereoscopic video was proved to deliver new 3-D perception better than 2-D video.

• ETRI Journal
• /
• 제38권6호
• /
• pp.1114-1123
• /
• 2016

Multi-view video plus depth (MVD) has been widely used owing to its effectiveness in three-dimensional data representation. Using MVD, color videos with only a limited number of real viewpoints are compressed and transmitted along with captured or estimated depth videos. Because the synthesized views are generated from decoded real views, their original reference views do not exist at either the transmitter or receiver. Therefore, it is challenging to define an efficient metric to evaluate the quality of synthesized images. We propose a novel metric-the reduced-reference quality metric. First, the effects of depth distortion on the quality of synthesized images are analyzed. We then employ the high correlation between the local depth distortions and local color characteristics of the decoded depth and color images, respectively, to achieve an efficient depth quality metric for each real view. Finally, the objective quality metric of the synthesized views is obtained by combining all the depth quality metrics obtained from the decoded real views. The experimental results show that the proposed quality metric correlates very well with full reference image and video quality metrics.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.875-880
• /
• 2013

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권6호
• /
• pp.1209-1221
• /
• 2010

Three dimensional (3D) video is expected to be an important application for broadcast and IP streaming services. One of the main limitations for the transmission of 3D video over IP networks is network bandwidth mismatch due to the large size of 3D data, which causes fatal decoding errors and mosaic-like damage. This paper presents a novel selective frame discard method to address the problem. The main idea of the proposed method is the symmetrical discard of the two dimensional (2D) video frame and the depth map frame. Also, the frames to be discarded are selected after additional consideration of the playback deadline, the network bandwidth, and the inter-frame dependency relationship within a group of pictures (GOP). It enables the efficient utilization of the network bandwidth and high quality 3D IPTV service. The simulation results demonstrate that the proposed method enhances the media quality of 3D video streaming even in the case of bad network conditions.

• 방송공학회논문지
• /
• 제21권2호
• /
• pp.237-251
• /
• 2016

본 논문에서는 High Efficiency Video Coding(HEVC)을 기반으로 구현된 3D 스케일러블 코덱에서 부호화 효율을 향상시킬 수 있는 기술을 제안한다. 기존의 3D-HEVC에서는 dependent view를 부호화 할 때, 자신의 깊이 영상이 존재하지 않아 이웃 view의 base view의 깊이 영상을 이용하여 텍스처를 부호화한다. 하지만 스케일러블 부호화를 지원하는 형태의 3D-HEVC에서는 자신의 하위 spatial layer의 깊이영상을 이용하여 부호화 할 수 있다. 본 논문에서는 3D 스케일러블 코덱에서 텍스처 정보를 부호화하기 위한 향상된 깊이영상 예측방법을 제안한다. 저자들이 구현한 3D 스케일러블 코덱을 이용하여 제안한 알고리즘으로 실험을 한 결과, 제안하는 알고리즘이 기존 기술 대비 효율적인 것을 확인 할 수 있었다.

• 방송공학회논문지
• /
• 제16권1호
• /
• pp.44-53
• /
• 2011

본 논문에서는 depth layer partition을 이용한 2D 동영상의 자동 3D 변환 기법을 제안한다. 제안하는 기법에서는 먼저 2D 동영상의 장면 전환점을 검출하여 각각의 프레임 그룹을 설정하여 움직임 연산 과정에서의 오류 확산을 방지하여 깊이맵(depth map) 생성과 정에서 오차를 줄여준다. 깊이정보는 두 가지 방법으로 생성되는데 하나는 영역 분할과 움직임 정보를 이용하여 깊이맵을 추출하는 것이고 다른 하나는 에지 방향성 히스토그램(edge directional histogram)을 이용하는 방법이다. 제안하는 기법에서는 객체와 배경을 분리하는 depth layer partition 과정을 수행한 후 생성된 두 개의 깊이맵을 원 영상에 최적이 되도록 병합하게 된다. 제안된 기법으로 신뢰도 높은 깊이맵과 결과 영상을 생성할 수 있다는 것을 다양한 실험 결과를 통해 알 수 있다.

• 한국대기환경학회지
• /
• 제34권5호
• /
• pp.735-747
• /
• 2018

Rainfall depth is an important meteorological information. Generally, high spatial resolution rainfall data such as road-level rainfall data are more beneficial. However, it is expensive to set up sufficient Automatic Weather Systems to get the road-level rainfall data. In this paper, we propose to use deep learning to recognize rainfall depth from road surveillance videos. To achieve this goal, we collect a new video dataset and propose a procedure to calculate refined rainfall depth from the original meteorological data. We also propose to utilize the differential frame as well as the optical flow image for better recognition of rainfall depth. Under the Temporal Segment Networks framework, the experimental results show that the combination of the video frame and the differential frame is a superior solution for the rainfall depth recognition. The final model is able to achieve high performance in the single-location low sensitivity classification task and reasonable accuracy in the higher sensitivity classification task for both the single-location and the multi-location case.