• 디지털산업정보학회논문지
• /
• 제7권2호
• /
• pp.91-100
• /
• 2011

Free viewpoint TV can provide multi-angle view point images for viewer needs. In the real world, But all angle view point images can not be captured by camera. Only a few any angle view point images are captured by each camera. Group of the captured images is called multi-view image. Therefore free viewpoint TV wants to production of virtual sub angle view point images form captured any angle view point images. Interpolation methods are known of this problem general solution. To product interpolated view point image of correct angle need to depth image of multi-view image. Unfortunately, multi-view video including depth image is necessary to develop a new compression encoding technique for storage and transmission because of a huge amount of data. Layered depth image is an efficient representation method of multi-view video data. This method makes a data structure that is synthesis of multi-view color and depth image. This paper proposed enhanced compression method using layered depth image representation and H.264/AVC video coding technology. In experimental results, confirmed high compression performance and good quality reconstructed image.

• ETRI Journal
• /
• 제44권1호
• /
• pp.38-50
• /
• 2022

This paper presents a study on the use of encoder-derived features in decoder-side depth estimation. The scheme of multiview video encoding does not require the transmission of depth maps (which carry the geometry of a three-dimensional scene) as only a set of input views and their parameters are compressed and packed into the bitstream, with a set of features that could make it easier to estimate geometry in the decoder. The paper proposes novel recursive block splitting for the feature extraction process and evaluates different scenarios of feature-driven decoder-side depth estimation, performed by assessing their influence on the bitrate of metadata, quality of the reconstructed video, and time of depth estimation. As efficient encoding of multiview sequences became one of the main scopes of the video encoding community, the experimental results are based on the "geometry absent" profile from the incoming MPEG Immersive video standard. The results show that the quality of synthesized views using the proposed recursive block splitting outperforms that of the state-of-the-art approach.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.67-70
• /
• 2009

This paper proposes an algorithm for creating stereoscopic video from a monoscopic video. A viewer uses depth perception clues called a vanishing point which is the farthest from a viewer's viewpoint in order to perceive depth information from objects and surroundings thereof to the viewer. The viewer estimates the vanishing point with geometrical features in monoscopic images, and can perceive the depth information with the relationship between the position of the vanishing point and the viewer's viewpoint. In this paper, we propose a method to estimate a vanishing point with edge direction histogram in a general monoscopic image and to create a depth map depending on the position of the vanishing point. With the conversion method proposed through the experiment results, it is seen that stable stereoscopic conversion of a given monoscopic video is achieved.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.601-615
• /
• 2009

본 논문에서는 3D-Video에서 가상시점 영상을 생성하는데 필요한 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 가상시점 영상은 실사 영상의 깊이정보 맵을 이용한 시점보간(View Interpolation) 방법으로 생성된다. 일반적으로 깊이정보 맵의 부호화에는 H.264 등의 자연영상에 대한 동영상 부호화 방법을 그대로 적용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 특성을 고려하지 않은 방법이다. 따라서 본 논문에서는 깊이정보 맵의 영상특성을 고려하여, 맵 정보를 그레이 코드로 변환한 후 비트평면 단위로 부호화하는 방법과, H.264 부호화 방법을 블록단위로 적응적으로 선택하여 부호화하는 방법을 제안하였다. 실험결과로서 제안하는 방법의 성능은 H.264 부호화 방법에 비하여, BD-PSNR이 평균 0.5dB 향상되고, BD-rate는 평균 7.43% 감소되어 부호화효율이 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상시점 영상 간의 비교에서 제안하는 방법이 H.264 부호화 방법에 비해 주관적 화질이 크게 향상된 것을 확인할 수 있었다.

• 한국산업정보학회논문지
• /
• 제21권6호
• /
• pp.23-29
• /
• 2016

본 논문은 구형 객체가 촬영된 깊이 영상에서 깊이 정보를 통하여 제일 근접한 구를 찾아내어 깊이 영상을 부호화하는 방법을 제안한다. 블록단위로 분할된 깊이 영상에 대해 최소자승법을 통해 촬영된 구형 객체와 제일 근접한 구의 형태를 찾는다. 그 후 찾아낸 구의 형태로 깊이 값을 예측하고, 측정된 깊이 값과의 오차를 통해 깊이 영상을 부호화한다. 또한, 블록 내의 부호화된 각 깊이 화소들과 찾아낸 구의 인자 정보를 같이 부호화한다. 제안된 방법으로 구형 객체에 대해 기존 DPCM 방법보다 최대 81% 이상의 부호화 효율 향상이 이루어졌다.

• 한국콘텐츠학회논문지
• /
• 제19권9호
• /
• pp.135-143
• /
• 2019

본 연구의 목적은 웹드라마가 사용하고 있는 온라인 동영상 플랫폼들을 대상으로 접근단계 분석과 광고 노출빈도 측정을 통해, 동영상 플랫폼의 사용성을 개선하는 것이다. 본 연구에서는 현재 웹드라마 시장의 점유율을 확인하고 접근단계와 광고회피를 바탕으로 채널간의 비교를 실시하였다. 그 결과 최신 콘텐츠에 대한 접근단계는 2~3단계이며 접근단계로 인하여 사용성이 낮아지지 않았다. 하지만 메인페이지나 검색결과에 노출되지 않아 디렉토리 검색이 필요한 경우 5~6단계의 접근단계가 필요하였다. 광고는 모든 플랫폼에서 2개 이상의 이미지광고가 표시되며, 유튜브와 네이버tv는 동영상 플레이어 내부에서 영상시작 전 프리롤(Pre-roll) 광고를 표시하는 것을 확인했다. 위와 같은 동영상 플랫폼 정보구조 상에서 디렉토리 검색을 하는 경우 높은 접근단계와 많은 광고노출로 사용자의 이탈률이 증가하고, 재방문 빈도가 낮아질 것으로 예상된다. 이를 개선하기 위해 드롭다운(Drop-Down) 메뉴를 활용하여 접근단계를 줄이는 정보구조 개선 프로토타입을 제안한다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1093-1103
• /
• 2009

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권2호
• /
• pp.1118-1133
• /
• 2017

Computer vision-based human activity recognition (HAR) has become very famous these days due to its applications in various fields such as smart home healthcare for elderly people. A video-based activity recognition system basically has many goals such as to react based on people's behavior that allows the systems to proactively assist them with their tasks. A novel approach is proposed in this work for depth video based human activity recognition using joint-based motion features of depth body shapes and Deep Belief Network (DBN). From depth video, different body parts of human activities are segmented first by means of a trained random forest. The motion features representing the magnitude and direction of each joint in next frame are extracted. Finally, the features are applied for training a DBN to be used for recognition later. The proposed HAR approach showed superior performance over conventional approaches on private and public datasets, indicating a prominent approach for practical applications in smartly controlled environments.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권7호
• /
• pp.3558-3577
• /
• 2017

In 2D-to-3D video conversion process, the virtual left and right view can be generated from 2D video and its corresponding depth map by depth image based rendering (DIBR). The depth map plays an important role in conversion system, so the copyright protection for depth map is necessary. However, the provided virtual views may be distributed illegally and the depth map does not directly expose to viewers. In previous works, the copyright information embedded into the depth map cannot be extracted from virtual views after the DIBR process. In this paper, a new copyright protection scheme for the depth map is proposed, in which the copyright information can be detected from the virtual views even without the depth map. The experimental results have shown that the proposed method has a good robustness against JPEG attacks, filtering and noise.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권1호
• /
• pp.242-259
• /
• 2015

Three-dimensional video coding is one of the main challenges restricting the widespread applications of 3D video and free viewpoint video. In this paper, a novel fractal coding algorithm with motion-vector-field-based motion estimation for depth map sequence is proposed. We firstly add pre-search restriction to rule the improper domain blocks out of the matching search process so that the number of blocks involved in the search process can be restricted to a smaller size. Some improvements for motion estimation including initial search point prediction, threshold transition condition and early termination condition are made based on the feature of fractal coding. The motion-vector-field-based adaptive hexagon search algorithm on the basis of center-biased distribution characteristics of depth motion vector is proposed to accelerate the search. Experimental results show that the proposed algorithm can reach optimum levels of quality and save the coding time. The PSNR of synthesized view is increased by 0.56 dB with 36.97% bit rate decrease on average compared with H.264 Full Search. And the depth encoding time is saved by up to 66.47%. Moreover, the proposed fractal depth map sequence codec outperforms the recent alternative codecs by improving the H.264/AVC, especially in much bitrate saving and encoding time reduction.