• Journal of Information Processing Systems
• /
• 제9권1호
• /
• pp.53-68
• /
• 2013

We investigate the rate-compatible punctured convolutional (RCPC) codes concatenated with hierarchical QAM for designing a cross-layer unequal error protection scheme for H.264 coded sequences. We first divide the H.264 encoded video slices into three priority classes based on their relative importance. We investigate the system constraints and propose an optimization formulation to compute the optimal parameters of the proposed system for the given source significance information. An upper bound to the significance-weighted bit error rate in the proposed system is derived as a function of system parameters, including the code rate and geometry of the constellation. An example is given with design rules for H.264 video communications and 3.5-4 dB PSNR improvement over existing RCPC based techniques for AWGN wireless channels is shown through simulations.

• Current Optics and Photonics
• /
• 제5권1호
• /
• pp.32-39
• /
• 2021

We propose a three-dimensional (3D) streaming system based on a lamina display that can convey field information in real-time by creating floating 3D images that can satisfy the accommodation cue. The proposed system is mainly composed of three parts, namely: a 3D vision camera unit to obtain and provide RGB and depth data in real-time, a 3D image engine unit to realize the 3D volume with a fast response time by using the RGB and depth data, and an optical floating unit to bring the implemented 3D image out of the system and consequently increase the sense of presence. Furthermore, we devise the streaming method required for implementing augmented reality (AR) images by using a multilayered image, and the proposed method for implementing AR 3D video in real-time non-face-to-face communication has been experimentally verified.

• ETRI Journal
• /
• 제43권3호
• /
• pp.447-458
• /
• 2021

The quality of experience (QoE) of video streaming is degraded by playback interruptions, which can be mitigated by the playout buffers of end users. To analyze the impact of playout buffer dynamics on the QoE of wireless adaptive hypertext transfer protocol (HTTP) progressive video, we model the playout buffer as a G/D/1 queue with an arbitrary packet arrival rate and deterministic service time. Because all video packets within a block must be available in the playout buffer before that block is decoded, playback interruption can occur even when the playout buffer is non-empty. We analyze the queue length evolution of the playout buffer using diffusion approximation. Closed-form expressions for user-perceived video quality are derived in terms of the buffering delay, playback duration, and interruption probability for an infinite buffer size, the packet loss probability and re-buffering probability for a finite buffer size. Simulation results verify our theoretical analysis and reveal that the impact of playout buffer dynamics on QoE is content dependent, which can contribute to the design of QoE-driven wireless adaptive HTTP progressive video management.

• 정보처리학회논문지D
• /
• 제13D권3호
• /
• pp.347-356
• /
• 2006

비디오 스트림은 다차원 공간에서 데이터 포인트의 시퀀스로 표현될 수 있다. 본 논문에서는 시퀀스 내의 데이터 포인트들의 값들의 근사치에 대한 정보와 시퀀스 내의 포인트들의 방향성에 대한 정보를 내포하고 있는 트랜드 벡터(trend vector)에 대한 소개와 이 벡터를 이용하여 데이터 시퀀스를 위한 유사 패턴 검색 기법을 제안한다. 시퀀스는 복수 개의 세그먼트로 분할되며 각 세그먼트는 트랜드 벡터로 표현된다. 질의처리는 시퀀스 내의 각각의 포인트들에 대하여 수행되는 대신, 트랜드 벡터들에 대하여 처리된다. 제안한 기법은 이 벡터를 사용하여 질의와 무관한 데이터 시퀀스들을 데이터베이스로부터 여과하고 질의 시퀀스와 유사한 시퀀스들을 검색하도록 설계되었다. 제안한 기법을 검증하기 위하여 비디오 스트림과 가상으로 생성된 데이터에 관하여 실험을 수행하였으며, 실험 결과 제안한 기법의 정밀도(precision)는 기존의 방법에 비하여 2.1배까지 향상되었으며 처리시간은 45%까지 감소되었음을 보여주고 있다.

• 로봇학회논문지
• /
• 제15권4호
• /
• pp.385-391
• /
• 2020

As deep learning technology has been developed and applied to various fields, it is gradually changing from an existing single image based application to a video based application having a time base in order to recognize human behavior. However, unlike 2D CNN in a single image, 3D CNN in a video has a very high amount of computation and parameter increase due to the addition of a time axis, so improving accuracy in action recognition technology is more difficult than in a single image. To solve this problem, we investigate and analyze various techniques to improve performance in 3D CNN-based image recognition without additional training time and parameter increase. We propose a time base ensemble using the time axis that exists only in the videos and an ensemble in the input frame. We have achieved an accuracy improvement of up to 7.1% compared to the existing performance with a combination of techniques. It also revealed the trade-off relationship between computational and accuracy.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.16-18
• /
• 2021

미디어 기술은 사용자가 더욱 몰입감을 느낄 수 있는 방향으로 개발되어 왔다. 이러한 흐름에 따라 기존의 2D 이미지에 비해 깊이감을 느낄 수 있는 증강 현실, 가상 현실 등 3D 공간 데이터를 활용하는 미디어가 주목을 받고 있다. 포인트 클라우드는 수많은 3차원 좌표를 가진 여러 개의 점들로 구성된 데이터 형식이므로 각각의 점들에 대한 좌표 및 색상 정보를 사용하여 3D 미디어를 표현한다. 고정된 크기의 해상도를 갖는 2D 이미지와 다르게 포인트 클라우드는 포인트의 개수에 따라 용량이 유동적이며, 이를 기존의 비디오 코덱을 사용하여 압축하기 위해 국제 표준기구인 MPEG(Moving Picture Experts Group)에서는 Video-based Point Cloud Compression (V-PCC)을 제정하였다. V-PCC는 3D 포인트 클라우드 데이터를 직교 평면 벡터를 이용하여 2D 패치로 분해하고 이러한 패치를 2D 이미지에 배치한 다음 기존의 2D 비디오 코덱을 사용하여 압축한다. 본 논문에서는 앞서 설명한 2D 패치 이미지에 super resolution network를 적용함으로써 3D 포인트 클라우드의 성능 향상하는 방안을 제안한다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.665-671
• /
• 2020

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형(immersive) 비디오의 압축 표준화를 진행하고 있다. 360 비디오의 전방위 뷰(view)와 함께 움직임 시차(parallax)를 제공하는 3DoF+ 비디오는 고정된 위치에서 상체 움직임 정도의 제한된 공간에서 획득된 여러 뷰 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 압축 표준화를 진행하고 있으며, 그 과정에서 TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. TMIV에서는 다수의 입력 뷰 비디오들의 중복성을 제거하고 남은 텍스쳐 및 깊이 영상 패치(patch)들을 촘촘히 프레임으로 패킹한 아틀라스(Atlas)를 생성하고 이를 부호화한다. 본 논문은 보다 효율적인 3DoF+ 비디오 부호화를 위해서 작은 크기의 블록들을 제거하는 아틀라스 생성 기법을 제시한다. 제안기법은 TMIV 대비 자연영상과 그래픽 영상에서 각각 0.7%와 1.4%의 BD-rate 비트율 감소의 성능 개선을 보였다.

• 한국측량학회지
• /
• 제29권3호
• /
• pp.249-255
• /
• 2011

고중복도 비디오카메라 영상을 이용하여 GPS/INS 및 지상기준점 자료 없이 제작되는 자유 입체 모자이크 영상은 기준 프레임 영상의 3차원 모델좌표계로 표현되는 상호표정요소를 이용하여 제작될 수 있다. 이와같이 제작된 자유 입체 모자이크 영상으로부터 결정되는 3차원 좌표는 3차원 모델좌표계로 나타내게 된다. 따라서 자유 입체 모자이크 영상을 이용하여 절대좌표를 결정하기 위해서는 모델좌표계를 절대좌표계로 변환하기 위한 방법이 필요하다. 일반적으로 서로 다른 두 개의 3차원 직각 좌표계간의 좌표변환은 3차원 상사변환(similarity transformation)이 사용된다. 하지만 자유 입체 모자이크 영상의 3차원 모델좌표는 원점으로부터 떨어질수록 오차가 누적되어 선형변환을 이용한 좌표변환을 수행하기 어렵다. 따라서 이러한 자유 입체 모자이크 영상의 모델좌표를 절대좌표로 변환하기 위한 3차원 비선형 변환 방법이 필요하다. 또한 절대좌표계로 표현된 수치지도와 입체 모자이크 영상을 중첩하여 사용하기 위해서는 자유 입체 모자이크 영상을 실좌표 입체 모자이크 영상으로 변환하기 위한 방법이 필요하다. 따라서 본 연구에서는 자유 입체 모자이크 영상의 3차원 모델좌표를 3차원 절대좌표로 변환하기 위한 3차원 비선형 변환 방법과 이 방법을 기반으로 자유 입체 모자이크 영상을 실좌표 입체 모자이크 영상으로 제작하기 위한 2차원 비선형 변환방법을 제안하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권2호
• /
• pp.208-217
• /
• 2021

3D-CNN is one of the deep learning techniques for learning time series data. However, these three-dimensional learning can generate many parameters, requiring high performance or having a significant impact on learning speed. We will use these 3D-CNNs to learn hand gesture and find the parameters that showed the highest accuracy, and then analyze how the accuracy of 3D-CNN varies through input data changes without any structural changes in 3D-CNN. First, choose the interval of the input data. This adjusts the ratio of the stop interval to the gesture interval. Secondly, the corresponding interframe mean value is obtained by measuring and normalizing the similarity of images through interclass 2D cross correlation analysis. This experiment demonstrates that changes in input data affect learning accuracy without structural changes in 3D-CNN. In this paper, we proposed two methods for changing input data. Experimental results show that input data can affect the accuracy of the model.

• 전자공학회논문지
• /
• 제50권8호
• /
• pp.245-249
• /
• 2013

In this paper, we propose two rate control algorithms for multi-view extension of HEVC with two rate control algorithms adopted in HEVC and analyze the multi-view rate control performance. The proposed multi-view rate controls are designed on HEVC-based multi-view video coding (MV-HEVC) platform with consideration of high-level syntax, inter-view prediction, etc. not only for the base view but also for the extended views using the rate control algorithms based on URQ (Unified Rate-Quantization) and R-lambda model adopted in HEVC. The proposed multi-view rate controls also contain view-wise target bit allocation for providing the compatibility to the base view. By allocating the target bitrates for each view, the proposed multi-view rate control based on URQ model achieved about 1.83% of average bitrate accuracy and 1.73dB of average PSNR degradation. In addition, about 2.97% of average bitrate accuracy and 0.31dB of average PSNR degradation are achieved with the proposed multi-view rate control based on R-lambda model.