• 한국멀티미디어학회논문지
• /
• 제18권2호
• /
• pp.149-157
• /
• 2015

The 3D-AVC standard aims at improving coding efficiency by applying new techniques for utilizing intra, inter and view predictions. 3D video scenes are rendered with existing texture video and additional depth map. The depth map comes at the expense of increased computational complexity of the encoding process. For real-time applications, reducing the complexity of 3D-AVC is very important. In this paper, we present a fast intra mode decision algorithm to reduce the complexity burden in the 3D video system. The proposed algorithm uses similarity between texture video and depth map. The best intra prediction mode of the depth map is similar to that of the corresponding texture video. The early decision algorithm can be made on the intra prediction of depth map coding by using the coded intra mode of texture video. Adaptive threshold for early termination is also proposed. Experimental results show that the proposed algorithm saves the encoding time on average 29.7% without any significant loss in terms of the bit rate or PSNR value.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권2호
• /
• pp.435-449
• /
• 2023

The state-of-the-art video-based point cloud compression(V-PCC) has a high efficiency of compressing 3D point cloud by projecting points onto 2D images. These images are then padded and compressed by High-Efficiency Video Coding(HEVC). Pixels in padded 2D images are classified into three groups including origin pixels, padded pixels and unoccupied pixels. Origin pixels are generated from projection of 3D point cloud. Padded pixels and unoccupied pixels are generated by copying values from origin pixels during image padding. For padded pixels, they are reconstructed to 3D space during geometry reconstruction as well as origin pixels. For unoccupied pixels, they are not reconstructed. The rate distortion optimization(RDO) used in HEVC is mainly aimed at keeping the balance between video distortion and video bitrates. However, traditional RDO is unreliable for padded pixels and unoccupied pixels, which leads to significant waste of bits in geometry reconstruction. In this paper, we propose a new RDO scheme which takes 3D-Distortion into account instead of traditional video distortion for padded pixels and unoccupied pixels. Firstly, these pixels are classified based on the occupancy map. Secondly, different strategies are applied to these pixels to calculate their 3D-Distortions. Finally, the obtained 3D-Distortions replace the sum square error(SSE) during the full RDO process in intra prediction and inter prediction. The proposed method is applied to geometry frames. Experimental results show that the proposed algorithm achieves an average of 31.41% and 6.14% bitrate saving for D1 metric in Random Access setting and All Intra setting on geometry videos compared with V-PCC anchor.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2004년도 학술대회 논문집 정보 및 제어부문
• /
• pp.190-192
• /
• 2004

In this paper, we propose a low bit-rate embedded video compression scheme with 3-D block partition coding in the wavelet domain. The proposed video compression scheme includes multi-level 3-dimensional dyadic wavelet decomposition, raster scanning within each subband, formation of block, 3-D partitioning of block, and adaptive arithmetic entropy coding. Although the proposed video compression scheme is quit simple, it produces bit-stream with good features, including SNR scalability from the embedded nature. Experimental results demonstrate that the proposed video compression scheme is quit competitive to other good wavelet-based video coders in the literature.

• 방송공학회논문지
• /
• 제20권4호
• /
• pp.545-556
• /
• 2015

차세대 3차원 디스플레이 및 서비스를 지원하기 위한 HEVC 기반 3차원 비디오 코딩 표준(3D-HEVC)이 최근 완료되었다. 3D-HEVC는 소수의 텍스처 영상(Texture image)과 깊이 영상(Depth map image)으로 구성된 Multi-view plus depth (MVD) 포맷을 효율적으로 처리하기 위한 표준으로써 H.264/AVC와 HEVC에서 사용하는 단일 계층 부호화 방법과 더불어 텍스처 영상들간, 깊이 영상들간, 텍스처 영상과 깊이 영상들간의 예측을 수행하는 인터-컴포넌트 부호화 기술을 추가적으로 사용한다. 본 논문에서는 3D-HEVC 표준의 일반적인 코딩 구조, 3D-HEVC 기술의 기반이 되는 인터-컴포넌트 부호화 기술 및 인터-컴포넌트 부호화 효율에 중요한 영향을 미치는 시차 벡터(Disparity vector) 유도 기술에 대해 상세히 소개한다. 또한 본 논문에서는 3D-HEVC의 부호화 효율을 검증하기 위해 각 시점을 HEVC로 부호화한 방법과 단순 다시점 확장 표준인 MV-HEVC와의 성능평가를 수행한다.

• 한국멀티미디어학회논문지
• /
• 제22권6호
• /
• pp.655-664
• /
• 2019

In this paper, we propose a novel way of combining multiple deep convolutional neural network (DCNN) architectures which work well for accurate video face identification by adopting a serial combination of 3D and 2D DCNNs. The proposed method first divides an input video sequence (to be recognized) into a number of sub-video sequences. The resulting sub-video sequences are used as input to the 3D DCNN so as to obtain the class-confidence scores for a given input video sequence by considering both temporal and spatial face feature characteristics of input video sequence. The class-confidence scores obtained from corresponding sub-video sequences is combined by forming our proposed class-confidence matrix. The resulting class-confidence matrix is then used as an input for learning 2D DCNN learning which is serially linked to 3D DCNN. Finally, fine-tuned, serially combined DCNN framework is applied for recognizing the identity present in a given test video sequence. To verify the effectiveness of our proposed method, extensive and comparative experiments have been conducted to evaluate our method on COX face databases with their standard face identification protocols. Experimental results showed that our method can achieve better or comparable identification rate compared to other state-of-the-art video FR methods.

• 한국정보통신학회논문지
• /
• 제15권4호
• /
• pp.943-950
• /
• 2011

이 논문에서는 2D 및 3D 영상의 어텐션량을 측정하여 정지 및 동영상의 재설정 및 압축처리 기법을 제시하였다. 2D 어텐션은 세 개의 주요 구성, 즉, 영상의 세기, 컬러 및 방향성을 고려하였으며, 3D 영상에서 깊이 정보를 고려하였다. 시각적 어텐션은 관심있고 흥미있는 영역이나 객체를 검출하기 위해 희소성을 정량화하는 기법에 의해 구하였다. 왜곡된 스테레오 영상에서 변화된 깊이 정보를 어텐션 확률에 정합시켜서 최종적으로 저위 HVS 반응을 실제 어텐션 확률과 종합하여 스테레오 왜곡 예측기를 설계하였다. 결과로 기존 모델에 비해 효과적인 어텐션 기법을 개발하였으며 이를 비디오 재설정에 적용하여 성능을 입증하였다.

• 한국게임학회 논문지
• /
• 제13권3호
• /
• pp.5-18
• /
• 2013

본 연구는 3D 입체영상게임의 영상효과와 실재감, 피로도 효과를 검증하기 위해 플레이테스트 실험처치 방법론을 통해 2D게임과 비교하여 효과를 분석하였다. 첫째로 3D게임과 2D게임에 대해 사용자들의 영상경험의 차이를 검증하고자 했던 가설은 영상선명도를 제외하고 실물감, 입체감, 실재감가설 모두 채택되었다. 둘째로 3D게임과 2D게임은 안구피로도와 신체피로도 모두 차이가 없는 것으로 나타났다. 이 연구결과는 그동안 3D 입체영상에서 발생하는 영상왜곡과 피로 유발요인으로 피로도가 발생한다고 하는 기존의 연구결과와는 다른 것이다. 셋째로 3D게임과 2D게임 플레이과정에서 발생한 뇌파의 변화를 측정하여 분석한 결과 EEG 알파파의 평균 진폭은 차이가 없었으나 EEG 베타파는 더 높은 진폭대로 발생하는 것으로 확인되었다. 이 연구는 전통적인 실험연구 방법에 EEG 뇌파측정을 방법론적으로 보완하여 3D 입체영상게임의 사용경험과정에서의 뇌생리학적 변화와 차이를 검증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 춘계학술발표대회
• /
• pp.71-74
• /
• 2009

The data-flow paradigm has been employed in various application areas. It is particularly useful where large data-streams must be processed, for example in video and audio processing, or for scientific visualization. A video-based 3D reconstruction system should process multiple synchronized video streams. The system exhibits many properties that can be targeted using a data-flow approach that is naturally divided into a sequence of processing tasks. In this paper we introduce our concept to apply the data-flow approach to a multi-video 3D reconstruction system.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권8호
• /
• pp.3806-3825
• /
• 2016

This paper brings out a neoteric frame of reference for visual semantic based 3d video search and retrieval applications. Newfangled 3D retrieval application spotlight on shape analysis like object matching, classification and retrieval not only sticking up entirely with video retrieval. In this ambit, we delve into 3D-CBVR (Content Based Video Retrieval) concept for the first time. For this purpose we intent to hitch on BOVW and Mapreduce in 3D framework. Here, we tried to coalesce shape, color and texture for feature extraction. For this purpose, we have used combination of geometric & topological features for shape and 3D co-occurrence matrix for color and texture. After thriving extraction of local descriptors, TB-PCT (Threshold Based- Predictive Clustering Tree) algorithm is used to generate visual codebook. Further, matching is performed using soft weighting scheme with L₂ distance function. As a final step, retrieved results are ranked according to the Index value and produce results .In order to handle prodigious amount of data and Efficacious retrieval, we have incorporated HDFS in our Intellection. Using 3D video dataset, we fiture the performance of our proposed system which can pan out that the proposed work gives meticulous result and also reduce the time intricacy.

• 한국공간정보시스템학회 논문지
• /
• 제11권1호
• /
• pp.63-70
• /
• 2009

3차원 지리정보시스템(GIS: Geographical Information System)은 실세계의 다양한 3차원 현상을 처리, 분석, 표현하는 기술을 적용한 지리정보시스템으로써, 지형, 시설물 등을 3차원 지리정보 데이터로 구축하고 가상현실(VR: Virtual Reality) 등의 시각화 기술과 연동하여 도시, 교통, 환경, 재해, 해양 등의 다양한 분야에서 활용할 수 있도록 하는 시스템이다. 본 논문에서는 3차원 지리정보시스템의 실시간 정보 제공을 극대화하기 위한 3차원 지리정보 기반 비디오 시각화 기술 및 이를 위한 3차원 건물정보 데이터 구축 기술을 제안한다. 본 논문에서 제안하는 3차원 지리정보 기반 비디오 시각화 기술은 네트워크 비디오 카메라의 실시간 비디오 스트림을 3차원 지리정보에 투영(Projection)하여 지형, 시설물 등에 텍스처 매핑하는 기술로써 3차원 지리정보에 기반한 실시간 비디오 정보를 제공할 수 있다. 또한, 본 논문에서는 3차원 투영 텍스처 매핑(3D Projective Texture Mapping)을 위해 항공영상과 LiDAR 데이터를 융합하여 반자동으로 수치건물모형(DBM: Digital Building Model)을 추출할 수 있는 기술을 개발하였다. 본 논문에서 제안하는 기술은 기존의 3차원 지리정보시스템이 제공하는 정적인 시각정보를 실시간 비디오 정보로 대체함으로써 위치에 기반한 현재의 시각적 정보를 의사결정에 즉시 반영할 수 있고 더 나아가서는 지리정보 기반 지능형 상황인지 서비스를 제공할 수 있는 기반이 될 수 있다.