• 방송공학회논문지
• /
• 제25권5호
• /
• pp.709-722
• /
• 2020

포인트 클라우드는 수많은 점의 집합으로 이루어진 데이터로 2차원 평면에서 벗어나 3차원 공간에서 3D 객체를 표현하는 것이 가능하다. 각 점은 기본적으로 3차원 공간의 좌표 정보가 필요하고 추가적으로 색 (Color), 반사율 (Reflectance) 같은 속성을 가질 수 있도록 구성되어 있다. 이처럼 3D 포인트 클라우드 표현에는 2D 영상보다 많은 데이터를 사용하고 있기에, 이를 사용자에게 효율적으로 제공하기 위해서는 고효율의 압축 기술 연구가 필요하며, 현재 국제 표준 기구인 MPEG에서는 포인트 클라우드 콘텐츠 압축 방법으로 2D 비디오 압축 기술을 사용한 Video-based Point Cloud Compression (V-PCC) 기술이 연구되고 있다. 이러한 고효율의 포인트 클라우드 압축방식에도 불구하고 단말의 성능이나 네트워크 환경 등의 문제로 인해 서비스가 제한되는 상황이 발생할 수 있다. 2D 영상의 경우 Scalable High efficiency Video Coding (SHVC) 혹은 Dynamic Adaptive Streaming over HTTP (DASH) 등의 다양한 기술을 사용하여 이러한 문제를 해결하고 있다. 이에 본 논문에서는 V-PCC 구조에 SHVC를 적용하여, 밀도 스케일러빌리티 기능을 가진 포인트 클라우드 압축 방안을 제안하는 것으로 이러한 문제를 해결하고자 한다.

• 전자공학회논문지 IE
• /
• 제43권4호
• /
• pp.105-114
• /
• 2006

본 논문에서는 IEEE 1394 카메라, Intel Xeon 서버 시스템, Microsoft DirectShow기술을 이용하는 웹 기반의 실시간 입체 동영상 통신을 위한 3차원 입출력 시스템을 제안하고 그 구성요소인 스테레오 카메라 시스템, 3D 디스플레이 시스템, 신호처리 시스템을 최적화하기 위한 조건들을 분석하였다. 즉, 웹 기반의 다시점 3차원 디스플레이 응용에 적합하도록 각 구성요소의 편수 조건에 맞추어 입출력 장치를 선택하고 이들을 조합하여 하나의 3차원 입체영상통신 시스템을 구성하였다. 그리고 제안된 시스템은 Visual C++.Net 환경에서 DirectX 9.1 SDK를 사용하여 최적화 구현하였다. 실험결과 서버 시스템에서 자연스럽고 임장감 있는 다시점의 실시간 3차원 입체 동영상을 관찰할 수 있었고 또한, 클라이언트 시스템에서도 전송된 영상들에 대하여 디스플레이를 통해 3차원 입체 영상을 관찰함으로써 웹 기반의 실시간 인격 3차원 입체 동영상 통신 시스템의 실질적인 응용 가능성을 제시하였다.

• 한국멀티미디어학회논문지
• /
• 제23권12호
• /
• pp.1447-1453
• /
• 2020

In this paper, we propose a method for no-reference quality assessment of sports videos using 3D shearlet transform and deep residual neural networks. In the proposed method, 3D shearlet transform-based spatiotemporal features are extracted from the overlapped video blocks and applied to logistic regression concatenated with a deep residual neural network based on a conditional video block-wise constraint to learn the spatiotemporal correlation and predict the quality score. Our evaluation reveals that the proposed method predicts the video quality with higher accuracy than the conventional no-reference video quality assessment methods.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권4호
• /
• pp.1730-1747
• /
• 2018

Multi-view video plus depth (MVD) is a mainstream format of 3D scene representation in free viewpoint video systems. The advanced 3D extension of the high efficiency video coding (3D-HEVC) standard introduces new prediction tools to improve the coding performance of depth video. However, the depth video in 3D-HEVC is time consuming. To reduce the complexity of the depth video inter coding, we propose a fast coding unit (CU) size and mode decision algorithm. First, an off-line trained Bayesian model is built which the feature vector contains the depth levels of the corresponding spatial, temporal, and inter-component (texture-depth) neighboring largest CUs (LCUs). Then, the model is used to predict the depth level of the current LCU, and terminate the CU recursive splitting process. Finally, the CU mode search process is early terminated by making use of the mode correlation of spatial, inter-component (texture-depth), and inter-view neighboring CUs. Compared to the 3D-HEVC reference software HTM-10.0, the proposed algorithm reduces the encoding time of depth video and the total encoding time by 65.03% and 41.04% on average, respectively, with negligible quality degradation of the synthesized virtual view.

• 방송공학회논문지
• /
• 제18권6호
• /
• pp.850-858
• /
• 2013

본 논문에서는 스테레오스코픽 3D 동영상에서 왼쪽과 오른쪽 영상 사이의 프레임 동기가 맞지 않아 시청에 어려움을 주는 문제를 해결하기 위해 두 영상에서 물체의 움직임에 따른 시간적 프레임 차분 영상을 이용한 동기화 방법을 제안한다. 먼저, 스테레오 조정(rectification) 과정을 통해 수직 시차를 보정한 왼쪽과 오른쪽 입력 동영상에서 시간적 프레임 차분 영상을 구하고, 두 차분 영상들에 대한 수평 방향 프로파일을 계산한다. 그 다음, 두 수평 프로파일의 절대 오차에 대한 평균 (mean of absolute difference(MAD))을 계산하여 그 값이 최소가 되는 프레임 조합을 찾아 스테레오스코픽 3D 동영상의 동기를 맞출 수 있도록 하였다. 실험결과, 두 영상의 프레임 동기가 맞는 프레임 조합에서 최소 MAD 값을 기록하여 제안 방법을 통해 스테레오스코픽 3D 동영상에서의 프레임 동기화가 가능하며, 제안 방법이 가우시안 잡음이나 H.264/AVC를 이용한 동영상 압축에 대해서도 강인함을 갖고 있음을 알 수 있다.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.416-424
• /
• 2013

최근 3DTV의 화질 평가와 관련된 국제 표준이 국제전기통신연합과 VQEG 등을 중심으로 진행되고 있다. 기존의 2D 디스플레이와 달리 3D 디스플레이는 영상의 재생 방식과 전달 방법에 따라 편광안경, 셔터안경, 무안경 방식 등 여러 종류가 있으며, 다양한 기술들이 개발되고 있다. 본 논문에서는 여러 방식의 3D 디스플레이 기기를 사용하여 일관된 3D 화질 평가가 가능한지 조사하기 위하여, 상이한 디스플레이를 대상으로 주관적 화질 평가 실험을 수행하였다. 실험 결과 각 디스플레이에서 측정된 화질점수는 영상의 재생 방식이나 디스플레이의 크기에 관계없이 매우 높은 상관관계를 보였으며, 이는 다양한 디스플레이를 사용하여 열화신호의 체감 화질을 측정하는 경우 유사한 결과를 얻을 수 있음을 의미한다.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제54권11호
• /
• pp.673-679
• /
• 2005

This Paper presents the 3D wavelet transformation based video compression system, which possesses the capability of progressive transmission by increasing resolution and increasing rate for multimedia applications. The 3D wavelet packet based video compression system removes the temporal correlation of the input sequences using the motion compensation filter and decomposes the spatio-temporal subband using the spatial wavelet packet transformation. The proposed system allocates the higher bit rate to the low frequency image of the 3D wavelet sequences and improves the 0.49dB PSNR performance of the reconstructed image in comparison with that of H.263. In addition to the limitation on the propagation of the motion compensation error by the 3D wavelet transformation, the proposed system progressively transmits the input sequence according to the resolution and rate scalability.

• 한국컴퓨터게임학회논문지
• /
• 제31권4호
• /
• pp.61-70
• /
• 2018

본 논문은 골프 스윙 자세 학습자를 위하여 골프 스윙의 참조 모델인 3D 모델과 학습자의 골프 스윙을 촬영한 동영상을 대상으로 스윙 동작 시 각각의 위치 및 시간에서 각 동작을 정밀하게 비교 분석하기 위해 3D 모델의 골프 스윙 동작과 학습자의 스윙 동작을 동기화 시키는 방법을 제안하고 구현한 결과를 제시한다. 3D 모델과 학습자의 스윙 동영상을 동기화시켜 재생하기 위해서 먼저 학습자의 골프 스윙 동영상을 촬영하고, 촬영한 동영상으로부터 어드레스 자세부터 피니쉬 자세까지 골프 클럽의 위치에 따라 상대적 시간 정보를 추출한다. 고품질 모션 캡쳐 장비를 통해 초당 120프레임으로 캡처된 골프 전문가의 움직임 정보를 3D 모델에 리깅한 3D 참조 모델에 학습자 스윙 동영상으로부터 추출한 골프 클럽의 위치별 시간 정보를 적용하여 3D 참조 모델과 학습자의 스윙 동영상을 동기화시켜 재생함으로 학습자는 골프 스윙의 각 위치에서 참조 모델과 자신의 자세를 정밀하게 비교함으로 자세를 교정하거나 학습할 수 있다. 동기화된 재생을 통하여 기존의 수동적으로 위치를 조정하며 참조 모델과 학습자의 스윙을 비교 분석하는 시스템의 기능을 편리하게 사용할 수 있도록 개선할 수 있으며, 골프 자세의 각 위치를 검출하는 영상 처리 기술을 적용한 부분을 제외하고, 동기화시키기 위해 동영상에서 자동적으로 각 위치의 시간 정보를 추출하여 동기화시켜 재생하는 방법은 일반적인 생활 스포츠 분야로 확대하여 활용할 수 있을 것으로 기대한다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1093-1103
• /
• 2009

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.40-41
• /
• 2012

양안식 3D 영상 시청 안정성에 대해 제기되고 있는 지속적인 이슈는 3D 영상 시장 활성화를 위해 반드시 선결 되어야 하는 과제이다. 최근, 이를 위해 양안식 3D 영상이 유발하는 시각적 불편함을 측정하고 이를 예측하는 연구가 활발히 진행되고 있다. 본 논문에서는 양안식 3D 영상에서 시각적 불편함을 야기하는 문제 영역의 양안 시차 변화에 따른 주관적 시각적 불편함을 측정한다. 이를 통하여 양안식 3D 영상에서 시각적 불편함을 주는 문제 영역의 영상 특성이 시청자가 인지하는 시각 피로에 지배적인 영향을 미칠 수 있음을 실험적으로 증명한다.