• 방송공학회논문지
• /
• 제24권5호
• /
• pp.743-754
• /
• 2019

사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+), 6DoF를 위한 시스템은 여러 위치에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이를 위해 본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 3DoF+ 360 비디오 중복성 제거 기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 3DoF+ 360 비디오 간 중복성 제거를 위한 3D warping을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 3DoF+ 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제15권2호
• /
• pp.31-39
• /
• 2015

2D-to-3D 비디오 변환 기술은 2D 비디오 속에 내재하는 깊이 단서를 이용하여 스테레오 영상을 생성함으로써 2D 비디오에 3D 효과를 부여한다. 이 기술은 완전한 3D 비디오 시대로 가는 과도 기간 동안 3D 콘텐츠의 부족문제를 해결할 수 있는 유용한 기술이다. 본 논문은 2D-to-3D 비디오 변환의 저 복잡도 구현을 위한 새로운 깊이 생성 방안을 제시한다. 제안 기법에서는 전역 깊이의 시방향 일관성을 위하여 패턴 기반의 전역 깊이 생성 기법을 제안하였다. 뿐만 아니라 객체 영역의 3D 입체감 개선을 위한 저 복잡도의 객체 깊이 개선 알고리즘도 추가적으로 제시하였다. 실험을 통해 제안 알고리즘이 복잡도와 주관적 화질 측면에서 기존 방식들에 비해 우수한 성능을 나타냄을 보인다.

• 한국통신학회논문지
• /
• 제37권6A호
• /
• pp.497-502
• /
• 2012

본 논문에서는 IPTV 환경의 원격 영상회의에서 화자 간의 자연스러운 시선 맞춤(eye contact)을 위한 깊이영상의 후처리 필터링 기술을 제안한다. 제안하는 방법은 깊이탐색 기술과 영상합성 기술을 사용해서 화자의 정면시점 영상을 합성한다. 하지만, 깊이영상을 탐색하는 과정에서 객체의 경계 불일치, 시간적 상관도 저하 등의 문제가 발생하기 때문에 이를 해결하기 위해 시간축으로 확장된 결합형 양방향 필터(joint bilateral filter)를 제안한다. 실험 결과를 통해, 제안하는 깊이영상의 후처리 필터링 기술이 정면시점 합성영상의 화질을 향상시켰고, 원격의 화자와 시선 맞춤이 기능한 것을 확인했다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 춘계학술대회
• /
• pp.529-530
• /
• 2014

다면영상은 광고, 전시, 홍보 등 여러 분야에서 활용되고 있으나, 그 속에 적용되는 콘텐츠는 합성, 그래픽 등의 영상이 대부분이다. 바로 실사 영상으로 다면을 촬영하기가 매우 어려울 뿐만 아니라 촬영단계에서의 문제점들을 후반작업에서도 보완하기 어렵기 때문이다. 이에 본 연구에서는 촬영과 후반작업에서의 문제점을 파악한 후, 개선방안을 실험하여 검증하고자 한다. 구체적인 연구방법으로는 카메라 간 거리에 따라 변화하는 영상의 가장자리에서 발생하는 왜곡을 최소화하기 위한 거리를 구하는 실험을 진행하고자 한다. 이를 토대로 다면영상의 매체적 탁월성을 보다 효과적으로 활용할 수 있는 실사기반의 콘텐츠 생산에 기여하고자 한다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.48-60
• /
• 2011

최근 3차원 영상과 자유 시점 영상에 대한 연구가 매우 활발하다. 다수의 카메라로부터 취득된 다시점 영상 사이를 가상적으로 이동하며 시청할 수 있는 자유 시점 렌더링은 다양한 분야에 적용될 수 있어 주목받는 연구주제이다. 하지만 다시점 카메라 시스템은 경제적인 비용 및 전송의 제약이 따른다. 이러한 문제를 해결하기 위한 대안으로 한 장의 텍스처 영상과 상응하는 깊이 영상을 이용하여 가상 시점을 생성하는 방법이 주목받고 있다. 가상 시점 생성 시 발생하는 문제점은 원래 시점에서는 객체에 의해 가려져 있던 영역이 가상시점에서는 보이게 된다는 것이다. 이 가려짐 영역을 자연스럽게 채우는 것은 가상 시점 렌더링의 질을 결정한다. 본 논문은 가상 시점 렌더링에서 필연적으로 발생하는 가려짐 영역을 깊이 기반 인페인팅을 이용하여 합성하는 방법을 제안한다. 텍스처 합성 기술에서 우수한 성능을 보인 패치 기반 비모수적 텍스처 합성 방법에서 중요한 요소는 어느 부분을 먼저 채울 지 우선순위를 결정하는 것과 어느 배경 영역으로 채울 지 예제를 결정하는 것이다. 본 논문에서는 헤시안(Hessian) 행렬 구조 텐서(structure tensor)를 이용해 잡음에 강건한 우선순위 설정 방법을 제안한다. 또한 홀 영역을 채울 적절한 배경 패치를 결정하는 데에 있어서는 깊이 영상을 이용해 배경영역을 알아내고 에피폴라 라인을 고려한 패치 결정 방법을 제안한다. 기존 방법들과 객관적인 비교와 주관적인 비교를 통하여 제안된 방법의 우수성을 보이고자 한다.

• 한국통신학회논문지
• /
• 제30권3C호
• /
• pp.102-111
• /
• 2005

본 논문에서는 MPEG-4 AVC 부호화기를 위한 고속 인터 예측기에 대한 하드웨어 구조를 제안한다. 동영상 압축기술인 MPEG-4 AVC 부호화기의 전체 구성 중에서 핵심 부분인 인터 예측기를 1/4화소 단위로 움직임 추정을 수행 할 수 있도록 하드웨어 구조를 설계하였으며 이를 위해 블록 조각화, 움직임 추정, 움직임 보정의 기본적인 구조를 구성하고 실시간 동영상 부호화를 할 수 있도록 인터 메모리와 1/4화소 단위 고속 블록 계산기 등을 이용하였다. 구현된 전체 모듈은 Altera Excalibur 디바이스와 Xilinx Virtex2 디바이스를 이용한 FPGA 구성을 통해 검증하고 삼성 STD130 0.18um CMOS Cell Library를 이용하여 합성 및 검증을 하였다. 이렇게 검증된 구조의 성능은 ASIC으로 구현할 경우 최대 동작 주파수가 약 62.5MHz이며 성능은 QCIF크기의 영상데이터를 기준으로 초당 약 88프레임의 인터예측을 수행할 수 있다. 본 성능은 하드웨어 기반의 MPEG-4 AVC 실시간 부호화기를 설계하기에 적합한 구조임을 보여준다.

• 한국통신학회논문지
• /
• 제37A권9호
• /
• pp.786-791
• /
• 2012

본 논문에서는 3차원 합성영상의 화질 개선을 위하여 깊이영상의 경계를 개선하는 방법을 제안한다. 깊이영상을 부호화할 때 객체의 경계부근에서 왜곡이 발생하게 되는데, 이러한 왜곡은 합성영상의 화질을 떨어뜨리는 원인이 된다. 본 논문에서 제안하는 방법은 경계 주변만을 필터링하기 위해 에지 맵을 추출하고, 이를 이용하여 객체의 경계를 포함하는 매크로블록에만 제안하는 방법을 적용한다. 여기서 경계주변의 참조 화소의 빈도, 유사성, 거리 등 세 가지 요소를 고려하는 윈도우-기반의 경계 선명화 필터를 적용하여 중앙의 대상 화소를 최적의 화소값으로 대체한다. 제안한 방법은 다시점 비디오 부호화의 참조 소프트웨어인 JMVC 8.3에 디블록킹 필터의 후처리로 구현했다. 기존 방법들과 비교하여 평균 0.49 dB의 화질 개선과 16.58%의 비트율 감소가 있었고, 주관적으로도 개선된 부분을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제16권2호
• /
• pp.71-81
• /
• 2011

동영상 강의를 손쉽게 제작하기 위해서는 카메라 촬영 영상, 화이트 보드 영상, 첨부 비디오 영상, 도큐먼트 데이터 및 오디오가 실시간으로 결합되어 동영상으로 만들어지는 알고리즘이 필요하다. 본 연구에서는 다중 미디어 객체를 실시간으로 합성하고 해당 영상의 재생산을 위하여 웨이브렛 기반 무손실 압축을 사용하는 동영상 강의 콘텐츠 제작 시스템을 구현하였다. 상용화된 PC를 사용하여 다중 미디어 객체를 실시간으로 결합시켜주는 동영상 강의 콘텐츠 편집 시스템은 동영상 강의 콘텐츠를 제작하고자 할 때 빠르고, 쉽고, 유용하게 사용될 수 있으므로, 지속적으로 증가하고 있는 이러닝 및 모바일 러닝 분야에서 교수자에게 매우 효율적인 시스템이 될 수 있을 것이다. 뿐만 아니라 제안하는 멀티미디어 실시간 합성 기술과 무손실 압축 기술은 원격 회의, 전자상거래 등 다양한 분야로의 응용이 가능하므로 더욱 의의가 있다.

• ETRI Journal
• /
• 제44권1호
• /
• pp.51-61
• /
• 2022

In this paper, we introduced a novel voxel-wise UV parameterization and view-dependent texture synthesis for the immersive rendering of a truncated signed distance field (TSDF) scene model. The proposed UV parameterization delegates a precomputed UV map to each voxel using the UV map lookup table and consequently, enabling efficient and high-quality texture mapping without a complex process. By leveraging the convenient UV parameterization, our view-dependent texture synthesis method extracts a set of local texture maps for each voxel from the multiview color images and separates them into a single view-independent diffuse map and a set of weight coefficients for an orthogonal specular map basis. Furthermore, the view-dependent specular maps for an arbitrary view are estimated by combining the specular weights of each source view using the location of the arbitrary and source viewpoints to generate the view-dependent textures for arbitrary views. The experimental results demonstrate that the proposed method effectively synthesizes texture for an arbitrary view, thereby enabling the visualization of view-dependent effects, such as specularity and mirror reflection.

• 방송공학회논문지
• /
• 제21권6호
• /
• pp.878-888
• /
• 2016

본 논문에서는 3차원 비디오 시스템에서 손상된 깊이영상으로 인하여 합성된 가상시점 영상에서 발생하는 경계 잡음을 효과적으로 제거하는 방식을 제안한다. 제안 방식에서는 손실 압축에 의한 깊이영상의 잡음으로부터 발생하는 경계 잡음의 특징을 분석하고, 이를 바탕으로 픽셀 도메인과 주파수 도메인에서의 convex set을 설정하여 해당 조건들을 반복적으로 사영시키는 projection onto convex sets (POCS) 기법을 활용하여 올바른 정보는 유지한 채 경계 잡음만을 제거한다. 이 논문에서 제안한 방식은 영상합성 과정에서 생성되는 컬러 및 깊이영상에 모두 적용하였다. 실험 결과 제안 기법은 경계 잡음을 효과적으로 제거하여 가상시점 영상의 화질을 향상시켰음을 확인하였다.