• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.31-33
• /
• 2012

MPEG 3DV 그룹에서는 재생되는 시점 수 보다 적은 시점의 다시점 비디오와 그에 대응하는 깊이영상 및 관련 파라미터를 하나의 비트스트림으로 부호화하는 다시점 및 깊이영상 부호화(MVD: Multiview Video plus Depth) 표준화가 진행 중에 있다. 본 논문은 3DV MVD 비트스트림 포맷을 MPEG-2 TS 로 다중화하기 위한 TS 다중화 확장기법을 제안한다. 또한, MVD 재현 시나리오에 따른 효율적인 TS 전송 구조를 제시하고, TS 다중화 SW 툴의 설계 및 구현을 통하여 그 장단점을 고찰한다. 제안된 기법은 프로그램 및 ES 에 대한 정보를 함께 다중화하여 MVD 의 다양한 재현 시나리오 적응 및 효율적인 복호화 및 가상시점 합성을 지원할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.236-239
• /
• 2014

3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다. 본 논문에서는 다중 GPU의 병렬 수행을 통하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안한다. 다중 GPU 병렬 수행은 범용 목적 GPU(general purpose computing on GPU, GPGPU) 중의 하나인 CUDA를 이용하였으며, 본 논문에서 제안된 방법을 이용하여 3개의 GPU 사용한 실험 결과 초당 35 프레임의 다시점 깊이맵을 생성했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 춘계학술발표대회
• /
• pp.921-924
• /
• 2014

본 논문에서는 다시점 파노라마 동영상의 효율적인 재생을 위해서 분할 및 선택적 재생 기법을 통해 데이터의 전송 및 재생을 제한하는 방법을 제안한다. 큐브 파노라마로 제작된 다시점 파노라마 동영상을 분할전송을 통해 사용자가 필요로 하는 부분만 전송하는 방법으로 콘텐츠 전송의 효율을 높일 수 있도록 하며, 데이터를 해상도 및 화질에 따라 다른 레이어로 구성하여 디바이스 및 전송속도에 따라 차등적으로 서비스 될 수 있도록 한다. 콘텐츠의 분할 재생 시 발생하는 동기화 문제를 해결하고 이러한 과정을 안드로이드 디바이스를 통해 직접 테스트를 진행해서, 원할한 서비스가 제공 될 수 있도록 하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
• /
• pp.530-533
• /
• 2010

다시점 영상 부호화에서는 시점 간의 공간적 중복성을 이용하여 데이터 중복성을 제거하는 것이 중요하다. 독립적으로 부호화하는 동시 부호화 방법(simulcast)보다 부호화 효율이 더욱 향상하였지만 계산 복잡도가 증가하는 문제가 있다. 본 논문에서는 다시점 영상 부호화기의 계산 복잡도를 감소시키기 위한 빠른 모드 결정 방법을 제안한다. GOP 내의 양 끝에 위치하고 있는 기준 화면의 MAD를 계산하여 영역을 분할하고 영역 맵을 생성한다. 시점 간의 예측을 사용하는 시점의 경우 인접 시점의 기준 화면도 이용하여 영역을 분할한다. 생성된 맵은 비기준 화면의 부호화 시 적용되어 후보 모드를 조기에 판단한다. 이와 같은 방법을 적용한 후의 실험 결과, 화질의 손실이 거의 없으면서 부호화 시간은 평균 58.6% 감소하였고, 비트율은 평균 1.9% 증가하였다.

• 정보와 통신
• /
• 제24권4호
• /
• pp.59-66
• /
• 2007

최근 3차원 TV 방송 기술에 대한 연구가 활발히 이루어지고 있다. 3차원 TV 방송 기술이란 2차원 영상에 깊이 정보를 부가하여 사용자로 하여금 입체감과 현장감을 느낄 수 있게 하는 방송을 말한다. 스테레오 영상을 이용하면 입체감은 느낄 수 있지만 시점이 고정되는 단점이 있다. 또한, 다시점 영상의 경우 데이터 양이 커지는 단점이 있다. 이러한 문제를 해결하고, 자연스럽고 연속적인 입체감을 느낄 수 있게 하는 방법으로 중간 시점 영상 합성 방법이 사용된다. 본고에서는 3차원 영상처리 기술의 한 분야 중 중간 시점 영상을 합성하는 방식에 대해 살펴보고자 한다. 기존의 스테레오 정합을 기반으로 하는 변이 추정 방식과 변이를 이용하여 중간 시점 영상을 합성하는 방법에 대해 기술하고 결론을 맺고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 KOBA 방송기술 워크샵
• /
• pp.143-148
• /
• 1999

최근 대두되고 있는 입체 TV는 보는 사람의 위치가 바뀌어도 동일한 영상을 보여주는 방식을 가지고 있어 입체감은 느끼지만 현실감과 생동감이 떨어지게 된다. 따라서 인터랙티브 다시점 입체 영상 시스템에서는 이러한 문제점을 개선하기 위해 유한개의 획득 영상으로부터 생성된 입체 영상을 사람의 위치에 따라 다른 영상을 보여줌으로써 보다 자연스러운 입체감을 주도록 한다 본 시스템은 이를 위해 로봇암을 사용하여 영상 데이터베이스를 만들고 이로부터 영상기반 3차원 모델링 방법을 모델링을 한 후 안경식과 무안경식 방법으로 입체 영상을 표시하게 하였다. 또한 이 시스템은 생성된 3D 모델의 가상환경과의 결합을 가능케 하고, 또한 가상환경 내에서의 3D 모델을 원격 제어할 수 있도록 하였다.

• 방송과미디어
• /
• 제26권4호
• /
• pp.11-22
• /
• 2021

실감형 미디어를 구성하기 위해서는 다시점 영상 또는 비디오들로 구성된 대용량의 콘텐츠가 필수적이다. 이러한 콘텐츠는 다량의 카메라들을 목적에 따라 배치하여 획득하므로 영상 구성의 복잡성과 콘텐츠의 크기가 급격히 커진다는 문제점을 갖고 있다. 3D 미디어 환경에서 카메라의 개수를 최소화하면서도 목적에 맞게 다양한 시점을 제공할 수 있는 가상시점 영상 생성은 핵심적인 기술이다. 본 기고문에서는 다시점 영상과 비디오로부터 학습 기반의 가상 시점 영상 생성 연구들에 대해 체계적인 조사를 통해 그 결과를 다음과 같이 제시한다. 첫째, 가상 시점 영상 생성에 대한 배경 개념을 정의한다. 둘째, 제안하는 분류 방식에 따라 기존의 제안된 방법들을 상세하게 분석한다. 셋째, 가상 시점 영상 생성에 주로 사용되는 관련 데이터셋을 조사한다. 마지막으로는 각 연구들이 갖고 있는 특징들을 분석하고, 정량적, 정성적 평가 결과를 비교한다.

• 방송공학회논문지
• /
• 제17권5호
• /
• pp.838-850
• /
• 2012

본 논문에서는 스테레오 영상에서 얻은 다양한 특징들을 이용하여 다시점 영상을 생성하는 방법을 제안한다. 제안된 기법에서는 먼저 주어진 스테레오 영상에서 명암변화 주목도 지도(intensity gradient saliency map)를 생성한다. 다음으로 좌우 영상 간에 블럭 단위의 움직임을 나타내는 광류(optical flow)를 계산하고 scale-invariant feature transform(SIFT) 기법을 통해 사물의 크기와 회전에 변하지 않는 영상의 특징 점을 구하여 이 특징점 간의 변이를 구한 다음, 이 두 변이 정보들을 결합하여 변이 주목도 지도(disparity saliency map)를 생성 한다. 생성된 변이 주목도 지도는 가려짐 영역 검출을 통해 오류 변이가 제거된다. 세 번째로 영상 워핑시에 직선의 왜곡을 최소화하기 위해 직선 세그먼트를 얻는다. 마지막으로 다시점 영상은 이렇게 추출된 영상 특징들을 제한 조건으로 사용하여 그리드 메쉬(grid-mesh) 기반 영상 워핑(warping) 기법에 의해 생성된다. 실험 결과를 통해 제안한 기법으로 생성된 다시점 영상의 화질이 기존 DIBR 기법보다 우수한 것을 확인할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제16권5호
• /
• pp.539-548
• /
• 2013

움직임 추정은 비디오 영상 압축에 있어서 중요한 역할을 하지만 최적의 움직임 벡터를 추정하기 위해 많은 계산량을 요구한다. 다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오 부호화를 위한 움직임 추정의 계산량은 카메라 수에 비례하여 증가한다. 본 논문에서는 다시점 비디오 부호화를 위한 움직임 추정의 계산량을 줄이면서 영상 화질을 유지하는 저 복잡도 움직임 추정 기법을 제안하였다. 제안한 기법은 계층적인 탐색 기법으로 4-그리드 다이아몬드 탐색 패턴, 2-그리드 다이아몬드 탐색 패턴 그리고 TZ 2 point 탐색 패턴으로 구성되었다. 이들 탐색 패턴들은 움직임 벡터의 분포 특성을 이용하여 탐색 점들을 배치함으로써 적은 계산량으로 움직임 벡터를 추정할 수 있다. 제안한 기법의 성능을 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법의 성능과 비교하였을 경우, 영상 화질 면에서 약 0.01~0.24(dB) 화질 저하를 보였지만 움직임 추정의 계산량을 약 42%~80% 줄임으로서 약 1.8~4.5배 속도 향상을 보였다.

• 방송공학회논문지
• /
• 제11권4호
• /
• pp.407-419
• /
• 2006

본 논문은 다시점 동영상 부호화를 위한 적응적인 조명변화 보상 방법을 제안한다. 다시점 비디오에서 카메라의 위치에 따라 조명의 차이가 발생할 수 있으며, 여러 대의 카메라가 물리적으로 완전히 동일한 특성을 가지도록 조정되지 못하여 각 카메라에서 촬영된 영상 간에 미세한 차이가 발생할 수 있다. 이러한 특성은 인접한 위치의 카메라로부터 획득된 영상을 참조하여 부호화하는 다시점 비디오 부호화의 성능을 저하시키는 요인이 된다. 제안하는 조명변화 보상 방법을 통하여 다시점 비디오 부호화의 압축 효율을 높일 수 있었으며, 조명변화 보상을 수행하지 않는 다시점 비디오 부호화와 비교하여 PSNR(Peak Signal-to-Noise Ratio)이 약 $0.1{\sim}0.6dB$ 정도 향상되었다.