• 방송공학회논문지
• /
• 제13권5호
• /
• pp.586-595
• /
• 2008

본 논문에서는 이동 환경에서 다시점 비디오를 제공하는 적응형 다시점 비디오 서비스 프레임워크를 제안한다. 중간시점 영상의 실시간 생성과 다시점 비디오의 클라이언트 적응을 통해 이동 환경이 갖는 성능 제약을 해결한다. 그리고 적응 변환 작업을 서버에서 수행함으로써 클라이언트의 부하를 줄이고, H.264/AVC를 채택하여 비디오의 압축 효율을 개선한다. 이를 위해, 멀티미디어 프레임워크 표준인 MPEG-21 DIA (Digital Item Adaptation)를 참조하여, 사용자 요구와 클라이언트 기기의 특성에 맞도록 비디오를 적응시키는 이동 환경을 위한 새로운 다시점 비디오 DIA를 구현한다. 제안 프레임워크의 효율성과 성능을 측정한 결과, 다시점 비디오의 이동 서비스는 양방향으로 해상도가 $320{\times}240$이면, 최대 초당 13 프레임까지 가능하고, 기존 3D 점의 투영 방법과 비교하여 5배 빠른 중간시점 영상을 생성한다.

• 정보과학회 논문지
• /
• 제41권11호
• /
• pp.900-910
• /
• 2014

다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영 영상으로 다시점 비디오 부호화의 계산량은 카메라 수에 비례하여 증가한다. 본 논문에서는 다시점 비디오 부호화의 계산량을 줄이면서 영상 화질을 유지하는 예측 구조와 움직임 추정 기법을 제안한다. 제안한 개선된 예측 구조는 B계층 최대 인덱스 그리고 각 Bi계층의 화면수를 고려하였다. 제안한 움직임 추정 기법은 계층적인 탐색 기법으로 수정된 다이아몬드 탐색 패턴, 점진적인 다이아몬드 탐색 패턴 그리고 수정된 래스터 탐색 패턴으로 구성된다. 제안한 예측 구조와 움직임 추정 기법의 성능을 Fraunhofer-HHI의 계층적 B화면 구조와 TZ 움직임 추정 기법을 사용한 JMVC 참조 모델의 성능과 비교한 경우, 영상 화질과 발생 비트량은 비슷하지만 다시점 비디오 부호화의 계산량을 40~70% 줄인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.119-122
• /
• 2009

멀티미디어 처리 분야의 급속한 발전으로 인해 3차원 TV (3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자가 원하는 시점을 자유롭게 선택할 수 있고, 입체감을 제공하여 사용자가 마치 그 곳에 있는 듯한 효과를 줄 수 있다. 지금까지 입체 영상은 스테레오 영상을 기반으로 하나의 시점에 대한 입체 영상을 제공했지만 최근에는 다시점 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 연구되고 있다. 다시점 영상은 사용자에게 임의 시점의 영상에 대한 시청을 가능케 하여 입체감 있는 화면을 제공할 수 있다. 입체감 있는 영상을 만들기 위해서는 다시점 영상의 시점 간 가상 시점을 생성할 수 있도록 하고 깊이 정보를 포함하고 있는 깊이 영상 (Depth Image)을 획득하여야 한다. 획득된 깊이 영상 데이터와 다시점 비디오 데이터를 동시에 전송하는 다시점 비디오 시스템이 상용화되기 위해서는 방대한 양의 데이터를 효율적으로 압축하는 다시점 비디오 부호화 기술 개발이 필수적이다. 본 논문에서는 기존의 컬러 영상의 효율적인 압축 방법을 제안하던 다시점 비디오 부호화 기술에 국한되지 않고 3차원 영상 화질을 객관적으로 높일 수 있도록 깊이 영상의 효율적 압축 기법에 대한 새로운 방법을 제안한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권8호
• /
• pp.788-792
• /
• 2008

본 논문은 다시점 비디오 부호화를 위한 제한적인 시점 간 예측 방법을 제안한다. 다시점 비디오에서는 카메라의 위치 및 각도에 따라 시점 간에 보이지 않는 부분이 발생한다. 이와 같은 특성은 시점 간 예측을 하는 화면에서 매크로블록(Macroblock)이 보이지 않는 부분에 대해서도 양쪽의 참조 화면을 이용함으로써 예측 시간이 증가하는 요인이 된다. 본 논문에서는 이와 같은 점을 해결하기 위해 보이지 않는 부분에 속한 매크로블록의 시점 간 예측을 제한하는 방법을 적용하였다. 실험 결과, 기존의 다시점 비디오 부호화와 비교하여 4% 정도 부호화 시간을 단축시켰고 화질의 저하는 거의 없었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권7호
• /
• pp.495-502
• /
• 2013

영상 화질과 인코더의 속도에 영향을 주는 움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 동영상 압축에서 중요한 역할을 하지만 높은 계산 복잡도를 요구한다. 다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오를 위한 움직임 추정은 카메라 수에 비례하여 많은 계산량을 필요로 한다. 본 논문에서는 다시점 비디오 부호화를 위한 움직임 추정의 계산량을 줄이면서 영상 화질을 유지하는 고속 움직임 추정 기법을 제안한다. 제안한 기법은 계층적인 탐색 기법으로 수정된 다이아몬드 탐색 패턴, 다중 다이아몬드 탐색 패턴, 그리고 래스터 탐색 패턴으로 구성된다. 이 탐색 패턴들은 국부적 최소화 문제를 해결하기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하거나 움직임 벡터의 분포 특성을 이용하여 탐색 점들을 배치한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법의 성능과 비교한 경우, 영상 화질과 비트량을 비슷하지만 계산량을 줄임으로서 움직임 추정 속도를 약 1.2~3배 향상시킨다.

• 한국멀티미디어학회논문지
• /
• 제17권3호
• /
• pp.333-341
• /
• 2014

다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오 부호화는 카메라의 수에 비례하여 데이터의 양이 증가하기 때문에 계산량을 줄일 수 있는 다시점 비디오 부호화 기술이 필요하다. 본 논문에서 다시점 비디오의 부호화를 위한 움직임 추정의 계산량을 줄이면서 화질을 유지하는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 움직임 벡터의 분포 특성을 이용한 효과적인 초기 종료 움직임 추정 기법이다. 제안한 움직임 추정기법은 계층적 움직임 추정 기법으로 다중 사각형 탐색 패턴, 래스터 탐색 패턴, 수정된 다이아몬드 탐색 패턴 그리고 작은 다이아몬드 탐색으로 이루어져있다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 전역 탐색 기법(FS)의 성능과 비교한 경우, 영상 화질과 비트량을 비슷하지만 움직임 추정 속도를 각각 약 1.7~4.5배, 90배 향상시킨다.

• 정보과학회 논문지
• /
• 제43권5호
• /
• pp.606-612
• /
• 2016

DASH(Dynamic Adaptive Streaming over HTTP) 기반의 다시점(Multi-view) 비디오 서비스는 여러 대의 카메라를 통해 획득한 다수의 영상 중에서 사용자가 선택한 영상이나 객체로 시점을 전환한다. 그러나 기존 DASH 기반의 다시점 비디오 서비스는 시점전환 이벤트가 발생하면 버퍼링 된 이전 비디오 영상의 모든 세그먼트를 소비한 후 새로운 비디오 영상을 재생하기 때문에 시점전환 시간이 오래 걸리는 문제가 있다. 본 논문에서는 DASH 기반의 다시점 비디오 서비스에서 시점전환 지연 최소화를 위한 비디오 전송 기법을 제안한다. 제안하는 기법은 시점전환 지연을 최소화하기 위해 GoP(Group of Pictures) 사이즈 조절을 통해 전환용 영상을 추가로 구성하고 대역폭 예측과 재생 버퍼 점유율을 기반으로 클라이언트 버퍼를 제어한다. 실험 결과를 통해 제안하는 기법이 시점전환 지연을 감소시키는 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.439-440
• /
• 2015

기존에 H.264를 기본 계층으로 SVC와 MVC를 결합한 스케일러블 다시점 비디오 부호화기를 SVC와 MVC의 DPB를 통합한 통합형 DPB(Decoded Picture Buffer) 설계를 바탕으로 구현하였다. 그러나 구현된 비디오 부호화기로 HD급 이상의 해상도를 갖는 영상을 압축하는데 있어서 효과적인 성능이 나오지 않았다. 이러한 이유로 SHVC와 MV-HEVC의 부호화 구조를 결합하여 고해상도 처리를 위한 스케일러블 다시점 부호화기 설계를 제안한다. 제안된 방법을 통해서 SHVC와 MV-HEVC가 통합된 스케일러블 다시점 비디오 부호화를 효율적으로 구현할 수 있을 것으로 예상한다.

• 정보와 통신
• /
• 제24권4호
• /
• pp.15-26
• /
• 2007

멀티미디어 기술이 빠르게 발전함에 따라 보다 사실감 있는 콘텐츠의 수요가 급증하고 있다. 특히 2차원의 단방향 방송시스템에서 사용자의 요구에 따라 콘텐츠의 내용이 바뀌는 상호작용이 가능한 시스템이 활발히 연구되고 있다. 이러한 기술 중에 다시점 비디오는 여러 대의 카메라로 한 장면을 동시에 촬영한 영상으로, 사용자의 요구에 따라 시청 시점을 자유로이 선택할 수 있는 차세대 방송기술이다. 그러나 데이터의 양이 방대하여 다양한 서비스에 적용이 쉽지 않다. 이에 따라 MPEG(moving picture experts group)과 JVT (joint video team) 그룹은 다시점 비디오 부호화(multi-view video coding)의 국제 표준화 작업을 진행하고 있다. 2001년 12월에 시작하여 2007년 1월 국제회의까지 다시점 비디오 부호화의 요구사항, 부호화 조건, 테스트영상 선정, 세부 기술 제안 및 선정 등 국제 기술의 표준화를 위한 활동이 진행되었다. 그리고 향후 2008년까지 최종 국제 규격안이 제정될 예정이다.

• 방송공학회논문지
• /
• 제15권6호
• /
• pp.768-782
• /
• 2010

다시점 비디오의 조명 불일치 현상은 서로 다른 카메라의 위치와 카메라간의 불완전한 보정(calibration)으로 인하여 발생한다. 이러한 인접 시점간의 색상 불일치는 획득된 영상을 참조 영상으로 이용하여 부호화하는 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 요인이 된다. 이러한 조명 불일치를 보상하기 위한 방법 중에서 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 있다. 히스토그램 매칭을 통해 모든 시점 영상의 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어지고 다시점 비디오 부호화의 성능을 개선할 수 있다. 그러나 다시점 비디오 시퀀스는 카메라와 등장인물의 이동으로 인하여 시점 간 영상뿐만 아니라, 한 시점 내에 시간의 흐름에 따른 영상간의 히스토그램 분포가 서로 다를 수 있다. 참조 시점 시퀀스에 속한 모든 영상을 참조하는 기존의 히스토그램 매칭 기법은 시공간적으로 상관성이 높지 않은 영상의 조명을 효과적으로 보상하기에 적합하지 않다. 본 논문에서는 시점 영상 간의 색상 분포의 차이를 보이는 다시점 비디오를 보상하여 공간적 상관성을 높이기 위해 두 조건식이 반영된 영상분리 기법을 적용한 레이어별 히스토그램 매칭 기법과 시간의 흐름에 따라 색상 분포의 차이를 보이는 다시점 비디오를 비디오 부호화의 단위인 화면 그룹(group of pictures : GOP)별로 보상하여 시간적 상관성을 높이는 개별적인 히스토그램 매칭 기법을 제안한다. 실험을 통해 제안하는 조명 보상 기법이 기존의 조명 보상 기법보다 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.