• 방송공학회논문지
• /
• 제12권2호
• /
• pp.128-136
• /
• 2007

사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 최근 인접한 시점의 영상을 이용하여 중간시점의 영상을 합성하고 이를 부호화에 적용하는 방법이 연구되고 있다. 다시점 비디오 부호화 효율을 높이기 위해 제안되었던 기존의 영상보간법은 최대변위 설정과 고정된 블록을 이용한 블록정합 방법을 이용한다. 이때, 변위 종류가 다양한 영상이거나 변위차가 큰 영역에 대해서 변위 오류가 많이 발생한다. 이 논문에서는 이러한 문제점을 보완하고 개선된 화질의 중간시점의 영상을 얻기 위한 방법과 이 영상을 이용하여 부호화에 적용하는 방법을 제안한다. 제안한 영상보간법은 변위의 검색 범위를 초기에 설정하지 않고 블록 단위부터 화소 단위까지 변위를 측정하여 중간영상을 합성한다. 또한 이렇게 합성한 영상을 부호화 과정에서 참조 영상으로 추가하여 부호화한다. 이 논문에서 제안한 방법을 이용한 결과, 기존의 영상 보간법보다 약 $1{\sim}4dB$ 정도 개선된 화질의 중간시점 영상을 얻었고, 이 영상들을 이용하여 제안한 부호화 방법으로 부호화한 결과 참조 모델에 비해 최대 0.5 dB의 부호화 효율이 개선됨을 확인했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 추계학술대회
• /
• pp.74-77
• /
• 2010

다시점 비디오 부호화기(MVC)는 다양한 블록 크기 기반의 움직임 추정과 변이 추정을 수행한다. 또한 2개 이상의 다중 참조 영상 움직임 추정 기술을 사용한다. 이 기술들을 통해 MVC는 높은 부호화 효율을 얻을 수 있지만 실제 적용하기에는 너무 높은 부호화 복잡도가 걸림돌로 작용한다. 본 논문에서는 MVC의 부호화 복잡도를 감소시키기 위하여 효율적인 참조 영상 선택 알고리즘을 제안한다. 부호화에 사용된 참조 영상들은 인접한 블록들 간에 높은 상호 연관성을 가지므로, 부호화된 이웃 블록들의 참조 영상 정보를 기반으로 현재 블록의 참조 영상을 효율적으로 선택할 수 있다. 실험을 통해 제안된 알고리즘이 부호화 시간을 기존의 MVC에 비해 최대 73.3%, 평균 57.3% 감소시키며 부호화 효율의 감소는 무시할 만한 수준임을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.130-133
• /
• 2010

멀티미디어 신호 처리 분야의 급속한 발전으로 인해 3차원 TV(3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자에게 입체감을 제공하여 사용자가 마치 그곳에 있는 듯한 효과를 줄 수 있다. 이에 최근 다시점 컬러 영상과 그에 대응되는 깊이 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 활발히 진행되고 있다. 본 논문에서는 주어지는 다시점 컬러 영상과 깊이 영상의 정보를 동시에 이용하여 다시점 영상 부호화의 효율을 높이는데 그 목적이 있다. 이를 위해 시점 생성 기법을 통해 다시점 영상의 부호화 시 참조하는 주변 시점의 영상들로부터 계산되는 변이 벡터 정보를 줄이는 방법을 제안한다. 실험 결과, 기존의 다시점 비디오 부호화에 비해서 약 0.5~1.5 dB정도의 화질 개선이 이뤄졌고, 평균 17.5%의 비트율 감소를 보였다.

• 방송공학회논문지
• /
• 제19권5호
• /
• pp.713-725
• /
• 2014

차세대 영상 기술의 하나로 다양한 분야에서 주목받고 있는 고품질 다시점 및 3차원 콘텐츠들에 대한 비디오 부호화 기술의 연구 및 표준화가 활발히 진행되고 있다. 다시점 및 3차원 비디오 기술은 복수의 시점을 이용하여 사용자에게 실감나는 영상을 제공할 수 있다. 하지만, 많은 시점을 획득 및 전송하는 것은 한계가 있으므로, 소수의 시점을 이용하여 다양한 시점을 제공하는 연구가 주를 이룬다. 이러한 연구에는 전송 시점을 줄이는 대신 깊이 정보를 전송하여 전송된 시점으로부터 더욱 정확히 임의 시점을 생성하는 기술과 시점간 정보 중복성을 제거하기 위한 부호화 기술이 있다. 최근 국제 표준화 기구인 JCT-3V(Joint Collaborative Team on 3D Video Coding Extension Development)에서는 다시점 및 3차원 비디오 영상을 효율적으로 부호화할 수 있는 기술에 대하여 표준화가 진행되고 있다. 본 논문은 현재 JCT-3V에서 HEVC(High Efficiency Video Coding) 기반으로 표준화가 진행 중인 3D-HEVC 부호화 기술에 대해 살펴보고 그 부호화 및 복잡도 성능을 분석하였다. 이러한 성능 분석은 향후 부호화 성능 향상을 위한 알고리즘 개발 및 고속 부호화기 개발을 위한 부호화 툴의 선별 및 조정에 유용할 것으로 판단된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2005년도 학술대회
• /
• pp.25-28
• /
• 2005

디지틸 멀티미디어 시대를 맞이하여 영상통신 기술이 급속히 발전함에 따라 보다 사실감과 몰입감을 줄 수 있는 3차원 입체 영상처리에 대한 관심이 커지고 있다. 최근 국내외 연구기관에서 다차원 멀티미디어 서비스 개발을 위한 연구가 활발히 진행되고 있으며, MPEG 표준화 그룹에서도 H.264/AVC 압축 방법을 이용한 다시점 비디오 부호화(multi-view video coding, MVC) 방법들이 제안되었다. 본 논문에서는 격자 피라미드 GOP 구조 기반의 다시점 비디오 부호화 방법에 대해 기술하였다. 이 방법은 현재 MPEG 표준화 그룹에서 권고된 ‘Anchor’ 방법에서 고려치 못한 인접 시점간의 공간적인 상관도를 효과적으로 활용하기 위해 격자 GOP구조를 제안했고, 각 시점에 대한 효율적인 부호화를 위해 계층적 피라미드 GOP 구조를 이용하였다. 또한, 공간적인 예측의 경우에 시점간의 전체 변이 (global disparity)를 고려하여 가변적인 탐색 범위를 이용하였다. 본 논문에서 제안한 방법은 현재 MPEG에서 성능 평가의 기준이 되는 ‘Anchor’ 방법에 비해 동일 비트율에서 0.5${\sim}$0.8 dB 정도의 성능 향상을 보였다.

• 방송공학회논문지
• /
• 제20권6호
• /
• pp.921-927
• /
• 2015

본 논문에서는 효율적인 스케일러블 다시점 비디오 부호화를 수행하기 위해 필요한 참조화면 재순서화, 마킹 프로세스, 참조픽처 리스트 구성을 포함하는 DPB (Decoded Picture Buffer) 작동을 위한 새로운 설계 방법을 제안한다. 다양한 실험 결과를 통해서 제안된 방법에 의해 스케일러블 다시점 비디오 부호화에 있어서 개선된 압축효율을 얻을 수 있고 BD-Rate 및 BD-PSNR 측면에서 향상된 비디오 화질을 얻을 수 있음을 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.472-474
• /
• 2011

본 논문에서는 특징점 기반 색상보정을 이용한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 보인다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 이용하였다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하였고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법으로 추정하였다. 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정했다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 올랐고 Bit rate는 14% 정도 절감되는 효과를 확인 하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.270-272
• /
• 2011

다시점 비디오는 사용자들에게 자유로운 시점 선택 및 넓은 시점에서의 입체감을 제공하지만, 시점의 증가에 따른 데이터 량의 증가가 불가피하다. 이에 따라 최근 MPEG 에서는 재생되는 시점 수 보다 적은 수의 다시점 비디오와 그에 대응하는 깊이 영상 및 관련 파라미터를 메타데이터 형태로 제공하는 다시점 및 깊이 영상 부호화(MVD: Multiview plus Depth)에 대한 표준화를 진행하고 있다. 본 논문은 MVD 가 방송망에서 서비스되는 시나리오를 가정하여 다시점 비디오와 그에 대응하는 깊이 영상을 MPEG-2 TS(Transport Stream)로 전송하기 위한 기법을 제시한다. 제안한 기법은 기존의 단일 영상 및 깊이 영상을 전송하기 위한 부가비디오스트림 서술자(Auxiliary Video Stream Descriptor) 및 MPEG-C Part 3 표준을 확장하여 다시점 비디오와 그에 대응하는 깊이 영상간의 매핑 정보 및 각 시점의 깊이 파라미터를 제공할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.31-33
• /
• 2012

MPEG 3DV 그룹에서는 재생되는 시점 수 보다 적은 시점의 다시점 비디오와 그에 대응하는 깊이영상 및 관련 파라미터를 하나의 비트스트림으로 부호화하는 다시점 및 깊이영상 부호화(MVD: Multiview Video plus Depth) 표준화가 진행 중에 있다. 본 논문은 3DV MVD 비트스트림 포맷을 MPEG-2 TS 로 다중화하기 위한 TS 다중화 확장기법을 제안한다. 또한, MVD 재현 시나리오에 따른 효율적인 TS 전송 구조를 제시하고, TS 다중화 SW 툴의 설계 및 구현을 통하여 그 장단점을 고찰한다. 제안된 기법은 프로그램 및 ES 에 대한 정보를 함께 다중화하여 MVD 의 다양한 재현 시나리오 적응 및 효율적인 복호화 및 가상시점 합성을 지원할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제18권12호
• /
• pp.35-45
• /
• 2018

움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 영상 압축에서 중요한 역할을 하지만 많은 계산량을 요구하므로 계산량을 줄이기 위한 많은 고속 움직임 추정 기법이 제안되어 왔다. 다시점 비디오는 하나의 3차원 영상을 여러 시점에서 다수의 카메라로 촬영한 영상으로 다시점 비디오의 계산량은 카메라 수에 비례하여 증가한다. 따라서 다시점 비디오를 효율적으로 부호화하기 위한 움직임 추정 기법이 필요하다. 본 논문에서는 블록의 시공간적 상관성과 블록의 움직임 특성에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정하는 움직임 추정 기법을 제안한다. 실험 결과, 제안한 움직임 추정 기법의 성능을 JMVC(Joint Multi-view Video Coding)의 TZ탐색과 전역탐색 기법의 성능과 비교한 경우, 영상 화질과 발생된 비트량을 비슷하지만 움직임 추정에 필요한 계산량은 각각 약 70~75%, 99%를 줄인다.