• 방송공학회논문지
• /
• 제15권6호
• /
• pp.768-782
• /
• 2010

다시점 비디오의 조명 불일치 현상은 서로 다른 카메라의 위치와 카메라간의 불완전한 보정(calibration)으로 인하여 발생한다. 이러한 인접 시점간의 색상 불일치는 획득된 영상을 참조 영상으로 이용하여 부호화하는 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 요인이 된다. 이러한 조명 불일치를 보상하기 위한 방법 중에서 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 있다. 히스토그램 매칭을 통해 모든 시점 영상의 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어지고 다시점 비디오 부호화의 성능을 개선할 수 있다. 그러나 다시점 비디오 시퀀스는 카메라와 등장인물의 이동으로 인하여 시점 간 영상뿐만 아니라, 한 시점 내에 시간의 흐름에 따른 영상간의 히스토그램 분포가 서로 다를 수 있다. 참조 시점 시퀀스에 속한 모든 영상을 참조하는 기존의 히스토그램 매칭 기법은 시공간적으로 상관성이 높지 않은 영상의 조명을 효과적으로 보상하기에 적합하지 않다. 본 논문에서는 시점 영상 간의 색상 분포의 차이를 보이는 다시점 비디오를 보상하여 공간적 상관성을 높이기 위해 두 조건식이 반영된 영상분리 기법을 적용한 레이어별 히스토그램 매칭 기법과 시간의 흐름에 따라 색상 분포의 차이를 보이는 다시점 비디오를 비디오 부호화의 단위인 화면 그룹(group of pictures : GOP)별로 보상하여 시간적 상관성을 높이는 개별적인 히스토그램 매칭 기법을 제안한다. 실험을 통해 제안하는 조명 보상 기법이 기존의 조명 보상 기법보다 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• 방송공학회논문지
• /
• 제13권3호
• /
• pp.328-338
• /
• 2008

H.264/AVC기반의 다시점 영상 부호화 기술은 시점간 상관성을 이용한 새로운 예측 방법을 이용하여 여러 대의 카메라로부터 촬영된 영상을 효율적으로 부호화하는 기술이다. 그러나 다시점 부호화 기술은 시점의 증가와 시점간 예측의 사용으로 인해 부호화 시간이 크게 증가한다. 본 논문은 부호화 시간을 줄이기 위해 다시점 영상에서 시점간에 대응하는 마크로블록 (Macroblock) 기반 영역 분할 정보와 시점간의 전역 변이 벡터를 이용한 고속 모드 결정 방법을 제안한다. 제안하는 방법은 다시점 영상 부호화 표준의 참조 소프트웨어인 joint multi-view video model (JMVM) 4.0에 비해 약 0.04dB의 화질 열화를 보이지만 전체 부호화 시간을 평균적으로 40% 단축할 수 있었다.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.565-573
• /
• 2007

본 논문에서는 JVT에서 표준화가 진행 중인 다시점 비디오 부호화의 부호화 효율을 높이기 위해 다시점 비디오의 예측구조의 특성을 고려하여 움직임벡터 예측값을 선택하는 방법을 제안한다. 다시점 비디오 부호화에서 시간 방향과 뷰 방향의 예측을 수행하면서 서로 다른 성향의 움직임벡터가 발생된다. 또한 주변 블록에서 시간 방향과 뷰 방향 참조의 움직임벡터가 혼재하는 상황에서 동일한 성향의 움직임벡터가 선택되지 않는 경우가 발생되어 움직임벡터의 예측 효율이 저하된다. 이에 다시점 비디오 부호화의 예측구조에 따라 움직임벡터 예측값을 선택할 수 있는 방법을 제안한다. 제안하는 움직임벡터 예측값 선택 방법을 통하여 다시점 비디오 부호화의 압축 효율을 높일 수 있었으며, JMVM 3.6에서 움직임벡터 예측값을 선택하는 방법을 사용하는 다시점 비디오 부호화와 비교하여 PSNR(Peak Signal-to-Noise Ratio)이 약$0.03{\sim}0.1$ dB 정도 향상되었다.

• 방송공학회논문지
• /
• 제16권3호
• /
• pp.520-529
• /
• 2011

본 논문에서는 SVC(Scalable Video Coding) 및 MVC(Multiview Video Coding) 등의 다계층(miulti-layer) 비디오의 효율적인 적응 HTTP 스트리밍을 위한 MPEG-2 TS(Transport Stream) 헤더의 확장을 제안한다. 먼저 TS로 다중화한 SVC/MVC를 HTTP를 통하여 스트리밍할 경우 계층별 적응 스트리밍을 지원하기 위한 기존 TS의 한계점을 분석하고, TS 헤더의 확장을 통하여 TS 레벨에서 효율적인 적응을 제공하는 시그널링(signaling) 기법을 제시한다. 본 논문의 헤더 확장은 TS의 적응 헤더(adaptation header)의 사적 데이터 필드(private data field)를 이용하여 스케일러빌리티 및 뷰 정보를 기술함으로써 TS와의 호환성을 유지하면서 TS 레벨에서의 다양한 스케일러블 계층 단위로 적응(adaptation)을 가능하게 한다. 제안한 기법과 기존의 PID(packet ID)를 사용한 방법에 대하여 적응의 유연성 및 복잡도 등을 비교 분석한다. 또한 제안한 기법의 TS 오버헤드 증가를 분석하고 이를 최소화하기 위한 헤더 확장 기법을 제안한다.

• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.127-136
• /
• 2010

다시점 비디오는 카메라간의 다른 위치와 불완전한 카메라 보정(calibration)으로 인접한 시점의 영상 내에 존재하는 동일물체 간에 색상 차이가 발생할 수 있다. 이러한 색상 불일치(color mismatch)는 시점 간 움직임 예측(inter-view prediction) 수행 시, 오정합을 발생시켜 다시점 비디오 부호화(Multi-view Video Coding : MVC) 성능을 저하시키는 원인이 된다. 본 논문에서는 이웃하는 영상 간에 존재하는 휘도 및 색차 성분 불일치를 보상하여 다시점 비디오 부호화의 압축률을 향상시키는 전처리 기법을 제안한다. 제안된 기법에서는 모든 시점의 영상을 히스토그램 매칭 기법에 의해 정해진 참조 시점 영상의 색상을 기준으로 보정된다. 또한 히스토그램 매칭 수행 전에 YCbCr 색상공간 변경 시에 색차 성분의 대표 값 추출(chrominance subsampling)에 사용되는 Cosited filter를 영상의 각 색상성분에 적용하여 성능을 더욱 높일 수 있다. 히스토그램 매칭은 YCbCr 색상공간에서 RGB 색상공간으로 변환하여 각 색상성분에 적용한다. 이 과정에서 영상에 존재하는 에지의 방향성과 화소 값의 존재 범위를 고려한 효과적인 색상 변환 기법이 사용된다. 실험을 통해 제안하는 전처리 기법이 다른 기법들에 비해 향상된 부호화 효율을 가지는 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.259-262
• /
• 2008

본 논문에서는 다시점 비디오와 깊이 정보의 상관도를 이용해서 현재 JVT(joint video team)에서 표준화 된 다시점 비디오 부호화 (multi-view video coding : MVC)의 참조 소프트웨어인 JMVM(joint multi-view video model)을 기반으로 하여 효율적인 다시점 비디오 압축 방법을 제안한다. 기존의 일반적인 비디오 부호화 방식은 단일 시점에 대한 비디오 부호화 기술이기 때문에 다시점 비디오 전송을 위해서는 시점 당 각각 전송 채널에 필요하다. 하지만 다시점 비디오 부호화 기법을 이용하게 되면, 단일 전송 채널을 이용하여 전송이 가능하다. 본 논문에서 제안된 방법은 입력된 다시점 입력 영상과 해당 하는 깊이 정보를 이용하여 시점 간의 예측 방법의 효율성을 높였다. 다시점 입력 영상과 깊이 정보의 전역 변이 벡터 (global disparity vector : GDV)의 상관도를 이용하였으며, 다시점 영상과 깊이 정보를 동시에 전송해야 할 경우 복잡도를 낮출 수 있고, 약 $0.01{\sim}0.1dB$의 PSNR 이득을 얻을 수 있다.

• 한국통신학회논문지
• /
• 제32권6C호
• /
• pp.579-584
• /
• 2007

최근 다시점 비디오를 효율적으로 부호화하기 위해 다양한 시공간 예측 구조들이 제안되었다. 이 논문에서는 다시점 비디오 부호화 예측 구조에서 각 GOP의 첫 화면들에 삽입되는 B$_{ANC}$ 화면을 위해 양자화 계수를 결정하는 방법을 제안한다. 각 시점의 영상 화질을 균일하게 유지하고 전체적인 부호화 효율을 높이기 위해 B$_{ANC}$ 화면의 양자화 계수를 적응적으로 조절하며, 인접한 두 참조화면의 비트-왜곡 비용값을 사용하여 상관도를 추정하고 이를 이용하여 B$_{ANC}$ 화면의 양자화 계수를 결정한다. 이 논문에서 제안한 방법을 다시점 비디오 참조 예측 구조에 적용하여 부호화한 결과, 0.09$\sim$0.16 dB 정도의 PSNR 개선을 얻었다.

• 방송공학회논문지
• /
• 제13권4호
• /
• pp.516-527
• /
• 2008

본 논문에서는 다시점 비디오 부호화에서 P-SKIP과 B-SKIP 모드에서 휘도 보상 정보를 유도하는 방법을 소개한다. 기존의 P-SKIP 모드에서 휘도 보상 플래그와 휘도 보상값이 일관성 없이 유도되는 경우를 제거하여 휘도 보상 시에 복잡도를 줄이는 방법과 B-SKIP 모드에 중복적으로 수행되는 휘도 보상 플래그와 휘도 보상값 유도 방법을 하나의 방법으로 통합함으로써 계산 복잡도를 줄이는 방법을 제안한다. 제안하는 방법의 실험 결과 객관적인 화질 측정 실험에서는 거의 동일한 성능을 나타내며, 실제 복호 수행 시에 P-SKIP에서는 일관성 없이 유도되는 경우가 제거되면서 휘도 보상을 수행하는 블록의 수가 평균적으로 7.47% 감소하였고, B-SKIP에서는 휘도 보상을 수행하는 블록 당 평균 연산자의 수는 50.36% 감소하였고 실제 평균 복호 수행 시간은 46% 감소하였다.

• 방송공학회논문지
• /
• 제22권2호
• /
• pp.240-252
• /
• 2017

기존의 High Efficiency Video Coding(HEVC)기반의 다시점 비디오 부호화 기법은 종속 시점의 픽쳐를 부호화 할 때, disparity compensation prediction(DCP)을 위해 추가적인 참조 영상을 사용하기 때문에 높은 부호화 복잡도를 가지고 있다. 본 논문에서는 MV-HEVC에서 변위 움직임 벡터 탐색 복잡도를 줄이기 위한 빠른 변위 움직임 벡터 탐색 방법을 제안한다. 제안하는 방법은 어파인 변환을 이용한 초기 탐색 지점 결정 방법과 적응적인 탐색 영역 크기 결정 방법을 포함한다. 실험 결과는 제안하는 방법이 부호화 효율의 저하가 거의 없이 변위 움직임 탐색 복잡도를 90.78%까지 줄일 수 있는 것을 보여준다. 또한, 실험 결과는 제안하는 방법이 다른 복잡도 감소 기술들 보다 효과적으로 복잡도를 줄이는 것을 보여준다.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.601-615
• /
• 2009

본 논문에서는 3D-Video에서 가상시점 영상을 생성하는데 필요한 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 가상시점 영상은 실사 영상의 깊이정보 맵을 이용한 시점보간(View Interpolation) 방법으로 생성된다. 일반적으로 깊이정보 맵의 부호화에는 H.264 등의 자연영상에 대한 동영상 부호화 방법을 그대로 적용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 특성을 고려하지 않은 방법이다. 따라서 본 논문에서는 깊이정보 맵의 영상특성을 고려하여, 맵 정보를 그레이 코드로 변환한 후 비트평면 단위로 부호화하는 방법과, H.264 부호화 방법을 블록단위로 적응적으로 선택하여 부호화하는 방법을 제안하였다. 실험결과로서 제안하는 방법의 성능은 H.264 부호화 방법에 비하여, BD-PSNR이 평균 0.5dB 향상되고, BD-rate는 평균 7.43% 감소되어 부호화효율이 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상시점 영상 간의 비교에서 제안하는 방법이 H.264 부호화 방법에 비해 주관적 화질이 크게 향상된 것을 확인할 수 있었다.