점유맵은 3차원 공간상에서 장애물이 놓인 부분과 빈 공간을 구분해서 2차원 평면상에 표현하는 방식으로 자율 내비게이션이나 물체 인식 등을 위해 사용된다. 본 논문에서는 스테레오 영상에서 추출된 깊이 정보를 활용하여 3차원 공간의 점유맵을 구축하고 그 정보를 물체 영역 추출에 활용하는 기법을 제안한다. 스테레오 깊이 영상에서 기반 평면을 추출한 다음, 각 정합점들을 기반 평면 중심 좌표계로 투사하여 점유맵을 추출한다. 본 연구에서는 이렇게 추출된 점유맵을 활용하여 실내외의 다양한 환경에서 움직임 물체 영역을 추출하였는데, 실제 실험 영상을 홍해 제안된 방식의 유용성을 확인한다.
영상 내에서 이동하는 객체를 추출하는 전경 분리 방법은 객체의 일치 추적 및 인식에 있어서 필수적인 기술이다. 하지만 이동하는 객체 주변에 그림자가 발생하는 경우 이러한 전경 분리 방법에서는 그림자도 전경 영역으로 잘못 판단하여 분리하게 되어 이동 객체의 정확한 형태를 파악하거나 위치를 추정하기 어려운 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 색상 정보를 이용하여 그림자를 모델링하고 이를 통해 전경 영역 내의 그림자 화소를 Bayesian 분류법에 따라 제거하는 방법을 제안하였다. 특히 제안하는 방법은 매개변수 갱신 과정을 통해 그림자의 특성이 동적으로 모델링되기 때문에 주변 조명의 지속적인 변화에 적응적으로 대응할 수 있다. 실험 결과 제안하는 방법은 다양한 환경에서 그림자를 효과적으로 제거하는 것을 확인하였다.
본 논문에서는 관심영역(ROI : Region Of Interest) 단위의 적분 프로젝션(Integral Projection) 기반 움직임 추정(ME : Motion Estimation)을 사용한 순차주사화(De-interlacing) 알고리즘을 제안한다. 제안된 움직임 추정은 적은 계산량을 사용하여 주어진 관심영역의 움직임을 정확히 추정한다. 이를 위해 먼저, 시간적 예측을 통한 블록 단위의 움직임 종류 및 공간적 위치를 고려하여 영상을 여러 개의 ROI로 분할한다. 본 논문에서는 전역 움직임을 추정하기 위한 1개의 ROI와 지역 움직임을 추정하기 위한 4개의 ROI를 구성하여 총 5개의 움직임 벡터를 생성한다. 추정된 움직임 벡터를 사용하여 프레임 변환 시 수직해상도 향상에 기여하는 움직임 보상을 실행한다. 마지막으로, 움직임 보상의 신뢰도에 따라서 필드 내 보간된 결과와 움직임 보상된 결과를 결합하여 최종 프레임 영상을 출력한다. 제안된 알고리즘은 기존 알고리즘에 비해 주관적 및 객관적인 면에서 모두 뛰어난 결과를 보임을 실험을 통해 확인할 수 있다.
멀티미디어 정보는 다매체, 다특징, 다표현, 대용량성의 특징과 함께 그 양 또한 급속도로 증가하고 있다. 따라서 급격히 늘어난 방대한 정보로부터 필요한 정보를 검색하는 검색 시스템이 요구되고 있으며, 이러한 색인 및 검색 시스템이 실시간으로 처리되는 것이 필요하다. 동영상의 내용 기반 검색을 위하여 가장 일반적으로 사용할 수 있는 정보는 영상정보이다. 영상정보는 주로 비디오를 장면 분할할 때에 사용되며 이를 통하여 구조적인 비디오 브라우징을 할 수 있다. 비디오를 샷으로 구분하는 작업을 비디오 분할(video segmentation)이라고 하며, 비디오 분할을 위해 장면의 전환점인 컷을 검출하는 작업을 컷 검출(cut detection)이라고 한다. 본 연구에서는 MPEG-7 시각 기술자인 HMMD 컬러 모델과 에지 히스토그램 기술자를 사용하여 동영상 분할을 하였다. HMMD 컬러 공간은 다른 공간에 비해 인간의 색 지각에 매우 밀접한 것으로 나타난다. 본 논문에서는 이러한 검색 시스템을 하드웨어로 구현하였다.
화질 평가는 원영상과 열화된 영상 간의 차이를 측정함으로써, 열화된 영상의 화질이 좋고 나쁨을 판단하는 것을 목표로 한다. 본 논문에서는 열화된 영상의 화질 평가를 위해, 원영상과 열화된 영상 전체를 비교하는 것 대신, 원영상과 열화된 영상, 각각의 특징으로 에지 투영을 이용하는 방법을 제안하였다. 여기서 에지 투영은 에지 맵에서 수직, 수평 방향으로 투영시킴으로써 얻을 수 있다. 에지 투영 시 수직, 수평 방향에 대한 그래디언트 크기를 고려함으로써, 보다 나은 화질 평가 방법을 제안하였다. 제안한 방법의 탁월함을 기존의 화질 평가 방법인 structural similarity(SSIM), edge peak signal-to-noise ratio(EPSNR), 그리고 edge histogram descriptor(EHD) 방법과 비교 실험을 통해 보였다.
최근 대부분의 보급형 CCD/CMOS 영상 센서는 크기와 비용을 줄이기 위해 한 가지 색상만 선택적으로 통과시키는 CFA(Color Filter Array)를 사용한다. 따라서 원래의 컬러 영상을 복원하기 위하여 패턴인식이나, 정규화 등을 이용한 많은 알고리즘이 제안되었으나, 지엽적인 색상오류, zipper 효과 등의 오류를 충분히 제거하지 못하고 있다. 본 논문에서는 전체 영상의 PSNR 뿐 아니라 주관적인 화질에 영향을 주는 에지 부분에서의 오류를 줄이기 위하여, 기존에 제시되었던 방법인 POCS(Projection Onto Convex Sets) 알고리즘을 기반으로 에지 가중치를 적응적으로 적용하였다. 그 결과 강한 에지 부분에서 보다 효율적인 컬러복원을 할 수 있었다.
본 논문은 전 방향을 감시할 수 있는 Pan-Tilt-Zoom(PTZ) 카메라를 이용한 파노라마 배경 생성과 객체 추적 방법을 제안한다. 제안된 방법은 연속되는 두 영상의 외곽 영역에서 미리 정한 지역만 위상정합(phase correlation)을 하여 카메라의 지역 움직임을 빠르게 추정하고 벡터 양자화를 통하여 움직임 추정 오차를 최소화 한다. 추정된 움직임 값을 이용하여 겹침 영역이 존재하는 영상들을 획득하여 실린더에 투영시키고 영상을 재 정렬함으로써 파노라마 배경 영상을 생성할 수 있다. 객체 추적은 미리 생성된 파노라마 배경과 입력 영상의 차분 방법을 이용하여 배경과 객체를 분리하고 객체의 움직임을 추적한다. 제안된 객체 추적 방법은 PTZ 카메라를 이용하여 빠르고 안정적인 배경 생성이 가능하고, 전방향의 객체를 지속적으로 추적하는 것이 가능하다. 제안된 방법은 실시간 처리가 가능하며 넓은 감시 지역에서 객체의 형태를 추적하거나 얼굴인식과 같은 분야에서 이용될 수 있을 것이다.
본 논문에서는 비트스트림 기반의 객관적 비디오 화질 측정에 관한 새로운 방법을 제안한다. 기존 방법이 복원된 비디오의 손상 정도로 화질을 측정하는 것이었다면, 본 논문에서 제안하는 방법은 비디오 코덱으로부터 복원 과정 중에 발생되는 파싱 데이터에서 화질을 측정하는 방법에 대한 것이다. 제안하는 알고리듬은 H.264/AVC 복호화기의 디블록킹 필터 안에 존재하는 경계 세기 값의 통계를 이용하여 화질 측정을 한다. 이는 기존의 EPSNR과 블록화 현상 알고리듬과 비교하여 낮은 연산 복잡도를 갖고, 실시간 화질 측정이 가능하다. 화질 측정 결과에서 주관적 화질 측정 결과와 비교해 높은 유사도를 보였고, 두 가지의 기존 방법과 비교하여 각각 32%, 65% 정도 더 좋은 성능을 보였다.
본 논문은 H.264/AVC 비디오 코덱의 부화소 움직임 추정 연산을 효율적으로 줄일 수 있는 고속 부화소 움직임 추정 알고리즘을 제안한다. 부화소 움직임 추정 연산은 보다 정확한 움직임 벡터를 찾을 수 있어 비디오 코덱에 널리 사용되지만, 추가적인 보간 및 탐색 연산으로 인해 부호화기의 연산량을 증가시키는 문제점이 있다. 제안하는 고속 부화소 움직임 추정 알고리즘은 SASR(Simplified Adaptive Search Range)을 이용하여 부화소 움직임 추정 연산을 선택적으로 수행하며 MSDSP(Mixed Small Diamond Search Pattern)을 이용하여 부화소 탐색 지점을 감소시켰다. 제안한 알고리즘은 전역 부화소 탐색 알고리즘과 비교하여 탐색 지점이 최대 93.2% 감소하였으며, PDFPS(Prediction-based directional fractional pixel search) 알고리즘보다 탐색 지점이 최대 81% 감소하며 PSNR 감소는 최대 0.04dB로 화질의 열화는 매우 미비했다.
기존의 영상 부호화 표준들보다 높은 압축 성능을 얻기 위해 부호화 효율 측면에서 우수한 기술들이 가장 최근에 완성된 영상 부호화 표준인 H.264/AVC에 채택되었다. 가변 블록 단위의 움직임 예측/보상과 다양한 방향성을 통한 화면 내 예측 방법 등의 영상 부호화 기술들의 발달에도 불구하고, 이산 여현 변환은 초기 영상 부호화 표준에서부터 계속적으로 사용되고 있다. 일반적으로 실제 영상 신호가 부호화될 때 생성되는 잔여 신호의 상관 계수 값은 0.5 미만이다. 하지만, 이러한 상관 계수 값의 범위는 이산 여현 변환이 최적의 성능을 나타내는 범위가 아니며, 상관 계수의 범위가 -0.5에서 0.5일 경우 차선의 변환인 이산 정현 변환이 이산 여현 변환과 함께 영상 호화에 사용될 수가 있다. 본 논문에서는 이산 정현 변환과 H.264/AVC에서의 정수 여현 변환 중 최적의 변환을 율-왜곡 최적화 과정을 이용하여 선택적으로 사용하는 선택 변환을 제안한다. 제안하는 방법을 통해 H.264/AVC의 JM 10.2와 비교하여 상대적으로 높은 비트율에서 최대 0.71 dB의 BD-PSNR 향상을 얻을 수가 있었다.
본 논문에서는 동영상의 화질을 일정하게 하기 위한 실시간 비트율 제어 기법을 제안한다. 일정 화질을 만족하기 위한 기존의 비트율 제어 알고리즘은 프레임의 부호화 복잡도를 잔여 신호인 MAD(mean absolute of difference)로 추정하여 비트 할당을 수행하였다. 그러나 MAD는 영상의 특성이나 부호화 파라미터에 따라 동일한 MAD라도 다른 비트를 생성하므로 영상의 부호화 복잡도를 적절히 나타내기 어렵다. 본 논문에서는 이 문제를 해결하기 위해 비트와 MAD사이의 기울기인 모델 파라미터를 프레임의 복잡도의 측도로 보고 이전 프레임과 현재 프레임의 모델 파라미터의 비율로 비트 할당을 수행한다. 또한 기존의 비트-복잡도 모델에서 구한 모델 파라미터는 양자화 파라미터가 변함에 따라 그 값이 크게 변하여 영상의 내재적 복잡도를 나타내기 어렵다. 따라서 본 논문에서는 비트-복잡도 모델에 양자화 파라미터를 추가하여 양자화 파라미터가 변하더라도 영상의 복잡도의 측도인 모델 파라미터는 변하지 않게 하였다. 광범위한 실험결과는 제안한 알고리즘이 기존의 알고리즘에 비해 비슷한 평균 화질을 유지하면서 화질의 변동을 큰 폭으로 줄였음을 보여준다.
이 논문에서는 8K/2K-Point FFT Radix-4 알고리즘을 CORDIC 연산을 이용하여 효율적으로 나비연산 구조를 설계할 수 있음을 보였다. 즉 CORDIC 연산을 사용하여 cosine 과 sine 값을 저장하지 않고 4개의 복소 곱셈연산을 효과적으로 수행할 수 있음을 보였다. 제안된 CORDIC 나비연산기 구조를 Verilog HDL 코딩으로 구현한 결과, 기존의 승산기를 사용한 나비연산기 구조와 비교하여 36.9%의 cell area 감소 효과를 보였다. 또한 전체 8K/2K-point Radix-4 FFT 구조의 Verilog-HDL 코딩을 기존의 승산기를 사용한 구조의 코딩과 비교한 결과, 11.6%의 cell area 감소효과를 볼 수 있었다. 따라서 제안된 FFT 구조는 DMB용 OFDM 모뎀과 같은 큰 크기의 FFT에 효율적으로 사용될 수 있는 구조임을 보였다.