• 대한기계학회논문집A
• /
• 제24권4호
• /
• pp.991-1000
• /
• 2000

Previous area-based stereo matching algorithms find the disparity by first computing the sum of squared differences (SSD) between corresponding points using a rectangular window, and then searching the position of the minimum SSD within the disparity range. These algorithms generate relatively many matching errors around depth discontinuities, since the SSD function may fail to search for the minimum because of varying disparity profiles in such areas. In this paper, in order to improve the matching accuracy around the depth discontinuities, a new correlation function based on robust estimation technique is proposed for stereo matching. In addition, while previous stereo algorithms utilize a single rectangular window for computing the correlation function, the proposed matching algorithm utilizes 4-directional line masks additionally to reduce the matching errors further. It has been turned out that the proposed algorithm reduces matching errors around depth discontinuities significantly. Experimental results are presented in this paper, comparing the performance of the proposed technique with those of previous algorithms using both synthetic and real images.

• 대한전자공학회논문지SP
• /
• 제44권1호
• /
• pp.1-9
• /
• 2007

본 논문에서는 임의 시점에서의 장면을 생성하기 위한 3차원 모델링 및 렌더링 시스템을 제안한다. 제안되는 시스템은 공간상에 설치된 복수의 스테레오 카메라와 PC들로 구성되며 UDP를 이용해 연결되어 각 카메라에서 획득되고 분석된 영상 데이터들을 모델링 PC로 전송해 실시간으로 3차원 모델을 생성하고, 이로부터 사용자가 원하는 위치에서의 장면을 생성해 디스플레이 하게 된다. 제안된 알고리듬은 성능 평가 결과 기존의 알고리듬보다 좋은 성능을 보였으며, 구현된 시스템은 실시간으로 사용자에게 원하는 시점에서의 영상을 자연스럽게 제공함을 실험을 통해 검증하였다.

• 융합신호처리학회논문지
• /
• 제2권4호
• /
• pp.59-64
• /
• 2001

본 논문에서는 이동하는 스테레오 카메라의 폭주개산 운동에 의한 물체의 위치 추정을 위하여 제로 시차영역 분할법의 문제점을 해결하는 방법과 양안시차를 추출하는 알고리즘을 제안하고 비교 실험하였다. 기존에는 모든 소영역에 대한 임계치를 일정하게 하기 위하여 농도값의 변화가 심한 영역에서는 높은 임계치로 맞추었기 때문에 특징이 거의 없는 영역에 농도값의 변화가 거의 없게 되어 대응점이 잘못추출되었다. 그러나 본 논문에서는 소영역의 특징을 자기 상관에 의하여 평가하고 그 값에 비례한 임계치로 설정하였기 때문에 대응점이 거의 잘못 추출되지 않았으며, 양안시차를 고속으로 추출할 수 있음을 확인하였다.

• 한국통신학회논문지
• /
• 제31권2C호
• /
• pp.166-174
• /
• 2006

본 논문에서는 적응적 시차 움직임 벡터에 기반한 스테레오 물체추적 및 3차원 디스플레이 시스템을 제안하였다. 즉, 제안된 시스템에서는 스테레오 입력영상 시퀸스로부터 적응적으로 추출된 시차 벡터로부터 프레임간 적응적 시차 움직임 벡터를 구한 다음 이를 이용하여 각 프레임에서 표적물체가 존재하는 영역 및 위치좌표를 효과적으로 검출하였다. 또한, 이를 프레임간 표적의 이동거리 좌표를 구하여 최종적으로 팬/틸트를 제어해 줌으로써 표적 물체를 추적하였다. 256$\times$256 픽셀 크기의 스테레오 영상 20 프레임을 사용한 물체추적 실험 결과, 표적 물체의 실제위치와 실험을 통해 얻은 이동위치 간의 평균 에러율이 약 3.05$\%$로 낮게 나타남으로써 본 논문에서 새로이 제안한 적응적 시차 움직임 벡터 기반의 스테레오 물체추적 시스템의 실질적친 응용 가능성과 영상복원 기법을 사용하여 이동 물체의 3차원적 입체 디스플레이 또한 가능하다.

• 전자공학회논문지SC
• /
• 제48권3호
• /
• pp.21-29
• /
• 2011

본 논문은 스테레오 비전 시스템에서 객체의 기동 상태에 상관없이 안정된 거리 및 속도를 추정할 수 있는 방법을 제안한다. 스테레오 비전은 좌우 영상의 시차를 이용하여 거리를 추정할 수 있지만, 영상 화소의 양자화 오차로 인해 거리 오차가 발생할 수 있다. 부화소 보간법은 이러한 양자화 오차를 최소화하여 실수를 갖는 정밀 시차를 추정할 수 있다. 확장형 칼만 필터는 추정된 정밀 시차의 공분산을 최소화하고 객체의 속도를 추정하기 위하여 사용되어진다. 하지만, 시스템 모델의 불확실성으로 인해 기동이 발생했을 때, 발산 문제가 생기고 이는 오히려 추정 오차를 증가시킨다. 본 논문에서는 연산 시간을 최소화하면서, 객체의 기동 상태에 상관없이 안정된 상태 추정 성능을 제공할 수 있는 가상 모델 확장형 칼만 필터를 제안한다. 모의실험 및 실제 도로 환경에서의 실험 결과는 제안한 방법이 기존 추정 필터들에 비하여, 다양한 기동 상태에서 안정된 추정 성능과 향상된 연산시간을 제공한다는 것을 보여준다.

• 정보과학회 논문지
• /
• 제44권9호
• /
• pp.932-945
• /
• 2017

논문에서는 정류(Rectification), 디스패리티 추정(Disparity Estimation) 및 시각화를 포함한 스테레오 비전 프로세싱 시스템의 새로운 하드웨어 및 소프트웨어 아키텍처를 개발하였다. 개발된 지원점 보간법을 이용한 대형 스테레오 매칭 방법(LASPI)은 고화질 이미지의 지원점 밀도가 높은 영역에서의 디스패리티 매칭에 있어, ELAS 등 기존 스테레오 매칭 방법과 비교할 때, 디스패리티 맵에 대한 품질 수준을 유지하면서도 실시간 성능 지원 측면에서 우수하다. LASPI는 자율주행 자동차에 적용되는 장애물 인식 시스템, 거리 검출 시스템, 장애물 검출 시스템 등, 안전에 민감한 모듈 적용을 위해, 프레임 처리속도의 실시간성, 거리 값 분해 성능의 정확성, 낮은 리소스 사용 등, 요구조건을 충족하도록 설계 되었다. 개발된 LASPI 알고리즘은 H/W 병렬처리 구조와 4 단계 파이프라인으로 구성된 FPGA로 구현되었다. 148.5MHz 클럭의 Xilinx Virtex-7 FPGA 기반으로 구현된 시스템은 각종 실험을 통해, HD급 이미지 ($1280{\times}720$ 픽셀)에 대해 실차에 응용 가능한 디스패리티 맵을 산출하면서도 실시간 처리 요구 조건인 초당 30 프레임 처리가 가능함을 확인하였다.

• 방송공학회논문지
• /
• 제19권4호
• /
• pp.521-532
• /
• 2014

3D 방송시스템에 대한 다양한 연구 가운데 ATSC-M/H 기반의 융합형 3DTV 방식은 HD 화질의 좌영상과 모바일 화질의 우영상을 결합하는 서비스 호환 3DTV 시스템으로서 이 방식에서는 좌우 영상 사이에 상대적인 화질 차이가 존재하며 이를 해결하기 위해 조건부 대체 알고리즘(Conditional Replenishment Algorithm)이 제안되었다. 조건부 대체 알고리즘에서는 좌우영상 사이의 양안시차 벡터를 추정하고 양안시차 보상된 HD 좌영상과 단순 확장된 모바일 우영상을 선택적으로 사용함으로써 우영상의 화질을 개선한다. 그러나 이 알고리즘은 여러 계층의 양안시차를 추정하는 과정에서 매우 많은 계산이 필요하기 때문에 이를 실제적으로 구현하기 위해서는 고속 알고리즘의 개발이 요구된다. 본 논문에서는 양안시차 벡터의 특성을 고려하여 전역 탐색 대신에 SDSP(Small Diamond Search Pattern) 탐색 방법을 사용하고 탐색의 초기위치를 예측하는 방법을 제안하며 특정 조건 하에서 양안시차 벡터 추정을 생략하는 조기종료 모드를 함께 적용함으로써 복원 영상의 화질을 유지하면서도 조건부 대체 알고리즘의 속도를 향상시키는 기법을 제안하고 모의실험을 통해 이의 성능을 검증하였다.

• 한국통신학회논문지
• /
• 제31권2C호
• /
• pp.130-138
• /
• 2006

본 논문에서는 웨이블릿 변환과 적응적 변이 추정 알고리즘을 이용한 새로운 스테레오 입체영상 블라인드 워터마킹 기법을 제시하였다. 즉, 좌, 우 스테레오 영상 중 우 영상에 이산 웨이블릿 변환을 이용하여 워터마크 영상을 삽입하고 워터마킹된 우영상과 좌 영상으로부터 변이정보를 추출한 다음 추춘된 변이정보는 좌영상과 함께 채널을 통해 전송된다. 그리고, 수신단에서는 전송되어온 변이정보와 좌 영상으로부터 적응적 정합 기법을 이용하여 워터마킹된 우 영상을 복원하게 되며, 최종적인 워터마크 추출과정에서는 복원된 우 영상으로부터 원 영상을 사용하지 않고 워터마크 영상을 추출하는 블라인드 방식을 사용하였다. CCETT의 'Manege'와 실제로 획득한 영상 'Friends', 그리고 영문 알파벳 '3DRC'를 스테레오 및 워터마크 영상으로 사용한 실험결과, 복원 영상으로부터 추출된 워터마크 영상에 대한 PSNR 측정의 경우, 2.64dB, 3.03dB가 향상되었으며 본 논문에서 제안한 알고리즘의 성능 분석을 위한 다양한 공격 실험에서도 강건한 실험결과를 얻을 수 있었으며, 이를 통해 본 논문에서 새로이 제안한 적응적 변이추정 기반의 스테레오 입체영상 워터마킹 기법의 실질적 응용 가능성을 제시하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권10호
• /
• pp.465-472
• /
• 2015

본 논문에서는 시차공간상의 평면검출 방법을 제안하고 그 성능을 평가한다. 다양한 표면을 평면으로 근사하고 검출함으로써 시차공간에 나타난 장면을 간소화하고 수식화하여 다루기 쉽도록 한다. 또한 시차공간에서 근사적으로 구한 평면은 3차원 공간상에서 실측 크기로 표현 가능하고 장애물 검출 및 카메라 위치 추정에 활용할 수 있다. 먼저 스테레오 매칭 기술을 이용해 두 개의 영상으로부터 2차원 공간상에 좌표쌍마다 시차값을 가지는 시차공간을 생성한다. x 또는 y축의 전체적인 추이를 반영하도록 돕는 선 단순화 기법을 이용하여 시차값의 접선 기울기를 추정한다. 기울기 쌍의 조합에 따라 10개의 라벨을 시차공간의 좌표쌍에 부여한다. 상하좌우 방향으로 인접하고 동일한 라벨을 가지는 좌표쌍을 연결하여 군집을 생성하고 최소자승법을 이용해 각 군집에 대한 평면식을 추정한다. 시차공간 내에서 평면식을 만족하는 점들이 가장 많은 평면을 검출하고 이를 시차공간을 가장 잘 간소화한 N개의 평면으로 선택한다. 평면검출의 성능을 정량적으로 평가하였고 그 결과는 3차원 원뿔과 원통에서 각각 97.9%, 86.6% 품질을 보였다. 스테레오 비전 알고리즘의 성능을 평가하기 위해 대표적으로 이용되는 Middlebury와 KITTI 실험데이터로부터 제안된 평면검출 방법은 훌륭하게 평면을 검출하였다.

• 방송공학회논문지
• /
• 제19권5호
• /
• pp.616-626
• /
• 2014

본 논문에서는 FPGA와 GPU를 이용한 실시간 스테레오 다시점 변환 시스템을 소개한다. 해당 시스템은 이종의 연산장치를 이용하며 그에 따라 크게 두 부분으로 나뉜다. 첫 번째 부분은 변이 추출 부분으로서 실시간 계산을 위해 FPGA기반으로 구현되었다. 기본적으로 DP(Dynamic programming) 기반의 스테레오 정합 방법을 통해 초기 변이 영상이 계산되며, 후처리를 통해 개선된다. 개선된 변이 영상은 USB3.0과 PCI-express를 통해 GPU 장치로 전송된다. 스테레오 입력 영상이 GPU장치로도 전송되면, 변이 영상의 변이 값을 이용하여 중간 시점에서의 영상을 합성한다. 생성된 시점 영상들은 무안경 다시점 3차원 디스플레이의 특성에 맞게 하나의 영상으로 화소 또는 부분화소 단위로 재배치되는 시점 다중화 과정을 거쳐 최종적으로 4K 무안경 다시점 디스플레이에 실시간으로 재생된다. 스테레오 정합을 제외한 나머지 연산은 모두 GPU에서 병렬처리된다