• 한국통신학회논문지
• /
• 제37권1A호
• /
• pp.57-63
• /
• 2012

본 논문에서는 양안식 3차원 디스플레이 장치에 사용가능한 실시간 가상시점 영상을 생성방법을 제안한다. 제안하는 방법은 변이 탐색 (disparity estimation) 과정에서 중복되거나 불필요한 계산을 제거하기 위해, 변이맵 탐색 위치를 가상시점과 동일한 위치로 설정한다. 또한, 전역 방법을 사용한 변이맵 탐색 과정은 정확도는 높지만 복잡한 계산량이 문제이기 때문에 최적화 과정에서 변이값이 수렴하는 위치를 탐색하고 정보 갱신을 멈추는 방법을 사용하였다. 이렇게 얻어진 가상시점의 변이맵은 실제 참조가 가능한 영역인지 판단하는 수렴 조건 판단 (convergence check) 절차를 거쳐 영상을 합성한다. 영상 합성을 위한 모든 과정은 실시간 처리를 위하여 단일 명령 복수 쓰레드 (Single Instruction Multiple Threads) 구조인 그래픽 처리장치(GPU)를 활용한 프로그래밍을 통해 고속화를 이루었다. 실험 결과를 통해 제안하는 방법이 합성 영상의 화질을 유지하면서도 실시간으로 가상시점 영상을 합성한 것을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제22권3호
• /
• pp.425-433
• /
• 2018

본 논문에서는 시차의 신뢰도를 기반으로 플렌옵틱 영상의 초고해상도 복원 알고리즘을 제안한다. 그리고 플렌옵틱 카메라 영상으로부터 생성한 서브어퍼처(sub-aperture) 이미지는 TV_L1알고리즘에 기반한 시차 추정과 초고해상도 영상 복원에 활용된다. 특히 제안된 알고리즘은 시차가 부정확하게 나타날 수 있는 경계 역역에서 향상된 성능을 보인다. 시차 벡터의 신뢰도는 서브어퍼처 이미지의 상하좌우 각 위치별 영역에 따른 분산을 고려하여 판단한다. 신뢰도가 낮은 시차벡터는 초고해상도 영상 복원시 제외된다. 제안된 방법은 바이큐빅 보간 방법과 기존의 시차기반방법 그리고 사전기반 방법과 비교하여 평가되었다. 성능 평가에서 초고해상도 영상복원의 결과는 PSNR, SSIM 관점에서 성능을 비교하여 최상의 성능을 보여준다.

• 대한전자공학회논문지TE
• /
• 제39권4호
• /
• pp.389-394
• /
• 2002

본 논문에서는 비선형 확장 칼만 필터를 이용한 양방향 스테레오 정합 알고리즘을 제안한다. 제안 알고리즘은 비선형 칼만 필터를 사용하여 변이(disparity)를 예측하고 예측된 변이는 좌영상에서 우영상으로의 스테레오 정합에 적용된다. 변이 예측은 몇 번의 반복으로 구해지며 비선형 칼만 필터의 초기 상태 예측치에 큰 오차를 나타내는 단점을 극복하기 위하여 양방향 스테레오 정합 알고리즘을 사용하였다. 이웃 화소의 영향을 고려하여 선형 내삽법(intepolation)을 좌·우 영상에 적용함으로써 스테레오 정합에 강인한 결과를 나타내었다. 제안 알고리즘의 성능 평가를 위해서 기존의 SSD방법과 비교 검토하였다. 비교 결과 제안 알고리즘이 매우 우수한 정합 성능을 가짐을 알 수 있었다.

• 정보과학회 논문지
• /
• 제44권9호
• /
• pp.932-945
• /
• 2017

논문에서는 정류(Rectification), 디스패리티 추정(Disparity Estimation) 및 시각화를 포함한 스테레오 비전 프로세싱 시스템의 새로운 하드웨어 및 소프트웨어 아키텍처를 개발하였다. 개발된 지원점 보간법을 이용한 대형 스테레오 매칭 방법(LASPI)은 고화질 이미지의 지원점 밀도가 높은 영역에서의 디스패리티 매칭에 있어, ELAS 등 기존 스테레오 매칭 방법과 비교할 때, 디스패리티 맵에 대한 품질 수준을 유지하면서도 실시간 성능 지원 측면에서 우수하다. LASPI는 자율주행 자동차에 적용되는 장애물 인식 시스템, 거리 검출 시스템, 장애물 검출 시스템 등, 안전에 민감한 모듈 적용을 위해, 프레임 처리속도의 실시간성, 거리 값 분해 성능의 정확성, 낮은 리소스 사용 등, 요구조건을 충족하도록 설계 되었다. 개발된 LASPI 알고리즘은 H/W 병렬처리 구조와 4 단계 파이프라인으로 구성된 FPGA로 구현되었다. 148.5MHz 클럭의 Xilinx Virtex-7 FPGA 기반으로 구현된 시스템은 각종 실험을 통해, HD급 이미지 ($1280{\times}720$ 픽셀)에 대해 실차에 응용 가능한 디스패리티 맵을 산출하면서도 실시간 처리 요구 조건인 초당 30 프레임 처리가 가능함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.233-237
• /
• 2009

This paper represents a new approach which addresses quality degradation of a synthesized view, when a virtual camera moves forward. Generally, interpolation technique using only two neighboring views is used when a virtual view is synthesized. Because a size of the object increases when the virtual camera moves forward, most methods solved this by interpolation in order to synthesize a virtual view. However, as it generates a degraded view such as blurred images, we prevent a synthesized view from being blurred by using more cameras in multiview camera configuration. That is, we solve this by applying super-resolution concept which reconstructs a high resolution image from several low resolution images. Therefore, data fusion is executed by geometric warping using a disparity of the multiple images followed by deblur operation. Experimental results show that the image quality can further be improved by reducing blur in comparison with interpolation method.

• 방송공학회논문지
• /
• 제4권1호
• /
• pp.59-67
• /
• 1999

본 논문에서는 입체 영상 시스템 중 전송단에서의 영상의 입체감 분석을 위한 변이추정 과정과 수신단에서의 중간시점영상 재구성 방식에 대해 중점적으로 연구하였다. 변이추정은 기본적으로 MAE(mean absolute error)를 최소가 되도록 하는 동시에, 블록의 변이를 각 방향에서의 영상의 벼화량에 반비례하게 평활화하는 반복적 블록 정합 방식을 제안하여 적용하였다. 수신단에서는 복원된 영상과 변이 정보를 이용하여 중간시점 영상을 재구성하였으며, 보간법(interpolation)을 사용하는 동시에 좌 또는 우영상의 가려진 영역(occlusion)에서는 좌우 영상 중 한 영상에서의 외삽법(extrapolation)을 사용하여 변이-보상 변이 전달방식으로 이를 합성하였다. 이 변이 추정 방식으로영상의 평활 영역에서 일정하게 평활화된 변이를 추정하여 변이 정보에 대한 정보량을 줄이고, 경계부분에서는 평활화 방식에서 흔히 발생하는 과평활화 문제를 해결하였다. 또한 IVR 에서는 다른 방식에 비해 영상의 경계 부분을 보존하며, occlusion 영역을 잘 살리는 특성을 보였다.

• 전자공학회논문지SC
• /
• 제45권6호
• /
• pp.108-116
• /
• 2008

본 논문에서는 스테레오 비전에서 시차를 이용하여 근거리뿐만 아니라 원거리의 장애 물체에 대해서도 신뢰성 있는 거리를 추정하기 위한 알고리즘을 제안한다. 시차를 이용한 거리 측정에서 양자화 오차는 원거리에서의 거리 정확도를 떨어뜨리게 되므로, 이를 최소화하기 위해 부화소 보간법(sub-pixel interpolation)을 이용하여 시차 정확도를 향상시키고 거리 정확도 및 경로 추적의 최적화를 위해서 향상된 적응형 퍼지 칼만 필터(EAFSTKF : Enhanced Adaptive Fuzzy Strong Tracking Kalman Filter)를 사용한다. 제안한 방법은 차량과 같이 다양한 동적인 움직임에 의한 비선형성에 대하여 기존 칼만 필터에서 발생되는 발산 문제(divergence problem)를 해결할 수 있고, 거리의 정확도 및 신뢰도도 높일 수 있다. 몬테카를로(Monte Carlo) 방법을 이용한 모의실험 결과 제안한 방법은 기존 방법들과 거리 오차율(RMSER : Root Mean Square Error Rate)을 비교하였을 때, strong tracking Kalman filter(STKF)에 비하여 성능이 약 13.5%정도 향상되었음을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제20권12호
• /
• pp.1865-1873
• /
• 2017

The feature-based visual SLAM requires 3D positions for the extracted feature points to perform 3D-2D motion estimation. LiDAR can provide reliable and accurate 3D position information with low computational burden, while stereo camera has the problem of the impossibility of stereo matching in simple texture image region, the inaccuracy in depth value due to error contained in intrinsic and extrinsic camera parameter, and the limited number of depth value restricted by permissible stereo disparity. However, the sparsity of LiDAR data may increase the inaccuracy of motion estimation and can even lead to the result of motion estimation failure. Therefore, in this paper, we propose three interpolation methods which can be applied to interpolate sparse LiDAR data. Simulation results obtained by applying these three methods to a visual odometry algorithm demonstrates that the selective bilinear interpolation shows better performance in the view point of computation speed and accuracy.

• 방송공학회논문지
• /
• 제19권5호
• /
• pp.616-626
• /
• 2014

본 논문에서는 FPGA와 GPU를 이용한 실시간 스테레오 다시점 변환 시스템을 소개한다. 해당 시스템은 이종의 연산장치를 이용하며 그에 따라 크게 두 부분으로 나뉜다. 첫 번째 부분은 변이 추출 부분으로서 실시간 계산을 위해 FPGA기반으로 구현되었다. 기본적으로 DP(Dynamic programming) 기반의 스테레오 정합 방법을 통해 초기 변이 영상이 계산되며, 후처리를 통해 개선된다. 개선된 변이 영상은 USB3.0과 PCI-express를 통해 GPU 장치로 전송된다. 스테레오 입력 영상이 GPU장치로도 전송되면, 변이 영상의 변이 값을 이용하여 중간 시점에서의 영상을 합성한다. 생성된 시점 영상들은 무안경 다시점 3차원 디스플레이의 특성에 맞게 하나의 영상으로 화소 또는 부분화소 단위로 재배치되는 시점 다중화 과정을 거쳐 최종적으로 4K 무안경 다시점 디스플레이에 실시간으로 재생된다. 스테레오 정합을 제외한 나머지 연산은 모두 GPU에서 병렬처리된다

• 대한전자공학회논문지SP
• /
• 제40권6호
• /
• pp.141-148
• /
• 2003

본 논문은 다수의 파노라마 영상을 이용하여 가상환경을 탐색하는 시스템에서 사용자가 한 시점에서 다른 시점으로 자연스럽게 시점을 이동할 수 있도록 중간 장면을 합성하는 알고리즘을 제안한다. 제안된 방법은 두 파노라마 영상에서 시선방향을 일치시키는 사전 교정(prewarping) 단계와 시선방향이 일치된 두 영상에서 대응점을 찾아 중간 시점의 영상을 생성하는 양방향 시차 몰핑(bidirectional disparity morphing) 단계로 나누어진다. 사전 교정은 푸리에(Fourier) 성질을 이용해서 두 영상간의 위상 상관 관계(phase correlation)를 분석한 후, 두 영상 사이의 상대적인 변리, 회전 그리고 축적 변화를 계산하여 시선방향을 일치시킨다. 그리고 양방향 시파 몰핑에서는 블록 단위의 시차 벡터(disparity vector)를 계산하고, 가려짐 영역에 대한 정착한 시차를 추정하기 위해 가려짐 패턴(occluding pattern)을 이용하였다. 제안된 방법은 실제 파노라마 영상에 적용하여 실험하였고, 그 결과 두 파노라마 영상 사이를 자연스럽게 이동할 수 있었다.