• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권6호
• /
• pp.2044-2059
• /
• 2022

Recent works have shown that the geometric constraint can be harnessed to boost the performance of CNN-based camera localization. However, the existing strategies are limited to imposing image-level constraint between pose pairs, which is weak and coarse-gained. In this paper, we introduce a pixel-level epipolar geometry constraint to vanilla localization framework without the ground-truth 3D information. Dubbed EpiLoc, our method establishes the geometric relationship between pixels in different images by utilizing the epipolar geometry thus forcing the network to regress more accurate poses. We also propose a variant called EpiSingle to cope with non-sequential training images, which can construct the epipolar geometry constraint based on a single image in a self-supervised manner. Extensive experiments on the public indoor 7Scenes and outdoor RobotCar datasets show that the proposed pixel-level constraint is valuable, and helps our EpiLoc achieve state-of-the-art results in the end-to-end camera localization task.

• 대한전자공학회논문지SP
• /
• 제45권6호
• /
• pp.125-132
• /
• 2008

감시 및 로보트 분야 등에서 다양하게 사용되는 전방향(omnidirectional) 카메라 시스템은 넓은 시야각을 제공한다. 전방향 카메라의 사영모델과 외부변수를 추정하는 대부분의 기존 연구에서는 사전에 설정된 영상 간의 대응관계를 가정한다. 본 논문에서는 두 장의 전방향 영상으로부터 투영곡선을 자동으로 정합하여 카메라의 외부변수를 추정하는 새로운 알고리즘이 제안된다. 먼저 두 영상에서 대응되는 특징점으로부터 에피폴라 구속조건을 계산하여 초기 카메라 변수를 계산한다. 검출된 특징점과 투영곡선을 대상으로 능동적(active) 정합방법으로 대응관계를 결정한다. 최종 단계에서 대응 투영곡선을 구성하는 양 끝점의 에피폴라(epipolar) 평면과 3차원 벡터의 각도 오차를 최소화하는 카메라 변수를 추정한다. 합성영상과 어안렌즈(fisheye lens)로 취득된 실제 영상을 대상으로 제안된 알고리즘이 기존 방법에 비해 카메라의 외부변수를 정확하게 추정함을 확인하였다.

• 한국통신학회논문지
• /
• 제29권1C호
• /
• pp.83-91
• /
• 2004

에피폴라 Rectification은 서로 다른 시점에서 얻은 두 영상에 대해 각 영상의 에피폴을 미리 정해진 점으로 옮기는 호모그래피를 적용함으로써 두 영상의 에피폴라 지오메트리를 동일한 기준 평면으로 변환하여 에피폴라 라인을 수평 방향으로 정렬시키는 과정이다. 이때 호모그래피에 의해 변환된 영상 사이에서도 에피폴라 제약조건이 성립해야 하며, 이를 만족시키는 호모그래피가 여러 개 존재하므로 제약조건을 추가하여 응용에 적합한 호모그래피를 구하게 된다. Rectification 결과 두 영상은 스테레오 영상화되어 쉽게 변위값을 구할 수 있으므로 영상 내객체의 3차원 정보를 추정하여 영상분할에 활용할 수 있다. 본 논문에서는 객체분할에 적용할 수 있는 Rectification 방법을 제안하고 이 결과를 객체분할에 적용하였다. 객체분할을 위해 색상정보와 상대적인 변위값의 연속성을 동시에 이용하면 단일 객체가 색상에 의해 분할되거나 혹은 색상이 비슷하여 다른 객체가 병합되는 문제를 보완할 수 있다. 실험을 통해 Rectification 결과영상으로부터 획득한 단일 객체의 변위값이 연속성을 갖음을 확인하였고 이를 통해 제안하는 Rectification 방법이 객체분할에 적합함을 보였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 추계종합학술대회 논문집
• /
• pp.1137-1140
• /
• 1998

In this paper, we propose the new hardware architecture which implements the stereo matching algorithm using the dynamic programming method. The dynamic programming method is used in finding the corresponding pixels between the left image and the right image. The proposed MOEPE(Merged Odd-Even PE) architecture operates in the systolic manner and finds the disparities from the intensities of the pixels on the epipolar line. The number of PEs used in the MOEPE architecture is the number of the range constraint, which reduced the number of the necessary PEs dramatically compared to the traditional method which uses the PEs with the number of pixels on the epipolar line. For the normal method by 25 times. The proposed architecture is modeled with the VHDL code and simulated by the SYNOPSYS tool.

• 한국통신학회논문지
• /
• 제37권6A호
• /
• pp.458-463
• /
• 2012

본 논문에서는 평행형 카메라 배열 뿐 아니라 수렴형 카메라 배열에서도 깊이 지도를 직접적으로 구할 수 있는 방법을 제안한다. 기존의 스테레오 정합 방법들은 복잡도를 줄이고 정확도를 향상시키기 위해서 영상 정렬화를 수행한다. 하지만 수렴형 배열에서의 영상 정렬화는 원치 않는 결과를 발생시킨다. 따라서 제안하는 방법은 문제가 되는 영상 정렬화 과정을 생략하고, 영상 자체의 에피폴라 제약 사항을 이용하여 깊이 값을 직접적으로 추출한다. 깊이 지도의 정확도를 보다 향상시키기 위해서 폐색 영역을 탐지하고 처리하는 과정을 추가적으로 수행한다. 탐지한 폐색 영역은 보이는 주변 영역의 화소들과의 거리와 색상차를 고려하여 적절한 깊이 값으로 채워진다. 실험을 통해 제안한 방법이 기존의 방법에 비해 카메라 배열에 대한 제약이 적고, 안정적으로 깊이 지도를 생성할 수 있음을 확인했다.

• 대한전자공학회논문지SD
• /
• 제37권10호
• /
• pp.57-64
• /
• 2000

본 논문에서는 동적 프로그래밍에 기반한 스테레오 정합 알고리듬을 구현하는 새로운 하드웨어 구조를 제안하였다. 제안된 MOEPE(Merged Odd-Even PE) 구조는 시스톨릭 방법으로 동작하고, 극상선상의 화소의 밝기 값으로부터 변이를 찾는다. MOEPE구조에서 사용된 PE 수는 변이제약조건의 수와 일치하는데, 이는 극상선상의 화소 수만큼의 PE를 사용하는 기존의 방법에 비하여 훨씬 적은 수의 PE를 사용한다. MOEPE 구조에서 사용된 PE 수는 일반적 크기의 영상에 대하여, 기존의 방법에 비하여 약 25배 적은 수의 PE를 사용한다. 제안된 구조는 VHDL로 기술하였고, Synopsys 설계 환경에서 시뮬레이션을 수행하였다.

• 전자공학회논문지B
• /
• 제30B권9호
• /
• pp.64-75
• /
• 1993

This paper proposes a recovering technique of the elevation map by stereo modeling of the aerial image sequence which is transformed based on the aircraft situation. The area-based stereo matching method is simulated and the various parameters are experimentally chosen. In a depth extraction step, the depth is determined by solving the vector equation. The equation is suitable for stereo modeling of aerial images which do not satisfy the epipolar constraint. Also, the performance of the conventional feature-based matching scheme is compared. Finally, techniques analyzing the accuracy of the recovered elevation map (REM) are described. The analysis includes the error estimation for both height and contour lines, where the accuracy is based on the measurements of deviations from the estimates obtained manually. The experimental results show the efficiency of the proposed technique.

• 융합신호처리학회논문지
• /
• 제10권1호
• /
• pp.13-22
• /
• 2009

본 연구에서는 레이저 슬릿 빔을 이용한 능동 스테레오 정합 기법과 모자이크 기법을 결합한 3차원 형상 복원 기법을 제안한다. 능동 스테레오 정합 기법은 레이저 슬릿 빔이 조사된 좌, 우 영상에서 색상과 밝기 변화를 분석하여 레이저 라인의 위치정보를 검출하고, 등극선(epipolar line)에서 이를 비교하여 깊이 정보를 획득하는 방법이다. 모자이크 기법은 해리스 코너 검출 방법(harris corner detection)을 이용하여 영상의 특징점을 검출하고, 특징점 기술자(keypoint descriptor) 색인 분류 방법으로 연속 영상 간 특징점의 대응쌍을 찾고 상호 변환 관계를 추정하는 방법이다. 능동 스테레오 정합기법과 모자이크 기법을 이용하여 전체 연속 영상의 깊이 정보를 계산하였다. 이와 같은 방법으로 획득한 연속 영상의 깊이 정보를 영상의 색상, 질감 정보와 융합(blending)과정을 거쳐 최종 3차원 형상 정보로 복원하였다. 제안한 복원기법은 레이저 슬릿 빔과 스테레오 카메라를 사용함으로써 장소와 거리 제약 조건을 극복하여 용이하면서도 강인한 3차원 거리 정보를 획득할 수 있었다.

• 대한전자공학회논문지TC
• /
• 제37권8호
• /
• pp.11-23
• /
• 2000

헤드-아이 보정은 로봇과 같이 이동 가능한 플랫폼상에 장착된 카메라의 방향과 위치를 추정하는 과정이다. 본 논문에서는 다소 제한적인 이동 자유도를 가진 플랫폼에 대해 적용할 수 있는 새로운 헤드-아이 보정 기법을 제시한다. 제안된 보정 기법은 특히 회전 자유도가 없는 선형 플랫폼 위에 장착된 카메라의 상대적인 회전 방향을 구하는데 적용될 수 있다. 서로 다른 두 개의 축 상에서의 순수한 천이(translation) 이동에 의해 얻어진 보정 데이터를 이용하여 회전 방향을 구하는 본 알고리듬은 교정된 스테레오 영상은 epipolar 조건을 만족시켜야 한다는 성질을 이용하여 유도되었다. 본 논문에서는 플랫폼 좌표계상에서의 카메라의 회전 및 천이 파라미터를 구하는 알고리듬을 제시하고, 모의 및 실제 실험 결과를 통해 본 알고리듬의 유효성을 검증한다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.411-421
• /
• 2012

3D 입체영상 콘텐츠 부족현상에 따른 3D 산업시장의 성장정체는 콘텐츠 제작비용 절감을 위한 관련기술 개발의 촉진을 야기하고 있다. 3D 입체영상 제작에서 가장 많은 시간과 노력을 요구하는 부분은 촬영 과정에서 발생된 수직시차의 제거라 할 수 있으며, 이는 시장 경쟁력과 직접적으로 관계되는 사안이라 매우 중요한 작업으로 다루어지고 있다. 비 정렬된 스테레오 영상의 수직시차 보정 즉, 편위수정(Rectification)은 사진측량분야에서 오랫동안 다루어 오던 문제로 컴퓨터 비전방식이 빠른 처리속도와 자동화에 초점이 맞추어져 있다면, 사진측량방식에서는 정확도와 정밀도 확보에 목적을 두고 있다. 허나 입체영화 제작에 있어 사진측량학적 관점으로 문제를 해결하려 한 시도는 그 사례를 찾아보기가 매우 힘들다. 이에 본 논문에서는 사진측량방식의 기술을 도입하여 촬영 당시의 기하학적 관계를 복원하고 이를 통해 수직시차를 제거할 수 있는 정밀 편위수정 알고리즘을 제안하고자한다 알고리즘의 성능평가는 기존 컴퓨터비전 알고리즘 두 가지와 성능비교를 통해 수행되었으며, 에피폴라 제약조건 만족도와 에피폴라 라인의 추정정확도, 그리고 정합점 간의 수직시차 측정을 통한 에피폴라 리샘플링의 정확도 등이 분석되었다. 실험결과, 제안 알고리즘은 정확도 및 정밀도 측면에서 비교 알고리즘들 보다 우수한 성능을 나타내었으며, 정합점 위치오차에 대해서도 강인함을 보여주었다.