• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권6호
• /
• pp.2044-2059
• /
• 2022

Recent works have shown that the geometric constraint can be harnessed to boost the performance of CNN-based camera localization. However, the existing strategies are limited to imposing image-level constraint between pose pairs, which is weak and coarse-gained. In this paper, we introduce a pixel-level epipolar geometry constraint to vanilla localization framework without the ground-truth 3D information. Dubbed EpiLoc, our method establishes the geometric relationship between pixels in different images by utilizing the epipolar geometry thus forcing the network to regress more accurate poses. We also propose a variant called EpiSingle to cope with non-sequential training images, which can construct the epipolar geometry constraint based on a single image in a self-supervised manner. Extensive experiments on the public indoor 7Scenes and outdoor RobotCar datasets show that the proposed pixel-level constraint is valuable, and helps our EpiLoc achieve state-of-the-art results in the end-to-end camera localization task.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 1999년도 Proceedings of International Symposium on Remote Sensing
• /
• pp.182-187
• /
• 1999

Stereo matching is one of the most crucial parts in DEM generation. Naive stereo matching algorithms often create many holes and blunders in a DEM and therefore a carefully designed strategy must be employed to guide stereo matching algorithms to produce “good” 3D information. In this paper, we describe one such a strategy designed by the use of scene geometry, in particular, the epipolarity for generation of a DEM from linear pushbroom images. The epipolarity for perspective images is a well-known property, i.e., in a stereo image pair, a point in the reference image will map to a line in the search image uniquely defined by sensor models of the image pair. This concept has been utilized in stereo matching by applying epipolar resampling prior to matching. However, the epipolar matching for linear pushbroom images is rather complicated. It was found that the epipolarity can only be described by a Hyperbola- shaped curve and that epipolar resampling cannot be applied to linear pushbroom images. Instead, we have developed an algorithm of incorporating such epipolarity directly in least squares correlation matching. Experiments showed that this approach could improve the quality of a DEM.

• 대한공간정보학회지
• /
• 제15권4호
• /
• pp.81-88
• /
• 2007

선형 CCD 센서에 의해 획득되는 위성영상의 기하는 프레임 카메라 영상의 기하와는 차이점을 가지고 있다. 이는 각 스캔 선마다 영상의 외부표정요소가 다르기 때문에 발생한다. 따라서 기존의 프레임 영상에 사용되었던 에피폴라 기하와는 다른 기하가 필요하게 된다. 이와 같은 관점에서, 본 연구에서는 대표적인 선형 CCD 센서를 사용하여 촬영된 IKONOS 위성영상을 이용하여 에피폴라 영상을 제작하기 위한 영상 재배열 방법에 대한 연구를 수행하였으며, 영상의 투영조건을 중심투영이 아닌 평행투영으로 간주하여 구성된 2D 부등각 센서모델을 적용하였다. 이센서 모델에 의해 구성된 에피폴라 선식으로부터 유도된 정규 매개변수와 부등각 변환을 적용하여 에피폴라 재배열영상을 제작하였다. 결과로써, 2D 부등각 센서모델의 정확도가 검증되었으며, 제작된 에피폴라 영상을 사용하여 추출된 3차원 위치정확도는 IKONOS의 RFM 위치정확도와 유사하게 도출되었다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.1121-1125
• /
• 2003

In this paper we deal with visual servoing that can control a robot arm with a camera using information of images only, without estimating 3D position and rotation of the robot arm. Here it is assumed that the robot arm is calibrated and the camera is uncalibrated. We use a pinhole camera model as the camera one. The essential notion can be show, that is, epipolar geometry, epipole, epipolar equation, and epipolar constrain. These play an important role in designing visual servoing. For easy understanding of the proposed method we first show a design in case of the calibrated camera. The design is constructed by 4 steps and the directional motion of the robot arm is fixed only to a constant direction. This means that an estimated epipole denotes the direction, to which the robot arm translates in 3D space, on the image plane.

• 한국측량학회지
• /
• 제36권3호
• /
• pp.127-134
• /
• 2018

Electric transmission towers are facilities to transport electrical power from a plant to an electrical substation. The towers are connected using power lines that are installed with a proper sag by loosening the cable to lower the tension and to secure the sufficient clearance from the ground or nearby objects. The power line sag may extend over the tolerance due to the weather such as strong winds, temperature changes, and a heavy snowfall. Therefore the periodical mapping of the power lines is required but the poor accessibility to the power lines limit the work because most power lines are placed at the mountain area. In addition, the manual mapping of the power lines is also time-consuming either using the terrestrial surveying or the aerial surveying. Therefore we utilized multiple overlapping images acquired from a low-cost drone to automatically reconstruct the power lines in the object space. Two overlapping images are selected for epipolar image resampling, followed by the line extraction for the resampled images and the redundant images. The extracted lines from the epipolar images are matched together and reconstructed for the power lines primitive that are noisy because of the multiple line matches. They are filtered using the extracted line information from the redundant images for final power lines points. The experiment result showed that the proposed method successfully generated parabolic curves of power lines by interpolating the power lines points though the line extraction and reconstruction were not complete in some part due to the lack of the image contrast.

• 방송공학회논문지
• /
• 제18권1호
• /
• pp.31-42
• /
• 2013

본 논문에서는 고품질의 3D 콘텐츠 제작에 있어 입체피로를 최소화하기 위한 영상의 수직시차 교정방법으로, 베이지안 접근방식을 적용한 사진측량기반의 강인 편위수정 기법을 제안하고자 한다. 영상의 수직시차 제거 과정은 크게 기하추정 단계와 에피폴라 변환 단계로 구성된다. 본 논문에서는 기하추정을 위해 사진측량에서 널리 활용되고 있는 공면조건 기반의 상대표정 알고리즘을 적용한다. 이때 상대표정 알고리즘에는 자동 정합점 추출에 따른 오정합과 위치오차에 강인성을 확보하기 위해 제약조건을 도입한 베이지안 접근방식을 적용하고자 하며, 이를 바탕으로 수행되는 에피폴라 변환에는 영상의 왜곡과 원 영상 대비 변형을 최소화하기 위한 공선조건기반의 중심투영변환기법을 적용하고자 한다. 알고리즘의 성능검증을 위한 비교 알고리즘으로, 기하추정에는 일반적인 상대표정 알고리즘과 컴퓨터비전분야의 8점 알고리즘 및 스테레오 캘리브레이션 기법이 사용되었으며, 에피폴라 변환에는 Hartley 방법과 Bouguet 방법이 사용되었다. 실험결과는 제안 알고리즘의 높은 정확도와 여러 오차요인들에 대한 강인성, 그리고 최소화된 영상변형의 결과를 보여주었다.

• 전자공학회논문지S
• /
• 제35S권12호
• /
• pp.84-92
• /
• 1998

본 논문에서는 왼쪽 카메라와 오른쪽 카메라에서 획득된 두 영상에서 변이를 찾는 새로운 비용함수를 제안하였다. Cox 등[10]은 극상선상에서 화소의 밝기값으로 비용함수를 계산한 후, 동적 프로그래밍법을 사용하여 스테레오 정합문제를 해결하였다. 본 논문에서는 밝기값 외에 새로운 두 비용함수를 제안하였다. 하나는 화소의 기울기 정보를 밝기값과 방향성의 가중치를 결정하는 기준으로 사용하는 것이다. 기울기가 큰 화소는 주로 화소의 밝기값에 의해 정합이 이루어지고, 기울기가 작은 화소는 방향성을 이용한 정합이 이루어지도록 비용함수를 조절하였다. 다음으로 현재의 극상선상에서 변이를 구하기 위해 이전 극상선에서의 정합이 이루어진 두 화소 $p-k$와 $p-l$가 현 비교되는 화소와 같은 경계선상에 위치하면, $p-i$와 $p-j$가 정합이 이루어질 가능성을 크게 비용함수를 조절하였다. 제안된 방법을 여러 영상에 적용한 결과 이전의 방법보다 더 정확한 정합이 이루어짐을 확인하였다.

• ETRI Journal
• /
• 제39권1호
• /
• pp.97-107
• /
• 2017

A fast and accurate building-level visual place recognition method built on an image-retrieval scheme using street-view images is proposed. Reference images generated from street-view images usually depict multiple buildings and confusing regions, such as roads, sky, and vehicles, which degrades retrieval accuracy and causes matching ambiguity. The proposed practical database refinement method uses informative reference image and keypoint selection. For database refinement, the method uses a spatial layout of the buildings in the reference image, specifically a building-identification mask image, which is obtained from a prebuilt three-dimensional model of the site. A global-positioning-system-aware retrieval structure is incorporated in it. To evaluate the method, we constructed a dataset over an area of $0.26km^2$. It was comprised of 38,700 reference images and corresponding building-identification mask images. The proposed method removed 25% of the database images using informative reference image selection. It achieved 85.6% recall of the top five candidates in 1.25 s of full processing. The method thus achieved high accuracy at a low computational complexity.

• ETRI Journal
• /
• 제33권4호
• /
• pp.537-546
• /
• 2011

This paper introduces an automated method for building height recovery through the integration of high-resolution satellite images and digital vector maps. A cross-correlation matching method along the vertical line locus on the Ikonos images was deployed to recover building heights. The rational function models composed of rational polynomial coefficients were utilized to create a stereopair of the epipolar resampled Ikonos images. Building footprints from the digital maps were used for locating the vertical guideline along the building edges. The digital terrain model (DTM) was generated from the contour layer in the digital maps. The terrain height derived from the DTM at each foot of the buildings was used as the starting location for image matching. At a preset incremental value of height along the vertical guidelines derived from vertical line loci, an evaluation process that is based on the cross-correlation matching of the images was carried out to test if the top of the building has reached where maximum correlation occurs. The accuracy of the reconstructed buildings was evaluated by the comparison with manually digitized 3D building data derived from aerial photographs.

• 한국산학기술학회논문지
• /
• 제13권9호
• /
• pp.3856-3863
• /
• 2012

스테레오 영상으로부터 3차원 형상을 구현함에 있어 사용자의 개입을 최소로 필요로 하는 기법을 개발하였다. 형상구현은 특정 기하학 그룹을 평가하는 3단계로 이루어진다. 1단계는 영상에 존재하는 epipolar 기하 평가로 각 영상에서의 특정점들을 일치시킨다. 2단계는 소실점 방법을 이용하여 투영공간에서 특정평면을 찾는 affine 기하 평가이다. 3단계에서는 카메라의 자기보정을 포함하며 3차원 모델이 얻어질 수 있는 계량 기하 변수를 구한다. 이 방법의 장점은 형상구현을 위해 스테레오 영상을 보정할 필요가 없는 것으로, 그 구현가능성을 실증하였다.