• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4527-4548
• /
• 2017

This paper proposes a method to generate panoramic images by combining conventional feature extraction algorithms (e.g., SIFT, SURF, MPEG-7 CDVS) with sensed data from inertia sensors to enhance the stitching results. The challenge of image stitching increases when the images are taken from two different mobile phones with no posture calibration. Using inertia sensor data obtained by the mobile phone, images with different yaw, pitch, and roll angles are preprocessed and adjusted before performing stitching process. Performance of stitching (e.g., feature extraction time, inlier point numbers, stitching accuracy) between conventional feature extraction algorithms is reported along with the stitching performance with/without using the inertia sensor data. In addition, the stitching accuracy of video data was improved using the same sensed data, with discrete calculation of homograph matrix. The experimental results for stitching accuracies and speed using sensed data are presented in this paper.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.51-61
• /
• 2017

본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

• 전기전자학회논문지
• /
• 제20권4호
• /
• pp.420-423
• /
• 2016

본 논문은 임베디드 환경에서 실시간으로 동작하기 위해 입력 영상의 방향성을 판단하여 ROI를 지정하고 SURF, PROSAC 알고리즘을 적용하는 파노라마 영상 정합 방법을 제안한다. 기존의 파노라마 정합 알고리즘은 SURF 알고리즘이나 SIFT 알고리즘과 같이 많은 연산 데이터가 사용되는 알고리즘을 영상 전체에 적용하여 연산하기 때문에 불필요한 연산 영역을 포함하고 있다. 따라서 본 논문은 입력되는 영상의 방향을 판단한 결과로 영상의 ROI를 지정하여 불필요한 연산을 줄이는 방법을 제안한다. 영상의 방향을 판단하는데 사용하는 센서는 자이로 센서와 가속도 센서를 사용한다. 임베디드 환경에서 자이로 센서와 가속도 센서의 상보 필터를 통한 값 보정은 영상 정합 알고리즘의 처리 시간에 영향을 주지 않기 때문에 실시간 동작이 가능하다.

• 방송공학회논문지
• /
• 제22권6호
• /
• pp.713-723
• /
• 2017

파노라마 영상은 카메라 시야각의 제한을 극복하여 넓은 시야를 가질 수 있으므로 컴퓨터 비전, 스테레오 카메라 등의 분야에서 효율적으로 연구되고 있다. 파노라마 영상을 생성하기 위해서는 왜곡이 생기는 광각 카메라를 사용하는 대신 다수의 일반 카메라로 촬영한 영상들을 스티칭 하는 것이 영상의 왜곡 현상을 줄일 수 있기에 많이 활용되어지고 있다. 영상 스티칭 기술은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들 간의 유사도를 비교하여 영상들을 이어 붙여 큰 하나의 영상으로 만드는 것이다. 각각의 특징점은 수십 수백차원의 정보를 가지고 있고, 스티칭 할 영상이 많아질수록 데이터 처리 시간이 증가하게 된다. 특히, 하나의 객체에 대하여 다수의 불특정 카메라에 의해 촬영한 영상들을 기반으로 파노라마를 생성할 경우, 유사한 영상들에 대한 중복적 특징점 추출의 과정을 거치기에 그 처리 시간은 더욱 증가한다. 본 논문에서는 이와 같이, 하나의 객체 또는 환경에 대하여 불특정 다수의 카메라에서 획득한 영상을 기반으로 스티칭을 효율적으로 처리하기 위한 전처리 과정을 제안한다. 그 방법으로 카메라 센서 정보를 기반으로 영상들을 미리 그룹화 하여 한 번에 스티칭 할 영상의 수를 줄임으로써 데이터 처리 시간을 줄일 수 있다. 후에 계층적으로 스티칭 하여 하나의 큰 파노라마를 만든다. 본 논문에서 제안한 그룹핑 전처리를 통해 다수의 영상을 대상으로 한 스티칭 시간이 대폭 감소하는 것을 실험 결과를 통해 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.73-75
• /
• 2019

360°VR 영상은 카메라에서 촬영된 여러 영상들을 이어 붙이는 작업인 스티칭(Stitching)을 통하여 만들 수 있다. 스티칭은 영상들을 이어 붙이기 위해 각 영상의 특징점을 추출하는 특징점 추출, 특징점간 유사도를 비교하여 유사한 특징점끼리 매칭시키는 특징점 매칭, 특징점 매칭 과정에서 획득한 호모그래피 매트릭스를 이용한 이미지 와핑, 각 영상 간의 부자연스러운 경계선을 제거하는 블렌딩 과정을 거친다. 고품질의 360°VR 영상을 획득하기 위해서는 영상의 개수를 증가시킬 필요가 있고, 이로 인해 스티칭 과정에서 소요되는 시간이 증가한다. 본 논문에서는 카메라 센서 정보를 이용해 유사한 영상끼리 클러스터링하여, 한번에 스티칭이 진행되는 영상의 수를 감소시키고, 멀티 스레드를 이용하여 각 그룹의 스티칭을 병렬적으로 진행한 뒤, 최종적으로 스티칭하여 최종 360°VR 영상을 획득하는 과정을 제안한다.

• Current Optics and Photonics
• /
• 제5권4호
• /
• pp.362-369
• /
• 2021

Absolute position sensors are widely used in machine tools and precision measuring instruments because measurement errors are not accumulated, and position measurements can be performed without initialization. The laser speckle-based absolute position sensor, in particular, has advantages in terms of simple system configuration and high measurement accuracy. Unlike traditional absolute position sensors, it does not require an expensive physical length scale; instead, it uses a laser speckle image database to measure a moving surface position. However, there is a problem that a huge database is required to store information in all positions on the surface. Conversely, reducing the size of the database also decreases the accuracy of position measurements. Therefore, in this paper, we propose a new method to measure the surface position with high precision while reducing the size of the database. We use image stitching and approximation methods to reduce database size and speed up measurements. The absolute position error of the proposed method was about 0.27 ± 0.18 ㎛, and the average measurement time was 25 ms.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 하계학술대회
• /
• pp.256-259
• /
• 2017

파노라마 영상은 카메라 시야각의 제한을 극복하여 넓은 시야를 가질 수 있으므로 컴퓨터 비전, 스테레오 카메라 등의 분야에서 효율적으로 연구되고 있다. 파노라마 영상을 생성하기 위해서는 영상 스티칭 기술이 필요하다. 영상 스티칭 기술은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들 간의 유사도를 비교하여 영상들을 이어 붙여 큰 하나의 영상으로 만드는 것이다. 각각의 특징점은 수십 수백차원의 정보를 가지고 있고, 스티칭 할 영상이 많아질수록 데이터 처리 시간이 증가하게 된다. 본 논문에서는 이를 해결 하기 위해서 전처리 과정으로 겹치는 영역이 많을 것이라고 예상되는 영상들을 그룹화 하는 방법을 제안한다. 카메라 센서 정보를 기반으로 영상들을 미리 그룹화 하여 한 번에 스티칭 할 영상의 수를 줄임으로써 데이터 처리 시간을 줄일 수 있다. 후에 계층적으로 스티칭 하여 하나의 큰 파노라마를 만든다. 실험 결과를 통해 제안한 방법이 기존의 스티칭 처리 시간 보다 짧아진 것을 검증하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.355-361
• /
• 2006

In large scale environments like airport, museum, large warehouse and department store, autonomous mobile robots will play an important role in security and surveillance tasks. Robotic security guards will give the surveyed information of large scale environments and communicate with human operator with that kind of data such as if there is an object or not and a window is open. Both for visualization of information and as human machine interface for remote control, a 3D model can give much more useful information than the typical 2D maps used in many robotic applications today. It is easier to understandable and makes user feel like being in a location of robot so that user could interact with robot more naturally in a remote circumstance and see structures such as windows and doors that cannot be seen in a 2D model. In this paper we present our simple and easy to use method to obtain a 3D textured model. For expression of reality, we need to integrate the 3D models and real scenes. Most of other cases of 3D modeling method consist of two data acquisition devices. One for getting a 3D model and another for obtaining realistic textures. In this case, the former device would be 2D laser range-finder and the latter device would be common camera. Our algorithm consists of building a measurement-based 2D metric map which is acquired by laser range-finder, texture acquisition/stitching and texture-mapping to corresponding 3D model. The algorithm is implemented with laser sensor for obtaining 2D/3D metric map and two cameras for gathering texture. Our geometric 3D model consists of planes that model the floor and walls. The geometry of the planes is extracted from the 2D metric map data. Textures for the floor and walls are generated from the images captured by two 1394 cameras which have wide Field of View angle. Image stitching and image cutting process is used to generate textured images for corresponding with a 3D model. The algorithm is applied to 2 cases which are corridor and space that has the four wall like room of building. The generated 3D map model of indoor environment is shown with VRML format and can be viewed in a web browser with a VRML plug-in. The proposed algorithm can be applied to 3D model-based remote surveillance system through WWW.