• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4527-4548
• /
• 2017

This paper proposes a method to generate panoramic images by combining conventional feature extraction algorithms (e.g., SIFT, SURF, MPEG-7 CDVS) with sensed data from inertia sensors to enhance the stitching results. The challenge of image stitching increases when the images are taken from two different mobile phones with no posture calibration. Using inertia sensor data obtained by the mobile phone, images with different yaw, pitch, and roll angles are preprocessed and adjusted before performing stitching process. Performance of stitching (e.g., feature extraction time, inlier point numbers, stitching accuracy) between conventional feature extraction algorithms is reported along with the stitching performance with/without using the inertia sensor data. In addition, the stitching accuracy of video data was improved using the same sensed data, with discrete calculation of homograph matrix. The experimental results for stitching accuracies and speed using sensed data are presented in this paper.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.20-30
• /
• 2022

최근 VR (Virtual Reality) 기술이 주목받기 시작하면서 생동감 넘치는 VR 컨텐츠를 볼 수 있는 360° 파노라마 영상이 많은 관심을 받고 있다. 이미지 스티칭 기술은 360° 파노라마 영상을 제작하는데 주요한 기술로서 많은 연구가 활발하게 이루어지고 있다. 일반적인 스티칭 알고리즘은 특징점 기반 이미지 스티칭을 기반으로 한다. 하지만 기존의 특징점 기반 이미지 스티칭 방법들은 특징점에 크게 영향을 받는다는 문제가 존재한다. 이러한 문제를 해결하기 위해서 최근에는 딥러닝 기반의 이미지 스티칭 기술들이 연구되고 있지만 이미지 간의 겹치는 영역이 거의 없거나 큰 시차가 존재할 때 여전히 많은 문제점이 존재한다. 또한 실제 환경에서는 라벨링 된 정답 파노라마 영상을 얻을 수 없으므로 완전한 지도학습에 한계가 존재한다. 따라서 자율주행분야에 많이 이용되는 칼라(Carla) 시뮬레이터를 통해 카메라 센터가 다른 3개의 fisheye 이미지와 그에 대응되는 정답 영상을 제작하였다. 우리는 제작한 fisheye 영상으로360° 파노라마 영상을 만드는 이미지 스티칭 모델을 제안한다. 최종 실험 결과로는 실제 환경과 비슷하게 구성한 가상의 데이터 세트로 다양한 환경과 큰 시차에도 강인한 스티칭 결과를 검증한다.

• Advances in Automotive Engineering
• /
• 제1권1호
• /
• pp.143-152
• /
• 2018

In this study an economical image stitching algorithm for use in automotive industry is developed for retrofittable panoramic image assistance applications. The aim of this project is to develop a driving assistance system known as Panoramic Parking Assistance (PPA) which is cheap, retrofittable and compatible for every type of automobiles. PPA generates bird's eye view image using cameras installed on the automobiles. Image stitching requires to get bird's eye view position of the vehicle. Panoramic images are wide area images that cannot be available by taking one shot, attained by stitching the overlapping areas. To achieve correct stitching many algorithms are used. This study includes some type of these algorithms and presents a simple one that is economical and practical. Firstly, the mathematical model of a wide view of angle camera is provided. Then distorted image correction is performed. Stitching is implemented by using the SIFT and SURF algorithms. It has been seen that using such algorithms requires complex image processing knowledge and implementation of high quality digital processors, which would be impracticle and costly for automobile use. Thus a simpler algorithm has been developed to decrase the complexity. The proposed algorithm uses one matching point for every couple of images and has ease of use and does not need high power processors. To show the efficiency, images coming from four distinct cameras are stitched by using the algorithm developed for the study and usability for automotive application is analyzed.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
• /
• pp.287-288
• /
• 2016

본 논문에서는 한 위치에서 여러방향으로 찍은 사진들을, Image Stitching 기술을 통해 Panorama 영상을 만드는 과정에 대해 연구한다. VR이 주목 받게 됨에 따라 스마트폰이나 360도 카메라를 사용하여 이미지 스티칭 기법을 사용하여 연속적인 사진을 보여주게 되는되 이를 구현 하기 위한 배경 연구들을 분석하고 구현해 봄으로 속도 향상을 아이디어들에 대하여 연구한다.

• Transactions on Electrical and Electronic Materials
• /
• 제18권5호
• /
• pp.273-278
• /
• 2017

Recently, one of the areas where research is being actively conducted is the Internet of Things (IoT). The field of using the Internet of Things system is increasing, coupled with a remarkable increase of the use of the camera. However, general cameras used in the Internet of Things have limited viewing angles as compared to those available to the human eye. Also, cameras restrict observation of objects and the performance of observation. Therefore, in this paper, we propose a panoramic image stitching method using feature extraction and matching based on an embedded system. After extracting the feature of the image, the speed of image stitching is improved by reducing the amount of computation using the necessary information so that it can be used in the embedded system. Experimental results show that it is possible to improve the speed of feature matching and panoramic image stitching while generating a smooth image.

• Journal of the Optical Society of Korea
• /
• 제18권4호
• /
• pp.341-344
• /
• 2014

This study proposes a modified sub-aperture stitching algorithm, which uses an image sharpening algorithm and particle swarm optimization to improve the stitching accuracy. In sub-aperture stitching interferometers with high positional accuracy, the high-frequency components of measurements are more important than the low-frequency components when compensating for position errors using a sub-aperture stitching algorithm. Thus we use image sharpening algorithms to strengthen the high-frequency components of measurements. When using image sharpening algorithms, sub-aperture stitching algorithms based on the least-squares method easily become trapped at locally optimal solutions. However, particle swarm optimization is less likely to become trapped at a locally optimal solution, thus we utilized this method to develop a more robust algorithm. The results of simulations showed that our algorithm compensated for position errors more effectively than the existing algorithm. An experimental comparison with full aperture-testing results demonstrated the validity of the new algorithm.

• 한국멀티미디어학회논문지
• /
• 제17권10호
• /
• pp.1205-1212
• /
• 2014

In this paper, we propose a high-quality stitching method of 3D multiple dental CT images. First, a weighted function is generated using the difference of two distance functions that calculate a distance from the nearest edge of an overlapped region to each position. And a blending ratio propagation function for two gradient vectors is parameterized by the difference and magnitude of gradient vectors that is also applied by the weighted function. When the blending ratio is propagated, an improved region growing scheme is proposed to decide the next position and calculate the blending intensity. The proposed method produces a high-quality stitching image. Our method removes the seam artifact caused by the mean intensity difference between images and vignetting effect. And it removes double edges caused by local misalignment. Experimental results showed that the proposed method produced high-quality stitching images for ten patients. Our stitching method could be usefully applied into the stitching of 3D or 2D multiple images.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권1호
• /
• pp.9-18
• /
• 2018

최근 가상현실 기반의 콘텐츠들이 늘어나면서 이미지 Stitching 기술의 사용이 증가하고 있다. 이미지 Stitching이란 고해상도 이미지 및 넓은 시야(Wide Field of View)의 이미지를 생성하기 위해 다중의 영상을 정합하는 방법이다. 이런 이미지 Stitching은 하나의 카메라로부터 생성되는 영상의 한계를 넘어 다양한 분야에서 활용되고 있다. 이미지 Stitching은 다중의 영상을 정합하기 위해 특징 점 및 대응점을 검출하고 RANSAC 알고리즘을 이용하여 영상간의 변환관계(Homography)를 계산한다. 일반적으로 변환관계 계산을 위해 대응점들이 필요하다. 그러나 대응점들에는 변환관계에 대한 잘못된 가정이나 오류로 인해 발생할 수 있는 다양한 유형의 노이즈(Noise)가 포함되어 있다. 이러한 노이즈는 변환관계를 정확히 예측하는 방해 요인이 된다. 이처럼 일반적으로 사용되는 대응점 매칭(Matching) 방법들은 잘못된 대응점들을 매칭할 수 있는 경우가 발생하기 때문에 모델 파라미터의 예측을 방해하는 대응점(Outlier)로부터 정확한 변환관계를 구축하기 위해 RANSAC 알고리즘을 사용한다. 본 논문에서는 RANSAC 알고리즘에 사용되는 대응점 관계 정보를 이용하여 좀 더 정확한 대응점(Inlier)을 추출하고 정확한 변환관계를 계산하는 알고리즘을 제안한다. 대응점 관계 정보는 이미지 매칭에 사용되는 대응점 간의 거리 비율을 사용하며, 본 논문은 기존 RANSAC 알고리즘과 같은 성능을 유지하면서 처리 시간을 단축시키는데 있다.

• 정보처리학회논문지B
• /
• 제19B권2호
• /
• pp.93-98
• /
• 2012

최근 고성능 디지털 카메라의 발전으로 영상을 쉽게 획득하고, 많은 곳에서 활용하고 있다. 그 중에서 영상을 정합하여 사용하는 이미지 스티칭 방법에 대한 많은 연구가 진행되고 있다. 이미지 스티칭은 위성이나 정찰기 등의 군사용 목적 및 의료 영상, 지도 등의 컴퓨터 비전 분야 등에서 활용할 수 있다. 본 논문에서는 영상에서 특징점을 추출하고 이를 정합하는 과정에서 의미 있는 특징점을 분류하고 이를 사용하는 향상된 SURF 알고리즘 기반의 고속 이미지 스티칭 방법을 제안한다. 여러 장의 영상에서 정합되는 부분을 찾기 위해 각각의 영상에서 특징점을 추출한다. 각각의 영상에서 추출된 특징점들 중 잡음 등과 같은 오류를 제거하여 의미 있는 특징점을 분류하고 이를 정합하여 연산 처리량을 줄임으로써 이미지 스티칭의 속도를 향상시켰다. 실험 결과 특징점 정합 속도 및 이미지 스티칭 속도가 기존의 알고리즘 보다 빠르면서도 자연스러운 영상을 생성할 수 있었다.

• Journal of information and communication convergence engineering
• /
• 제9권6호
• /
• pp.747-752
• /
• 2011

The position detection of overlapping area in the interframe for image stitching using auto and cross correlation function (ACCF) and compounding one image with the stitching algorithm is presented in this paper. ACCF is used by autocorrelation to the featured area to extract the filter mask in the reference (previous) image and the comparing (current) image is used by crosscorrelation. The stitching is detected by the position of high correlation, and aligns and stitches the image in shifting the current image based on the moving vector. The ACCF technique results in a few computations and simplicity because the filter mask is given by the featuring block, and the position is enabled to detect a bit movement. Input image captured from CMOS is used to be compared with the performance between the ACCF and the window correlation. The results of ACCF show that there is no seam and distortion at the joint parts in the stitched image, and the detection performance of the moving vector is improved to 12% in comparison with the window correlation method.