• 방송공학회논문지
• /
• 제22권1호
• /
• pp.51-61
• /
• 2017

본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

• 방송공학회논문지
• /
• 제22권6호
• /
• pp.713-723
• /
• 2017

파노라마 영상은 카메라 시야각의 제한을 극복하여 넓은 시야를 가질 수 있으므로 컴퓨터 비전, 스테레오 카메라 등의 분야에서 효율적으로 연구되고 있다. 파노라마 영상을 생성하기 위해서는 왜곡이 생기는 광각 카메라를 사용하는 대신 다수의 일반 카메라로 촬영한 영상들을 스티칭 하는 것이 영상의 왜곡 현상을 줄일 수 있기에 많이 활용되어지고 있다. 영상 스티칭 기술은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들 간의 유사도를 비교하여 영상들을 이어 붙여 큰 하나의 영상으로 만드는 것이다. 각각의 특징점은 수십 수백차원의 정보를 가지고 있고, 스티칭 할 영상이 많아질수록 데이터 처리 시간이 증가하게 된다. 특히, 하나의 객체에 대하여 다수의 불특정 카메라에 의해 촬영한 영상들을 기반으로 파노라마를 생성할 경우, 유사한 영상들에 대한 중복적 특징점 추출의 과정을 거치기에 그 처리 시간은 더욱 증가한다. 본 논문에서는 이와 같이, 하나의 객체 또는 환경에 대하여 불특정 다수의 카메라에서 획득한 영상을 기반으로 스티칭을 효율적으로 처리하기 위한 전처리 과정을 제안한다. 그 방법으로 카메라 센서 정보를 기반으로 영상들을 미리 그룹화 하여 한 번에 스티칭 할 영상의 수를 줄임으로써 데이터 처리 시간을 줄일 수 있다. 후에 계층적으로 스티칭 하여 하나의 큰 파노라마를 만든다. 본 논문에서 제안한 그룹핑 전처리를 통해 다수의 영상을 대상으로 한 스티칭 시간이 대폭 감소하는 것을 실험 결과를 통해 검증하였다.

• 전기전자학회논문지
• /
• 제20권4호
• /
• pp.420-423
• /
• 2016

본 논문은 임베디드 환경에서 실시간으로 동작하기 위해 입력 영상의 방향성을 판단하여 ROI를 지정하고 SURF, PROSAC 알고리즘을 적용하는 파노라마 영상 정합 방법을 제안한다. 기존의 파노라마 정합 알고리즘은 SURF 알고리즘이나 SIFT 알고리즘과 같이 많은 연산 데이터가 사용되는 알고리즘을 영상 전체에 적용하여 연산하기 때문에 불필요한 연산 영역을 포함하고 있다. 따라서 본 논문은 입력되는 영상의 방향을 판단한 결과로 영상의 ROI를 지정하여 불필요한 연산을 줄이는 방법을 제안한다. 영상의 방향을 판단하는데 사용하는 센서는 자이로 센서와 가속도 센서를 사용한다. 임베디드 환경에서 자이로 센서와 가속도 센서의 상보 필터를 통한 값 보정은 영상 정합 알고리즘의 처리 시간에 영향을 주지 않기 때문에 실시간 동작이 가능하다.

• International Journal of CAD/CAM
• /
• 제9권1호
• /
• pp.37-46
• /
• 2010

Existing methods for the registration of blurred images are efficient for the artificially blurred images or a planar registration, but not suitable for the naturally blurred images existing in the real image mosaic process. In this paper, we attempt to resolve this problem and propose a method for a distortion-free stitching of naturally blurred images for image mosaic. It adopts a multi-resolution and robust feature based inter-layer mosaic together. In each layer, Harris corner detector is chosen to effectively detect features and RANSAC is used to find reliable matches for further calibration as well as an initial homography as the initial motion of next layer. Simplex and subspace trust region methods are used consequently to estimate the stable focal length and rotation matrix through the transformation property of feature matches. In order to stitch multiple images together, an iterative registration strategy is also adopted to estimate the focal length of each image. Experimental results demonstrate the performance of the proposed method.

• 한국컴퓨터정보학회논문지
• /
• 제29권2호
• /
• pp.13-20
• /
• 2024

본 논문은 영상에서 특정 원통형 약통을 식별할 수 있는 모델 이미지 생성 방식을 제시하고 데이터 수집에 대한 기술을 연구한다. 기존 연구들은 객체 인식과 특정 객체 식별이 분리되어 있어 이미지 스티칭(image stitching) 자동화에 적용하기 어려웠으며, 좌표 기반 이미지 추출 방식이 이미지 스티칭 과정에서 객체 영역 외의 정보도 모델 이미지에 포함시키는 문제를 갖고 있었다. 이를 해결하기 위해 본 논문은 최근에 출시된 YOLOv8(You Only Look Once)의 세그멘테이션(segmentation)기법을 수직축 회전하는 약통 영상에 적용하고 특징점 매칭 알고리즘인 ORB(Oriented FAST and Rotated BRIEF)를 활용하여 모델 이미지 생성을 자동화하였다. 연구 결과, 세그멘테이션 기법을 적용할 경우 특정 약통 식별시 인식률이 향상되었으며 특징점 매칭 알고리즘으로 생성된 모델 이미지는 특정 악통을 정확하게 식별해 낼 수 있었다.

• 정보처리학회논문지B
• /
• 제19B권2호
• /
• pp.93-98
• /
• 2012

최근 고성능 디지털 카메라의 발전으로 영상을 쉽게 획득하고, 많은 곳에서 활용하고 있다. 그 중에서 영상을 정합하여 사용하는 이미지 스티칭 방법에 대한 많은 연구가 진행되고 있다. 이미지 스티칭은 위성이나 정찰기 등의 군사용 목적 및 의료 영상, 지도 등의 컴퓨터 비전 분야 등에서 활용할 수 있다. 본 논문에서는 영상에서 특징점을 추출하고 이를 정합하는 과정에서 의미 있는 특징점을 분류하고 이를 사용하는 향상된 SURF 알고리즘 기반의 고속 이미지 스티칭 방법을 제안한다. 여러 장의 영상에서 정합되는 부분을 찾기 위해 각각의 영상에서 특징점을 추출한다. 각각의 영상에서 추출된 특징점들 중 잡음 등과 같은 오류를 제거하여 의미 있는 특징점을 분류하고 이를 정합하여 연산 처리량을 줄임으로써 이미지 스티칭의 속도를 향상시켰다. 실험 결과 특징점 정합 속도 및 이미지 스티칭 속도가 기존의 알고리즘 보다 빠르면서도 자연스러운 영상을 생성할 수 있었다.

• 전기전자학회논문지
• /
• 제19권4호
• /
• pp.460-464
• /
• 2015

본 논문은 임베디드 환경에서 실시간으로 동작하기 위해 이미지에 ROI를 지정하고 PROSAC 알고리즘을 적용하여 구현한 파노라마 영상 정합을 제안한다. 기존의 방식은 SURF 알고리즘이나 SIFT 알고리즘과 같이 복잡한 연산과 많은 연산 데이터의 알고리즘을 화면 전체에 적용하여 탐색한다. 또한 outlier 제거 알고리즘으로 RANSAC을 적용하여 알고리즘이 가진 무작위성으로 추가적인 검증 시간을 필요로 한다. 본 논문은 파노라마 영상의 특성을 고려하여 ROI를 설정함으로써 불필요한 연산량을 줄이고 outlier 제거 알고리즘을 검증 시간을 줄인 PROSAC 알고리즘으로 채택하여 처리 속도를 개선하였다. 비교 실험은 ARM Cortex-A15가 내장된 ODROID-XU 환경에서 진행 하였다. 제안하는 방식은 기존의 방식보다 처리 시간이 약 54% 개선되었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권1호
• /
• pp.9-18
• /
• 2018

최근 가상현실 기반의 콘텐츠들이 늘어나면서 이미지 Stitching 기술의 사용이 증가하고 있다. 이미지 Stitching이란 고해상도 이미지 및 넓은 시야(Wide Field of View)의 이미지를 생성하기 위해 다중의 영상을 정합하는 방법이다. 이런 이미지 Stitching은 하나의 카메라로부터 생성되는 영상의 한계를 넘어 다양한 분야에서 활용되고 있다. 이미지 Stitching은 다중의 영상을 정합하기 위해 특징 점 및 대응점을 검출하고 RANSAC 알고리즘을 이용하여 영상간의 변환관계(Homography)를 계산한다. 일반적으로 변환관계 계산을 위해 대응점들이 필요하다. 그러나 대응점들에는 변환관계에 대한 잘못된 가정이나 오류로 인해 발생할 수 있는 다양한 유형의 노이즈(Noise)가 포함되어 있다. 이러한 노이즈는 변환관계를 정확히 예측하는 방해 요인이 된다. 이처럼 일반적으로 사용되는 대응점 매칭(Matching) 방법들은 잘못된 대응점들을 매칭할 수 있는 경우가 발생하기 때문에 모델 파라미터의 예측을 방해하는 대응점(Outlier)로부터 정확한 변환관계를 구축하기 위해 RANSAC 알고리즘을 사용한다. 본 논문에서는 RANSAC 알고리즘에 사용되는 대응점 관계 정보를 이용하여 좀 더 정확한 대응점(Inlier)을 추출하고 정확한 변환관계를 계산하는 알고리즘을 제안한다. 대응점 관계 정보는 이미지 매칭에 사용되는 대응점 간의 거리 비율을 사용하며, 본 논문은 기존 RANSAC 알고리즘과 같은 성능을 유지하면서 처리 시간을 단축시키는데 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권3호
• /
• pp.459-470
• /
• 2013

The discovery of nearest neighbors, without training in advance, has many applications, such as the formation of mosaic images, image matching, image retrieval and image stitching. When the quantity of data is huge and the number of dimensions is high, the efficient identification of a nearest neighbor (NN) is very important. This study proposes a variation of the KD-tree - the arbitrary KD-tree (KDA) - which is constructed without the need to evaluate variances. Multiple KDAs can be constructed efficiently and possess independent tree structures, when the amount of data is large. Upon testing, using extended synthetic databases and real-world SIFT data, this study concludes that the KDA method increases computational efficiency and produces satisfactory accuracy, when solving NN problems.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.847-850
• /
• 2022

최근 가상 현실(Virtual Reality), 파노라마(Panorama) 영상 등에 관한 관심과 수요가 증가함에 따라 고해상도 영상을 얻기 위한 영상 스티칭(Image Stitching)에 관한 연구가 활발하게 진행되고 있다. 영상 스티칭은 다수의 영상을 하나의 영상으로 합성해 카메라의 좁은 시야각 문제를 해결함으로써 사용자에게 몰입감과 현장감을 제공할 수 있는 기술이다. 영상 스티칭에 있어 특징점 추출 및 매칭 과정의 정확도는 스티칭 영상의 품질을 결정짓는 핵심적인 요소이지만, 기존의 특징점 추출 및 매칭 방법은 밝기가 어둡고 선명도가 낮은 영상의 스티칭에서 정확도가 저하될 수 있고 생성된 스티칭 영상의 품질 또한 저하될 수 있다는 제한 사항이 있다. 이에 본 논문에서는 앞선 제한적 영상에 대하여 특징점 추출 및 매칭의 정확도를 높여 스티칭 영상의 품질을 높이기 위하여 SuperPoint와 SuperGLUE를 활용한 입력 영상의 밝기 적응형 영상 스티칭 방법을 제안하고자 한다.