• 방송공학회논문지
• /
• 제24권6호
• /
• pp.965-973
• /
• 2019

본 논문에서는 Stereo 4K@60fps 360 VR 실시간 영상 획득 시스템을 영상 스트림 획득과 영상 인코딩(encoding), 영상 스티칭(stitching) 모듈로 나누어 설계하였다. 시스템은 6대의 카메라로부터 HDMI Interface를 통해 획득된 6개의 2K@60fps의 영상 스트림을 스티칭을 통하여 실시간으로 Stereo 4K@60fps 360 VR 영상을 획득한다. 영상 획득 단계에서는 멀티 스레드(Multi-Thread)를 이용하여 각 카메라로부터 실시간으로 영상 스트림을 획득하였다. 영상 인코딩 단계에서는 영상 획득과 영상 스티칭 모듈 간의 전송 리소스를 줄이기 위하여 멀티 스레드를 이용한 Raw Frame 메모리 전송과 병렬 인코딩을 하였다. 영상 스티칭 단계에서는 스티칭 Calibration 전처리작업을 통하여 스티칭 실시간성을 확보하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4527-4548
• /
• 2017

This paper proposes a method to generate panoramic images by combining conventional feature extraction algorithms (e.g., SIFT, SURF, MPEG-7 CDVS) with sensed data from inertia sensors to enhance the stitching results. The challenge of image stitching increases when the images are taken from two different mobile phones with no posture calibration. Using inertia sensor data obtained by the mobile phone, images with different yaw, pitch, and roll angles are preprocessed and adjusted before performing stitching process. Performance of stitching (e.g., feature extraction time, inlier point numbers, stitching accuracy) between conventional feature extraction algorithms is reported along with the stitching performance with/without using the inertia sensor data. In addition, the stitching accuracy of video data was improved using the same sensed data, with discrete calculation of homograph matrix. The experimental results for stitching accuracies and speed using sensed data are presented in this paper.

• 반도체디스플레이기술학회지
• /
• 제23권1호
• /
• pp.56-60
• /
• 2024

In this paper, we propose a SIFT feature-based dynamic stitching algorithm for image calibration and correction of a 360-degree surround view system. The existing surround view system requires a lot of processing time and money because in the process of image calibration and correction. The traditional marker patterns are placed around the vehicle and correction is performed manually. Therefore, in this study, images captured with four fisheye cameras mounted on the surround view system were distorted and then matched with the same feature points in adjacent images through SIFT-based feature point extraction to enable image stitching without a fixed marker pattern.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.51-61
• /
• 2017

본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

• 전기전자학회논문지
• /
• 제20권4호
• /
• pp.420-423
• /
• 2016

본 논문은 임베디드 환경에서 실시간으로 동작하기 위해 입력 영상의 방향성을 판단하여 ROI를 지정하고 SURF, PROSAC 알고리즘을 적용하는 파노라마 영상 정합 방법을 제안한다. 기존의 파노라마 정합 알고리즘은 SURF 알고리즘이나 SIFT 알고리즘과 같이 많은 연산 데이터가 사용되는 알고리즘을 영상 전체에 적용하여 연산하기 때문에 불필요한 연산 영역을 포함하고 있다. 따라서 본 논문은 입력되는 영상의 방향을 판단한 결과로 영상의 ROI를 지정하여 불필요한 연산을 줄이는 방법을 제안한다. 영상의 방향을 판단하는데 사용하는 센서는 자이로 센서와 가속도 센서를 사용한다. 임베디드 환경에서 자이로 센서와 가속도 센서의 상보 필터를 통한 값 보정은 영상 정합 알고리즘의 처리 시간에 영향을 주지 않기 때문에 실시간 동작이 가능하다.

• International Journal of CAD/CAM
• /
• 제9권1호
• /
• pp.37-46
• /
• 2010

Existing methods for the registration of blurred images are efficient for the artificially blurred images or a planar registration, but not suitable for the naturally blurred images existing in the real image mosaic process. In this paper, we attempt to resolve this problem and propose a method for a distortion-free stitching of naturally blurred images for image mosaic. It adopts a multi-resolution and robust feature based inter-layer mosaic together. In each layer, Harris corner detector is chosen to effectively detect features and RANSAC is used to find reliable matches for further calibration as well as an initial homography as the initial motion of next layer. Simplex and subspace trust region methods are used consequently to estimate the stable focal length and rotation matrix through the transformation property of feature matches. In order to stitch multiple images together, an iterative registration strategy is also adopted to estimate the focal length of each image. Experimental results demonstrate the performance of the proposed method.

• 전자공학회논문지CI
• /
• 제41권2호
• /
• pp.137-148
• /
• 2004

본 논문에서는 영상기반 파노라믹 3D 가상 환경 (Virtual Environment: VE) 생성을 위해 회전하는 다수의 멀티뷰 카메라를 위한 캘리브레이션 방법을 제안한다. 일반적으로, 카메라 캘리브레이션 알고리즘은 카메라와 캘리브레이션 패턴 사이의 이 멀어질수록 획득되는 카메라 파라미터의 정확도가 상당히 저하되어 파노라마 영상 제작에는 부적합하다. 이러한 문제점을 극복하기 위해 멀티뷰 카메라의 렌즈간 그리고 회전하는 다수의 멀티뷰 카메라간의 기하학적인 상관 위치 관계를 이용하여 정확도를 높인다. 우선, Tsai의 캘리브레이션 알고리즘을 적용하여 획득된 카메라 파라미터를 카메라 렌즈간의 사전 기하 정보와 비교하여 그 오차에 기반한 인트라 카메라 캘리브레이션 (Intra-camera Calibration)을 수행한다. 그리고 가상 공간에 역투영된 3D point cloud에 ICP 알고리즘을 적용하여 인터 카메라 캘리브레이션 (Inter-camera Calibration)을 수행한다. 이를 확장하여, 다수의 카메라를 회전시켜 획득된 3D point cloud에 대해 기준 카메라의 위치를 중심으로 인터 카메라 캘리브레이션을 연속적으로 수행함으로써 회전하는 다수의 멀티뷰 카메라에 대한 캘리브레이션을 수행한다. 이와 같은 캘리브레이션 방법을 통해 중에서도 비교적 개선된 카메라 파라미터를 획득할 수 있기 때문에 파노라믹 3D 가상 환경을 생성하기 위한 정합과정에 사용할 수 있다. 또한, 실시간 3D 객체 추적 및 AR 응용 시스템 등의 다양한 AR 응용분야에 활용될 수 있다.

• 한국멀티미디어학회논문지
• /
• 제24권4호
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.