• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4527-4548
• /
• 2017

This paper proposes a method to generate panoramic images by combining conventional feature extraction algorithms (e.g., SIFT, SURF, MPEG-7 CDVS) with sensed data from inertia sensors to enhance the stitching results. The challenge of image stitching increases when the images are taken from two different mobile phones with no posture calibration. Using inertia sensor data obtained by the mobile phone, images with different yaw, pitch, and roll angles are preprocessed and adjusted before performing stitching process. Performance of stitching (e.g., feature extraction time, inlier point numbers, stitching accuracy) between conventional feature extraction algorithms is reported along with the stitching performance with/without using the inertia sensor data. In addition, the stitching accuracy of video data was improved using the same sensed data, with discrete calculation of homograph matrix. The experimental results for stitching accuracies and speed using sensed data are presented in this paper.

• 한국멀티미디어학회논문지
• /
• 제24권4호
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.51-61
• /
• 2017

본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

• 전기학회논문지
• /
• 제60권2호
• /
• pp.441-445
• /
• 2011

In this paper, we propose an algorithm for generating panoramic videos using fixed multiple cameras. We estimate a background image from each camera. Then we calculate perspective relationships between images using extracted feature points. To eliminate stitching errors due to different image depths, we process background images and foreground images separately in the overlap regions between adjacent cameras by projecting regions of foreground images selectively. The proposed algorithm can be used to enhance the efficiency and convenience of wide-area surveillance systems.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2005년도 추계 종합학술대회 논문집
• /
• pp.580-584
• /
• 2005

기존의 파노라마 영상 스티칭 기술의 문제점은 계산량이 매우 많아 필요한 이미지 처리가 실시간에 이루어 질 수 없다는 점이다. 비디오 감시와 같은 응용분야에서 실시간 성능은 현재의 상황을 보아야 하므로 매우 중요한 문제이다. 그러나 기존의 방법으로 일련의 이미지들을 파노라마 영상으로 스티칭하기 위해서 이미지들 사이의 변환계수만을 계산하는데 많은 시간이 소요된다. Apple QuickTime VR을 포함한 대부분의 파노라마 가상현실 관련 기술들은 표현에 있어서 제작 기술의 제한된 상황으로 Top과 Bottom의 표현이 왜곡되는 문제점을 안고 있다. 따라서 본 논문에서는 스티칭을 고속화시키고, 좌우는 물론 상하전후의 관측 범위를 가지며 Top과 Bottom에 대한 왜곡현상을 줄이는 큐브 파노라마 영상을 지원하는 파노라마 영상의 제작기술을 제안한다.

• 방송공학회논문지
• /
• 제25권1호
• /
• pp.13-24
• /
• 2020

한국에는 전력 분배를 위하여 약 9백만 개의 전신주와 1.3백만 킬로미터의 송전선이 있다. 이러한 많은 전력 설비의 유지보수를 위해서는 많은 인력과 시간이 소요된다. 최근 인공지능을 사용한 여러 고장진단 기술들이 연구되어 오고 있기 때문에 본 논문에서는 송전선의 여러 요인으로 인한 늘어짐을 감지하기 위해 기존의 현장에서의 검증 방법이 아닌 카메라 시스템으로 촬영한 영상에서의 인공 지능 기술을 활용한 송전선 늘어짐 감지 시스템을 제안한다. 제안하는 시스템은 (i) 객체 탐지 시스템을 이용한 송전탑 감지 (ii) 동영상 촬영 데이터의 화질 저하 문제를 해결하기 위한 히스토그램 평활화 기법 (iii) 송전선 전체를 파악하기 위한 파노라마 영상 스티칭(iv) 송전선 탐지 알고리즘 적용 후 파노라마 영상 스티칭 기술을 이용한 늘어짐 판단 과정으로 진행된다. 본 논문에서는 각각의 과정들에 대한 설명 및 실험 결과를 보인다.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.366-374
• /
• 2017

TV나 디지털 사이니지와 같은 화면표시장치들이 점점 커져감에 따라, 미디어의 종류가 UHD, 파노라마, 퍼즐형 미디어와 같은 광각의 미디어로 변하고 있다. 특히, 파노라마 및 퍼즐형 미디어는 스티칭을 통해 복수개의 카메라로 촬영된 비디오 클립을 합성한 형태로 구성된다. 그러나, 스티칭 과정의 처리 시간이 오래 걸리기 때문에 실시간 서비스에는 적용하기 어려운 문제가 있다. 따라서 본 논문에서는 스티칠 처리 시간을 감소하기 위한 방법으로, 영상간의 공간적 연관관계를 알려주는 2D Adjacency Matrix를 생성하는 것을 제안한다. Discrete Cosine Transform (DCT)를 사용하여, 비디오 소스의 각 프레임을 공간 영역에서 주파수 영역으로 변환 시킨다. 앞서 언급한 DCT 계수를 기반으로 효과적으로 이미지들의 공간적 연관관계를 알려주는 2D Adjacency Matrix를 생성한다. 본 논문에서는 각각의 비디오 클립들로부터 파노라마 영상과, 퍼즐형 미디어를 생성하기 위해 DCT를 이용한 2D Adjacency matrix 생성 방법을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.39-42
• /
• 2016

Since a display device such as TV or signage is getting larger, the types of media is getting changed into wider view one such as UHD, panoramic and jigsaw-like media. Especially, panoramic and jigsaw-like media is realized by stitching video clips, which are captured by different camera or devices. In order to stich those video clips, it is required to find out 2D Adjacency Matrix, which tells spatial relationships among those video clips. Discrete Cosine Transform (DCT), which is used as a compression transform method, can convert the each frame of video source from the spatial domain (2D) into frequency domain. Based on the aforementioned compressed features, 2D adjacency Matrix of images could be found that we can efficiently make the spatial map of the images by using DCT. This paper proposes a new method of generating 2D adjacency matrix by using DCT for producing a panoramic and jigsaw-like media through various individual video clips.

• ETRI Journal
• /
• 제37권6호
• /
• pp.1143-1153
• /
• 2015

In this paper, we propose an efficient architecture for a real-time image stitching engine for vision SoCs found in motor vehicles. To enlarge the obstacle-detection distance and area for safety, we adopt panoramic images from multiple telegraphic cameras. We propose a stitching method based on a fixed homography that is educed from the initial frame of a video sequence and is used to warp all input images without regeneration. Because the fixed homography is generated only once at the initial state, we can calculate it using SW to reduce HW costs. The proposed warping HW engine is based on a linear transform of the pixel positions of warped images and can reduce the computational complexity by 90% or more as compared to a conventional method. A dual-core SW/HW image stitching engine is applied to stitching input frames in parallel to improve the performance by 70% or more as compared to a single-core engine operation. In addition, a dual-core structure is used to detect a failure in state machines using rock-step logic to satisfy the ISO26262 standard. The dual-core SW/HW image stitching engine is fabricated in SoC with 254,968 gate counts using Global Foundry's 65 nm CMOS process. The single-core engine can make panoramic images from three YCbCr 4:2:0 formatted VGA images at 44 frames per second and frequency of 200 MHz without an LCD display.

• 대한전자공학회논문지SP
• /
• 제45권6호
• /
• pp.108-116
• /
• 2008

본 논문은 시점이 변화하는 동적 비디오에서 파노라마 배경을 생성하고 객체 추적을 가능하게 하는 알고리듬을 제안한다. 보다 구체적으로, 카메라로 입력되는 인접한 두 영상에서 추출된 특징점으로 부터 영상간의 관계를 유도하며, 이를 이용한 실린더 투영, 영상의 재정렬, 그리고 겹침 지역의 일그러짐을 최소화 하기 위한 스티칭(stitching) 및 블렌딩(blending)을 수행한다. 이 과정에 의해서 생성 된 배경을 기준으로 현재 입력 영상과 차분을 계산하여 객체 추적을 수행했다. 제안된 방법은 배경생성이 완료된 이후부터는 객체의 감시만을 수행하므로 실시간으로 넓은 영역의 감시가 가능하며, 이를 통한 지속적인 객체의 추적이 가능하다. 따라서 향후 공공장소 등과 같이 넓은 영역에서의 감시, 추적에 이용할 수 있다.