• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.626-628
• /
• 2012

최근 이미지에서 특징점을 추출하고 이를 활용하는 분야로 이미지 스티칭에 대한 연구가 활발하게 진행되고 있다. 이미지 스티칭에서는 특징점을 추출 및 정합이 중요한 요소이다. 본 논문에서는 특징점 기술자의 차원을 효과적으로 감소시켜 정확하면서도 빠르게 정합점을 찾을 수 있는 효율적인 특징점 기술자 생성을 이용한 빠른 이미지 스티칭 기법을 제안한다. 실험 결과, 이미지 스티칭 속도가 기존의 알고리즘 보다 빠르면서도 향상된 스티칭 이미지를 생성할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.279-281
• /
• 2020

본 논문은 고정되지 않고 흔들리는 영상을 각 프레임마다 이미지 스티칭(Image Stitching)으로 비디오를 구성하였을 때 생기는 영상이 심하게 흔들리는 문제 등을 보완하기 위해 새로운 비디오 스티칭(Video Stitching) 방법을 제안한다. NISwGSP 알고 리즘으로 각 프레임 이미지를 스티칭하고 스티칭 형태를 어느 정도 유지시켜주는 새로운 코스트 함수를 도입하여 스티칭 영상의 흔들림 문제를 해결한다. 메쉬(Mesh) 기반 이미지 스티칭 알고리즘인 NISwGSP를 써서 비디오 스티칭을 할 때 메쉬의 버텍스(Vertices)를 이전 프레임의 버텍스로 유지하도록 하여 스티칭 형태를 고정시키는 것이 본 논문에서 제시하는 방법이다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 추계학술대회
• /
• pp.136-138
• /
• 2017

본 논문에서는 동적 프로그래밍 스티칭을 이용하여 다수의 이미지를 경계가 보이지 않게 정합하여 고해상도의 이미지를 얻는 방법을 소개한다. 제안하는 방법에서는 수직, 수평방향으로 일정한 간격으로 쵤영한 다수의 지역 이미지와 전체를 촬영한 전역 이미지를 사용해서 각각의 지역 이미지와 전역 이미지의 특징점을 추출하고 이를 매칭하여 호모그래피를 계산한다. 이를 이용하여 정합할 두 지역 이미지간의 호모그래피를 구하고 좌표를 변환한 후 겹치는 영역에 동적 프로그래밍 스티칭 방법을 적용하여 두 이미지를 정합한다. 동적 프로그래밍 스티칭 방법이란 두 이미지를 정합할 때 겹치는 영역의 차이를 계산하고 차이가 가장 적은 픽셀을 경계로 하는 방법이다. 다수의 이미지를 수직방향으로 정합하고 정합된 이미지들을 수평방향으로 정합하여 하나의 고해상도 이미지를 만들 수 있다. 제안하는 스티칭 기법을 적용함으로써 이미지간의 경계가 드러나지 않을 뿐만 아니라 각 픽셀의 세밀한 정보도 유지한 고해상도의 이미지를 획득할 수 있음을 보였다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.20-30
• /
• 2022

최근 VR (Virtual Reality) 기술이 주목받기 시작하면서 생동감 넘치는 VR 컨텐츠를 볼 수 있는 360° 파노라마 영상이 많은 관심을 받고 있다. 이미지 스티칭 기술은 360° 파노라마 영상을 제작하는데 주요한 기술로서 많은 연구가 활발하게 이루어지고 있다. 일반적인 스티칭 알고리즘은 특징점 기반 이미지 스티칭을 기반으로 한다. 하지만 기존의 특징점 기반 이미지 스티칭 방법들은 특징점에 크게 영향을 받는다는 문제가 존재한다. 이러한 문제를 해결하기 위해서 최근에는 딥러닝 기반의 이미지 스티칭 기술들이 연구되고 있지만 이미지 간의 겹치는 영역이 거의 없거나 큰 시차가 존재할 때 여전히 많은 문제점이 존재한다. 또한 실제 환경에서는 라벨링 된 정답 파노라마 영상을 얻을 수 없으므로 완전한 지도학습에 한계가 존재한다. 따라서 자율주행분야에 많이 이용되는 칼라(Carla) 시뮬레이터를 통해 카메라 센터가 다른 3개의 fisheye 이미지와 그에 대응되는 정답 영상을 제작하였다. 우리는 제작한 fisheye 영상으로360° 파노라마 영상을 만드는 이미지 스티칭 모델을 제안한다. 최종 실험 결과로는 실제 환경과 비슷하게 구성한 가상의 데이터 세트로 다양한 환경과 큰 시차에도 강인한 스티칭 결과를 검증한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.73-75
• /
• 2019

360°VR 영상은 카메라에서 촬영된 여러 영상들을 이어 붙이는 작업인 스티칭(Stitching)을 통하여 만들 수 있다. 스티칭은 영상들을 이어 붙이기 위해 각 영상의 특징점을 추출하는 특징점 추출, 특징점간 유사도를 비교하여 유사한 특징점끼리 매칭시키는 특징점 매칭, 특징점 매칭 과정에서 획득한 호모그래피 매트릭스를 이용한 이미지 와핑, 각 영상 간의 부자연스러운 경계선을 제거하는 블렌딩 과정을 거친다. 고품질의 360°VR 영상을 획득하기 위해서는 영상의 개수를 증가시킬 필요가 있고, 이로 인해 스티칭 과정에서 소요되는 시간이 증가한다. 본 논문에서는 카메라 센서 정보를 이용해 유사한 영상끼리 클러스터링하여, 한번에 스티칭이 진행되는 영상의 수를 감소시키고, 멀티 스레드를 이용하여 각 그룹의 스티칭을 병렬적으로 진행한 뒤, 최종적으로 스티칭하여 최종 360°VR 영상을 획득하는 과정을 제안한다.

• 정보처리학회논문지B
• /
• 제19B권2호
• /
• pp.93-98
• /
• 2012

최근 고성능 디지털 카메라의 발전으로 영상을 쉽게 획득하고, 많은 곳에서 활용하고 있다. 그 중에서 영상을 정합하여 사용하는 이미지 스티칭 방법에 대한 많은 연구가 진행되고 있다. 이미지 스티칭은 위성이나 정찰기 등의 군사용 목적 및 의료 영상, 지도 등의 컴퓨터 비전 분야 등에서 활용할 수 있다. 본 논문에서는 영상에서 특징점을 추출하고 이를 정합하는 과정에서 의미 있는 특징점을 분류하고 이를 사용하는 향상된 SURF 알고리즘 기반의 고속 이미지 스티칭 방법을 제안한다. 여러 장의 영상에서 정합되는 부분을 찾기 위해 각각의 영상에서 특징점을 추출한다. 각각의 영상에서 추출된 특징점들 중 잡음 등과 같은 오류를 제거하여 의미 있는 특징점을 분류하고 이를 정합하여 연산 처리량을 줄임으로써 이미지 스티칭의 속도를 향상시켰다. 실험 결과 특징점 정합 속도 및 이미지 스티칭 속도가 기존의 알고리즘 보다 빠르면서도 자연스러운 영상을 생성할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.10-13
• /
• 2020

최근 초고화질 영상, 가상현실 등 프리미엄 콘텐츠에 대한 요구가 커지면서 360° VR과 8K TV 등의 시장이 확대되고 있다. 360° VR 영상을 만드는 데에 스티칭 기술이 사용되고 있고, 8K 영상을 촬영할 수 있는 장비는 매우 제한적이기 때문에 스티칭 기술을 통해 콘텐츠를 확보하려는 노력이 이어지고 있다. 스티칭 기술은 여러 영상을 합성하여 기존 카메라의 좁은 시야각 문제를 해결하고 보다 넓은 시야각의 영상을 만드는 기술이다. 최근에는 해당 분야에 관한 연구가 진행됨에 따라 이미지를 넘어 동영상 스티칭에 대한 연구가 주로 진행되고 있다, 기존 동영상 스티칭 방식은 이미지 스티칭 방식을 프레임마다 반복하기 때문에 시간이 오래 걸린다는 단점이 있다. 컴퓨터 비전 분야에서는 딥러닝을 활용하여 객체가 존재할 것으로 예측되는 부분에 사각형 모양의 경계 상자(Bounding box)를 생성하는 객체 탐지(Object detection) 분야에 관한 많은 연구가 이루어져 왔고 이를 기반으로 객체의 경계선을 검출하여 해당 영역만을 구분하는 객체 분할(Instance segmentation)에 대한 연구 또한 진행 중이다. 본 논문에서는 앞서 말한 스티칭 속도 문제를 해결하기 위하여 빠른 속도로 객체 분할이 가능한 YOLACT를 이용하여 스티칭 속도를 개선하는 방안을 제안한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권1호
• /
• pp.65-70
• /
• 2013

최근 디지털 카메라 기술의 발전으로 이미지를 쉽게 생성할 수 있어 이를 활용한 컴퓨터 비전분야의 연구가 활발하게 진행되고 있다. 특히 디지털 이미지에서 특징점을 추출하고 이를 활용하는 연구가 활발하게 진행되고 있다. 이미지 스티칭은 여러 이미지에서 특징점을 추출하고 이를 정합하여 하나의 고해상도 이미지를 생성하는 것으로 군사용, 의료용뿐만 아니라 실생활의 다양한 분야에서 활용되고 있다. 본 논문에서는 특징점 기술자의 차원을 효과적으로 감소시켜 정확하면서도 빠르게 정합점을 찾을 수 있는 SURF 기반의 빠른 특징점 기술자 추출 및 정합을 이용한 효율적인 이미지 스티칭 기법을 제안한다. 추출된 특징점에서 불필요한 특징점을 분류하여 특징점 기술자를 생성한다. 이때 특징점 기술자의 연산량을 줄이면서도 효율적인 정합을 위해 기술자의 차원을 줄이고 방향 윈도우를 확장하였다. 실험 결과 특징점 정합 및 전체 이미지 스티칭 속도가 기존의 알고리즘보다 빠르면서도 자연스러운 스티칭된 이미지를 생성할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제14권2호
• /
• pp.201-209
• /
• 2011

이 논문은 이미지 매칭 알고리즘의 일종인 수정된 SURF(Speeded Up Robust Feature)와 이미지 블렌딩 알고리즘의 일종인 멀티밴드 블렌딩으로 구성된 파노라마 이미지 스티칭 시스템을 제안한다. 이 논문은 처음에 수정된 SURF를 기술하고 SIFT(Scale Invariant Feature Transform)와 비교하여 SURF를 이 시스템에서 채택한 이유에 대하여 논한다. 그리고 멀티밴드 블렌딩에 대하여 기술하고, 이어서 제안된 파노라마 이미지 스티칭 시스템의 구조에 대하여 설명하고 마지막으로 이미지 질과 처리시간에 대한 평가를 한다. 평가결과는 제안된 시스템이 개별 이미지들을 이음매 없이 연결하였으며, 많은 개개의 이미지 데이터에 대해서도 완전한 파노라마 이미지를 생성하였으며 처리 시간도 SIFT보다 빨랐다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.309-312
• /
• 2018

지금까지 영상 콘텐츠 제작 기술의 발전은 SD(Standard Definition)에서 시작하여 HD(High Definition)와 FHD(Full High Definition)를 거쳐, UHD(Ultra High Definition)에 이르기까지 화질을 중심으로 이루어져 왔다. UHD 에 이르며 육안으로는 그 이상의 해상도로 제작된 콘텐츠와 구분하는 것이 힘들어졌으며, 이에 영상 콘텐츠 제작은 화질이 아닌 제한된 촬영 장비들로부터 촬영 방법, 영상 화각의 개선 작업 등으로 그 방향을 전환하고 있다. 이의 연장선 상에서 360 도 영상에 대한 기술개발이 활발히 이루어 지고 있다. 방송 분야에서는 360 도 영상의 실시간 스트리밍 적용 가능성이 모색되고 있는데, 이것이 가능 하려면 대량의 동영상 데이터를 실시간으로 스티칭하여 전달하는 기술이 필요하다. 따라서 고속 이미지 스티칭이 가능해질 경우 실시간 동영상 스티칭을 통해 방송 통신 분야에서의 서비스 향상에 기여할 것으로 보인다. 본 논문은 이미지의 edge 정보를 방향성을 가진 데이터로 분할하여 특징점을 추출하고, 이후 가중치를 통한 특징점 매칭으로 기존의 이미지 스티칭 방법 보다 빠른 속도의 알고리즘을 제안한다.