• 한국멀티미디어학회논문지
• /
• 제25권5호
• /
• pp.685-694
• /
• 2022

The goal of few-shot semantic segmentation is to build a network that quickly adapts to novel classes with extreme data shortage regimes. Most existing few-shot segmentation methods leverage single or multiple prototypes from extracted support features. Although there have been promising results for natural images, these methods are not directly applicable to the aerial image domain. A key factor in few-shot segmentation on aerial images is to effectively exploit information that is robust against extreme changes in background and object scales. In this paper, we propose a Mask-Guided Attention module to extract more comprehensive support features for few-shot segmentation in aerial images. Taking advantage of the support ground-truth masks, the area correlated to the foreground object is highlighted and enables the support encoder to extract comprehensive support features with contextual information. To facilitate reproducible studies of the task of few-shot semantic segmentation in aerial images, we further present the few-shot segmentation benchmark iSAID-, which is constructed from a large-scale iSAID dataset. Extensive experimental results including comparisons with the state-of-the-art methods and ablation studies demonstrate the effectiveness of the proposed method.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.102-112
• /
• 2000

기존의 비디오 구조화 기법은 주로 샷 또는 샷 그룹 레벨에서 이루어져 왔다. 그러나 이러한 샷 레벨 구조는 사용자에게 의미(semantics)를 충분히 전달할 수 없는 단점이 있다. 이런 단점을 극복하기 위해, 최근 샷 보다 상위 레벨 구조인 비디오 씬 분할에 관한 연구가 진행되고 있다. 본 논문에서는 이러한 샷 레벨 구조의 단점을 극복하기 위해서 칼라와 모션 특징을 기반으로 한 비디오 씬 분할 기법을 제안한다. 샷 내의 다양한 칼라 분포를 반영하기 위해서 각 샷을 sub-shot으로 재분할하고, 이를 이용해 대표 프레임을 추출한다. 샷 내의 모션 특징은 MPEG-1 비디오 내의 모션 벡터를 이용한다. 유사한 컨텐트를 가지고 있는 샷을 찾기 위해서 탐색 구간내의 모션 특성을 반영한 적응적 가중치를 칼라와 모션 특징에 적용한다. 실험 결과 비교를 통해 씬의 과다 분할이나 의미 반영 면에서 기존의 씬 분할 기법보다 우수함을 보였다. 제안된 기법은 비디오를 의미 있는 계층 구조로 분할해서, 사용자에게 의미를 반영하는 씬 단위로의 브라우징이나 검색을 가능케 한다.

• 한국컴퓨터정보학회논문지
• /
• 제20권7호
• /
• pp.9-16
• /
• 2015

This paper proposes the parallel design of a shot change detection algorithm using frame segmentation and moving blocks. In the proposed approach, the high parallel processing components, such as frame histogram calculation, block histogram calculation, Otsu threshold setting function, frame moving operation, and block histogram comparison, are designed in parallel for NVIDIA GPU. In order to minimize memory access delay time and guarantee fast computation, the output of a GPU kernel becomes the input data of another kernel in a pipeline way using the shared memory of GPU. In addition, the optimal sizes of CUDA processing blocks and threads are estimated through the prior experiments. In the experimental test of the proposed shot change detection algorithm, the detection rate of the GPU based parallel algorithm is the same as that of the CPU based algorithm, but the average of processing time speeds up about 6~8 times.

• ETRI Journal
• /
• 제45권5호
• /
• pp.795-810
• /
• 2023

Unmanned aerial vehicles (UAV) and ground vehicles (UGV) require advanced video analytics for various tasks, such as moving object detection and segmentation; this has led to increasing demands for these methods. We propose a zero-shot video object segmentation method specifically designed for UAV and UGV applications that focuses on the discovery of moving objects in challenging scenarios. This method employs a background memory model that enables training from sparse annotations along the time axis, utilizing temporal modeling of the background to detect moving objects effectively. The proposed method addresses the limitations of the existing state-of-the-art methods for detecting salient objects within images, regardless of their movements. In particular, our method achieved mean J and F values of 82.7 and 81.2 on the DAVIS'16, respectively. We also conducted extensive ablation studies that highlighted the contributions of various input compositions and combinations of datasets used for training. In future developments, we will integrate the proposed method with additional systems, such as tracking and obstacle avoidance functionalities.

• 한국컴퓨터정보학회논문지
• /
• 제20권5호
• /
• pp.21-29
• /
• 2015

본 논문에서는 프레임 블록화와 이동블록 간 객체 이동을 이용한 샷 전환 탐지 알고리즘을 제안한다. 객체의 급격한 이동을 탐지하기 위해 연속 프레임의 현재 블록의 대각선상에 위치한 이동 블록을 정의하고 블록 히스토그램을 비교한다. 제안 방법은 두 연속 프레임 내 블록 간 객체 이동 여부를 검사하며, 객체 이동 블록 정보를 가지고 프레임 간 샷 전환 탐지를 예측한다. 현재 프레임의 블록이 다음 프레임의 이동 블록과 비교 시, 블록 히스토그램이 사용되며 샷 전환 임계값은 Otsu 임계값 방법을 이용하여 자동으로 선정한다. 제안 방법은 영화, 드라마, 애니메이션, 국가기록원 소장 영상 등과 같이 다양한 흑백 또는 칼라 영상에 대해 테스트되었다. 실험결과 제안하는 방법은 기존의 알고리즘과 비교 시 탐지율을 높일 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 1999년도 춘계종합학술대회
• /
• pp.104-108
• /
• 1999

단편적인 의미를 지니는 각각의 영상들보다 이들 영상의 내용을 함축적으로 내포하는 하나의 영상으로 표현하는 것이 많은 효과를 제시하고 있다. 이 상황에 적용되는 기술이 ‘모자이크’이다. ‘모자이크’라고 하는 것은 여러 영상들 중에서 중복되는 영역들을 제거하여 각각의 영상들을 하나의 복합된 새로운 영상으로 생성하는 것이다. 본 연구는 다 영상에 의한 모자이크 시스템을 개발한다. 시스템은 장면분할, 모자이크 영상의 생성으로 구분된다. 장면분할에서는 동영상인 비디오 데이터들을 연속된 시간 내에서 유사한 영상들끼리의 묶음으로 구분하고, 모자이크 영상의 생성은 분할된 장면 안의 모든 프레임을 한 영상으로 구성한다

• 융합신호처리학회논문지
• /
• 제4권2호
• /
• pp.25-30
• /
• 2003

최근 들어 디지털 기술의 발전은 문자, 음성, 화상, 비디오 등과 같은 멀티미디어 정보가 매우 큰 비중을 차지하고 있다 이들 중에서 비디오와 관련된 연구로는 비디오 색인 및 검색에 관한 연구가 많이 진행되고 있다. 본 논문에서는 MPEG으로 압축된 비디오 분할을 위한 새로운 알고리즘을 제안한다. Shot 검출 즉 장면전환 검출은 MPEG 비디오 시퀀스에서 분할하는 가장 기본적이면서 중요한 작업이며 비디오 색인 및 검색을 위한 첫 번째 단계이다. 일반적으로 많이 사용되는 분할 알고리즘은 이전 프레임과 현재 프레임을 비교하기 때문에 물체의 빠른 움직임이나 카메라의 움직임, 카메라 후레쉬의 섬광 등 화면 변화에 따라 오검출이 생기는 단점이 있었다 따라서 본 논문에서는 기존 알고리즘에 검출한 장면전환 지점을 사용하여 이웃 프레임들과의 특징차 비교를 통하여 한번 더 판별하였다. 실험 결과 기존 알고리즘 보다 정확한 장면전환 검출을 할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 추계종합학술대회
• /
• pp.635-638
• /
• 2005

비디오 분할은 비디오 질의 시스템을 만드는 첫 번째 단계로서 각 샷이 같은 내용을 가지는 프레임들의 순서를 표현하는 샷들에 대한 비디오 시퀀스 분할을 목적으로 한다. 샷 전환의 형태는 급진적인 샷 전환과 점진적인 샷 전환으로 구분된다. 샷 전환 검출 접근의 중요한 문제는 샷 전환 검출의 실행을 결정하는 정확한 경계값을 구체화하기 어렵다는 것이다. 또한 클러스터 접근에서는 클러스터의 올바를 수를 찾기가 어렵다. 이러한 문제점들을 개선하고자 컬러-X$^2$ 명도 히스토그램 기반 퍼지 c-means 클러스터링 방법을 이용하여 하이브리드 형태의 샷 전환 검출 방법을 제안 하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권1_2호
• /
• pp.114-125
• /
• 2002

본 논문에서는 MPEG 비디오 데이터의 컷(cut)과 디졸브(dissolve)를 검출하여 샷(shot) 단위로 분할하고 각 샷의 카메라 동작 또는 객체 움직임의 형태를 분류하는 방법을 제안하고자 한다. 정확한 샷의 위치와 카메라, 객체의 세분화된 동작을 구별하기 위한 전단계의 연구에서[1] 우선 MPEG 데이터의 I(Intra) 프레임의 DC(Direct Current) 계수를 분석하여 픽처 그룹을 Shot(장면이 바뀐 경우), Move(카메라 동작 또는 객체가 움직인 경우), Static(영상의 변화가 거의 없는 경우)으로 세분화하여 분류하였다. 이 과정에서 2단계 구조의 신경망을 구성하고 여러 종류의 특징을 서로 다른 해상도에서 추출하여 결합시키는 방법을 제안하였다. 다음 단계로 Shot 또는 Move로 분류된 픽처 그룹의 P(Predicted), B(Bi-directional) 프레임을 선별적, 계층적으로 탐색하여 컷의 정확한 발생 위치와 카메라 동작 또는 객체 움직임의 종류를 결정하는 방법을 제안한다. P, B 프레임의 매크로 블록의 종류별 분포를 통계적으로 이용하여 컷의 발생 위치를 검출하여, P, B 프레임의 매크로 블록 종류와 움직임 벡터를 동시에 사용하는 신경망을 구성하여 디졸브, 카메라 동작, 객체 움직임의 종류를 검출한다. 본 논문에서 제안하는 방법은 MPEG 데이터의 압축을 풀지 않은 상태에서 I 프레임의 DC 계수만을 사용하여 픽처 그룹을 분류하며, 분류된 픽처 그룹 내에서 일부의 P, B 프레임만을 계층적으로 선택하여 탐색함으로서 처리 시간을 감소시키고자 하였다. 세 종류의 서로 다른 비디오 데이터를 사용한 실험에서 93.9-100.0%로 픽처 그룹을, 96.1-100.0%로 컷을 검출하였다. 또한 두 종류의 비디오 데이터를 사용한 실험에서 90.13% 및 89.28%의 정확성으로 카메라 동작 또는 객체 움직임을 분류하였다.

• 한국멀티미디어학회논문지
• /
• 제10권8호
• /
• pp.967-980
• /
• 2007

동영상에서의 관심 객체를 추출하는 것은 비디오 내용 분석과 비디오 검색 및 압축의 성능을 개선시키는데 큰 역할을 한다. 관심 객체는 단순히 사람 눈의 시선을 끄는 대상물이 아니라 내용전개의 중심이 되거나 제작자가 표현하려고 하는 핵심 객체를 의미한다. 이러한 관심 객체는 움직이는 객체뿐만 아니라 정지해 있는 객체도 될 수 있으나, 사람의 관심을 절차적으로 표현하는 것이 어렵기 때문에 관심 객체를 명확하게 정의하기가 곤란하다. 이에, 본 논문에서는 동영상 샷에서의 움직이는 객체의 위치, 크기, 움직임 패턴의 변화에 대한 조건을 정의하여 필터링에 의해 사람의 관심을 끄는 움직임 관심 객체를 추출하는 방법을 제시하고, 아울러 동영상 샷에서 정지되어 있는 객체에 대해서도 컬러/텍스처 특이성, 위치, 크기, 출현 빈도 등에 대한 조건을 정의하여 정지 관심 객체도 추출할 수 있는 방법을 제안한다. 제안한 방법을 50개의 동영상 샷에 대하여 실험한 결과, 사람이 선정한 움직임 및 정지 관심 객체를 84% 정도 추출할 수 있음을 확인할 수 있었다.