• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.892-895
• /
• 2017

본 논문에서는 비분할 비디오로부터 이 비디오에 담긴 사람의 행동을 효과적으로 탐지해내기 위한 심층 신경망 모델을 제안한다. 일반적으로 비디오에서 사람의 행동을 탐지해내는 작업은 크게 비디오에서 행동 탐지에 효과적인 특징들을 추출해내는 과정과 이 특징들을 토대로 비디오에 담긴 행동을 탐지해내는 과정을 포함한다. 본 논문에서는 특징 추출 과정과 행동 탐지 과정에 이용할 심층 신경망 모델을 제시한다. 특히 비디오로부터 각 행동별 시간적, 공간적 패턴을 잘 표현할 수 있는 특징들을 추출해내기 위해서는 C3D 및 I-ResNet 합성곱 신경망 모델을 이용하고, 시계열 특징 벡터들로부터 행동을 자동 판별해내기 위해서는 양방향 BI-LSTM 순환 신경망 모델을 이용한다. 대용량의 공개 벤치 마크 데이터 집합인 ActivityNet 비디오 데이터를 이용한 실험을 통해, 본 논문에서 제안하는 심층 신경망 모델의 성능과 효과를 확인할 수 있었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제61차 동계학술대회논문집 28권1호
• /
• pp.7-9
• /
• 2020

기존 CCTV 비디오에서 딥러닝 기반의 이상 탐지 연구는 객체의 행동 값만을 이용하여 이상을 탐지하였기 때문에, 시간 흐름에 따른 정보가 축소되는 문제점이 있었다. 그러나 CCTV 비디오에서의 이상의 원인은 다양한 요소와 시계열 분석에 따른 정보로 이루어져 있어 시간 정보를 유지하면서 다양한 특징 값을 사용한 모델을 설계할 필요가 있다. 따라서 본 논문에서는 C3D에 광학 흐름을 결합한 새로운 앙상블 모델을 제안한다. 실험 결과 본 논문에서 제안하는 모델이 75.83의 AUC를 얻어 기존에 연구되었던 행동 값만을 사용한 모델보다 높은 정확도를 달성하였다. 또한 이상 탐지 모델 설계 시 객체의 행동에 다양한 측면을 고려할 수 있는 여러 특징 값과 시계열 분석에 따른 정보를 사용하는 것이 적절하다는 결론을 도출하였다.

• 전자통신동향분석
• /
• 제35권3호
• /
• pp.20-33
• /
• 2020

Temporal action detection (TAD) in untrimmed videos is an important but a challenging problem in the field of computer vision and has gathered increasing interest recently. Although most studies on action in videos have addressed action recognition in trimmed videos, TAD methods are required to understand real-world untrimmed videos, including mostly background and some meaningful action instances belonging to multiple action classes. TAD is mainly composed of temporal action localization that generates temporal action proposals, such as single action and action recognition, which classifies action proposals into action classes. However, the task of generating temporal action proposals with accurate temporal boundaries is challenging in TAD. In this paper, we discuss TAD technologies that are considered high performance in terms of representative TAD studies based on deep learning. Further, we investigate evaluation methodologies for TAD, such as benchmark datasets and performance measures, and subsequently compare the performance of the discussed TAD models.

• 전자통신동향분석
• /
• 제36권2호
• /
• pp.75-82
• /
• 2021

Online action detection (OAD) in a streaming video is an attractive research area that has aroused interest lately. Although most studies for action understanding have considered action recognition in well-trimmed videos and offline temporal action detection in untrimmed videos, online action detection methods are required to monitor action occurrences in streaming videos. OAD predicts action probabilities for a current frame or frame sequence using a fixed-sized video segment, including past and current frames. In this article, we discuss deep learning-based OAD models. In addition, we investigated OAD evaluation methodologies, including benchmark datasets and performance measures, and compared the performances of the presented OAD models.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권11호
• /
• pp.795-800
• /
• 2013

한우 발정기의 조기 탐지는 축산 농가의 경제성을 향상시키는 매우 중요한 연구 과제 중 하나이다. 이를 위한 다양한 방법들이 제안되었으나, 현재까지도 시스템의 경제성 문제를 포함한 조기 발정 탐지 및 탐지 정확도 등에 여전히 취약한 점이 있는 것이 사실이다. 본 논문에서는 감시카메라 환경에서 축사내 승가 행동을 포함하는 한우의 특이 행동들을 탐지하는 다중 객체의 특이 행동 탐지 프로토타입 시스템을 제안한다. 다중 객체의 특이 행동 탐지란 감시카메라로부터 유입되는 영상에서 다중 객체가 위험에 처한 상황 혹은 비정상적인 행동들을 신속하고 정확하게 탐지하는 분야를 말한다. 제안된 시스템은 한우 축사에 고정 설치된 카메라의 입력 동영상으로 부터 움직임 벡터 정보를 이용하여 영상내의 움직임 정보를 추출 표현하였으며, 특이 행동의 판별 문제를 실용적 차원의 단일 클래스 분류 문제로 재해석하여 단일 클래스 SVM의 대표적 모델인 SVDD를 탐지기로 설계하였다. 실제로 진주에 위치한 한 축사에서 취득한 한우 암소의 영상 정보를 이용하여 본 논문에서 제안한 시스템의 성능을 실험적으로 검증한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 춘계학술발표대회
• /
• pp.823-825
• /
• 2014

감시 카메라 환경에서 자동으로 그룹 행동을 인식하는 기술이 최근 많은 관심을 받고 있다. 본 논문에서 제안하는 그룹 해동 인식 시스템은 다른 추가 정보 없이 비디오 프레임만을 인풋으로 받아들여, 자동으로 보행자 탐지, 추적, 행동 인식까지 모두 포괄하는 시스템이다. 시공간 모션 패턴을 만들고 연결 요소들로 모델링 한 뒤 Hidden Markov Model (HMM)을 이용해 그룹 행동을 인식한다. 실험 결과, 기본 논문과 비교하였을 때, 비슷한 인식률을 보이면서 수행 시간을 약 25 배 정도로 획기적으로 단축하였다.

• 한국통신학회논문지
• /
• 제41권9호
• /
• pp.1120-1131
• /
• 2016

본 논문은 흡연으로 인한 화재사고 방지를 위해, 비디오 영상에서 흡연자를 검출하는 알고리즘을 제안한다. 흡연자의 행동을 인식하기 위해 행동 인식 기법의 계층적 방법 중 서술 기반 접근 방법을 기반으로 제안하는 알고리즘은 배경 영역 분리, 객체 검출, 이벤트 탐지, 이벤트 판단 과정으로 구성된다. 배경 영역 분리 과정으로 학습률이 다른 두 개의 가우시안 혼합 모델을 이용하여 입력 영상으로부터 고속 움직임 전경, 저속 움직임 전경 영상을 생성하고, 저속움직임 전경 영상을 chain-rule 기반 외곽선 검출 알고리즘을 통하여 객체의 위치를 추출해낸다. 위치 정보를 기반으로 흡연자의 세 가지 특징인 얼굴, 연기, 손의 움직임을 이벤트 탐지 과정에서 검출한다. Haar-like feature를 이용하여 얼굴을 검출하며, 고속 움직임 전경에서 연기의 발생 빈도수와 방향성을 반영하여 연기를 검출한다. 움직임 추정을 통해 반복적인 손의 움직임을 검출한다. 일정 구간의 비디오 시퀀스 내 객체들에 대하여, 검출된 특징들의 서술적 관계를 반영하여 각각의 객체가 흡연자인지 판단한다. 제안하는 방법은 실시간으로 여러 다른 객체들 사이에서 강인하게 흡연자를 검출한다.

• 제어로봇시스템학회논문지
• /
• 제13권6호
• /
• pp.537-641
• /
• 2007

In this paper, motion analysis algorithm is presented for home surveillance of the aged who lives alone. For the first step, we acquire images from a camera. To enhance the image, we use median filtering and binarize it to reduce processing time. And then morphological operations are performed to remove small blobs and small holes. At the forth step, blobs are analysed to extracts tor foreground region. Then, motions are predicted from these images by using optical tlow technique, and the predicted motion data are refined by comparing our cardboard models so as to judge behavior pattern.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.375-377
• /
• 2019

본 논문에서는 관람객 얼굴 표정 및 제스쳐 인식을 기반으로 인터렉티브 디지털콘텐츠의 문제점 추론 시스템을 제안한다. 관람객이 콘텐츠를 체험하고 다른 장소로 이동하기 전까지의 행동 패턴을 기준으로 삼아 4가지 문제점으로 분류한다. 문제점 분류을 위해 관람객이 콘텐츠 체험과정에서 나타낼 수 있는 얼굴 표정 3가지 종류와 제스쳐 5가지를 구분하였다. 실험에서는 입력된 비디오로부터 얼굴 및 손을 검출하기 위해 Adaboost algorithm을 사용하였고, mobilenet v1을 retraining하여 탐지모델을 생성 후 얼굴 표정 및 제스쳐를 검출했다. 이 연구를 통해 인터렉티브 디지털콘텐츠가 지니고 있는 문제점을 추론하여 향후 콘텐츠 개선과 제작에 사용자 중심 설계가 가능하도록 하고 양질의 콘텐츠 생산을 촉진 시킬 수 있을 것이다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.15-30
• /
• 2023

최근 미디어 분야에도 인공지능(AI)을 적용한 다양한 서비스가 등장하고 있는 추세이다. 하지만 편집점을 찾아 영상을 이어 붙이는 영상 편집은, 대부분 수동적 방식으로 진행되어 시간과 인적 자원의 소요가 많이 발생하고 있다. 이에 본 연구에서는 Video Swin Transformer를 활용하여, 발화 여부에 따른 영상의 편집점을 탐지할 수 있는 방법론을 제안한다. 이를 위해, 제안 구조는 먼저 Face Alignment를 통해 얼굴 특징점을 검출한다. 이와 같은 과정을 통해 입력 영상 데이터로부터 발화 여부에 따른 얼굴의 시 공간적인 변화를 모델에 반영한다. 그리고, 본 연구에서 제안하는 Video Swin Transformer 기반 모델을 통해 영상 속 사람의 행동을 분류한다. 구체적으로 비디오 데이터로부터 Video Swin Transformer를 통해 생성되는 Feature Map과 Face Alignment를 통해 검출된 얼굴 특징점을 합친 후 Convolution을 거쳐 발화 여부를 탐지하게 된다. 실험 결과, 본 논문에서 제안한 얼굴 특징점을 활용한 영상 편집점 탐지 모델을 사용했을 경우 분류 성능을 89.17% 기록하여, 얼굴 특징점을 사용하지 않았을 때의 성능 87.46% 대비 성능을 향상시키는 것을 확인할 수 있었다.