• 전자통신동향분석
• /
• 제35권3호
• /
• pp.20-33
• /
• 2020

Temporal action detection (TAD) in untrimmed videos is an important but a challenging problem in the field of computer vision and has gathered increasing interest recently. Although most studies on action in videos have addressed action recognition in trimmed videos, TAD methods are required to understand real-world untrimmed videos, including mostly background and some meaningful action instances belonging to multiple action classes. TAD is mainly composed of temporal action localization that generates temporal action proposals, such as single action and action recognition, which classifies action proposals into action classes. However, the task of generating temporal action proposals with accurate temporal boundaries is challenging in TAD. In this paper, we discuss TAD technologies that are considered high performance in terms of representative TAD studies based on deep learning. Further, we investigate evaluation methodologies for TAD, such as benchmark datasets and performance measures, and subsequently compare the performance of the discussed TAD models.

• 전자통신동향분석
• /
• 제36권2호
• /
• pp.75-82
• /
• 2021

Online action detection (OAD) in a streaming video is an attractive research area that has aroused interest lately. Although most studies for action understanding have considered action recognition in well-trimmed videos and offline temporal action detection in untrimmed videos, online action detection methods are required to monitor action occurrences in streaming videos. OAD predicts action probabilities for a current frame or frame sequence using a fixed-sized video segment, including past and current frames. In this article, we discuss deep learning-based OAD models. In addition, we investigated OAD evaluation methodologies, including benchmark datasets and performance measures, and compared the performances of the presented OAD models.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권12호
• /
• pp.1075-1082
• /
• 2007

본 논문은 동영상에 등장하는 다수 사람의 동작을 검출하여 검출된 동작을 개별적으로 인식하는 방법을 제안한다. 동작이 수행되는 속도 또는 크기 변화에 강인한 인식 성능을 갖기 위해 시공간축 피라미드(Spatial-Temporal Pyramid)방식을 적용한다. 동작 표현 방식을 통계적 특성 기반의 모션 그래디언트 히스토그램(MGH:Motion Gradient Histogram)으로 선택하여 인식 과정에서 발생하는 복잡도를 최소화 하였다. 다수의 동작을 검출하기 위하여 이진 차영상을 축적한 모션 에너지 이미지(MEI: Motion Energy Image) 방법을 적용하여 효율적으로 개별적 동작 영역을 획득한다. 각 영역은 동작 표현 방법인 MGH로 나타내어지고, 크기 변화에 강인하도록 피라미드 방식을 적응하여 학습된 템플릿 MGH와 유사도를 상호 비교하여 최종 인식 결과를 얻는다. 인식 성능의 평가를 위해 10개의 동영상을 활용하여 단일 객체, 다수 객체, 속도 및 크기 변화, 기존 방식과의 비교, 기타 추가 실험 등을 실시하여 다양한 조건의 영상에서 양호한 인식 결과를 확인 할 수 있었다.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.145-149
• /
• 2024

최근 시간적 행동 검출 연구가 활발히 진행되고 있다. 시간적 행동 검출 연구의 한 분야인 오프라인 행동 검출은 온라인 행동 검출과 달리 비디오를 한번에 입력으로 받는다. 이를 통해 오프라인 행동 검출은 양방향 정보를 이용할 수 있으며 또한 이를 학습하기 위해 Bi-directional LSTM을 주로 사용한다. 본 논문에서는 기존 방법과 달리 완전지도 시간적 행동 검출에서 역재생 비디오를 생성하고 이를 통해 양뱡향 정보를 학습하는 방법을 제안한다. 구체적으로 역재생 비디오와 순재생 비디오를 함께 학습 데이터로 구성하는 방법과 각각 모델에 학습시킨 후 두 모델을 앙상블 모델로 구성하는 방법을 제안하였다. 제안하는 방법의 성능 평가를 위해 TALLFormer 모델을 이용하여 THUMOS-14 데이터셋에 대한 실험을 진행하였다. 역재생 및 순재생 비디오를 학습 데이터로 구성한 경우 기존 방법에 비해 5.1% 낮은 성능을, 모델 앙상블을 진행했을 경우 1.9% 우수한 성능을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3668-3684
• /
• 2021

Video action recognition is widely used in video surveillance, behavior detection, human-computer interaction, medically assisted diagnosis and motion analysis. However, video action recognition can be disturbed by many factors, such as background, illumination and so on. Two-stream convolutional neural network uses the video spatial and temporal models to train separately, and performs fusion at the output end. The multi segment Two-Stream convolutional neural network model trains temporal and spatial information from the video to extract their feature and fuse them, then determine the category of video action. Google Xception model and the transfer learning is adopted in this paper, and the Xception model which trained on ImageNet is used as the initial weight. It greatly overcomes the problem of model underfitting caused by insufficient video behavior dataset, and it can effectively reduce the influence of various factors in the video. This way also greatly improves the accuracy and reduces the training time. What's more, to make up for the shortage of dataset, the kinetics400 dataset was used for pre-training, which greatly improved the accuracy of the model. In this applied research, through continuous efforts, the expected goal is basically achieved, and according to the study and research, the design of the original dual-flow model is improved.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 춘계학술발표대회
• /
• pp.558-559
• /
• 2007

The detection of neural spike activity is a technical challenge that is very important for studying many types of brain function. On temporal recordings of firing events or interspike interval series of neural signal, spike pattern correspond to action will be repeated in the presence of background noise and they need to be detected to develop higher applications. We will introduce new method to find these patterns in raw multitrial data and is tested on surrogate data sets with the main target to get meaningful analysis of electrophysiological data from microelectrode arrays (MEA).

• 한국멀티미디어학회논문지
• /
• 제24권3호
• /
• pp.345-354
• /
• 2021

Recently, deep learning-based image recognition systems have been adopted to various surveillance environments, but most of them are still picture-type object recognition methods, which are insufficient for the long term temporal analysis and high-dimensional situation management. Therefore, we propose a method recognizing the specific dangerous situation generated by human in real-time, and utilizing deep learning-based object analysis techniques. The proposed method uses deep learning-based object detection and tracking algorithms in order to recognize the situations such as 'trespassing', 'loitering', and so on. In addition, human's joint pose data are extracted and analyzed for the emergent awareness function such as 'falling down' to notify not only in the security but also in the emergency environmental utilizations.

• 한국컴퓨터정보학회논문지
• /
• 제24권2호
• /
• pp.139-147
• /
• 2019

A false alarm, which is an incorrect report of an emergency, could trigger an unnecessary action. The predictive maintenance framework developed in our previous work has a feature whereby a machine alarm is triggered based on sensor data evaluation. The sensor data evaluator performs three essential evaluation steps. First, it evaluates each sensor data value based on its threshold (lower and upper bound) and labels the data value as "alarm" when the threshold is exceeded. Second, it calculates the duration of the occurrence of the alarm. Finally, in the third step, a domain expert is required to assess the results from the previous two steps and to determine, thereby, whether the alarm is true or false. There are drawbacks of the current evaluation method. It suffers from a high false-alarm ratio, and moreover, given the vast amount of sensor data to be assessed by the domain expert, the process of evaluation is prolonged and inefficient. In this paper, we propose a method for automatic false-alarm labeling that mimics how the domain expert determines false alarms. The domain expert determines false alarms by evaluating two critical factors, specifically the duration of alarm occurrence and identification of anomalies before or while the alarm occurs. In our proposed method, Hierarchical Temporal Memory (HTM) is utilized to detect anomalies. It is an unsupervised approach that is suitable to our main data characteristic, which is the lack of an example of the normal form of sensor data. The result shows that the technique is effective for automatic labeling of false alarms in sensor data.

• 한국콘텐츠학회논문지
• /
• 제12권2호
• /
• pp.10-18
• /
• 2012

감시 카메라를 이용하여 화재 연기를 자동 검출하는 시스템은 신뢰도 높은 연기 영상의 검출 방법을 필요로 한다. 카메라를 이용하여 공기 중에 확산하는 연기의 영상을 연속적으로 획득하였을 때, 연기 영상의 각 장면은 독특한 텍스처(정적 텍스처)를 가지며, 연기의 확산 운동으로 인하여 그 차분 영상 또한 다른 물체와 구별이 되는 독특한 텍스처(동적 텍스처)를 가진다. 특정 객체가 연기와 유사한 정적 텍스처를 가지고 있을 지라도 그 움직임의 특성이 연기 특유의 확산 운동과 다르다면, 그 차분 영상의 텍스처는 연기의 차분 영상 텍스처와 유사할 수 없다. 본 논문에서는 이 두 가지 정적 및 동적 텍스처를 이용하여 신뢰도 높은 연기 영상 검출 방법을 제안한다. 제안하는 방법은 누적된 장면 차분 영상을 이용하여 변화 영역을 일차적으로 검출하고, 검출된 변화 영역의 정적 및 동적 텍스처로부터 추출한 Haralick 특징 벡터 이용하여 최종적으로 연기로 인한 변화 영역을 검출한다.

• 한국의학물리학회지:의학물리
• /
• 제14권4호
• /
• pp.211-217
• /
• 2003

주성분분석은 잘 알려진 데이터 분석 방법으로써 높은 차원의 데이터를 낮은 차원의 데이터로 표현하는데 효과적이어서 얼굴인식, 데이터 압축 등에 이용되고 있다. 주성분분석을 하게 되면 원 데이터의 공분산 행렬로부터 정규직교한 고유벡터와 해당하는 고유치를 얻게 되고 그 중 큰 값을 가지는 고유벡터 들을 선택하여 선형 변환함으로써 데이터의 차원을 줄일 수 있게 된다. 망막에 빛 자극이 인가되면 시세포 층에서 전기신호로 변환된 후 복잡한 신경회로를 거쳐 최종적으로 신경절세포 층에서 활동전위의 형태로 출력되게 된다. 본 연구에서는 다채널전극을 사용하여 여러 개 망막 신경절세포로부터 유래되는 활동전위를 기록한 후 개개의 신호를 구분하는 과정을 거치고, 이어서 그 신호를 만들어 내는 각 뉴론들끼리의 시간적, 공간적 흥분발사 패턴을 이해함으로써 궁극적으로 시각정보 인코딩 기전을 밝히려는 연구 목표하에 그 첫 단계로서 망막 신경절세포의 활동전위를 기록한 후 분류하는 과정을 성공적으로 수행하였기에 그 내용을 서술하고자 한다. 망막에서 기록되는 신경절세포 활동전위는 불규칙하고 확률적이기 때문에 주성분분석을 통하여 그 유형을 분류할 수 있었다. 토끼 눈으로부터 망막을 박리하여 망막조각을 얻은 후 신경절세포 층이 전극표면을 향하도록 전극에 부착하였다. 8${\times}$8의 microelectrode array (MEA)를 전극으로 사용하였고, 증폭기는 MEA 60 system을 사용하여 신경절세포 활동전위를 기록하였다. 활동전위 기록 후 파형 분류를 하였다. 잡음이 섞여있는 기록으로부터 신호를 검출하기 위하여, 잡음역치($\pm$3$\sigma$)를 설정하였다. 역치를 넘는 파형 만을 획득한 후 주성분분석을 통해 각 파형의 첫 번째 주성분, 두 번째 주성분을 계산하여 2차원 평면에 투사함으로써 몇 개의 의미있는 클러스터를 얻었다. 이 클러스터는 곧 각 신경절세포에서 유래되는 파형을 반영하므로 주성분분석을 통하여 망막 신경절세포의 활동전위를 각 세포별로 분류할 수 있음을 확인하였다.