• 제목/요약/키워드: Spatio-temporal features

검색결과 80건 처리시간 0.032초

Human Activity Recognition Based on 3D Residual Dense Network

  • Park, Jin-Ho;Lee, Eung-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제23권12호
    • /
    • pp.1540-1551
    • /
    • 2020
  • Aiming at the problem that the existing human behavior recognition algorithm cannot fully utilize the multi-level spatio-temporal information of the network, a human behavior recognition algorithm based on a dense three-dimensional residual network is proposed. First, the proposed algorithm uses a dense block of three-dimensional residuals as the basic module of the network. The module extracts the hierarchical features of human behavior through densely connected convolutional layers; Secondly, the local feature aggregation adaptive method is used to learn the local dense features of human behavior; Then, the residual connection module is applied to promote the flow of feature information and reduced the difficulty of training; Finally, the multi-layer local feature extraction of the network is realized by cascading multiple three-dimensional residual dense blocks, and use the global feature aggregation adaptive method to learn the features of all network layers to realize human behavior recognition. A large number of experimental results on benchmark datasets KTH show that the recognition rate (top-l accuracy) of the proposed algorithm reaches 93.52%. Compared with the three-dimensional convolutional neural network (C3D) algorithm, it has improved by 3.93 percentage points. The proposed algorithm framework has good robustness and transfer learning ability, and can effectively handle a variety of video behavior recognition tasks.

선형과 특징점을 이용한 연속적인 드론영상의 자동기하보정 (Automatic Geo-referencing of Sequential Drone Images Using Linear Features and Distinct Points)

  • 최한승;김의명
    • 한국측량학회지
    • /
    • 제37권1호
    • /
    • pp.19-28
    • /
    • 2019
  • 드론영상은 소규모 지역의 공간정보를 신속하게 구축할 수 있는 장점을 가지고 있어 빠른 의사결정이 필요한 분야에 적용되고 있다. 이러한 드론영상을 지상좌표계가 설정되어 있는 정사영상에 자동으로 영상등록할 수 있는 기하보정 기법이 적용된다면 다양한 분석에 활용될 수 있다. 이에 본 연구에서는 선형정보와 특징점 정보를 이용하여 시 공간해상도에 차이가 있더라도 드론을 이용하여 촬영된 단일 영상 및 연속영상을 기하보정할 수 있는 방법론을 제안하였다. 선형정보를 이용하는 방법을 통해서 영상간의 초기 기하보정을 위한 투영변환 매개변수를 결정한 후 영상에서 다수 추출할 수 있는 특징점에 대한 템플릿 정합을 통해서 최종적으로 영상의 기하보정을 수행하였다. 실험을 통하여 지형의 기복이 많이 있지 않은 지역에서는 기하보정의 정확도가 높게 나타났다. 이에 반해 지형의 변화가 많은 지역에서는 정량적인 측면에서 다소 오차가 크게 나타났으나 정성적인 분석에는 연속영상의 기하보정 결과를 충분히 활용가능한 것으로 판단된다.

Enhanced 3D Residual Network for Human Fall Detection in Video Surveillance

  • Li, Suyuan;Song, Xin;Cao, Jing;Xu, Siyang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3991-4007
    • /
    • 2022
  • In the public healthcare, a computational system that can automatically and efficiently detect and classify falls from a video sequence has significant potential. With the advancement of deep learning, which can extract temporal and spatial information, has become more widespread. However, traditional 3D CNNs that usually adopt shallow networks cannot obtain higher recognition accuracy than deeper networks. Additionally, some experiences of neural network show that the problem of gradient explosions occurs with increasing the network layers. As a result, an enhanced three-dimensional ResNet-based method for fall detection (3D-ERes-FD) is proposed to directly extract spatio-temporal features to address these issues. In our method, a 50-layer 3D residual network is used to deepen the network for improving fall recognition accuracy. Furthermore, enhanced residual units with four convolutional layers are developed to efficiently reduce the number of parameters and increase the depth of the network. According to the experimental results, the proposed method outperformed several state-of-the-art methods.

실제 해상 실험 데이터를 이용한 능동소나 표적/비표적 식별 (Active Sonar Target/Nontarget Classification Using Real Sea-trial Data)

  • 석종원
    • 한국멀티미디어학회논문지
    • /
    • 제20권10호
    • /
    • pp.1637-1645
    • /
    • 2017
  • Target/Nontarget classification can be divided into the study of shape estimation of the target analysing reflected echo signal and of type classification of the target using acoustical features. In active sonar system, the feature vectors are extracted from the signal reflected from the target, and an classification algorithm is applied to determine whether the received signal is a target or not. However, received sonar signals can be distorted in the underwater environments, and the spatio-temporal characteristics of active sonar signals change according to the aspect of the target. In addition, it is very difficult to collect real sea-trial data for research. In this paper, target/non-target classification were performed using real sea-trial data. Feature vectors are extracted using MFCC(Mel-Frequency Cepstral Coefficients), filterbank energy in the Fourier spectrum and wavelet domain. For the performance verification, classification experiments were performed using backpropagation neural network classifiers.

시-공간 특징을 이용한 효율적인 3차원 인체 자세 재구성 (Efficient Reconstruction of 3D Human Body Pose Using Spatio-Temporal Features)

  • 양희덕;아마드;이성환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.892-894
    • /
    • 2005
  • 본 논문에서는 스테레오 영상에서 깊이 정보를 추출하여 사람의 자세를 학습된 2차원 깊이 영상들의 선형 결함으로 표현하여 3차원 인체 모델을 재구성하는 방법을 제안한다. 한 장의 2차원 깊이 영상으로 최소 제곱법을 이용하여 프로토타입 깊이 영상의 선형 결합으로 표현되는 최적의 계수를 찾을 수 있다. 입력된 깊이 영상의 3차원 인체 모델은 프로토타입 깊이 영상에서 예측된 계수를 적용하여 생성한다. 학습 단계에서는 데이터를 계층적으로 나누어 모델을 생성한다. 또한, 재구성 단계에서는 실루엣 영상과 깊이 영상으로부터 계층적으로 나누어진 학습 데이터를 이용하여 3차원 인체 자세를 재구성한다. 학습 및 재구성의 마지막 단계에서는 실루엣 영상 대신 깊이 영상을 이용하여 3차원 인체 모델을 재구성한다. 한 장의 실루엣 영상을 이용하면 영상의 노이즈에 민감하기 때문에 재구성 단계의 상위 레벨에서는 실루엣 영상의 누적 영상을 이용한다. 실험 결과는 제안된 방법이 효율적으로 3차원 인체 자세를 재구성함을 보여준다.

  • PDF

모바일 장치를 위한 내장형 시공간 DBMS (Embedded Spatio-Temporal DBMS for Mobile Devices)

  • 심희정;김정준;신인수;한기준
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동춘계학술대회
    • /
    • pp.59-66
    • /
    • 2008
  • 최근 유비쿼터스 컴퓨팅 환경이 발전함에 따라 교통(u-Transport), 복지(u-Care), 문화(u-Fun), 환경(u-Green), 산업(u-Business), 행정(u-Government), 도시(u-City) 뿐만 아니라 사용자의 위치와 다양한 공간 정보를 제공하는 u-GIS가 유비쿼터스 컴퓨팅 환경의 핵심 요소 기술로 대두되고 있다. 이에 본 논문에서는 기존의 PC용 MMDBMS인 HS QLDB를 확장하여 모바일 장치에서 시공간 데이타를 효율적으로 처리 및 관리할 수 있는 내장형 시공간 DBMS를 설계 및 구현하였다. 내장형 시공간 DBMS는 OpenGIS "Simple Features Specification for SQL"에서 명시하는 공간 데이타 타입과 공간 연산자를 확장하여 시공간 데이타 타입과 시공간 연산자를 제공하며, 시공간 데이타 특성들 고려한 산술 연산 코딩 압축 기법을 제공하고, 모바일 저장 장치인 플래쉬 메모리에서 효율적인 시공간 데이타 검색을 위한 시공간 인덱스를 지원한다. 그리고, 내장형 시공간 DBMS와 U-GIS 서버 사이에서 시공간 데이타 수입/수출의 성능 향상을 위한 데이타 캐슁 기능과 DBMS의 안정성을 위한 백업/복구 기능을 지원한다.

  • PDF

자세 예측을 이용한 효과적인 자세 기반 감정 동작 인식 (Effective Pose-based Approach with Pose Estimation for Emotional Action Recognition)

  • 김진옥
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권3호
    • /
    • pp.209-218
    • /
    • 2013
  • 인간의 동작 인식에 대한 이전 연구는 주로 관절체로 표현된 신체 움직임을 추적하고 분류하는데 초점을 맞춰 왔다. 이 방식들은 실제 이미지 사용 환경에서 신체 부위에 대한 정확한 분류가 필요하다는 점이 까다롭기 때문에 최근의 동작 인식 연구 동향은 시공간상의 관심 점과 같이 저수준의, 더 추상적인 외형특징을 이용하는 방식이 일반화되었다. 하지만 몇 년 사이 자세 예측 기술이 발전하면서 자세 기반 방식에 대한 시각을 재정립하는 것이 필요하다. 본 연구는 외형 기반 방식에서 저수준의 외형특징만으로 분류기를 학습시키는 것이 충분한지에 대한 문제를 제기하면서 자세 예측을 이용한 효과적인 자세기반 동작인식 방식을 제안하였다. 이를 위해 다양한 감정을 표현하는 동작 시나리오를 대상으로 외형 기반, 자세 기반 특징 및 두 가지 특징을 조합한 방식을 비교하였다. 실험 결과, 자세 예측을 이용한 자세 기반 방식이 저수준의 외형특징을 이용한 방식보다 감정 동작 분류 및 인식 성능이 더 나았으며 잡음 때문에 심하게 망가진 이미지의 감정 동작 인식에도 자세 예측을 이용한 자세기반의 방식이 효과적이었다.

드론기반 시공간 초분광영상을 활용한 식생유무에 따른 하천 수심산정 기법 적용성 검토 (Evaluation for applicability of river depth measurement method depending on vegetation effect using drone-based spatial-temporal hyperspectral image)

  • 권영화;김동수;유호준
    • 한국수자원학회논문집
    • /
    • 제56권4호
    • /
    • pp.235-243
    • /
    • 2023
  • 하천법 개정 및 수자원의 조사·계획 및 관리에 관한 법률 제정으로 하상변동조사를 정기적으로 실시하는 것이 의무화되었고, 지자체가 계획적으로 수자원을 관리할 수 있도록 제도가 마련되고 있다. 하상 지형은 직접 측량할 수 없기 때문에 수심 측량을 통해 간접적으로 이루어지고 있으며, 레벨측량이나 음향측심기를 활용한 접촉식 방법으로 이루어지고 있다. 접촉식 수심측량법은 자료수집이 제한적이기 때문에 공간해상도가 낮고 연속적인 측량이 불가능하다는 한계가 있어 최근에는 LiDAR나 초분광영상을 이용한 원격탐사를 이용한 수심측정 기술이 개발되고 있다. 개발된 초분광영상을 이용한 수심측정 기술은 접촉식 조사보다 넓은 지역을 조사할 수 있고, 잦은 빈도로 자료취득이 용이한 드론에 경량 초분광센서를 탑재하여 초분광영상을 취득하고, 최적 밴드비 탐색 알고리즘을 적용해 수심분포 산정이 가능하다. 기존의 초분광 원격탐사 기법은 드론의 경로비행으로 획득한 초분광영상을 면단위의 영상으로 정합한 후 특정 물리량에 대한 분석이 수행되었으며, 수심측정의 경우 모래하천을 대상으로 한 연구가 주를 이루었으며, 하상재료에 대한 평가는 이루어지지 않았었다. 본 연구에서는 기존의 초분광영상을 활용한 수심산정 기법을 식생이 있는 하천에 적용하고, 동일지역에서 식생을 제거한 후의 2가지 케이스에 대해서 시공간 초분광영상과 단면초분광영상에 모두 적용하였다. 연구결과, 식생이 없는 경우의 수심산정이 더 높은 정확도를 보였으며, 식생이 있는 경우에는 식생의 높이를 바닥으로 인식한 수심이 산정되었다. 또한, 기존의 단면초분광영상을 이용한 수심산정뿐만 아니라 시공간 초분광영상에서도 수심산정의 높은 정확도를 보여 시공간 초분광영상을 활용한 하상변동(수심변동) 추적의 가능성을 확인하였다.

전자기파 기반의 하천계측기기를 활용한 다차원 하천정보화시스템 구축방안 (Building River Information System using Electromagnetic River Measurement Devices)

  • 김동수;강부식
    • 한국산학기술학회논문지
    • /
    • 제12권1호
    • /
    • pp.507-512
    • /
    • 2011
  • 최근 하천의 유동 및 하상 자료를 광범위한 영역에서 신속하게 계측할 수 있는 전자기파 기반의 수리계측기기들이 등장하여 하천의 특성을 이해하는 방식을 전통적인 수치모델링을 통한 방식으로부터 자료만을 활용하는 방식으로 전환되고 있다. 본 논문은 최신 관측기기로 초음파유속계(ADCP), 이미지 유속계(LSPIV), 복수빔 음파수심계(MBES), 공중 전파수심계(ABL) 의 관측 방식과 적용 사례를 보여준다. 그리고 관측된 2차원 혹은 3차원의 유동 및 하상 자료를 GIS에 기반하여 상호 연계하고 저장하여 하천의 시공간적인 변화를 추적할 수 있게 하는 하천정보화시스템의 구축방안을 제시한다.

3차원 합성곱 양방향 게이트 순환 신경망을 이용한 음악 템포 자극에 따른 다채널 뇌파 분류 방식 (Multi-channel EEG classification method according to music tempo stimuli using 3D convolutional bidirectional gated recurrent neural network)

  • 김민수;이기용;김형국
    • 한국음향학회지
    • /
    • 제40권3호
    • /
    • pp.228-233
    • /
    • 2021
  • 본 논문에서는 다양한 음악 템포 자극에 따라 변화하는 다채널 ElectroEncephaloGraphy(EEG)의 특징을 추출하고 분류하는 방식을 제안한다. 제안하는 방식에서 3차원 합성곱 양방향 게이트 순환 신경망은 전처리 과정 통해 변환된 3차원 EEG 입력 표현으로부터 시공간 및 긴 시간 종속적 특징을 추출한다. 실험 결과는 제안된 템포 자극 분류 방식이 기존의 방식보다 우수하며 음악 기반 뇌-컴퓨터 인터페이스를 구축할 수 있는 가능성을 보여준다.