• 제목/요약/키워드: spatio-temporal information

검색결과 546건 처리시간 0.027초

관절의 시·공간적 관계를 고려한 딥러닝 기반의 행동인식 기법 (Deep learning-based Human Action Recognition Technique Considering the Spatio-Temporal Relationship of Joints)

  • 최인규;송혁
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.413-415
    • /
    • 2022
  • 인간의 관절은 인간의 신체를 구성하는 요소로 인간의 행동을 분석하는데 유용한 정보로 활용될 수 있기 때문에 관절 정보를 이용한 행동인식에 대한 많은 연구가 진행되었다. 하지만 각각의 독립적인 관절 정보만을 이용해서 시시각각 변화하는 인간의 행동을 인식하는 것은 매우 복잡한 문제이다. 따라서 학습에 사용할 부가적인 정보 추출 방법과 과거의 상태를 기반으로 현재 상태를 판단하는 고려하는 알고리즘이 필요하다. 본 논문에서는 연결된 관절들의 위치 관계와 각 관절의 위치가 시간의 흐름에 따라 변화하는 것을 고려한 행동 인식 기법을 제안한다. 사전 학습된 관절 추출 모델을 이용하여 각 관절의 위치 정보를 획득하고 연결된 관절 사이의 차 벡터를 이용하여 뼈대 정보를 추출한다. 그리고 두 가지 형태의 입력에 맞춰 간소화된 신경망을 구성하고 LSTM을 더하여 시·공간적 특징을 추출하도록 한다. 9개의 행동으로 구성된 데이터 셋을 이용하여 실험한 결과 각 관절 및 뼈대의 시·공간적 관계 특징을 고려하여 행동 인식 정확도를 측정하였을 때 단일 관절 정보만을 이용한 결과에 비해 뛰어난 성능을 보임을 확인하였다.

  • PDF

Optical flow를 이용한 motion estimation에 관한 연구 (A study of a motion estimation with an optical flow)

  • 변재응;김재영;이원희;정진현
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1996년도 한국자동제어학술회의논문집(국내학술편); 포항공과대학교, 포항; 24-26 Oct. 1996
    • /
    • pp.12-15
    • /
    • 1996
  • The purpose of image sequence coding is to reduce the spatio-temporal redundancies. The transform coding such as DCT is used for the spatial redundancies. In this paper, the optical flow method is applied to solve the problem of temporal redundancies. So far, pixel intensity conservation has been used to solve the optical flow. We used the neighborhood information as well as pixel intensity conservation. And we compared the merits and demerits of the conventional method and the proposed method in this paper.

  • PDF

H.264에서 MPEG-4로 빠른 트랜스코딩 (Fast Transcoding from H.264 to MPEG-4)

  • 권혁균;이영렬
    • 전자공학회논문지CI
    • /
    • 제41권6호
    • /
    • pp.91-99
    • /
    • 2004
  • 본 논문은 H.264와 MPEG-4 간의 원활한 통신을 하기위한 두 가지 트랜스코딩 방법을 제안한다. 같은 공간적 시간적 해상도(spatio-temporal resolution)를 유지하는 트랜스코팅 방법과 공간적 해상도(temporal resolution)를 줄이는 트랜스코팅 방법을 제안한다. H.264 비트스트림(bitstream)이 MPEG-4 비트스트림으로 변환 시 H.264 블록형태를 MPEG-4에서 사용 할 수 있는 블록형태로 변환 시켜야 하며, 4×4 블록단위의 움직임 벡터도 8×8 블록단위의 움직임 벡터로 조정하여야 한다. 두 가지 제안된 트랜스코딩 방법은 직렬 화소영역 트랜스코팅 방법(cascade pixel-domain transcoding) 보다 MPEG-4 부호화기 측에서 4.1~5.1배 부호화 속도가 빠를 뿐만 아니라 영상의 화질 저하는 최고 0.3dB정도 밖에 떨어 지지 않는다.

교통과 토지이용 정보를 결합한 서울 인구분포의 시공간적 분석: 4차원 시각화 방법을 토대로 (Spatio-temporal Analysis of Population Distribution in Seoul via Integrating Transportation and Land Use Information, Based on Four-Dimensional Visualization Methods)

  • 이금숙;김호성
    • 한국경제지리학회지
    • /
    • 제21권1호
    • /
    • pp.20-33
    • /
    • 2018
  • 도시공간에서 인구분포는 하루의 시간축을 따라 통행흐름의 변화와 함께 변동성을 보인다. 통행흐름은 도시민들이 하루 일과가 진행되면서 그들의 활동과 관련된 시설물이 입지한 지점으로 이동한 결과물이므로 도시민의 활동과 관련 시설물의 분포에 직접적인 영향을 받는다. 따라서 도시 인구분포의 시공간적 특성은 도시민의 일상생활과 관련된 활동공간의 분포와 그것을 방문하는 통행흐름을 결합하여 분석할 필요가 있다. 본 연구에서는 토지이용과 통행흐름에 대한 정보가 풍부한 서울시를 대상으로 건축물데이터베이스와 교통카드데이터베이스를 활용하여 하루 및 일주일 시간축을 따라 변동성을 보이는 도시공간의 인구분포를 분석한다. 일반적인 통계적 기법으로는 파악하기 어려운 시공간적 분석을 위하여 자바프로그램을 이용하여 시간과 공간을 결합한 4차원 시각화 방법을 고안한다. 이러한 4차원 시공간에서 역동적 시각화를 이용하면 직관적인 분석이 가능할 뿐만 아니라 인구분포의 시공간적 특성을 보다 효과적으로 파악할 수 있다. 이를 위하여 먼저 각 지점에 위치한 건축물을 용도에 따라 주거, 업무, 상업 활동으로 구분하고, 일주일분 교통카드데이터베이스에서 1분 단위로 각 지점의 버스와 지하철로 오가는 승객수를 산출하고, 이를 4차원으로 시각화하여 교통과 토지이용을 결합해서 서울시 인구분포의 시공간적 특성을 분석한다. 그 결과로 서울의 인구분포는 토지이용에 따라 뚜렷한 시공간적 특성을 보임을 파악할 수 있으며, 특히 업무활동, 상업활동, 주거활동의 혼합 양상에 따라 하루 시간축을 따라 인구분포 양상에 뚜렷한 차이가 있음을 확인하였다. 이러한 연구결과는 도시 시설의 입지계획과 교통계획 수립에 매우 유용하게 활용될 수 있다.

혼성 예측 피라미드 호환 부호화 기법 (On the Hybrid Prediction Pyramid Compatible Coding Technique)

  • 이준서;이상욱
    • 한국통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.33-46
    • /
    • 1996
  • Inthis paper, we investigate the compatible coding technique, which receives much interest ever since the introduction of HDTV. First, attempts have been made to analyze the theoretical transform coding gains for various hierarchical decomposition techniques, namely subband, pyramid and DCT-based decomposition techniques. It is shown that the spatical domain techniques proide higher transform coding gains than the DCT-based coding technique. Secondly, we compare the performance of these spatial domain techniques, in terms of the PSNR versus various rate allocations to each layer. Based on these analyses, it is believed that the pyramid decomposition is more appropriate for the compatible coding. Also in this paper, we propose a hybrid prediction pyramid coding technique, by combining the spatio-temporal prediction in MPEG-2[3] and the adaptive MC(Motion Compensation)[1]. In the proposed coding technigue, we also employ an adaptive DCT coefficient scanning technique to exploit the direction information of the 2nd-layer signal. Through computer simulations, the proposed hybrid prediction with adaptive scanning technuque shows the PSNR improvement, by about 0.46-1.78dB at low 1st-layer rate(about 0.1bpp) over the adaptive MC[1], and by about 0.33-0.63dB at high 1st-layer rate (about 0.32-0.43bpp) over the spatio-temporal prediction[3].

  • PDF

시공간 데이터 스트림 처리를 위한 영역 기반의 연산자 공유 기법 (Partition-based Operator Sharing Scheme for Spatio-temporal Data Stream Processing)

  • 정원일;김영기
    • 한국산학기술학회논문지
    • /
    • 제11권12호
    • /
    • pp.5042-5048
    • /
    • 2010
  • 유비쿼터스 환경에서 다양한 센서로부터 생성되는 데이터 스트림에 대해 사용자가 요구하는 위치 기반 서비스를 효과적으로 지원하기 위해 연산자 네트워크와 공유 등을 통한 연속 질의 처리 기법이 활용되고 있다. 위치 정보 기반의 연속 질의 처리는 특정 영역을 중심으로 유사 질의가 집중적으로 발생할 수 있으므로, 본 논문에서는 유사한 조건을 갖는 공간 연산을 공유하기 위해 그리드 영역 분할을 이용한 공간 연산 공유 기법을 제안한다. 제안기법은 공간 연산을 직접 공유하지 않고 그리드 셀 별로 이동객체를 공유하기 때문에 유사한 조건을 갖는 공간 연산의 공유가 가능하여 공간 연산의 실행 빈도수를 크게 감소시켜 질의 처리 속도의 향상과 함께 메모리 이용률을 향상시킨다.

경관생태지수를 활용한 농촌경관의 시계열적 변화 분석 - 경기도 일부 시.군을 대상으로 - (A Spatio-temporal Change Analysis of Rural Landscape Patterns using Landscape Ecology Indices : Focused on a Part of Gyeonggi-do)

  • 오윤경;최진용;배승종;장민원
    • 한국농공학회논문집
    • /
    • 제49권6호
    • /
    • pp.65-76
    • /
    • 2007
  • Studies in landscape ecology have emphasized on the relationship between landscape patterns and shapes. A variety of landscape metrics has been developed so far to quantify landscape structures. Therefore, their developments and widespread applications become possible with the advent of spatial information systems including geographic information systems(GIS) and remote sensing. This study is to grasp the change of land use and landscape ecology indices, and to analyze the change of landscape structure in a part of Gyeonggi-do during 15 years from 1985 to 2000. Green-area distribution maps and agricultural-area distribution maps for the analysis were reconstructed from land cover maps constructed by WAMIS(Water Management Information System). And then, 4 landscape ecology indices(TA, LPI, SHAPE_AM, CAI_MN) for the green-area and 5 landscape ecology indices(TA, PD, LPI, LSI, CAI_MN) for the agricultural-area were selected by using pearson correlation analysis. According to the spatio-temporal change analysis using landscape ecology indices, the green-area fragmentation of Yongin was the most severe of the study area and the agricultural-area fragmentation of Gwangju and Namyangju was more severe than any other regions.

생체 기반 시각정보처리 동작인식 모델링 (A Bio-Inspired Modeling of Visual Information Processing for Action Recognition)

  • 김진옥
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권8호
    • /
    • pp.299-308
    • /
    • 2014
  • 신체 동작, 얼굴 표정과 같이 아주 복잡한 생체 패턴을 인식하고 분류하는 인간의 능력을 모방한 정보처리 컴퓨팅 관련 연구가 최근 다수 등장하고 있다. 특히 컴퓨터비전 분야에서는 인간의 뛰어난 인지 능력 중 상황정보 없이 시각시퀀스에서 동작을 분류하는 기능을 통해 시공간적 패턴 코딩과 빠른 인식 방법을 이해하고자 한다. 본 연구는 비디오 시퀀스상의 동작인식에 생물학적 시각인지과정의 영향을 받은 생체 기반 컴퓨터비전 모델을 제시하였다. 제안 모델은 이미지 시퀀스에서 동작을 검출하고 시각 패턴을 판별하는 데 생체 시각처리과정의 신경망 구조 단계를 반영하였다. 실험을 통해 생체 기반 동작인식 모델이 인간 시각인지 처리의 여러 가지 속성을 고려했을 뿐 아니라 기존 동작인식시스템에 비해 시간 정합성이 뛰어나며 시간 변화에 강건한 분류 능력을 보임을 알 수 있다. 제안 모델은 지능형 로봇 에이전트와 같은 생체 기반 시각정보처리 시스템 구축에 기여할 수 있다.

A Tree Regularized Classifier-Exploiting Hierarchical Structure Information in Feature Vector for Human Action Recognition

  • Luo, Huiwu;Zhao, Fei;Chen, Shangfeng;Lu, Huanzhang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권3호
    • /
    • pp.1614-1632
    • /
    • 2017
  • Bag of visual words is a popular model in human action recognition, but usually suffers from loss of spatial and temporal configuration information of local features, and large quantization error in its feature coding procedure. In this paper, to overcome the two deficiencies, we combine sparse coding with spatio-temporal pyramid for human action recognition, and regard this method as the baseline. More importantly, which is also the focus of this paper, we find that there is a hierarchical structure in feature vector constructed by the baseline method. To exploit the hierarchical structure information for better recognition accuracy, we propose a tree regularized classifier to convey the hierarchical structure information. The main contributions of this paper can be summarized as: first, we introduce a tree regularized classifier to encode the hierarchical structure information in feature vector for human action recognition. Second, we present an optimization algorithm to learn the parameters of the proposed classifier. Third, the performance of the proposed classifier is evaluated on YouTube, Hollywood2, and UCF50 datasets, the experimental results show that the proposed tree regularized classifier obtains better performance than SVM and other popular classifiers, and achieves promising results on the three datasets.

Dynamic gesture recognition using a model-based temporal self-similarity and its application to taebo gesture recognition

  • Lee, Kyoung-Mi;Won, Hey-Min
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제7권11호
    • /
    • pp.2824-2838
    • /
    • 2013
  • There has been a lot of attention paid recently to analyze dynamic human gestures that vary over time. Most attention to dynamic gestures concerns with spatio-temporal features, as compared to analyzing each frame of gestures separately. For accurate dynamic gesture recognition, motion feature extraction algorithms need to find representative features that uniquely identify time-varying gestures. This paper proposes a new feature-extraction algorithm using temporal self-similarity based on a hierarchical human model. Because a conventional temporal self-similarity method computes a whole movement among the continuous frames, the conventional temporal self-similarity method cannot recognize different gestures with the same amount of movement. The proposed model-based temporal self-similarity method groups body parts of a hierarchical model into several sets and calculates movements for each set. While recognition results can depend on how the sets are made, the best way to find optimal sets is to separate frequently used body parts from less-used body parts. Then, we apply a multiclass support vector machine whose optimization algorithm is based on structural support vector machines. In this paper, the effectiveness of the proposed feature extraction algorithm is demonstrated in an application for taebo gesture recognition. We show that the model-based temporal self-similarity method can overcome the shortcomings of the conventional temporal self-similarity method and the recognition results of the model-based method are superior to that of the conventional method.