• 제목/요약/키워드: Multi-temporal Approach

검색결과 66건 처리시간 0.021초

Multimodal audiovisual speech recognition architecture using a three-feature multi-fusion method for noise-robust systems

  • Sanghun Jeon;Jieun Lee;Dohyeon Yeo;Yong-Ju Lee;SeungJun Kim
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.22-34
    • /
    • 2024
  • Exposure to varied noisy environments impairs the recognition performance of artificial intelligence-based speech recognition technologies. Degraded-performance services can be utilized as limited systems that assure good performance in certain environments, but impair the general quality of speech recognition services. This study introduces an audiovisual speech recognition (AVSR) model robust to various noise settings, mimicking human dialogue recognition elements. The model converts word embeddings and log-Mel spectrograms into feature vectors for audio recognition. A dense spatial-temporal convolutional neural network model extracts features from log-Mel spectrograms, transformed for visual-based recognition. This approach exhibits improved aural and visual recognition capabilities. We assess the signal-to-noise ratio in nine synthesized noise environments, with the proposed model exhibiting lower average error rates. The error rate for the AVSR model using a three-feature multi-fusion method is 1.711%, compared to the general 3.939% rate. This model is applicable in noise-affected environments owing to its enhanced stability and recognition rate.

초음파 도플러 시스템에서 새로운 평균 주파수 확장 방법 (A New Mean Frequency Extension Method in Doppler System)

  • 백광렬
    • 대한의용생체공학회:의공학회지
    • /
    • 제16권2호
    • /
    • pp.183-190
    • /
    • 1995
  • The use of ultrasound pulsed Doppler systems has become increasingly popular due to the advantages of easy measurements of blood velocity, volume blood blow, and irregularities of the circulatory system. However, the 2-D Doppler systems have several problems, such as range ambiguity, low signal to noise ratio, and slow frame rate. The mean frequency aliasing problem originating from the pulse repetition frequency is one of major limitations in pulsed Doppler systems. A conventional approach to resolve this problem is tracking the mean frequency close to and beyond the Nyquist frequency along the temporal axis. In this paper, a new concept of tracking the mean frequency along the spatial axis is proposed. The proposed technique is fault tolerant by nature and more suitable for multi gate and 2-D Doppler system than conventional methods.

  • PDF

인공신경망 이론을 이용한 위성영상의 카테고리분류 (Multi-temporal Remote-Sensing Imag e ClassificationUsing Artificial Neural Networks)

  • 강문성;박승우;임재천
    • 한국농공학회:학술대회논문집
    • /
    • 한국농공학회 2001년도 학술발표회 발표논문집
    • /
    • pp.59-64
    • /
    • 2001
  • The objectives of the thesis are to propose a pattern classification method for remote sensing data using artificial neural network. First, we apply the error back propagation algorithm to classify the remote sensing data. In this case, the classification performance depends on a training data set. Using the training data set and the error back propagation algorithm, a layered neural network is trained such that the training pattern are classified with a specified accuracy. After training the neural network, some pixels are deleted from the original training data set if they are incorrectly classified and a new training data set is built up. Once training is complete, a testing data set is classified by using the trained neural network. The classification results of Landsat TM data show that this approach produces excellent results which are more realistic and noiseless compared with a conventional Bayesian method.

  • PDF

Multi-Cattle Tracking Algorithm with Enhanced Trajectory Estimation in Precision Livestock Farms

  • Shujie Han;Alvaro Fuentes;Sook Yoon;Jongbin Park;Dong Sun Park
    • 스마트미디어저널
    • /
    • 제13권2호
    • /
    • pp.23-31
    • /
    • 2024
  • In precision cattle farm, reliably tracking the identity of each cattle is necessary. Effective tracking of cattle within farm environments presents a unique challenge, particularly with the need to minimize the occurrence of excessive tracking trajectories. To address this, we introduce a trajectory playback decision tree algorithm that reevaluates and cleans tracking results based on spatio-temporal relationships among trajectories. This approach considers trajectory as metadata, resulting in more realistic and accurate tracking outcomes. This algorithm showcases its robustness and capability through extensive comparisons with popular tracking models, consistently demonstrating the promotion of performance across various evaluation metrics that is HOTA, AssA, and IDF1 achieve 68.81%, 79.31%, and 84.81%.

Extended Forecasts of a Stock Index using Learning Techniques : A Study of Predictive Granularity and Input Diversity

  • ;이동윤
    • Asia pacific journal of information systems
    • /
    • 제7권1호
    • /
    • pp.67-83
    • /
    • 1997
  • The utility of learning techniques in investment analysis has been demonstrated in many areas, ranging from forecasting individual stocks to entire market indexes. To date, however, the application of artificial intelligence to financial forecasting has focused largely on short predictive horizons. Usually the forecast window is a single period ahead; if the input data involve daily observations, the forecast is for one day ahead; if monthly observations, then a month ahead; and so on. Thus far little work has been conducted on the efficacy of long-term prediction involving multiperiod forecasting. This paper examines the impact of alternative procedures for extended prediction using knowledge discovery techniques. One dimension in the study involves temporal granularity: a single jump from the present period to the end of the forecast window versus a web of short-term forecasts involving a sequence of single-period predictions. Another parameter relates to the numerosity of input variables: a technical approach involving only lagged observations of the target variable versus a fundamental approach involving multiple variables. The dual possibilities along each of the granularity and numerosity dimensions entail a total of 4 models. These models are first evaluated using neural networks, then compared against a multi-input jump model using case based reasoning. The computational models are examined in the context of forecasting the S&P 500 index.

  • PDF

다중시기 Sentinel-1 픽셀-빈도 기법을 통한 고창 인천강 하구 습지의 지형 변화 매핑 (Mapping Topography Change via Multi-Temporal Sentinel-1 Pixel-Frequency Approach on Incheon River Estuary Wetland, Gochang, Korea)

  • 백원경;이명진;유하은;김정철;유주형
    • 대한원격탐사학회지
    • /
    • 제39권6_3호
    • /
    • pp.1747-1761
    • /
    • 2023
  • 습지는 일년 중 일정기간 물에 잠겨있거나 젖어있는 땅을 의미한다. 습지는 생물다양성 유지와 환경오염물질을 정화하는 역할을 수행하고 있다. 습지의 경계와 면적 변화에 대한 정량적인 자료를 필요로 하고 있다. 본 연구에서는 Sentinel-1 장기적인 수체 탐지 결과를 활용하여 습지의 시간에 따른 지형 변화를 매핑하고자 한다. 이를 위하여 운곡 습지와 연안 습지를 연결하는 인천강 하구 습지를 연구지역으로 설정하였다. 또한 2014년 10월 부터 2023년 3월 사이의 Sentinel-1 상향궤도 영상 196장을 수집하여 장기적인 면적 변화를 분석하였다. 픽셀-빈도기법을 적용하여 2020년을 기점으로 지형 변화를 산출하였을 때에 수위구간 2-3 m, 1-2 m, 0-1 m 그리고 0 m 이하 구간에서 각각 +0.0195, 0.0016, 0.0075 그리고 0.0163 km2의 면적 증가를 확인할 수 있었다. 이와 같은 사실에 따라 해당 지역에서의 습지 복원 사업은 유효한 것으로 판단된다.

3D-HEVC를 위한 인터-컴포넌트 부호화 방법 (Overview of Inter-Component Coding in 3D-HEVC)

  • 박민우;이진영;김찬열
    • 방송공학회논문지
    • /
    • 제20권4호
    • /
    • pp.545-556
    • /
    • 2015
  • 차세대 3차원 디스플레이 및 서비스를 지원하기 위한 HEVC 기반 3차원 비디오 코딩 표준(3D-HEVC)이 최근 완료되었다. 3D-HEVC는 소수의 텍스처 영상(Texture image)과 깊이 영상(Depth map image)으로 구성된 Multi-view plus depth (MVD) 포맷을 효율적으로 처리하기 위한 표준으로써 H.264/AVC와 HEVC에서 사용하는 단일 계층 부호화 방법과 더불어 텍스처 영상들간, 깊이 영상들간, 텍스처 영상과 깊이 영상들간의 예측을 수행하는 인터-컴포넌트 부호화 기술을 추가적으로 사용한다. 본 논문에서는 3D-HEVC 표준의 일반적인 코딩 구조, 3D-HEVC 기술의 기반이 되는 인터-컴포넌트 부호화 기술 및 인터-컴포넌트 부호화 효율에 중요한 영향을 미치는 시차 벡터(Disparity vector) 유도 기술에 대해 상세히 소개한다. 또한 본 논문에서는 3D-HEVC의 부호화 효율을 검증하기 위해 각 시점을 HEVC로 부호화한 방법과 단순 다시점 확장 표준인 MV-HEVC와의 성능평가를 수행한다.

다중센서 고해상도 위성영상의 딥러닝 기반 영상매칭을 위한 학습자료 구성에 관한 연구 (A Study on Training Dataset Configuration for Deep Learning Based Image Matching of Multi-sensor VHR Satellite Images)

  • 강원빈;정민영;김용일
    • 대한원격탐사학회지
    • /
    • 제38권6_1호
    • /
    • pp.1505-1514
    • /
    • 2022
  • 영상정합은 다시기 및 다중센서 고해상도 위성영상을 효과적으로 활용하기 위해 필수적으로 선행되는 중요한 과정이다. 널리 각광받고 있는 딥러닝 기법은 위성영상에서 복잡하고 세밀한 특징을 추출하여 영상 간 빠르고 정확한 유사도 판별에 사용될 수 있음에도 불구하고, 학습자료의 양과 질이 결과에 영향을 미치는 딥러닝 모델의 한계와 고해상도 위성영상 기반 학습자료 구축의 어려움에 따라 고해상도 위성영상의 정합에는 제한적으로 적용되어 왔다. 이에 본 연구는 영상정합에서 가장 많은 시간을 소요하는 정합쌍 추출 과정에서 딥러닝 기반 기법의 적용성을 확인하기 위하여, 편향성이 존재하는 고해상도 위성영상 데이터베이스로부터 딥러닝 영상매칭 학습자료를 구축하고 학습자료의 구성이 정합쌍 추출 정확도에 미치는 영향을 분석하였다. 학습자료는 12장의 다시기 및 다중센서 고해상도 위성영상에 대하여 격자 기반의 Scale Invariant Feature Transform(SIFT) 알고리즘을 이용하여 추출한 영상쌍에 참과 거짓의 레이블(label)을 할당한 정합쌍과 오정합쌍의 집합으로 구축되도록 하였다. 구축된 학습자료로부터 정합쌍 추출을 위해 제안된 Siamese convolutional neural network (SCNN) 모델은 동일한 두 개의 합성곱 신경망 구조에 한 쌍을 이루는 두 영상을 하나씩 통과시킴으로써 학습을 진행하고 추출된 특징의 비교를 통해 유사도를 판별한다. 본 연구를 통해 고해상도 위성영상 데이터 베이스로부터 취득된 자료를 딥러닝 학습자료로 활용 가능하며 이종센서 영상을 적절히 조합하여 영상매칭 과정의 효율을 높일 수 있음을 확인하였다. 다중센서 고해상도 위성영상을 활용한 딥러닝 기반 영상매칭 기법은 안정적인 성능을 바탕으로 기존 수작업 기반의 특징 추출 방법을 대체하고, 나아가 통합적인 딥러닝 기반 영상정합 프레임워크로 발전될 것으로 기대한다.

미얀마 네피도 지역의 도시개발로 인한 토지피복변화 탐지 및 산림파편화 분석 (Land cover change and forest fragmentation analysis for Naypyidaw, Myanmar)

  • 공인혜;백경혜;이동근
    • 환경영향평가
    • /
    • 제22권2호
    • /
    • pp.147-156
    • /
    • 2013
  • Myanmar(Burma) has been preserved valuable environmental resources because of its political isolation. But recently, Myanmar has moved a capital city(Naypyidaw) at central forest area and it has been urbanized radically since 2005. In this paper, we built multi-temporal land cover map from Landsat images of 1970s to 2012 with ENVI 4.5 software. For a broad approach, administrative district Yamethin which includes Naypyidaw is classified into 3 classes and with only Naypyidaw region is classified with 4-5 classes to analyse specific changes. And with forest cover extracted by Object Oriented Classification, we evaluated forest fragmentation before and after the development using Patch Analyst(FRAGSTATs 3.3) at Yamethin area. For Yamethin area, there were significant forest cover change, 51% in 1999 to 48% in 2012, and for Naypyidaw area, 67% in 1999 to 57% in 2012 respectively. Also landscape indices resulted from Patch Analyst concluded that the total edge, edge density and mean shaped index of forest patches increased and total core area is decreased. It is attributed from land cover change with urbanization and agricultural land expansion.

인간의 비언어적 행동 특징을 이용한 다중 사용자의 상호작용 의도 분석 (Interaction Intent Analysis of Multiple Persons using Nonverbal Behavior Features)

  • 윤상석;김문상;최문택;송재복
    • 제어로봇시스템학회논문지
    • /
    • 제19권8호
    • /
    • pp.738-744
    • /
    • 2013
  • According to the cognitive science research, the interaction intent of humans can be estimated through an analysis of the representing behaviors. This paper proposes a novel methodology for reliable intention analysis of humans by applying this approach. To identify the intention, 8 behavioral features are extracted from the 4 characteristics in human-human interaction and we outline a set of core components for nonverbal behavior of humans. These nonverbal behaviors are associated with various recognition modules including multimodal sensors which have each modality with localizing sound source of the speaker in the audition part, recognizing frontal face and facial expression in the vision part, and estimating human trajectories, body pose and leaning, and hand gesture in the spatial part. As a post-processing step, temporal confidential reasoning is utilized to improve the recognition performance and integrated human model is utilized to quantitatively classify the intention from multi-dimensional cues by applying the weight factor. Thus, interactive robots can make informed engagement decision to effectively interact with multiple persons. Experimental results show that the proposed scheme works successfully between human users and a robot in human-robot interaction.