• 제목/요약/키워드: bayesian neural networks

검색결과 64건 처리시간 0.023초

네트워크 기반 시간지연 시스템을 위한 리세트 제어 및 확률론적 예측기법을 이용한 온라인 학습제어시스템 (Online Learning Control for Network-induced Time Delay Systems using Reset Control and Probabilistic Prediction Method)

  • 조현철;심광열;이권순
    • 제어로봇시스템학회논문지
    • /
    • 제15권9호
    • /
    • pp.929-938
    • /
    • 2009
  • This paper presents a novel control methodology for communication network based nonlinear systems with time delay nature. We construct a nominal nonlinear control law for representing a linear model and a reset control system which is aimed for corrective control strategy to compensate system error due to uncertain time delay through wireless communication network. Next, online neural control approach is proposed for overcoming nonstationary statistical nature in the network topology. Additionally, DBN (Dynamic Bayesian Network) technique is accomplished for modeling of its dynamics in terms of casuality, which is then utilized for estimating prediction of system output. We evaluate superiority and reliability of the proposed control approach through numerical simulation example in which a nonlinear inverted pendulum model is employed as a networked control system.

자연 프루닝과 베이시안 선택에 의한 신경회로망 일반화 성능 향상 (Improving Generalization Performance of Neural Networks using Natural Pruning and Bayesian Selection)

  • 이현진;박혜영;이일병
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권3_4호
    • /
    • pp.326-338
    • /
    • 2003
  • 신경회로망 설계 및 모델선택의 목표는 최적의 구조를 가지는 일반화 성능이 우수한 네트워크를 구성하는 것이다. 하지만 학습데이타에는 노이즈(noise)가 존재하고, 그 수도 충분하지 않기 때문에 최종적으로 표현하고자 하는 진확률 분포와 학습 데이타에 의해 표현되는 경험확률분포(empirical probability density) 사이에는 차이가 발생한다. 이러한 차이 때문에 신경회로망을 학습데이타에 대하여 과다하게 적합(fitting)시키면, 학습데이타만의 확률분포를 잘 추정하도록 매개변수들이 조정되어 버리고, 진확률 분포로부터 멀어지게 된다. 이러한 현상을 과다학습이라고 하며, 과다학습된 신경회로망은 학습데이타에 대한 근사는 우수하지만, 새로운 데이타에 대한 예측은 떨어지게 된다. 또한 신경회로망의 복잡도가 증가 할수록 더 많은 매개변수들이 노이즈에 쉽게 적합되어 과다학습 현상은 더욱 심화된다. 본 논문에서는 통계적인 관점을 바탕으로 신경회로망의 일반화 성능을 향상시키는 신경회로 망의 설계 및 모델 선택의 통합적인 프로세스를 제안하고자 한다. 먼저 학습의 과정에서 적응적 정규화가 있는 자연기울기 학습을 통해 수렴속도의 향상과 동시에 과다학습을 방지하여 진확률 분포에 가까운 신경회로망을 얻는다. 이렇게 얻어진 신경회로망에 자연 프루닝(natural pruning) 방법을 적용하여 서로 다른 크기의 후보 신경회로망 모델을 얻는다. 이러한 학습과 복잡도 최적화의 통합 프로세스를 통하여 얻은 후보 모델들 중에서 최적의 모델을 베이시안 정보기준에 의해 선택함으로써 일반화 성능이 우수한 최적의 모델을 구성하는 방법을 제안한다. 또한 벤치마크 문제를 이용한 컴퓨터 시뮬레이션을 통하여, 제안하는 학습 및 모델 선택의 통합프로세스의 일반화 성능과 구조 최적화 성능의 우수성을 검증한다.

다중 센서 융합 알고리즘을 이용한 사용자의 감정 인식 및 표현 시스템 (Emotion Recognition and Expression System of User using Multi-Modal Sensor Fusion Algorithm)

  • 염홍기;주종태;심귀보
    • 한국지능시스템학회논문지
    • /
    • 제18권1호
    • /
    • pp.20-26
    • /
    • 2008
  • 지능형 로봇이나 컴퓨터가 일상생활 속에서 차지하는 비중이 점점 높아짐에 따라 인간과의 상호교류도 점점 중요시되고 있다. 이렇게 지능형 로봇(컴퓨터) - 인간의 상호 교류하는데 있어서 감정 인식 및 표현은 필수라 할 수 있겠다. 본 논문에서는 음성 신호와 얼굴 영상에서 감정적인 특징들을 추출한 후 이것을 Bayesian Learning과 Principal Component Analysis에 적용하여 5가지 감정(평활, 기쁨, 슬픔, 화남, 놀람)으로 패턴을 분류하였다. 그리고 각각 매개체의 단점을 보완하고 인식률을 높이기 위해서 결정 융합 방법과 특징 융합 방법을 적용하여 감정 인식 실험을 하였다. 결정 융합 방법은 각각 인식 시스템을 통해 얻어진 인식 결과 값을 퍼지 소속 함수에 적용하여 감정 인식 실험을 하였으며, 특징 융합 방법은 SFS(Sequential Forward Selection) 특징 선택 방법을 통해 우수한 특징들을 선택한 후 MLP(Multi Layer Perceptron) 기반 신경망(Neural Networks)에 적용하여 감정 인식 실험을 실행하였다. 그리고 인식된 결과 값을 2D 얼굴 형태에 적용하여 감정을 표현하였다.

신경회로망 제어기와 동적 베이시안 네트워크를 이용한 시변 및 비정치 확률시스템의 제어 (Control of Time-varying and Nonstationary Stochastic Systems using a Neural Network Controller and Dynamic Bayesian Network Modeling)

  • 조현철;이진우;이영진;이권순
    • 한국지능시스템학회논문지
    • /
    • 제17권7호
    • /
    • pp.930-938
    • /
    • 2007
  • 영상에 나타나는 자막은 영상과 관계가 있는 정보를 포함한다. 이러한 영상과 관련 있는 정보를 이용하기 위해 영상으로부터 자막을 추출하는 연구는 근래에 들어 활발히 진행되고 있다. 기존의 연구는 일정한 높이의 자막이나 획의 두께를 지닌 자막에서만 정상적인 작동을 한다. 본 논문에서는 일정 크기 이상의 자막에 대해서 적용할 수 있는 크기에 무관한 자막 추출 방법을 제안한다. 먼저, 자막 연결 객체의 패턴 추출을 위해서 자막이 포함된 영상을 수집하고, 신경망을 이용해서 자막의 패턴을 분석한다. 그 후로는 사전에 추출한 패턴을 이용하여 입력 영상에서 자막을 추출한다. 실험에 사용된 영상은 뉴스, 다큐멘터리, 쇼 프로그램과 같은 대중 방송에서 수집하였다. 실험 결과는 다양한 크기의 자막을 포함한 영상을 사용하여 실험하였고, 자막 추출의 결과는 찾아진 연결객체 중에 자막의 비율과 자막 중에 찾아진 자막의 비율로 분석하였다. 실험 결과를 보면 제안한 방법에 의해 다양한 크기의 자막을 추출할 수 있음을 보여준다.

A novel radioactive particle tracking algorithm based on deep rectifier neural network

  • Dam, Roos Sophia de Freitas;dos Santos, Marcelo Carvalho;do Desterro, Filipe Santana Moreira;Salgado, William Luna;Schirru, Roberto;Salgado, Cesar Marques
    • Nuclear Engineering and Technology
    • /
    • 제53권7호
    • /
    • pp.2334-2340
    • /
    • 2021
  • Radioactive particle tracking (RPT) is a minimally invasive nuclear technique that tracks a radioactive particle inside a volume of interest by means of a mathematical location algorithm. During the past decades, many algorithms have been developed including ones based on artificial intelligence techniques. In this study, RPT technique is applied in a simulated test section that employs a simplified mixer filled with concrete, six scintillator detectors and a137Cs radioactive particle emitting gamma rays of 662 keV. The test section was developed using MCNPX code, which is a mathematical code based on Monte Carlo simulation, and 3516 different radioactive particle positions (x,y,z) were simulated. Novelty of this paper is the use of a location algorithm based on a deep learning model, more specifically a 6-layers deep rectifier neural network (DRNN), in which hyperparameters were defined using a Bayesian optimization method. DRNN is a type of deep feedforward neural network that substitutes the usual sigmoid based activation functions, traditionally used in vanilla Multilayer Perceptron Networks, for rectified activation functions. Results show the great accuracy of the DRNN in a RPT tracking system. Root mean squared error for x, y and coordinates of the radioactive particle is, respectively, 0.03064, 0.02523 and 0.07653.

Statistical Inference in Non-Identifiable and Singular Statistical Models

  • Amari, Shun-ichi;Amari, Shun-ichi;Tomoko Ozeki
    • Journal of the Korean Statistical Society
    • /
    • 제30권2호
    • /
    • pp.179-192
    • /
    • 2001
  • When a statistical model has a hierarchical structure such as multilayer perceptrons in neural networks or Gaussian mixture density representation, the model includes distribution with unidentifiable parameters when the structure becomes redundant. Since the exact structure is unknown, we need to carry out statistical estimation or learning of parameters in such a model. From the geometrical point of view, distributions specified by unidentifiable parameters become a singular point in the parameter space. The problem has been remarked in many statistical models, and strange behaviors of the likelihood ratio statistics, when the null hypothesis is at a singular point, have been analyzed so far. The present paper studies asymptotic behaviors of the maximum likelihood estimator and the Bayesian predictive estimator, by using a simple cone model, and show that they are completely different from regular statistical models where the Cramer-Rao paradigm holds. At singularities, the Fisher information metric degenerates, implying that the cramer-Rao paradigm does no more hold, and that he classical model selection theory such as AIC and MDL cannot be applied. This paper is a first step to establish a new theory for analyzing the accuracy of estimation or learning at around singularities.

  • PDF

Hybrid GA-ANN and PSO-ANN methods for accurate prediction of uniaxial compression capacity of CFDST columns

  • Quang-Viet Vu;Sawekchai Tangaramvong;Thu Huynh Van;George Papazafeiropoulos
    • Steel and Composite Structures
    • /
    • 제47권6호
    • /
    • pp.759-779
    • /
    • 2023
  • The paper proposes two hybrid metaheuristic optimization and artificial neural network (ANN) methods for the close prediction of the ultimate axial compressive capacity of concentrically loaded concrete filled double skin steel tube (CFDST) columns. Two metaheuristic optimization, namely genetic algorithm (GA) and particle swarm optimization (PSO), approaches enable the dynamic training architecture underlying an ANN model by optimizing the number and sizes of hidden layers as well as the weights and biases of the neurons, simultaneously. The former is termed as GA-ANN, and the latter as PSO-ANN. These techniques utilize the gradient-based optimization with Bayesian regularization that enhances the optimization process. The proposed GA-ANN and PSO-ANN methods construct the predictive ANNs from 125 available experimental datasets and present the superior performance over standard ANNs. Both the hybrid GA-ANN and PSO-ANN methods are encoded within a user-friendly graphical interface that can reliably map out the accurate ultimate axial compressive capacity of CFDST columns with various geometry and material parameters.

음성 신호와 얼굴 영상을 이용한 특징 및 결정 융합 기반 감정 인식 방법 (Emotion Recognition Method based on Feature and Decision Fusion using Speech Signal and Facial Image)

  • 주종태;양현창;심귀보
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
    • /
    • pp.11-14
    • /
    • 2007
  • 인간과 컴퓨터간의 상호교류 하는데 있어서 감정 인식은 필수라 하겠다. 그래서 본 논문에서는 음성 신호 및 얼굴 영상을 BL(Bayesian Learning)과 PCA(Principal Component Analysis)에 적용하여 5가지 감정 (Normal, Happy, Sad, Anger, Surprise) 으로 패턴 분류하였다. 그리고 각각 신호의 단점을 보완하고 인식률을 높이기 위해 결정 융합 방법과 특징 융합 방법을 이용하여 감정융합을 실행하였다. 결정 융합 방법은 각각 인식 시스템을 통해 얻어진 인식 결과 값을 퍼지 소속 함수에 적용하여 감정 융합하였으며, 특정 융합 방법은 SFS(Sequential Forward Selection)특정 선택 방법을 통해 우수한 특정들을 선택한 후 MLP(Multi Layer Perceptron) 기반 신경망(Neural Networks)에 적용하여 감정 융합을 실행하였다.

  • PDF

Enhancing Security Gaps in Smart Grid Communication

  • Lee, Sang-Hyun;Jeong, Heon;Moon, Kyung-Il
    • International Journal of Advanced Culture Technology
    • /
    • 제2권2호
    • /
    • pp.7-10
    • /
    • 2014
  • In order to develop smart grid communications infrastructure, a high level of interconnectivity and reliability among its nodes is required. Sensors, advanced metering devices, electrical appliances, and monitoring devices, just to mention a few, will be highly interconnected allowing for the seamless flow of data. Reliability and security in this flow of data between nodes is crucial due to the low latency and cyber-attacks resilience requirements of the Smart Grid. In particular, Artificial Intelligence techniques such as Fuzzy Logic, Bayesian Inference, Neural Networks, and other methods can be employed to enhance the security gaps in conventional IDSs. A distributed FPGA-based network with adaptive and cooperative capabilities can be used to study several security and communication aspects of the smart grid infrastructure both from the attackers and defensive point of view. In this paper, the vital issue of security in the smart grid is discussed, along with a possible approach to achieve this by employing FPGA based Radial Basis Function (RBF) network intrusion.

Recent Advances in Structural Health Monitoring

  • Feng, Maria Q.
    • 비파괴검사학회지
    • /
    • 제27권6호
    • /
    • pp.483-500
    • /
    • 2007
  • Emerging sensor-based structural health monitoring (SHM) technology can play an important role in inspecting and securing the safety of aging civil infrastructure, a worldwide problem. However, implementation of SHM in civil infrastructure faces a significant challenge due to the lack of suitable sensors and reliable methods for interpreting sensor data. This paper reviews recent efforts and advances made in addressing this challenge, with example sensor hardware and software developed in the author's research center. It is proposed to integrate real-time continuous monitoring using on structure sensors for global structural integrity evaluation with targeted NDE inspection for local damage assessment.