• 제목/요약/키워드: Bayesian model

검색결과 1,312건 처리시간 0.026초

베이지안 모델 불확실성에 기반한 오픈도메인 질의응답 (Bayesian Model Uncertainty for Open-domain Question Answering)

  • 이영훈;나승훈;최윤수;장두성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.93-96
    • /
    • 2019
  • 최근 딥러닝 모델을 다양한 도메인에 적용하여 뛰어난 성능을 보여주고 있다. 하지만 딥러닝 모델은 정답으로 제시된 결과가 정상적으로 예측된 결과인지, 단순히 오버피팅에 의해 예측된 결과인지를 구분하기 어렵다. 이러한 불확실성(Uncertainty)을 측정 할 수 없다는 문제점을 해결하기 위해서 본 논문에서는 베이지안 딥러닝 방법 중 하나인 변분추론(Variational Inference)과 몬테카를로 Dropout을 오픈도메인(Open-Domain) 태스크에 적용하고, 예측 결과에 대한 불확실성을 측정하여 예측결과에 영향을 주는 모델의 성능을 측정해 효과성을 보인다.

  • PDF

Calibration 모형을 이용한 판별분석 (Discriminant analysis based on a calibration model)

  • 이석훈;박래현;복혜영
    • 응용통계연구
    • /
    • 제10권2호
    • /
    • pp.261-274
    • /
    • 1997
  • 기존에 제안되어온 판별분석 기법이 대상으로 하는 대부분의 자료는 각 개체가 어느 한 특정한 집단에 전적으로 소속되어 있는 것으로 국한되어 왔다. 그러나 오늘날 (0-1)의 이치논리가 퍼지(Fuzzy) 개념과 다치논리로 확장되는 현상은 어느 한 개체를 꼭 한개의 집단에만 국한시키는 관점 역시 변화를 요구하고 있다고 본다. 이에 본 논문에서는 한 개체가 어떤 소속확률을 갖고 여러개의 집단에 소속되어 있는 상황을 고려하여 이러한 개체들로 구성된 학습표본으로부터 판별분석 규칙을 개발하는 것을 목표로 하였다. 방법론으로는 개체들의 특성벡터와 소속상태의 관계를 역추정(calibration) 모형으로 표현하고 판별대상개체의 특성벡터가 주어졌을 때 소속상태를 추정하도록 하며 이때 추정은 베이지안 방법, Metropolis 알고리즘 등을 사용하였다. 또한 제안된 판별규칙의 평가를 위한 기준을 제안하고 두개의 자료를 기존의 다른 규칙들과 함께 분석하여 결과를 비교하였다.

  • PDF

자가치유 시스템을 위한 하이브리드 예측모델 (Hybrid Prediction Model for Self-Healing System)

  • 유길종;박정민;정철호;이은석
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.381-386
    • /
    • 2006
  • 오늘날 분산 컴퓨팅 환경에서 운용되는 시스템이 증가함에 따라 시스템의 관리작업은 고수준(high-level)의 자동화에 대한 요구가 증가하고 있다. 이에 따라 시스템 관리방식이 전통적인 관리자 중심의 방식에서 시스템 스스로가 자신의 문제를 인식하고 상황을 분석하여 해결하는 자율 컴퓨팅 방식으로 변화하고 있으며, 이에 대한 연구가 많은 연구기관에서 다양한 방법으로 이루어지고 있다. 그러나 이러한 대부분의 기존 연구들은 문제가 발생한 이후의 치유에 주로 초점이 맞추어져 있다. 이러한 문제를 해결하기 위해서는 시스템 스스로가 동작환경을 인식하고 에러의 발생을 예측하기 위한 예측 모델이 필요하다. 따라서 본 논문에서는 자율 컴퓨팅환경에서 자가 치유를 지원하는 4가지의 예측 모델 설계 방법을 제안한다. 본 예측 모델은 ID3 알고리즘, 퍼지 추론, 퍼지 뉴럴 네트워크 그리고 베이지안 네트워크가 각 시스템 상황에 맞춰 적절하게 사용되는 방식이며, 이를 통해 보다 정확한 에러 예측이 가능해진다. 우리는 제안모델의 평가를 위해 본 예측모델을 자가치유 시스템에 적용하여 기존 연구와 예측의 효율을 비교하였으며, 그 결과를 통해 제안 모델의 유효성을 증명하였다.

  • PDF

Bayesian Approach to Users' Perspective on Movie Genres

  • Lenskiy, Artem A.;Makita, Eric
    • Journal of information and communication convergence engineering
    • /
    • 제15권1호
    • /
    • pp.43-48
    • /
    • 2017
  • Movie ratings are crucial for recommendation engines that track the behavior of all users and utilize the information to suggest items the users might like. It is intuitively appealing that information about the viewing preferences in terms of movie genres is sufficient for predicting a genre of an unlabeled movie. In order to predict movie genres, we treat ratings as a feature vector, apply a Bernoulli event model to estimate the likelihood of a movie being assigned a certain genre, and evaluate the posterior probability of the genre of a given movie by using the Bayes rule. The goal of the proposed technique is to efficiently use movie ratings for the task of predicting movie genres. In our approach, we attempted to answer the question: "Given the set of users who watched a movie, is it possible to predict the genre of a movie on the basis of its ratings?" The simulation results with MovieLens 1M data demonstrated the efficiency and accuracy of the proposed technique, achieving an 83.8% prediction rate for exact prediction and 84.8% when including correlated genres.

Temporal 데이터의 효율적 군집 추정을 위한 기준 연구 (A Study of Criterion for Efficient Clustering Estimation of Temporal Data)

  • 전진호;김민수
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권5호
    • /
    • pp.139-144
    • /
    • 2011
  • 실세계에서 사용되는 많은 정보시스템들은 복잡한 동적 현상을 나타낸다. 이러한 동적 현상을 갖는 정보시스템들을 이해하는 방법은 시스템에서 발생된 데이터들을 통하여 모델을 세우고 분석하는 것으로서 동적 현상을 이해할 수 있다. 모델을 세우고 분석하는 과정은 두 단계로 이루어진다. 첫 번째는 시스템에서 발생되는 대용량의 데이터에 대하여 효율적 군집을 결정하는 과정이며, 두 번째 과정은 각 군집에 대한 적합한 모델을 결정하는 과정이다. 본 연구에서는 두 과정 증 첫 번째 과정인 대용량 temporal 데이터들에 대하여 정확한 군집 수를 추정하기 위한 기준들을 살펴보고 인공적으로 실험데이터를 생성하여 실험을 하였다. 실험 결과 살펴본 베이지안정보기준이 올바른 군집 수를 추정하는 결과를 갖는 것을 확인하였다.

생리적 내재반응 및 얼굴표정 간 확률 관계 모델 기반의 감정인식 시스템에 관한 연구 (A Study on Emotion Recognition Systems based on the Probabilistic Relational Model Between Facial Expressions and Physiological Responses)

  • 고광은;심귀보
    • 제어로봇시스템학회논문지
    • /
    • 제19권6호
    • /
    • pp.513-519
    • /
    • 2013
  • The current vision-based approaches for emotion recognition, such as facial expression analysis, have many technical limitations in real circumstances, and are not suitable for applications that use them solely in practical environments. In this paper, we propose an approach for emotion recognition by combining extrinsic representations and intrinsic activities among the natural responses of humans which are given specific imuli for inducing emotional states. The intrinsic activities can be used to compensate the uncertainty of extrinsic representations of emotional states. This combination is done by using PRMs (Probabilistic Relational Models) which are extent version of bayesian networks and are learned by greedy-search algorithms and expectation-maximization algorithms. Previous research of facial expression-related extrinsic emotion features and physiological signal-based intrinsic emotion features are combined into the attributes of the PRMs in the emotion recognition domain. The maximum likelihood estimation with the given dependency structure and estimated parameter set is used to classify the label of the target emotional states.

Semi-Supervised Recursive Learning of Discriminative Mixture Models for Time-Series Classification

  • Kim, Minyoung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제13권3호
    • /
    • pp.186-199
    • /
    • 2013
  • We pose pattern classification as a density estimation problem where we consider mixtures of generative models under partially labeled data setups. Unlike traditional approaches that estimate density everywhere in data space, we focus on the density along the decision boundary that can yield more discriminative models with superior classification performance. We extend our earlier work on the recursive estimation method for discriminative mixture models to semi-supervised learning setups where some of the data points lack class labels. Our model exploits the mixture structure in the functional gradient framework: it searches for the base mixture component model in a greedy fashion, maximizing the conditional class likelihoods for the labeled data and at the same time minimizing the uncertainty of class label prediction for unlabeled data points. The objective can be effectively imposed as individual mixture component learning on weighted data, hence our mixture learning typically becomes highly efficient for popular base generative models like Gaussians or hidden Markov models. Moreover, apart from the expectation-maximization algorithm, the proposed recursive estimation has several advantages including the lack of need for a pre-determined mixture order and robustness to the choice of initial parameters. We demonstrate the benefits of the proposed approach on a comprehensive set of evaluations consisting of diverse time-series classification problems in semi-supervised scenarios.

베르누이-가우스 혼합 모델의 효과적인 파라메터 추정과 영상 잡음 제거에 응용 (Effective Parameter Estimation of Bernoulli-Gaussian Mixture Model and its Application to Image Denoising)

  • 엄일규;김유신
    • 대한전자공학회논문지SP
    • /
    • 제42권5호
    • /
    • pp.47-54
    • /
    • 2005
  • 일반적으로 웨이블릿 계수는 적은 수의 크기가 큰 계수와 많은 수의 작은 크기의 계수로 구성되어 있다. 따라서 본 논문에서는 웨이블릿 계수의 성긴 특성에 근거한 베르누이-가우스 혼합 모델을 이용한 잡음 제거 방법을 제안한다. 베르누이-가우스 혼합 모델은 베르누이 랜덤 변수와 가우스 혼합 랜덤 변수의 곱으로 구성되며, 이에 대한 베이지안 추정법으로 잡음 제거를 수행한다. 본 논문에서는 국부 자승 오차의 기대값를 이용하여 통한 베르누이 랜덤 변수에 대한 간략화된 파라메터의 추정을 통하여 효율적인 잡음 제거 방법을 제시한다. 모의실험 결과를 통하여 본 논문의 방법이 직교 웨이블릿 변환을 사용한 최신의 잡음 제거 방법보다 우수한 성능을 나타낸다는 것을 보여준다.

혼합효과모형의 리뷰 (Review of Mixed-Effect Models)

  • 이영조
    • 응용통계연구
    • /
    • 제28권2호
    • /
    • pp.123-136
    • /
    • 2015
  • 관측 가능한 변수들 사이의 관계를 묘사한 갈릴레오의 물리학 법칙 발견 이후, 과학은 큰 성과를 거두며 발전해왔다. 그러나, 관측할 수 없는 변량효과를 함께 이용하여 더 많은 자연 현상을 설명할 수 있게 되었고, 이를 이용한 최초의 통계적 모형인 혼합효과모형이 소개되었다. 계산기술의 발달과 더불어 복잡한 현상에 대한 추론을 위하여 혼합효과모형은 그 중요성이 더욱 커지고 있다. 이러한 혼합효과모형은 최근 다단계 일반화 선형모형을 포함한 여러 모형으로 확장되었으며, 관측할 수 없는 변량효과를 추론하기 위한 다단계 가능도가 제시되었다. 혼합효과모형 특집호를 통해 이러한 모형들이 여러 통계학적 문제점을 해결하는 과정을 제시하고, 앞으로 어떤 확장이 추가적으로 요구되는 지에 대하여 논할 것이다. 빈도록적 접근법과 베이지안 접근법을 함께 다룬다.

Adaptive Reconstruction of Harmonic Time Series Using Point-Jacobian Iteration MAP Estimation and Dynamic Compositing: Simulation Study

  • Lee, Sang-Hoon
    • 대한원격탐사학회지
    • /
    • 제24권1호
    • /
    • pp.79-89
    • /
    • 2008
  • Irregular temporal sampling is a common feature of geophysical and biological time series in remote sensing. This study proposes an on-line system for reconstructing observation image series contaminated by noises resulted from mechanical problems or sensing environmental condition. There is also a high likelihood that during the data acquisition periods the target site corresponding to any given pixel may be covered by fog or cloud, thereby resulting in bad or missing observation. The surface parameters associated with the land are usually dependent on the climate, and many physical processes that are displayed in the image sensed from the land then exhibit temporal variation with seasonal periodicity. A feedback system proposed in this study reconstructs a sequence of images remotely sensed from the land surface having the physical processes with seasonal periodicity. The harmonic model is used to track seasonal variation through time, and a Gibbs random field (GRF) is used to represent the spatial dependency of digital image processes. The experimental results of this simulation study show the potentiality of the proposed system to reconstruct the image series observed by imperfect sensing technology from the environment which are frequently influenced by bad weather. This study provides fundamental information on the elements of the proposed system for right usage in application.