• 제목/요약/키워드: Bayesian maximum likelihood algorithm

검색결과 36건 처리시간 0.03초

SUR 토빗회귀모형에서 베이지안 추정과 최대가능도 추정의 비교 (A Comparison of Bayesian and Maximum Likelihood Estimations in a SUR Tobit Regression Model)

  • 이승천;최병수
    • 응용통계연구
    • /
    • 제27권6호
    • /
    • pp.991-1002
    • /
    • 2014
  • Greene (2004a,b), Lee와 Choi (2014) 등의 연구에서 토빗 회귀모형의 최대가능도 추정은 표준오차를 과소추정한다는 것이 알려졌고, 그 원인의 하나는 오차항 분산의 과소 추정에 있다고 한다. 오차항 분산의 과소 추정은 회귀계수에 대한 가설 검정 및 구간추정에 영향을 미칠 뿐 아니라 독립변수들의 주변효과를 추정하는데에도 영향을 미치게 되므로 토빗 회귀모형에 대한 적절한 분석이 수행되려면 최대가능도 추정의 과소 추정 문제를 해결하여야 한다. 일반적으로 무정보 사전분포에 의한 베이지안 추론 방법은 빈도학파들이 요구하는 효율성을 갖는 경우가 많다. 본 연구에서도 무정보 사전분포에 의한 베이지안 추론을 적용하여, 베이지안 방법론이 SUR 토빗 회귀모형에서 최대가능도 추정의 과소 추정 문제를 해결할 수 있는 하나의 대안이 될 수 있다는 것을 보였다.

하이브리드 분류기법을 이용한 위성영상의 분류에 관한 연구 (A Study on the Classification for Satellite Images using Hybrid Method)

  • 전영준;김진일
    • 정보처리학회논문지B
    • /
    • 제11B권2호
    • /
    • pp.159-168
    • /
    • 2004
  • 본 논문에서는 위성영상의 분류에 대한 성능 개선을 위하여 ISODATA 클러스터링, 퍼지 C-Means 알고리즘, 베이시안 최대우도 분류기법을 통합한 하이브리드 분류기법을 제안하였다. 본 연구에서는 분석자에 의하여 분류항목별 학습 데이터를 선정한 후 이를 ISODATA 클러스터링을 이용하여 각각의 분류항목별로 분광특징에 따라 학습 데이터를 세분화하여 새로운 학습 데이터를 선정하였다. 새롭게 선정된 학습 데이터를 이용하여 퍼지 C-Means 알고리즘을 이용하여 분류를 수행하고 그 결과를 베이시안 최대우도 분류기의 사전확률로 적용하여 분류를 수행하였다. 그 결과 분석자가 선정한 분류항목별 훈련데이터의 분광적인 특징에 관계없이 분류를 수행할 수 있었으며 위성영상의 분류의 성능을 개선할 수 있었다. 제안된 기법은 Landsat TM 위성영상을 이용하여 그 적용성을 시험하였다.

고객만족, NPS, Bayesian Inference 및 Hidden Markov Model로 구현하는 명품구매에 관한 확률적 추적 메카니즘 (A Probabilistic Tracking Mechanism for Luxury Purchase Implemented by Hidden Markov Model, Bayesian Inference, Customer Satisfaction and Net Promoter Score)

  • 황선주;이정수
    • 한국산업정보학회논문지
    • /
    • 제23권6호
    • /
    • pp.79-94
    • /
    • 2018
  • 마케팅 분야에서는 제품품질, 고객만족, 고객추천을 바탕으로 구매행동과의 영향 유무 및 상관관계를 통계적 Regression 방법으로 가설 검증하는 것을 주요한 연구 대상으로 하고 있다. 또한 최근에는 ASCI와 같은 고객만족지수 혹은 라이켈트의 NPS와 같은 고객추천지수를 바탕으로 실제 기업성과와 연관되는 시장 지분에 어떠한 영향을 미치는 지에 대한 통계적 분석 연구도 활발히 이루어지고 있다. 본 연구에서는 실제 고객이 매장을 방문하여, 과거 고객카드에 명품을 구매하던 구매하지 않던 간에 만족/불만족을 표시한 체인 및 고객 추천의향을 검토하여 Hidden Markov Model을 이용한 고객의 최상의 구매패턴을 분석하는 확률적 기법에 대하여 연구하는 것을 목적으로 하고 있다. 이를 바탕으로 고객만족 -> 고객추천의향 -> 고객추천행동->구매 및 재구매 체인에 대응하는 실제 소비자의 구매패턴을 고객만족과 NPS(순추천지수) 및 여러 수리통계적 이론-Hidden Markov Model, Bayesian Inference, Maximum Likelihood Estimation을 이용하여 확률적 추적 메카니즘을 구현하는 것을 목표로 한다. 제시된 목표는 인공지능을 구현하는 이론과 알고리듬을 사용하여 달성되었기에 이론적 추적 메카니즘을 여러 인공지능망 -DNN, CNN, GAN등을 사용하여 기업에서 사용할 수 있는 고객의 구매패턴 앱으로 발전시키는 것을 후속연구에서 기대한다.

Inverted exponentiated Weibull distribution with applications to lifetime data

  • Lee, Seunghyung;Noh, Yunhwan;Chung, Younshik
    • Communications for Statistical Applications and Methods
    • /
    • 제24권3호
    • /
    • pp.227-240
    • /
    • 2017
  • In this paper, we introduce the inverted exponentiated Weibull (IEW) distribution which contains exponentiated inverted Weibull distribution, inverse Weibull (IW) distribution, and inverted exponentiated distribution as submodels. The proposed distribution is obtained by the inverse form of the exponentiated Weibull distribution. In particular, we explain that the proposed distribution can be interpreted by Marshall and Olkin's book (Lifetime Distributions: Structure of Non-parametric, Semiparametric, and Parametric Families, 2007, Springer) idea. We derive the cumulative distribution function and hazard function and calculate expression for its moment. The hazard function of the IEW distribution can be decreasing, increasing or bathtub-shaped. The maximum likelihood estimation (MLE) is obtained. Then we show the existence and uniqueness of MLE. We can also obtain the Bayesian estimation by using the Gibbs sampler with the Metropolis-Hastings algorithm. We also give applications with a simulated data set and two real data set to show the flexibility of the IEW distribution. Finally, conclusions are mentioned.

Online Probability Density Estimation of Nonstationary Random Signal using Dynamic Bayesian Networks

  • Cho, Hyun-Cheol;Fadali, M. Sami;Lee, Kwon-Soon
    • International Journal of Control, Automation, and Systems
    • /
    • 제6권1호
    • /
    • pp.109-118
    • /
    • 2008
  • We present two estimators for discrete non-Gaussian and nonstationary probability density estimation based on a dynamic Bayesian network (DBN). The first estimator is for off line computation and consists of a DBN whose transition distribution is represented in terms of kernel functions. The estimator parameters are the weights and shifts of the kernel functions. The parameters are determined through a recursive learning algorithm using maximum likelihood (ML) estimation. The second estimator is a DBN whose parameters form the transition probabilities. We use an asymptotically convergent, recursive, on-line algorithm to update the parameters using observation data. The DBN calculates the state probabilities using the estimated parameters. We provide examples that demonstrate the usefulness and simplicity of the two proposed estimators.

The Exponentiated Weibull-Geometric Distribution: Properties and Estimations

  • Chung, Younshik;Kang, Yongbeen
    • Communications for Statistical Applications and Methods
    • /
    • 제21권2호
    • /
    • pp.147-160
    • /
    • 2014
  • In this paper, we introduce the exponentiated Weibull-geometric (EWG) distribution which generalizes two-parameter exponentiated Weibull (EW) distribution introduced by Mudholkar et al. (1995). This proposed distribution is obtained by compounding the exponentiated Weibull with geometric distribution. We derive its cumulative distribution function (CDF), hazard function and the density of the order statistics and calculate expressions for its moments and the moments of the order statistics. The hazard function of the EWG distribution can be decreasing, increasing or bathtub-shaped among others. Also, we give expressions for the Renyi and Shannon entropies. The maximum likelihood estimation is obtained by using EM-algorithm (Dempster et al., 1977; McLachlan and Krishnan, 1997). We can obtain the Bayesian estimation by using Gibbs sampler with Metropolis-Hastings algorithm. Also, we give application with real data set to show the flexibility of the EWG distribution. Finally, summary and discussion are mentioned.

A Modified FCM for Nonlinear Blind Channel Equalization using RBF Networks

  • Han, Soo-Whan
    • Journal of information and communication convergence engineering
    • /
    • 제5권1호
    • /
    • pp.35-41
    • /
    • 2007
  • In this paper, a modified Fuzzy C-Means (MFCM) algorithm is presented for nonlinear blind channel equalization. The proposed MFCM searches the optimal channel output states of a nonlinear channel, based on the Bayesian likelihood fitness function instead of a conventional Euclidean distance measure. In its searching procedure, all of the possible desired channel states are constructed with the elements of estimated channel output states. The desired state with the maximum Bayesian fitness is selected and placed at the center of a Radial Basis Function (RBF) equalizer to reconstruct transmitted symbols. In the simulations, binary signals are generated at random with Gaussian noise. The performance of the proposed method is compared with that of a hybrid genetic algorithm (GA merged with simulated annealing (SA): GASA), and the relatively high accuracy and fast searching speed are achieved.

Estimation of Non-Gaussian Probability Density by Dynamic Bayesian Networks

  • Cho, Hyun-C.;Fadali, Sami M.;Lee, Kwon-S.
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.408-413
    • /
    • 2005
  • A new methodology for discrete non-Gaussian probability density estimation is investigated in this paper based on a dynamic Bayesian network (DBN) and kernel functions. The estimator consists of a DBN in which the transition distribution is represented with kernel functions. The estimator parameters are determined through a recursive learning algorithm according to the maximum likelihood (ML) scheme. A discrete-type Poisson distribution is generated in a simulation experiment to evaluate the proposed method. In addition, an unknown probability density generated by nonlinear transformation of a Poisson random variable is simulated. Computer simulations numerically demonstrate that the method successfully estimates the unknown probability distribution function (PDF).

  • PDF

New Inference for a Multiclass Gaussian Process Classification Model using a Variational Bayesian EM Algorithm and Laplace Approximation

  • Cho, Wanhyun;Kim, Sangkyoon;Park, Soonyoung
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제4권4호
    • /
    • pp.202-208
    • /
    • 2015
  • In this study, we propose a new inference algorithm for a multiclass Gaussian process classification model using a variational EM framework and the Laplace approximation (LA) technique. This is performed in two steps, called expectation and maximization. First, in the expectation step (E-step), using Bayes' theorem and the LA technique, we derive the approximate posterior distribution of the latent function, indicating the possibility that each observation belongs to a certain class in the Gaussian process classification model. In the maximization step, we compute the maximum likelihood estimators for hyper-parameters of a covariance matrix necessary to define the prior distribution of the latent function by using the posterior distribution derived in the E-step. These steps iteratively repeat until a convergence condition is satisfied. Moreover, we conducted the experiments by using synthetic data and Iris data in order to verify the performance of the proposed algorithm. Experimental results reveal that the proposed algorithm shows good performance on these datasets.

거리영상과 밝기영상의 fusion을 이용한 영상분할 (Image Segmentation Based on Fusion of Range and Intensity Images)

  • 장인수;박래홍
    • 전자공학회논문지S
    • /
    • 제35S권9호
    • /
    • pp.95-103
    • /
    • 1998
  • 본 논문에서는 거리영상과 발기영상의 fusion을 이용한 영상분할을 제안한다. Bayes 이론을 기반으로 하여 Markov random field (MRF)로 선험적인 정보를 모델링한다. 거리영상과 밝기영상에서 추출한 특징을 이용하여 maximum a posteriori (MAP) 추정기를 구성한다. 거리영상에서 물체는 국부적인 평면으로 근사되어 각 점마다 평면 계수를 추정해 계수 공간을 구성한다. 밝기영상에서는 ${\alpha}$ 트림드 (${\alpha}$-trimmed) 분산이 밝기특성을 구성한다. 각 공간상의 특징을 에지에 대한 likelihood를 설정하여 구성된 MAP 추정기를 최적화함으로써 영상을 분할한다. 모의실험을 통해 제안된 구조가 그림자, 잡음 그리고 광원의 blurring에 관계없이 영상을 잘 분할한 것을 보였다.

  • PDF