• 제목/요약/키워드: EM Algorithm

검색결과 375건 처리시간 0.026초

어닐링에 의한 Hierarchical Mixtures of Experts를 이용한 시계열 예측 (Prediction of Time Series Using Hierarchical Mixtures of Experts Through an Annealing)

  • 유정수;이원돈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.360-362
    • /
    • 1998
  • In the original mixtures of experts framework, the parameters of the network are determined by gradient descent, which is naturally slow. In [2], the Expectation-Maximization(EM) algorithm is used instead, to obtain the network parameters, resulting in substantially reduced training times. This paper presents the new EM algorithm for prediction. We show that an Efficient training algorithm may be derived for the HME network. To verify the utility of the algorithm we look at specific examples in time series prediction. The application of the new EM algorithm to time series prediction has been quiet successful.

  • PDF

EM 알고리즘 및 메타휴리스틱을 통한 다이나믹 환경에서의 베이지안 네트워크 학습 전파 프레임웍 (Learning and Propagation Framework of Bayesian Network using Meta-Heuristics and EM algorithm considering Dynamic Environments)

  • 추상현;이현수
    • 한국지능시스템학회논문지
    • /
    • 제26권5호
    • /
    • pp.335-342
    • /
    • 2016
  • 기 구축되어있는 베이지안 네트워크에서 다이나믹한 환경 변화가 발생 할 때, 관련된 베이지안 네트워크의 파라미터는 새롭게 형성된 데이터의 패턴에 적응하여 새로운 파라미터로 변경되어야 한다. 이때, 새로운 파라미터는 베이지안 네트워크의 인과관계를 고려하여 변경되어야 한다. 본 논문에서는 Expectation Maximization(EM)알고리즘과 Meta-Heuristics 기법 중 하나인 Harmony Search(HS)알고리즘을 이용한 다이나믹한 파라미터 업데이트 프레임웍을 제안한다. 일반적으로, EM 알고리즘은 숨겨진 파라미터를 추정하는데 유효한 알고리즘이지만 지역 최적값에 수렴한다는 단점을 가지고 있다. 이 문제를 해결하기 위해서 본 논문은 Maximum Likelihood Estimator(MLE)의 파라미터가 글로벌 최적값을 지향하도록 하기위하여 메타휴리스틱 방법론의 하나인 HS를 적용한다. 제안된 방법은 EM 알고리즘의 단점을 보완하고 글로벌 최적값에 수렴하는 MLE의 파라미터를 추정하여 다이나믹하게 변화하는 환경에서도 사용 가능한 베이지안 네트워크의 학습 및 전파프레임웍을 제시한다.

점증적으로 증가하는 타원형 군집화 : 피부색 영역 검출에의 적용 (Elliptical Clustering with Incremental Growth and its Application to Skin Color Region Segmentation)

  • 이경미
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권9호
    • /
    • pp.1161-1170
    • /
    • 2004
  • 본 논문에서는 군집화 알고리즘을 사용하여 피부색 영역을 분할하는 방법을 제안한다. 기존의 군집화 알고리즘들의 대부분은 주로 구형의 군집을 검출하고, 배치형으로 수행되며, 군집의 개수를 미리정해야 한다는 문제점을 가지고 있다. 본 논문에서는 대표적인 타원형 군집화 알고리즘인 EM 알고리즘을 변형하여, 온라인으로 학습가능하며, 군집의 개수를 자동적으로 찾아낼 수 있는 EAM 알고리즘을 사용하였다. EAM 알고리즘외 유효성은 피부색 영역 분할에 대해 증명되었다. 실험결과는 군집의 개수가 미리 주어지지 않더라도, EAM 알고리즘은 주어진 영상에 대해 자동적으로 옳은 군집의 개수를 찾아냈고, EM 알고리즘과 비교하여 더 좋은 분할 결과를 보여주고 있다. 영역에 대한 조건부 확률을 이용하여 성공적인 피부색 영역의 탐지 및 분할 결과를 얻었다. 또한 사람이 포함된 영상을 분류하는 문제에도 적용하여 좋은 분류 결과를 얻었다.

EMSAC을 이용한 대응점 추출 알고리즘에 관한 연구 (Extraction of Corresponding Points Using EMSAC Algorithm)

  • 위은영;예수영;주재흠;남기곤
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2006년도 하계종합학술대회
    • /
    • pp.405-406
    • /
    • 2006
  • This paper proposes the new algorithm for the extraction of the corresponding points. Our algorithm is based on RANSAC(Random Sample Consensus) with EM(Expectation-Maximization). In the procedure of RANSAC, N-points are selected by the result of EM instead of the random selection. EM+SAC algorithm is applied to the correspondence for the mosaicing.

  • PDF

새로운 고속 EM 알고리즘 (A New Fast EM Algorithm)

  • 김성수;강지혜
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제31권10호
    • /
    • pp.575-587
    • /
    • 2004
  • 본 논문은 여러 분야에서 활용될 수 있는 향상된 고속 Expectation-Maximization(FEM) 알고리즘을 제안한다. 첫째, EM의 초기값 설정의 방법으로 많이 사용되고 있는 클러스터링 기법인 K-means의 문제점을 해결하여 개선된 EM의 초기값 선정에 적용하였다. 이것은 기존 K-means 알고리즘에서 임의로 지정하던 랜덤한 초기값 선정을, 데이타 분포 특성을 이용한 균등 분할법을 사용하여 EM의 초기값 문제를 해결하였다. 둘째, EM 과정의 핵심을 이루는 후행 확률(Posterior)의 의미를 부각하여 최대 가능성 후행 확률(Maximum Likelihood Posterior: MLP)과정을 적용하였다. 최종적으로, 본 논문에서 제안한 고속 EM알고리즘(FEM)은 근본적으로 해결하기 못했던 기존의 EM 초기치 선정과 수렴에 대한 문제점을 개선함으로써, EM 알고리즘의 특성을 극대화하는 방향으로 상대적으로 마른 수렴과 향상된 결과를 가져온다. 제안된 알고리즘의 객관적 타당성을 위해 기존의 방법과 제안된 방법에 의한 시뮬레이션의 결과를 여러 데이타들을 가지고 비교 분석하여 제안한 알고리즘의 우수성을 입증하였다.

Fuzzy Classification Using EM Algorithm

  • Lee Sang-Hoon
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2005년도 Proceedings of ISRS 2005
    • /
    • pp.675-677
    • /
    • 2005
  • This study proposes a fuzzy classification using EM algorithm. For cluster validation, this approach iteratively estimates the class-parameters in the fuzzy training for the sample classes and continuously computes the log-likelihood ratio of two consecutive class-numbers. The maximum ratio rule is applied to determine the optimal number of classes.

  • PDF

GMM을 위한 점진적 ${\cal}k-means$ 알고리즘에 의해 초기값을 갖는 EM알고리즘과 화자식별에의 적용 (EM Algorithm with Initialization Based on Incremental ${\cal}k-means$ for GMM and Its Application to Speaker Identification)

  • 서창우;한헌수;이기용;이윤정
    • 한국음향학회지
    • /
    • 제24권3호
    • /
    • pp.141-149
    • /
    • 2005
  • 개개인의 음성을 이용한 화자식별에서, 화자 모델을 추정하는데 가우시안 혼합모델이 주로 사용된다. 최대 우도 추정을 갖는 가우시안 혼합모델의 파라미터 추정은 Expectation-Maximisation (EM)을 사용하여 얻을 수 있다. 그러나, EM 알고리즘은 초기값에 상당히 민감하고, 혼합성분의 개수를 미리 알고 있어야 하는 단점이 있다. 본 논문에서는, EM 알고리즘의 문제점을 해결하기 위하여 가우시안 혼합모델을 위한 점진적 ${\cal}k-means$ 알고리즘에 의한 초기값을 갖는 EM 알고리즘을 제안한다. 제안된 방법은 혼합성분의 개수를 점진적 ${\cal}k-means$ 방법을 이용하여 한번에 하나씩 혼합성분을 추정하여 최적의 혼합성분이 얻어 질 때까지 이를 반복 수행한다. 하나의 혼합성분이 추가될 때마다, 새로 얻어진 혼합성분과 이전에 구한 혼합성분들간의 상호 관계를 각각 측정한다. 이로부터, 통계적으로 독립인 최적의 혼합성분 개수를 추정할 수 있다. 제안된 방법의 성능을 확인하기 위하여 임의의 생성 데이터와 실제 음성을 사용하였다. 실험 결과에서, 제안된 방법이 기존의 방법보다 화자 식별 성능이 우수하였으며, 또한 성능을 유지하면서도 계산량 감소의 효과까지 볼 수 있었다.

결정적 어닐링 EM 알고리즘을 이용한 칼라 영상의 분할 (Segmentation of Color Image Using the Deterministic Anneanling EM Algorithm)

  • 박종현;박순영;조완현
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1999년도 추계종합학술대회 논문집
    • /
    • pp.569-572
    • /
    • 1999
  • In this paper we present a color image segmentation algorithm based on statistical models. A novel deterministic annealing Expectation Maximization(EM) formula is derived to estimate the parameters of the Gaussian Mixture Model(GMM) which represents the multi-colored objects statistically. The experimental results show that the proposed deterministic annealing EM is a global optimal solution for the ML parameter estimation and the image field is segmented efficiently by using the parameter estimates.

  • PDF

EM 알고리즘 기반 강인한 진동 특징을 이용한 고 신뢰성 유도 전동기 다중 결함 분류 (High-Reliable Classification of Multiple Induction Motor Faults Using Vibration Signatures based on an EM Algorithm)

  • 장원철;강명수;최병근;김종면
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2013년도 추계학술대회 논문집
    • /
    • pp.346-353
    • /
    • 2013
  • Industrial processes need to be monitored in real-time based on the input-output data observed during their operation. Abnormalities in an induction motor should be detected early in order to avoid costly breakdowns. To early identify induction motor faults, this paper effectively estimates spectral envelopes of each induction motor fault by utilizing a linear prediction coding (LPC) analysis technique and an expectation maximization (EM) algorithm. Moreover, this paper classifies induction motor faults into their corresponding categories by calculating Mahalanobis distance using the estimated spectral envelopes and finding the minimum distance. Experimental results shows that the proposed approach yields higher classification accuracies than the state-of-the-art approach for both noiseless and noisy environments for identifying the induction motor faults.

  • PDF

An Edge-detecting Bayesian Image Reconstruction for Positron Emission Tomography

  • Um, Jong-Seok;Choi, Byong-Su
    • Communications for Statistical Applications and Methods
    • /
    • 제4권3호
    • /
    • pp.817-825
    • /
    • 1997
  • Images reconstructed with EM algorithm have been observed to have checkerboard effects and have large distortions near edges as iterations proceed. We suggest a aimple algorithm of applying line process to the EM and Bayesian EM to reduce the distortions near edges. We show by simulation that this algorithm improves the clarity of the reconstructed image and has good properties based on root mean square error.

  • PDF