• 제목/요약/키워드: Markov chain clustering

검색결과 12건 처리시간 0.026초

Markov Chain Monte Carlo를 이용한 반도체 결함 클러스터링 파라미터의 추정 (Estimation of Defect Clustering Parameter Using Markov Chain Monte Carlo)

  • 하정훈;장준현;김준현
    • 산업경영시스템학회지
    • /
    • 제32권3호
    • /
    • pp.99-109
    • /
    • 2009
  • Negative binomial yield model for semiconductor manufacturing consists of two parameters which are the average number of defects per die and the clustering parameter. Estimating the clustering parameter is quite complex because the parameter has not clear closed form. In this paper, a Bayesian approach using Markov Chain Monte Carlo is proposed to estimate the clustering parameter. To find an appropriate estimation method for the clustering parameter, two typical estimators, the method of moments estimator and the maximum likelihood estimator, and the proposed Bayesian estimator are compared with respect to the mean absolute deviation between the real yield and the estimated yield. Experimental results show that both the proposed Bayesian estimator and the maximum likelihood estimator have excellent performance and the choice of method depends on the purpose of use.

Comparison of graph clustering methods for analyzing the mathematical subject classification codes

  • Choi, Kwangju;Lee, June-Yub;Kim, Younjin;Lee, Donghwan
    • Communications for Statistical Applications and Methods
    • /
    • 제27권5호
    • /
    • pp.569-578
    • /
    • 2020
  • Various graph clustering methods have been introduced to identify communities in social or biological networks. This paper studies the entropy-based and the Markov chain-based methods in clustering the undirected graph. We examine the performance of two clustering methods with conventional methods based on quality measures of clustering. For the real applications, we collect the mathematical subject classification (MSC) codes of research papers from published mathematical databases and construct the weighted code-to-document matrix for applying graph clustering methods. We pursue to group MSC codes into the same cluster if the corresponding MSC codes appear in many papers simultaneously. We compare the MSC clustering results based on the several assessment measures and conclude that the Markov chain-based method is suitable for clustering the MSC codes.

마르코프 체인과 계층적 클러스터링 기법을 이용한 작곡 기법 (Music Composition Using Markov Chain and Hierarchical Clustering)

  • 권지용;이인권
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.744-748
    • /
    • 2008
  • 본 논문에서는 주어진 예제 멜로디 데이터를 이용하여 효과적으로 새로운 곡을 작곡하는 시스템을 제안한다. 우리가 제안하는 기법은 k-차원 마르코프 체인을 이용하여 마디 단위의 음악 블록을 합성한다. 한마디 단위를 하나의 마르코프 체인의 상태로 취급할 경우 매우 많은 상태를 고려해야 하므로, 이를 계층적 클러스터링 기법을 통하여 학습이 용이한 정도로 상태를 줄인다. 예제 데이터의 각 음악 블록은 소속된 클러스터 번호의 시퀀스로 대체되어 학습 데이터로 사용된다. 학습된 마르코프 체인의 상태를 전이하면서 각 상태에 해당되는 클러스터의 음악 블록을 랜덤하게 선택하여 합성한다. 학습된 마르코프 체인은 효과적으로 예제 음악과 비슷하면서 새로운 곡을 생성할 수 있었다.

  • PDF

A Bayesian Wavelet Threshold Approach for Image Denoising

  • Ahn, Yun-Kee;Park, Il-Su;Rhee, Sung-Suk
    • Communications for Statistical Applications and Methods
    • /
    • 제8권1호
    • /
    • pp.109-115
    • /
    • 2001
  • Wavelet coefficients are known to have decorrelating properties, since wavelet is orthonormal transformation. but empirically, those wavelet coefficients of images, like edges, are not statistically independent. Jansen and Bultheel(1999) developed the empirical Bayes approach to improve the classical threshold algorithm using local characterization in Markov random field. They consider the clustering of significant wavelet coefficients with uniform distribution. In this paper, we developed wavelet thresholding algorithm using Laplacian distribution which is more realistic model.

  • PDF

A Bayesian Model-based Clustering with Dissimilarities

  • Oh, Man-Suk;Raftery, Adrian
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2003년도 추계 학술발표회 논문집
    • /
    • pp.9-14
    • /
    • 2003
  • A Bayesian model-based clustering method is proposed for clustering objects on the basis of dissimilarites. This combines two basic ideas. The first is that tile objects have latent positions in a Euclidean space, and that the observed dissimilarities are measurements of the Euclidean distances with error. The second idea is that the latent positions are generated from a mixture of multivariate normal distributions, each one corresponding to a cluster. We estimate the resulting model in a Bayesian way using Markov chain Monte Carlo. The method carries out multidimensional scaling and model-based clustering simultaneously, and yields good object configurations and good clustering results with reasonable measures of clustering uncertainties. In the examples we studied, the clustering results based on low-dimensional configurations were almost as good as those based on high-dimensional ones. Thus tile method can be used as a tool for dimension reduction when clustering high-dimensional objects, which may be useful especially for visual inspection of clusters. We also propose a Bayesian criterion for choosing the dimension of the object configuration and the number of clusters simultaneously. This is easy to compute and works reasonably well in simulations and real examples.

  • PDF

일강우자료의 다지점 모의 발생을 위한 간단한 방법 제안 (A Proposed Simple Method for Multisite Point Rainfall Generation)

  • 유철상;이동률
    • 한국수자원학회논문집
    • /
    • 제33권1호
    • /
    • pp.99-110
    • /
    • 2000
  • 본 연구에서는 마코프 연쇄에 근거하여 지점간 공간상관을 적절히 고려할 수 있는 일강우의 다지점 모의 발생 방법을 제안하였다. 유역 내 여러 지점 대표지점을 선정하여 강우의 발생의 간단한 1차 마코프 연쇄에 의해 모의되도록 하였고 강우강도는 과거자료에서 무작위하게 추출하는 방법을 적용하였다. 지점간 공간상관은 모든 지점에 대해 강우강도가 대표지점과 같은 시점의 것이 일관되게 선택되도록 함으로서 그대로 유지시킬수 있었다. 모의된 일강우자료는 평균, 분산이나 평균 무강우일수, 강우일수 등의 강우 특성은 잘 재현함을 알 수 있었으나, 원자료의 군집특성(시간축에서의)은 상대적으로 약화되어 1일 지체 상관계수가 원자료의 경우보다 작게 나타나고 있으며 아울러 평균 강우지속일수 및 무강우지속일수, 강우-강우 확률 및 무강우-무강우 확률이 원자료의 그것보다 약간 작게 나타남을 파악할 수 있었다. 그러나 이러한 단점은 유역을 대표할 수 있는 지점을 적절히 선택함으로서 또한 대표지점에 대한 강우발생의 상태를 무강우-강우에서 좀더 세분화함으로서 어느 정도 보완할 수 있을 것으로 판단된다.

  • PDF

잠재그룹 포아송 모형을 이용한 전립선암 환자의 베이지안 그룹화 (Bayesian Clustering of Prostate Cancer Patients by Using a Latent Class Poisson Model)

  • 오만숙
    • 응용통계연구
    • /
    • 제18권1호
    • /
    • pp.1-13
    • /
    • 2005
  • 최근 많은 연구자와 실무자들이 모집단에 내재해 있는 여러 다른 그룹(class, segment)간의 이질성을 밝혀내고 객체들을 그룹별로 세분화하는 방법 중 하나로 잠재그룹 모델(Latent class model)을 고려하고 있다. 이 논문에서는 2000년도에 국립 암 센터에 접수된 한국 내 연령별 전립선암 사망자수 자료를 기반으로, 잠재그룹 포아송 모형을 이용하여 전립선암 환자의 연령에 따른 그룹화를 시도한다. 최우추정법 등 고전적 추론방법의 한계를 극복하기 위하여 Markov Chain Monte Carlo (MCMC) 방법을 도구로 한 베이지안 추정 방법을 제안한다. 제안된 베이지안 방법의 장점은 용이한 모수추정과 추정오차의 제공, 그리고 각 객체의 소속그룹의 판정과 이에 따르는 오차, 즉, 객체의 각 군집에 속할 확률, 도 구할 수 있다는 것이다. 또한 주어진 자료들에 대해 가장 적합한 그룹의 수를 결정하는 방법을 제시하여 그룹의 수나 세분화의 근거를 사전에 제공하지 않아도 자료가 주는 정보로부터 이들을 자동으로 결정하는 방법을 제시한다.

GPGPU에 기반하는 위치 정보 집합에서 집단 이동성 모델의 도출 기법과 그 표현 기법 (A Method for Group Mobility Model Construction and Model Representation from Positioning Data Set Using GPGPU)

  • 송하윤;김동엽
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권3호
    • /
    • pp.141-148
    • /
    • 2017
  • 인간의 위치 이동 데이터를 모바일 기기에서 수집한 위치 정보를 이용해 얻을 수 있게 되면서, 위치 정보를 어떻게 이용할 수 있는지 그 활용 방안이 중요시 되고 있다. 이 연구에 앞서 위치 정보에 포함된 위치 정보와 시간 정보를 이용한 개인 이동성 모델 도출 연구가 선행되었다. 이동성 모델의 개념을 집단으로 확장하여 특정 집단에 속한 사람들의 개인 이동성 모델을 이용한 집단 이동성 모델을 도출하는 방법에 대해서 연구했고, 두 명의 개인 이동성 모델을 이용한 집단 이동성 모델과 그 모델을 표현하는 Markov 모델을 생성할 수 있었다. 본 논문에서는 세명 이상의 개별 이동 모델을 포함하는 사람의 이동성 모델을 생성하고 집단 모델 내 군집간의 확률 기반 Markov 모델을 도출하는 방법에 대해 소개한다. 또한 GPGPU 기법을 통해 생성 시간을 줄이는 기법을 이용하여 실용화를 고려하였다.

기대치 최대화 기반의 군집화를 통한 인간 이동 패턴의 마르코프 연쇄모델 도출 (A Use of Expectation Maximization Clustering for Constructing a Markov Chain of Human Mobility Model)

  • 김현욱;송하윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.864-867
    • /
    • 2012
  • 사람들이 휴대용 위치정보 수집 장비나 혹은 스마트폰을 사용하면서 사람의 이동 정보인 위치정보들을 모으는 일이 가능해 졌다. 이러한 위치정보들을 가지고 본 논문에서는 사람의 이동 모델을 나타내고자 하였다. 이동 정보들은 머물러 있는(Stay)상태와 이동하는(Moving) 상태로 나눌 수 있는데 이러한 상태 중 머물러 있는 상태가 군집화가 되어 연쇄 모델속의 하나의 상태(State)로 나타나 질 수 있다. 물론 이동 정보들을 통해 연쇄모델 속 각 상태간의 전이 확률 또한 계산 할 수 있다. 이러한 일련의 과정을 본 논문에서는 기대치 최대화 기반 군집화 과정을 통해 연속시간 연쇄 모델의 형태로 인간의 이동성을 표현하였다. 또한 이러한 모델에서 대표 군집(macro)과 그 부속 군집(micro)을 표현할 수 있었고 이러한 모습은 대표적인 큰 군집 속의 작은 군집의 형태로 나타나게 된다.

Anomaly Detection in Sensor Data

  • Kim, Jong-Min;Baik, Jaiwook
    • 한국신뢰성학회지:신뢰성응용연구
    • /
    • 제18권1호
    • /
    • pp.20-32
    • /
    • 2018
  • Purpose: The purpose of this study is to set up an anomaly detection criteria for sensor data coming from a motorcycle. Methods: Five sensor values for accelerator pedal, engine rpm, transmission rpm, gear and speed are obtained every 0.02 second from a motorcycle. Exploratory data analysis is used to find any pattern in the data. Traditional process control methods such as X control chart and time series models are fitted to find any anomaly behavior in the data. Finally unsupervised learning algorithm such as k-means clustering is used to find any anomaly spot in the sensor data. Results: According to exploratory data analysis, the distribution of accelerator pedal sensor values is very much skewed to the left. The motorcycle seemed to have been driven in a city at speed less than 45 kilometers per hour. Traditional process control charts such as X control chart fail due to severe autocorrelation in each sensor data. However, ARIMA model found three abnormal points where they are beyond 2 sigma limits in the control chart. We applied a copula based Markov chain to perform statistical process control for correlated observations. Copula based Markov model found anomaly behavior in the similar places as ARIMA model. In an unsupervised learning algorithm, large sensor values get subdivided into two, three, and four disjoint regions. So extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior in the sensor values. Conclusion: Exploratory data analysis is useful to find any pattern in the sensor data. Process control chart using ARIMA and Joe's copula based Markov model also give warnings near similar places in the data. Unsupervised learning algorithm shows us that the extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior.