• Title/Summary/Keyword: 데이터 군집화 알고리즘

Search Result 206, Processing Time 0.032 seconds

Clustering Algorithm for Data Mining using Posterior Probability-based Information Entropy (데이터마이닝을 위한 사후확률 정보엔트로피 기반 군집화알고리즘)

  • Park, In-Kyoo
    • Journal of Digital Convergence
    • /
    • v.12 no.12
    • /
    • pp.293-301
    • /
    • 2014
  • In this paper, we propose a new measure based on the confidence of Bayesian posterior probability so as to reduce unimportant information in the clustering process. Because the performance of clustering is up to selecting the important degree of attributes within the databases, the concept of information entropy is added to posterior probability for attributes discernibility. Hence, The same value of attributes in the confidence of the proposed measure is considerably much less due to the natural logarithm. Therefore posterior probability-based clustering algorithm selects the minimum of attribute reducts and improves the efficiency of clustering. Analysis of the validation of the proposed algorithms compared with others shows their discernibility as well as ability of clustering to handle uncertainty with ACME categorical data.

Fuzzy Clustering Model using Principal Components Analysis and Naive Bayesian Classifier (주성분 분석과 나이브 베이지안 분류기를 이용한 퍼지 군집화 모형)

  • Jun, Sung-Hae
    • The KIPS Transactions:PartB
    • /
    • v.11B no.4
    • /
    • pp.485-490
    • /
    • 2004
  • In data representation, the clustering performs a grouping process which combines given data into some similar clusters. The various similarity measures have been used in many researches. But, the validity of clustering results is subjective and ambiguous, because of difficulty and shortage about objective criterion of clustering. The fuzzy clustering provides a good method for subjective clustering problems. It performs clustering through the similarity matrix which has fuzzy membership value for assigning each object. In this paper, for objective fuzzy clustering, the clustering algorithm which joins principal components analysis as a dimension reduction model with bayesian learning as a statistical learning theory. For performance evaluation of proposed algorithm, Iris and Glass identification data from UCI Machine Learning repository are used. The experimental results shows a happy outcome of proposed model.

A Study on Recommendation System Using Data Mining Techniques for Large-sized Music Contents (대용량 음악콘텐츠 환경에서의 데이터마이닝 기법을 활용한 추천시스템에 관한 연구)

  • Kim, Yong;Moon, Sung-Been
    • Journal of the Korean Society for information Management
    • /
    • v.24 no.2
    • /
    • pp.89-104
    • /
    • 2007
  • This research attempts to give a personalized recommendation framework in large-sized music contents environment. Despite of existing studios and commercial contents for recommendation systems, large online shopping malls are still looking for a recommendation system that can serve personalized recommendation and handle large data in real-time. This research utilizes data mining technologies and new pattern matching algorithm. A clustering technique is used to get dynamic user segmentations using user preference to contents categories. Then a sequential pattern mining technique is used to extract contents access patterns in the user segmentations. And the recommendation is given by our recommendation algorithm using user contents preference history and contents access patterns of the segment. In the framework, preprocessing and data transformation and transition are implemented on DBMS. The proposed system is implemented to show that the framework is feasible. In the experiment using real-world large data, personalized recommendation is given in almost real-time and shows acceptable correctness.

Performance Evaluation of Nonhomogeneity Detector According to Various Normalization Methods in Nonhomogeneous Clutter Environment (불균일한 클러터 환경 안에서 Nonhomogeneity Detector의 다양한 정규화 방법에 따른 성능 평가)

  • Ryu, Jang-Hee;Jeong, Ji-Chai
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.10 no.1
    • /
    • pp.72-79
    • /
    • 2009
  • This paper describes the performance evaluation of NHD(nonhomogeneity detector) for STAP(space-time adaptive processing) airborne radar according to various normalization methods in the nonhomogeneous clutter environment. In practice, the clutter can be characterized as random variation signals, because it sometimes includes signals with very large magnitude like impulsive signal due to the system environment. The received interference signals are composed of homogeneous and nonhomogeneous data. In this situation, NHB is needed to maintain the STAP performance. The normalization using the NHD result is an effective method for removing the nonhomogeneous data. The optimum normalization can be performed by a representative value considered with a characteristic of the given data, so we propose the K-means clustering algorithm. The characteristic of random variation data due to nonhomogeneous clutters can be considered by the number of clusters, and then the representative value for selecting the homogeneous data is determined in the clustering result. In order to reflect a characteristic of the nonstationary interference data, we also investigate the algorithm for a calculation of the proper number of clusters. Through our simulations, we verified that the K-means clustering algorithm has very superior normalization and target detection performances compared with the previous introduced normalization methods.

  • PDF

Generating Adaptive Fuzzy Classification Rules using An Efficient Evolutionary Algorithm (효율적인 진화알고리즘을 이용한 적응형 퍼지 분류 규칙 생성)

  • Ryu, Joung-Woo;Kim, Sung-Eun;Kim, Myung-Won
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.769-771
    • /
    • 2005
  • 데이터 특성이 연속적이고 애매할 때 퍼지규칙으로 분류 규칙을 표현하는 것은 매우 유용하고 효과적이다. 그러나 일반적으로 정확하지 않은 데이터 특성에 대해서 소속함수를 결정한다는 것은 어려운 일이다. 본 논문에서는 진화알고리즘을 이용하여 효과적인 퍼지 분류 규칙을 자동으로 생성하는 방법을 제안한다. 제안한 방법에서 규칙의 정확성과 이해성을 고려하여 최적화된 소속함수를 생성하기 위해 진화알고리즘을 사용한다. 먼저 지도 군집화로 진화를 위한 초기 소속함수를 생성한다. 진화알고리즘은 전역적 최적 해를 찾는데 효과적이다. 그러나 시간에 대한 효율성이 낮다. 특히 모델 최적화 문제에서는 개체 평가 단계에서 많은 시간이 소요된다. 따라서 본 논문에서는 전체 데이터를 여러 개의 부분 데이터들로 나누고 개체들은 전체 데이터 대신 매번 부분 데이터를 임의적으로 선택하여 개체를 평가함으로써 수행 시간을 단축시킬 수 있는 진화 방법을 제안한다. 제안한 퍼지 분류 규칙 생성 방법의 타당성을 검증하기 위한 실험 데이터로 UCI에서 제공하는 데이터들을 사용하였으며, 실험 결과는 기존 방법에 비해 평균적으로 더 효과적임을 확인하였다.

  • PDF

Initial Seed Generation for Constrained K-means (제약된 K-means를 위한 초기 씨드 생성방법)

  • Seo, Hyang-Suk;Kang, Jae-Ho;Ryu, Kwang-Ryel
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11a
    • /
    • pp.283-286
    • /
    • 2003
  • 군집화 시 일반적으로 개별 클래스(class) 혹은 카테고리(category) 당 하나의 군집이 형성되는 결과가 선호된다. 하지만 데이터가 비정형적인 분포를 따르는 경우에는 하나의 군집으로 개별 클래스를 온전히 표현하는 것이 불가능하거나 오히려 부자연스러운 경우가 발생할 수 있다. 본 논문에서는 예제의 클래스를 알고 있는 즉, 레이블(label)된 예제들을 그렇지 않은(unlabeled) 예제들과 함께 활용하여 군집화하는 제약된 K-means (constrained K-means) 알고리즘을 위하여 보다 자연스러운 형태의 군집이 형성될 수 있도록 초기 씨드(seed, 씨앗)를 생성하는 방안을 제안한다. 레이블된 예제들을 계층적으로 군집화하면 다양한 단계에서 제약된 K-means를 위한 씨드집합을 생성할 수 있다. 본 연구에서는 각 단계의 씨드집합을 기반으로 형성된 군집결과간의 변화정도를 측정하여 가장 적절한 것으로 추정되는 씨드집합을 선정하였다. 제안한 방안을 문서 군집화 문제에 적용하여 실험한 결과 개별 클래스마다 하나의 군집을 가정하는 경우보다 더 나은 군집을 형성할 수 있음을 확인하였다.

  • PDF

A Movie Recommendation System based on Fuzzy-AHP with User Preference and Partition Algorithm (사용자 선호도와 군집 알고리즘을 이용한 퍼지-계층적 분석 기법 기반 영화 추천 시스템)

  • Oh, Jae-Taek;Lee, Sang-Yong
    • Journal of Digital Convergence
    • /
    • v.15 no.11
    • /
    • pp.425-432
    • /
    • 2017
  • The current recommendation systems have problems including the difficulty of figuring out whether they recommend items that actual users have preference for or have simple interest in, the scarcity of data to recommend proper items due to the extremely small number of users, and the cold-start issue of the dropping system performance to recommend items that can satisfy users according to the influx of new users. In an effort to solve these problems, this study implemented a movie recommendation system to ensure user satisfaction by using the Fuzzy-Analytic Hierarchy Process, which can reflect uncertain situations and problems, and the data partition algorithm to group similar items among the given ones. The data of a survey on movie preference with 61 users was applied to the system, and the results show that it solved the data scarcity problem based on the Fuzzy-AHP and recommended items fit for a user with the data partition algorithm even with the influx of new users. It is thought that research on the density-based clustering will be needed to filter out future noise data or outlier data.

Automatic Source Classification Algorithm using Mean-Shift Clustering and stepwise merging in Color Image (컬러영상에서 Mean-Shift 군집화와 단계별 병합 방법을 이용한 자동 원료 선별 알고리즘)

  • Kim, Sang-Jun;Jang, JiHyeon;Ko, ByoungChul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1597-1599
    • /
    • 2015
  • 본 논문에서는 곡물이나 광석 등의 원료들 중에서 양품 및 불량품을 검출하기 위해, Color CCD 카메라로 촬영한 원료영상에서 Mean-Shift 클러스터링 알고리즘과 단계별 병합 방법을 제안하고 있다. 먼저 원료 학습 영상에서 배경을 제거하고 영상 색 분포정도를 기준으로 모폴로지를 이용하여 영상의 전경맵을 얻는다. 전경맵 영상에 대해서 Mean-Shift 군집화 알고리즘을 적용하여 영상을 N개의 군집으로 나누고, 단계별로 위치 근접성, 색상대푯값 유사성을 비교하여 비슷한 군집끼리 통합한다. 이렇게 통합된 원료 객체는 영상채널마다의 연관관계를 반영할 수 있도록 RG/GB/BR의 2차원 컬러분포도로 표현한다. 원료 객체별로 변환된 2차원 컬러 분포도에서 분포의 주성분의 기울기와 타원들을 생성한다. 객체별 분포 타원은 테스트 원료 영상데이터에서 양품과 불량품을 검출하는 임계값이 된다. 본 논문에서 제안한 방법으로 다양한 원료영상에 실험한 결과, 기존 선별방식에 비해 사용자의 인위적 조작이 적고 정확한 원료 선별 결과를 얻을 수 있었다.

Comparison of journal clustering methods based on citation structure (논문 인용에 따른 학술지 군집화 방법의 비교)

  • Kim, Jinkwang;Kim, Sohyung;Oh, Changhyuck
    • Journal of the Korean Data and Information Science Society
    • /
    • v.26 no.4
    • /
    • pp.827-839
    • /
    • 2015
  • Extraction of communities from a journal citation database by the citation structure is a useful tool to see closely related groups of the journals. SCI of Thomson Reuters or SCOPUS of Elsevier have had tried to grasp community structure of the journals in their indices according to citation relationships, but such a trial has not been made yet with the Korean Citation Index, KCI. Therefore, in this study, we extracted communities of the journals of the natural science area in KCI, using various clustering algorithms for a social network based on citations among the journals and compared the groups obtained with the classfication of KCI. The infomap algorithm, one of the clustering methods applied in this article, showed the best grouping result in the sense that groups obtained by it are closer to the KCI classification than by other algorithms considered and reflect well the citation structure of the journals. The classification results obtained in this study might be taken consideration when reclassification of the KCI journals will be made in the future.

Supervised Feature Weight Optimization for Data Mining (데이터마이닝에서 교사학습에 의한 속성 가중치 최적화)

  • 강명구;차진호;김명원
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.244-246
    • /
    • 2001
  • 최근 군집화와 분류기법이 데이터 마이닝에 중요한 도구로 많은 응용분야에 사용되고 있다. 따라서 이러한 기법을 이용하는데 있어서 각각의 속성의 중요도가 달라 중요하지 않은 속성에 의해 중요한 속성이 왜곡되거나 때로는 마이닝의 결과가 잘못되는 결과를 얻을 수 있으며, 또한 전체 데이터를 사용할 경우 마이닝 과정을 저하시키는 문제로 속성 가중치과 속성선택에 과한 연구가 중요한 연구의 대상이 되고 있다. 최근 연구되고 있는 알고리즘들은 사용자의 의도와는 상관없이 데이터간의 관계에만 의존하여 가중치를 설정하므로 사용자가 마이닝 결과를 쉽게 이해하고 분석할 수 없는 문제점을 안고 있다. 본 논문에서는 클래스 정보가 있는 데이터뿐 아니라 클래스 정보가 없는 데이터를 분석할 경우 사용자의 의도에 따라 학습할 수 있도록 각 가중치를 부여하는 속성가중치 알고리즘을 제안한다. 또한 사용자가 의도한 정보를 이용하여 속성간의 가장 최적화 된 가중치를 찾아주며, Cramer's $V^2$함수를 적합도 함수로 하는 유전자 알고리즘을 사용한다. 알고리즘의 타당성을 검증하기 위해 전자상거래상의 실험 데이터와 몇 가지 벤치마크 데이터를 이용하여 본 논문의 타당성을 보인다.

  • PDF