• 제목/요약/키워드: Data Clustering

검색결과 2,727건 처리시간 0.034초

차원간 연관관계와 하이퍼그래프 분할법을 이용한 범주형 속성을 가진 데이터의 클러스터링 (Clustering Data with Categorical Attributes Using Inter-dimensional Association Rules and Hypergraph Partitioning)

  • 이성기;윤덕균
    • 산업경영시스템학회지
    • /
    • 제24권65호
    • /
    • pp.41-50
    • /
    • 2001
  • Clustering in data mining is a discovery process that groups a set of data such that the intracluster similarity is maximized and intercluster similarity is minimized. The discovered clusters from clustering process are used to explain the characteristics of the data distribution. In this paper we propose a new methodology for clustering related transactions with categorical attributes. Our approach starts with transforming general relational databases into a transactional databases. We make use of inter-dimensional association rules for composing hypergraph edges, and a hypergraph partitioning algorithm for clustering the values of attributes. The clusters of the values of attributes are used to find the clusters of transactions. The suggested procedure can enhance the interpretation of resulting clusters with allocated attribute values.

  • PDF

XML based on Clustering Method for personalized Product Category in E-Commerce

  • Lee, Kwon-Soo;Kim, Hoon-Hyun
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2003년도 Proceeding
    • /
    • pp.118-126
    • /
    • 2003
  • In data mining, having access to large amount of data sets for the purpose of predictive data does not guarantee good method, even where the size of Real data is Mobile commerce unlimited. In addition to searching expected Goods objects for Users, it becomes necessary to develop a recommendation service based on XML. In this paper, we design the optimized XML Recommender product data. Efficient XML data preprocessing is required, include of formatting, structural, and attribute representation with dependent on User Profile Information. Our goal is to find a relationship among user interested products from E-Commerce and M-Commerce to XDB. Firstly, analyzing user profiles information. In the result creating clusters with analyzed user profile such as with set of sex, age, job. Secondly, it is clustering XML data which are associative products classify from user profile in shopping mall. Thirdly, after composing categories and goods data in which associative objects exist from the first clustering, it represent categories and goods in shopping mall and optimized clustering XML data which are personalized products. The proposed personalized user profile clustering method has been designed and simulated to demonstrate it's efficient.

  • PDF

DNA Chip 데이터의 군집화 성능 향상을 위한 Particle Swarm Optimization 알고리즘의 적용기법 (Applying Particle Swarm Optimization for Enhanced Clustering of DNA Chip Data)

  • 이민수
    • 정보처리학회논문지D
    • /
    • 제17D권3호
    • /
    • pp.175-184
    • /
    • 2010
  • 최근 DNA 칩의 등장으로 유전자 관련 실험과 연구가 매우 용이해졌으며 이를 활용한 다양한 실험 결과로 대량의 데이터가 제공되고 있다. DNA칩에 의해 제공된 데이터는 2차원 행렬로 표현되며 하나의 축은 유전자를 나타내고 다른 하나의 축은 샘플정보를 나타낸다. 이러한 데이터에 대하여 빠른 시간 안에 좋은 품질의 군집화를 수행함으로써 이후의 분석 단계인 분류화 작업의 정확도와 효율성을 높일 수 있다. 본 논문에서는 생태계 모방 알고리즘의 하나인 Particle Swarm Optimization 알고리즘을 사용하여 방대한 양의 DNA칩 데이터에 대한 효율적인 군집화 기법을 제안하였으며 실험을 통해서 PSO 기반의 군집화 알고리즘이 기존의 군집화 알고리즘들보다 수행속도 및 품질 면에서 우수한 성능을 가짐을 보였다.

데이터마이닝에 의한 고객세분화 개발 (A Development of Customer Segmentation by Using Data Mining Technique)

  • 진서훈
    • 응용통계연구
    • /
    • 제18권3호
    • /
    • pp.555-565
    • /
    • 2005
  • 고객세분화는 기업이 관계하고 있는 고객을 이해하고 그 이해를 바탕으로 효과적인 고객관리를 수행하기 위해 필수적인 요소인데 데이터마이닝이 기업의 정보관리영역에 적극적으로 활용되면서 보다 과학적이고 최적화된 형태로 개발되고 있다. 본 연구에서는 신용카드고객 의 카드사용행태에 근거하여 각 고객을 서로 유사한 사용행태를 보이는 고객군으로 세분화하는 과정을 소개하였다. 고객이 실제로 신용카드를 사용하면서 발생시킨 거래정보에만 의존하여 고객세분화를 개발하였으며 이는 마케팅의 관점에서 상당히 의미있는 내용이 될 수 있다. 고객세분화의 개발을 위하여 데이터마이닝기법인 k-평균 군집방법과 최장연결법에 의한 계보적 군집방법을 단계적으로 활용하는 이단계 군집방법을 이용하였다.

클럽발 자료를 위한 함수적 군집 분석: 사례연구 (Functional clustering for clubfoot data: A case study)

  • 이미애;임요한;박천건;이경은
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권5호
    • /
    • pp.1069-1077
    • /
    • 2014
  • 클럽발은 발이 안쪽으로 굽어있는 상태로 태어나는 선천적인 발 기형의 일종이다. 본 연구에서는 한 쪽 클럽발 환자들의 수술 후 시간에 따른 양 쪽 발의 상대적인 차이 커브들을 군집분석 하려고 한다. 관측값들이 일정하지 않은 (irregular) 시점에서 희박하게 (sparsely) 관측되어서 일반적인 함수적 군집모형을 사용할 수 없어 James와 Sugar (2003) 가 제안한 희박한 자료의 함수적 군집 모형 (functional clustering model)을 이용하여 모수들을 추정하였다. 그리고 Sugar와 James (2003)의 왜곡함수 (distortion function)를 이용하여 군집의 수를 결정하여 군집분석하여 두 개의 군집을 발견하였다.

고차원 데이터 처리를 위한 SVM기반의 클러스터링 기법 (SVM based Clustering Technique for Processing High Dimensional Data)

  • 김만선;이상용
    • 한국지능시스템학회논문지
    • /
    • 제14권7호
    • /
    • pp.816-820
    • /
    • 2004
  • 클러스터링은 데이터 집합을 유사한 데이터 개체들의 클러스터들로 분할하여 데이터 속에 존재하는 의미 있는 정보를 얻는 과정이다. 클러스터링의 주요 쟁점은 고차원 데이터를 효율적으로 클러스터링하는 것과 최적화 문제를 해결하는 것이다. 본 논문에서는 SVM(Support Vector Machines)기반의 새로운 유사도 측정법과 효율적으로 클러스터의 개수를 생성하는 방법을 제안한다. 고차원의 데이터는 커널 함수를 이용해 Feature Space로 매핑시킨 후 이웃하는 클러스터와의 유사도를 측정한다. 이미 생성된 클러스터들은 측정된 유사도 값과 Δd 임계값에 의해서 원하는 클러스터의 개수를 얻을 수 있다. 제안된 방법을 검증하기 위하여 6개의 UCI Machine Learning Repository의 데이터를 사용한 결과, 제시된 클러스터의 개수와 기존의 연구와 비교하여 향상된 응집도를 얻을 수 있었다.

A Clustering Approach for Feature Selection in Microarray Data Classification Using Random Forest

  • Aydadenta, Husna;Adiwijaya, Adiwijaya
    • Journal of Information Processing Systems
    • /
    • 제14권5호
    • /
    • pp.1167-1175
    • /
    • 2018
  • Microarray data plays an essential role in diagnosing and detecting cancer. Microarray analysis allows the examination of levels of gene expression in specific cell samples, where thousands of genes can be analyzed simultaneously. However, microarray data have very little sample data and high data dimensionality. Therefore, to classify microarray data, a dimensional reduction process is required. Dimensional reduction can eliminate redundancy of data; thus, features used in classification are features that only have a high correlation with their class. There are two types of dimensional reduction, namely feature selection and feature extraction. In this paper, we used k-means algorithm as the clustering approach for feature selection. The proposed approach can be used to categorize features that have the same characteristics in one cluster, so that redundancy in microarray data is removed. The result of clustering is ranked using the Relief algorithm such that the best scoring element for each cluster is obtained. All best elements of each cluster are selected and used as features in the classification process. Next, the Random Forest algorithm is used. Based on the simulation, the accuracy of the proposed approach for each dataset, namely Colon, Lung Cancer, and Prostate Tumor, achieved 85.87%, 98.9%, and 89% accuracy, respectively. The accuracy of the proposed approach is therefore higher than the approach using Random Forest without clustering.

Recovery Levels of Clustering Algorithms Using Different Similarity Measures for Functional Data

  • Chae, Seong San;Kim, Chansoo;Warde, William D.
    • Communications for Statistical Applications and Methods
    • /
    • 제11권2호
    • /
    • pp.369-380
    • /
    • 2004
  • Clustering algorithms with different similarity measures are commonly used to find an optimal clustering or close to original clustering. The recovery level of using Euclidean distance and distances transformed from correlation coefficients is evaluated and compared using Rand's (1971) C statistic. The C values present how the resultant clustering is close to the original clustering. In simulation study, the recovery level is improved by applying the correlation coefficients between objects. Using the data set from Spellman et al. (1998), the recovery levels with different similarity measures are also presented. In general, the recovery level of true clusters was increased by using the correlation coefficients.

준정부호 스펙트럼의 군집화 (Semidefinite Spectral Clustering)

  • 김재환;최승진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.892-894
    • /
    • 2005
  • Graph partitioning provides an important tool for data clustering, but is an NP-hard combinatorial optimization problem. Spectral clustering where the clustering is performed by the eigen-decomposition of an affinity matrix [1,2]. This is a popular way of solving the graph partitioning problem. On the other hand, semidefinite relaxation, is an alternative way of relaxing combinatorial optimization. issuing to a convex optimization[4]. In this paper we present a semidefinite programming (SDP) approach to graph equi-partitioning for clustering and then we use eigen-decomposition to obtain an optimal partition set. Therefore, the method is referred to as semidefinite spectral clustering (SSC). Numerical experiments with several artificial and real data sets, demonstrate the useful behavior of our SSC. compared to existing spectral clustering methods.

  • PDF

Nonparametric analysis of income distributions among different regions based on energy distance with applications to China Health and Nutrition Survey data

  • Ma, Zhihua;Xue, Yishu;Hu, Guanyu
    • Communications for Statistical Applications and Methods
    • /
    • 제26권1호
    • /
    • pp.57-67
    • /
    • 2019
  • Income distribution is a major concern in economic theory. In regional economics, it is often of interest to compare income distributions in different regions. Traditional methods often compare the income inequality of different regions by assuming parametric forms of the income distributions, or using summary statistics like the Gini coefficient. In this paper, we propose a nonparametric procedure to test for heterogeneity in income distributions among different regions, and a K-means clustering procedure for clustering income distributions based on energy distance. In simulation studies, it is shown that the energy distance based method has competitive results with other common methods in hypothesis testing, and the energy distance based clustering method performs well in the clustering problem. The proposed approaches are applied in analyzing data from China Health and Nutrition Survey 2011. The results indicate that there are significant differences among income distributions of the 12 provinces in the dataset. After applying a 4-means clustering algorithm, we obtained the clustering results of the income distributions in the 12 provinces.