• Title/Summary/Keyword: K-means 군집분석

Search Result 313, Processing Time 0.03 seconds

A Comparative Study on Statistical Clustering Methods and Kohonen Self-Organizing Maps for Highway Characteristic Classification of National Highway (일반국도 도로특성분류를 위한 통계적 군집분석과 Kohonen Self-Organizing Maps의 비교연구)

  • Cho, Jun Han;Kim, Seong Ho
    • KSCE Journal of Civil and Environmental Engineering Research
    • /
    • v.29 no.3D
    • /
    • pp.347-356
    • /
    • 2009
  • This paper is described clustering analysis of traffic characteristics-based highway classification in order to deviate from methodologies of existing highway functional classification. This research focuses on comparing the clustering techniques performance based on the total within-group errors and deriving the optimal number of cluster. This research analyzed statistical clustering method (Hierarchical Ward's minimum-variance method, Nonhierarchical K-means method) and Kohonen self-organizing maps clustering method for highway characteristic classification. The outcomes of cluster techniques compared for the number of samples and traffic characteristics from subsets derived by the optimal number of cluster. As a comprehensive result, the k-means method is superior result to other methods less than 12. For a cluster of more than 20, Kohonen self-organizing maps is the best result in the cluster method. The main contribution of this research is expected to use important the basic road attribution information that produced the highway characteristic classification.

Design and Implementation of Distributed In-Memory DBMS-based Parallel K-Means as In-database Analytics Function (분산 인 메모리 DBMS 기반 병렬 K-Means의 In-database 분석 함수로의 설계와 구현)

  • Kou, Heymo;Nam, Changmin;Lee, Woohyun;Lee, Yongjae;Kim, HyoungJoo
    • KIISE Transactions on Computing Practices
    • /
    • v.24 no.3
    • /
    • pp.105-112
    • /
    • 2018
  • As data size increase, a single database is not enough to serve current volume of tasks. Since data is partitioned and stored into multiple databases, analysis should also support parallelism in order to increase efficiency. However, traditional analysis requires data to be transferred out of database into nodes where analytic service is performed and user is required to know both database and analytic framework. In this paper, we propose an efficient way to perform K-means clustering algorithm inside the distributed column-based database and relational database. We also suggest an efficient way to optimize K-means algorithm within relational database.

K-Means Clustering in the PCA Subspace using an Unified Measure (통합 측도를 사용한 주성분해석 부공간에서의 k-평균 군집화 방법)

  • Yoo, Jae-Hung
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.17 no.4
    • /
    • pp.703-708
    • /
    • 2022
  • K-means clustering is a representative clustering technique. However, there is a limitation in not being able to integrate the performance evaluation scale and the method of determining the minimum number of clusters. In this paper, a method for numerically determining the minimum number of clusters is introduced. The explained variance is presented as an integrated measure. We propose that the k-means clustering method should be performed in the subspace of the PCA in order to simultaneously satisfy the minimum number of clusters and the threshold of the explained variance. It aims to present an explanation in principle why principal component analysis and k-means clustering are sequentially performed in pattern recognition and machine learning.

A K-Means-Based Clustering Algorithm for Traffic Prediction in a Bike-Sharing System (공유자전거 시스템의 이용 예측을 위한 K-Means 기반의 군집 알고리즘)

  • Kim, Kyoungok;Lee, Chang Hwan
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.10 no.5
    • /
    • pp.169-178
    • /
    • 2021
  • Recently, a bike-sharing system (BSS) has become popular as a convenient "last mile" transportation. Rebalancing of bikes is a critical issue to manage BSS because the rents and returns of bikes are not balanced by stations and periods. For efficient and effective rebalancing, accurate traffic prediction is important. Recently, cluster-based traffic prediction has been utilized to enhance the accuracy of prediction at the station-level and the clustering step is very important in this approach. In this paper, we propose a k-means based clustering algorithm that overcomes the drawbacks of the existing clustering methods for BSS; indeterministic and hardly converged. By employing the centroid initialization and using the temporal proportion of the rents and returns of stations as an input for clustering, the proposed algorithm can be deterministic and fast.

Study on Scaling Exponent for Classification of Regions using Scaling Property (스케일 성질을 이용한 군집 지역에서의 스케일 인자에 대한 연구)

  • Jung, Younghun;Kim, Sunghun;Ahn, Hyunjun;Heo, Jun-Haeng
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.504-504
    • /
    • 2015
  • 수공구조물을 설계하기 위해서는 설계수문량을 빈도해석을 통해 산정할 수 있다. 빈도해석 중 지점빈도해석을 보완한 지역빈도해석을 적용하기 위해서는 군집분석을 통한 지역구분이 무엇보다 중요하다. 또한 스케일 성질(scaling property)은 강우의 시 공간적 특성을 지속기간별 관측된 강우자료를 이용하여 재현기간에 대한 지속기간의 함수로 강우의 IDF곡선을 제시할 수 있는 방법이다. 따라서 스케일 성질을 통해 군집된 지역에서의 강우자료에 적용하여 스케일 인자(scaling exponent)를 추정한 후 수문학적 동질성을 통계적 특성으로 설명하고자 한다. 본 연구를 수행하기에 앞서 군집 분석은 4개의 군집방법(평균연결법, Ward방법, Two-Step방법, K-means방법)을 적용하였고, 한강유역에 위치한 104개의 강우지점은 4개의 지역으로 구분하는 것이 적절하다고 판단되어 비계층적 방법인 k-means방법을 이용하여 지역을 구분하였다. 본 연구에서는 군집된 결과를 바탕으로 4개의 지역으로 구분된 지역에 포함된 강우지점을 대상으로 스케일 인자를 추정하고 수문학적 동질성을 통계적 방법으로 제시하고자 한다.

  • PDF

A Study on Effective Selection of University Lecture Evaluation (대학 강의평가에서 문항 추출에 관한 연구)

  • Hwang Se-Myung;Kim In-Taek
    • Journal of Engineering Education Research
    • /
    • v.8 no.1
    • /
    • pp.31-45
    • /
    • 2005
  • In this paper, selecting survey items was performed using three clustering methods: factor analysis, fuzzy c-Means algorithm and cluster analysis. The methods were used to extract key items from various questionnaires. The key item represents several similar questionnaires that form a cluster. Test survey was made of 120 items obtained from several surveys and it was answered by 646 students from 4 universities. Each item contains 6 choices. Applying the clustering method chose 25 items which is reduced from the original 120 items. The results yielded by three methods are very similar.

The Analysis of Optimal Cluster Number of Precipitation Region with Dunn Index (Dunn 지수를 이용한 최적 강수지역 군집수 분석)

  • Um, Myoung-Jin;Jeong, Chang-Sam;Nam, Woo-Sung;Jung, Young-Hun;Heo, Jun-Haeng
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2011.05a
    • /
    • pp.87-91
    • /
    • 2011
  • 강수는 지역에 따라 발생양상이 매우 다른 자연현상 중 하나이다. 이러한 강수를 효과적으로 분석하여 확률강수량을 산정하기위해서 수문학에서는 다양한 방법이 시도되어 왔다. 우리나라에서는 지점빈도해석을 통한 확률강수량을 주로 사용해왔으나 최근 들어 Hosking and Wallis(1997)가 제안한 지역빈도해석을 활용을 적극 도모 하고 있는 중이다. 이러한 지역빈도해석 기법은 지점빈도해석 기법에 비하여 한정된 강수자료를 활용하는 측면 등 여러 가지 장점을 가진 확률 강수량 산정방법이다. 그러나 이 기법을 적용하여 확률강수량을 산정하기 위해서는 강수의 지역구분을 먼저 수행하여야 한다. 강수지역의 구분을 위해서는 여러 가지 기법이 존재하나 최근에는 Cluster 기법 중 K-means 방법이나 Fuzzy c-means 방법 등을 주로 적용하여 지역구분을 수행하고 있다. 그러나 K-means 방법이나 Fuzzy c-means 방법 등은 산정 방법내에서 최적 군집수를 결정할 수 있는 알고리즘이 없기 때문에 임의적으로 최적 군집수를 결정하여야 한다. 본 연구에서는 이러한 단점을 극복하기 위하여 Cluster 평가지수 중 하나인 Dunn 지수를 이용하여 최적 군집수를 제시하고자 한다. 본 연구에서 강수지역을 구분하기 위하여 적용한 인자는 월 평균 강수량, 연 평균 강수량, 월 최대 강수량, 경도, 위도, 고도 등이며, 이를 K-means, PAM 및 친근도 전파 기법을 통하여 강수지역을 구분하였다. 적정 군집수를 임의적으로 증가시켜 가면서 Dunn 지수를 산정하였다. 산정된 결과를 통하여 최적 군집수를 결정하였다.

  • PDF

XML Document Clustering Technique by K-means algorithm through PCA (주성분 분석의 K 평균 알고리즘을 통한 XML 문서 군집화 기법)

  • Kim, Woo-Saeng
    • The KIPS Transactions:PartD
    • /
    • v.18D no.5
    • /
    • pp.339-342
    • /
    • 2011
  • Recently, researches are studied in developing efficient techniques for accessing, querying, and storing XML documents which are frequently used in the Internet. In this paper, we propose a new method to cluster XML documents efficiently. We use a K-means algorithm with a Principal Component Analysis(PCA) to cluster XML documents after they are represented by vectors in the feature vector space by transferring them as names and levels of the elements of the corresponding trees. The experiment shows that our proposed method has a good result.

Comparison between at-site frequency analysis and regional frequency analysis at Gangwon Province (강원도에서의 지점빈도분석과 지역빈도분석의 비교)

  • Seo, Dong Il;Kim, Sang Ug;Jeon, Young Il;Han, Jae Wook
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.205-205
    • /
    • 2023
  • 지역 빈도 분석과 점 빈도 분석은 하천 기본계획 및 수공 구조물의 설계에 있어 재현기간 별 확률강우량을 산정하기 위한 방법이다. 점 빈도 분석은 자료의 수가 부족하여 높은 재현기간에 대한 확률강우량을 산정하기에 어려운 점이 있다. 2019년도부터 사용되고 있는 지역빈도분석 방법은 이러한 점을 보완해주고 있다. 지역빈도분석을 수행하기 위해서는 지역의 동질성을 확인하는 과정이 가장 중요한 과정이다. 이러한 동질성을 판단하기 위하여 K-means등의 군집분석과 L-moment 법 등을 사용하고 있다. 이러한 차이점으로 인해 두 방법 간의 정확성은 비교가 어려우나 서로 간의 장점, 단점과 결과 간의 차이를 기반으로 산간지역이 많은 강원도와 같은 지역에 대한 확률강우량 산정의 적절한 방법을 판단해보고자 본 연구를 진행하였다. 지역 빈도 분석은 강원도에 위치한 48개 관측소의 강우 자료 수집 후 고도, 위치, 지속시간 별 강우량을 변수로 지정하고 K-means 분석을 통해 6개의 군집으로 구분하여 수행되었다. 이질성 척도는 관측 자료와 500번의 모의 수행을 통해 결정하였다. 이후 분석된 군집이 동질한 경우 확률분포형에 적합시켜 확률강우량을 산정하였다. 점 빈도 분석은 지역 빈도 분석에서 결정된 군집에서의 최대 강우량과 최소 강우량 관측소의 자료를 이용하여 수행하였다. 본 연구에서는 점빈도분석과 지역빈도분석의 결과를 비교하였으며, 두 가지 분석 방법에 따른 차이의 발생원인 및 특성을 결론으로 제시하였다.

  • PDF

Construction of Onion Sentiment Dictionary using Cluster Analysis (군집분석을 이용한 양파 감성사전 구축)

  • Oh, Seungwon;Kim, Min Soo
    • Journal of the Korean Data Analysis Society
    • /
    • v.20 no.6
    • /
    • pp.2917-2932
    • /
    • 2018
  • Many researches are accomplished as a result of the efforts of developing the production predicting model to solve the supply imbalance of onions which are vegetables very closely related to Korean food. But considering the possibility of storing onions, it is very difficult to solve the supply imbalance of onions only with predicting the production. So, this paper's purpose is trying to build a sentiment dictionary to predict the price of onions by using the internet articles which include the informations about the production of onions and various factors of the price, and these articles are very easy to access on our daily lives. Articles about onions are from 2012 to 2016, using TF-IDF for comparing with four kinds of TF-IDFs through the documents classification of wholesale prices of onions. As a result of classifying the positive/negative words for price by k-means clustering, DBSCAN (density based spatial cluster application with noise) clustering, GMM (Gaussian mixture model) clustering which are partitional clustering, GMM clustering is composed with three meaningful dictionaries. To compare the reasonability of these built dictionary, applying classified articles about the rise and drop of the price on logistic regression, and it shows 85.7% accuracy.