• 제목/요약/키워드: K-means cluster

검색결과 616건 처리시간 0.025초

대용량 위성영상의 무감독 분류를 위한 k-Means Clustering 알고리즘의 병렬처리: 다중코어와 PC-Cluster를 이용한 Hybrid 방식 (Parallel Processing of k-Means Clustering Algorithm for Unsupervised Classification of Large Satellite Images: A Hybrid Method Using Multicores and a PC-Cluster)

  • 한수희;송정헌
    • 한국측량학회지
    • /
    • 제37권6호
    • /
    • pp.445-452
    • /
    • 2019
  • 본 연구에서는 대용량 위성영상의 무감독분류를 위해 k-means clustering 알고리즘의 병렬처리 코드를 개발하여 PC-cluster에서 구현하였다. 이를 위해 OpenMP (Open Multi-Processing)를 기반으로 CPU (Central Processing Unit)의 다중코어를 이용하는 intra-node 코드와 message passing interface를 기반으로 PC-cluster를 이용하는 inter-nodes 코드, 그리고 이 둘을 병용하는 hybrid 코드를 구현하였다. 본 연구에 사용한 PC-cluster는 한 대의 마스터 노드와 여덟 대의 슬래이브 노드로 구성되어 있고 각 노드에는 여덟 개의 다중코어가 장착되어 있다. PC-cluster에는 Microsoft Windows와 Canonical Ubuntu의 두 가지 운영체제를 설치하여 병렬처리 성능을 비교하였다. 실험에 사용한 자료는 두 가지 다중분광 위성영상으로서 중용량인 LANDSAT 8 OLI (Operational Land Imager) 영상과 대용량인 Sentinel 2A 영상이다. 병렬처리의 성능을 평가하기 위하여 speedup과 efficiency를 측정한 결과 전반적으로 speedup은 N/2 이상, efficiency는 0.5 이상으로 나타났다. Microsoft Windows와 Canonical Ubuntu를 비교한 결과 Ubuntu가 2-3배의 빠른 결과를 나타내었다. 순차처리와 병렬처리 결과가 일치하는지 확인하기 위해 각 클래스의 밴드별 중심값과 분류된 화소의 수를 비교하고 결과 영상간 화소대 화소 비교도 수행하였다. Intra-node 코드를 구현할 때에는 OpenMP에 의한 false sharing이 발생하지 않도록 주의해야 하고, PC-cluster에서 대용량 위성영상을 처리하기 위해서는 파일 I/O에 의한 성능저하를 줄일 수 있도록 코드 및 하드웨어를 설계해야 함을 알 수 있었다. 또한 PC-cluster에 설치된 운영체제에 따라서도 성능 차이가 발생함을 알 수 있었다.

X-means 확장을 통한 효율적인 집단 개수의 결정 (Extensions of X-means with Efficient Learning the Number of Clusters)

  • 허경용;우영운
    • 한국정보통신학회논문지
    • /
    • 제12권4호
    • /
    • pp.772-780
    • /
    • 2008
  • K-means는 알고리즘의 단순함과 효율적인 구현이 가능함으로 인해 군집화를 위해 현재까지 널리 사용되는 방법 중 하나이다. 하지만 K-means는 집단의 개수가 사전에 결정되어야 하는 근본적인 문제점이 있다. 이 논문에서는 BIC(Bayesian information criterion) 점수를 이용하여 효율적으로 집단의 개수를 추정할 수 있는 X-means 알고리즘을 확장한 두 가지 알고리즘을 제안한다. 제안한 방법은 기본적으로 X-means 방법을 따르면서 집단이 임의의 분산 행렬을 가질 수 있도록 함으로써 X-means 알고리즘이 원형 집단만을 허용함에 따른 over-fitting을 개선한다. 제안한 방법은 하나의 집단에서 시작하여 계속해서 집단을 나누어가는 하향식 방법으로, BIC score를 최대로 증가시키는 집단을 분할해 나간다. 제안한 알고리즘은 Modified X-means(MX-means)와 Generalized X-means(GX-means)의 두 가지로, 전자는 K-means 알고리즘을, 후자는 EM 알고리즘을 사용하여 현재 주어진 집단들에서 최적의 분할을 찾아낸다. MX-means는 GX-means보다 그 속도에서 앞서지만 집단들이 중첩 된 경우에는 올바른 집단을 찾아낼 수 없는 단점이 있다. GX-means는 실행 속도가 느린 단점이 있지만 집단들이 중첩된 경우에도 안정적으로 집단들을 찾아낼 수 있다. 이러한 점들은 일련의 실험을 통해서 확인할 수 있으며, 제안한 방법들이 기존의 방법들에 비해 나은 성능을 보임을 확인할 수 있다.

A Study on Efficient Cluster Analysis of Bio-Data Using MapReduce Framework

  • Yoo, Sowol;Lee, Kwangok;Bae, Sanghyun
    • 통합자연과학논문집
    • /
    • 제7권1호
    • /
    • pp.57-61
    • /
    • 2014
  • This study measured the stream data from the several sensors, and stores the database in MapReduce framework environment, and it aims to design system with the small performance and cluster analysis error rate through the KMSVM algorithm. Through the KM-SVM algorithm, the cluster analysis effective data was used for U-health system. In the results of experiment by using 2003 data sets obtained from 52 test subjects, the k-NN algorithm showed 79.29% cluster analysis accuracy, K-means algorithm showed 87.15 cluster analysis accuracy, and SVM algorithm showed 83.72%, KM-SVM showed 90.72%. As a result, the process speed and cluster analysis effective ratio of KM-SVM algorithm was better.

기온과 강수량의 수치모델 격자자료를 이용한 기상관측지점의 월별 군집화 (Cluster analysis by month for meteorological stations using a gridded data of numerical model with temperatures and precipitation)

  • 김희경;김광섭;이재원;이영섭
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권5호
    • /
    • pp.1133-1144
    • /
    • 2017
  • 기상자료를 이용한 군집분석은 기상 특성에 근거한 기상 지역의 세분화를 가능하게 하고 군집을 이루는 지형별 기상 특성의 파악을 용이하게 한다. 이때 기상관측자료를 이용한 군집분석은 관측지점의 밀도가 다르기 때문에 우리나라의 기상특성이 고르게 반영되지 못할 수 있다. 반면 수치모델 격자자료는 $5km{\times}5km$ 간격으로 조밀하고 고른 자료의 생산이 가능하므로 우리나라의 기상 특성을 고르게 반영할 수 있다. 본 연구에서는 기온과 강수량의 수치모델 격자자료를 이용하여 군집분석을 수행하고, 그 결과를 바탕으로 기상관측지점에 대한 군집을 결정하였다. 기상 특성이 월별로 상이할 수 있기 때문에 군집분석은 월별로 수행하였으며, K-Means 군집분석 방법의 단점을 보완하고자 계층적 군집분석 방법인 Ward 방법과 결합하여 적용하였다. 그 결과 우리나라 기상관측지점들에 대해 시 공간적으로 세분화된 군집화가 이루어졌다.

개선된 밀도 기반의 퍼지 C-Means 알고리즘을 이용한 클러스터 합병 (Cluster Merging Using Enhanced Density based Fuzzy C-Means Clustering Algorithm)

  • 한진우;전성해;오경환
    • 한국지능시스템학회논문지
    • /
    • 제14권5호
    • /
    • pp.517-524
    • /
    • 2004
  • 1960년대 퍼지 이론이 소개된 이후 데이터 마이닝을 포함한 기계 학습 분야의 군집화 작업에서 퍼지 이론이 폭넓게 사용되었다. 퍼지 C-평균 알고리즘은 가장 많이 사용되는 퍼지 군집화 알고리즘이다. 이 알고리즘은 하나의 데이터 개체가 서로 다른 소속 정도를 가지고 각 군집에 할당될 수 있도록 한다. 퍼지 C-평균 알고리즘도 K-평균 알고리즘과 같은 일반적인 군집화 알고리즘과 마찬가지로 초기 군집수와 군집 중심의 위치에 의해 최종 군집 결과의 성능 차이가 나타난다. 군집화를 위한 이러한 초기 설정은 주관적이며 이 때문에 적절치 못한 결과를 얻게 될 수도 있다. 본 논문에서는 이 문제를 해결할 수 있는 방법으로 주어진 학습 데이터의 속성을 기반으로 한 초기 군집수와 군집 중심을 결정하는 개선된 밀도 기반의 퍼지 C-평균 알고리즘을 제안하였다. 제안 방법은 격자를 사용하여 초기 군집 중심의 위치와 군집수를 결정하였다. 기존에 많이 이용되었던 객관적인 기계 학습 데이터를 이용하여 제안 알고리즘의 성능비교를 수행하였다.

Repeated Clustering to Improve the Discrimination of Typical Daily Load Profile

  • Kim, Young-Il;Ko, Jong-Min;Song, Jae-Ju;Choi, Hoon
    • Journal of Electrical Engineering and Technology
    • /
    • 제7권3호
    • /
    • pp.281-287
    • /
    • 2012
  • The customer load profile clustering method is used to make the TDLP (Typical Daily Load Profile) to estimate the quarter hourly load profile of non-AMR (Automatic Meter Reading) customers. This study examines how the repeated clustering method improves the ability to discriminate among the TDLPs of each cluster. The k-means algorithm is a well-known clustering technology in data mining. Repeated clustering groups the cluster into sub-clusters with the k-means algorithm and chooses the sub-cluster that has the maximum average error and repeats clustering until the final cluster count is satisfied.

무선 센서 네트워크에서의 머신러닝을 활용한 에너지 효율적인 클러스터 라우팅 방안 연구 (Energy Efficient Cluster Routing Method Using Machine Learning in WSN)

  • 강미영
    • 한국정보통신학회논문지
    • /
    • 제27권1호
    • /
    • pp.124-130
    • /
    • 2023
  • 본 논문에서는 K-평균 군집화 알고리즘을 사용하는 머신러닝을 활용하여 무선 센서 네트워크에서 센서 노드의 에너지 효율성을 향상시켜 네트워크의 수명을 향상시키고자 한다. 무선 센서 네트워크는 물리적인 센서로 배터리를 포함한 물리적 장치를 무선 네트워크로 구성한 것으로 센서 노드의 특성 상 에너지 소비를 최소화하여 네트워크 수 명을 최대화하기 위해 모든 자원을 효율적으로 사용해야 한다. 클러스터기반 접근 방식은 상대적으로 많은 수의 노 들로 구성된 그룹을 관리하는데 사용된다. 제안된 프로토콜에서는 기존의 LEACH 알고리즘을 개선하여 클러스터 기반 접근방식과 위치기반 접근 방식을 사용하여 클러스터 헤드를 선정하는 클러스터링 알고리즘을 제안한다. 개선 하고자 했던 성능 결과를 Matlab 시뮬레이션을 이용하여 측정하였다. 실험 결과를 통해 에너지 효율성 부분에 대해 K-means 클러스터링을 적용함으로써 에너지 효율이 개선되어 젠체 네트워크의 수명이 연장됨을 확인한다.

A Hybrid Genetic Algorithm for K-Means Clustering

  • Jun, Sung-Hae;Han, Jin-Woo;Park, Minjae;Oh, Kyung-Whan
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2003년도 ISIS 2003
    • /
    • pp.330-333
    • /
    • 2003
  • Initial cluster size for clustering of partitioning methods is very important to the clustering result. In K-means algorithm, the result of cluster analysis becomes different with optimal cluster size K. Usually, the initial cluster size is determined by prior and subjective information. Sometimes this may not be optimal. Now, more objective method is needed to solve this problem. In our research, we propose a hybrid genetic algorithm, a tree induction based evolution algorithm, for determination of optimal cluster size. Initial population of this algorithm is determined by the number of terminal nodes of tree induction. From the initial population based on decision tree, our optimal cluster size is generated. The fitness function of ours is defined an inverse of dissimilarity measure. And the bagging approach is used for saying computational time cost.

  • PDF

EEC-FM: Energy Efficient Clustering based on Firefly and Midpoint Algorithms in Wireless Sensor Network

  • Daniel, Ravuri;Rao, Kuda Nageswara
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권8호
    • /
    • pp.3683-3703
    • /
    • 2018
  • Wireless sensor networks (WSNs) consist of set of sensor nodes. These sensor nodes are deployed in unattended area which are able to sense, process and transmit data to the base station (BS). One of the primary issues of WSN is energy efficiency. In many existing clustering approaches, initial centroids of cluster heads (CHs) are chosen randomly and they form unbalanced clusters, results more energy consumption. In this paper, an energy efficient clustering protocol to prevent unbalanced clusters based on firefly and midpoint algorithms called EEC-FM has been proposed, where midpoint algorithm is used for initial centroid of CHs selection and firefly is used for cluster formation. Using residual energy and Euclidean distance as the parameters for appropriate cluster formation of the proposed approach produces balanced clusters to eventually balance the load of CHs and improve the network lifetime. Simulation result shows that the proposed method outperforms LEACH-B, BPK-means, Park's approach, Mk-means, and EECPK-means with respect to balancing of clusters, energy efficiency and network lifetime parameters. Simulation result also demonstrate that the proposed approach, EEC-FM protocol is 45% better than LEACH-B, 17.8% better than BPK-means protocol, 12.5% better than Park's approach, 9.1% better than Mk-means, and 5.8% better than EECPK-means protocol with respect to the parameter half energy consumption (HEC).

K-means Clustering 기법과 신경망을 이용한 실시간 교통 표지판의 위치 인식 (Real-Time Traffic Sign Detection Using K-means Clustering and Neural Network)

  • 박정국;김경중
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.491-493
    • /
    • 2011
  • Traffic sign detection is the domain of automatic driver assistant systems. There are literatures for traffic sign detection using color information, however, color-based method contains ill-posed condition and to extract the region of interest is difficult. In our work, we propose a method for traffic sign detection using k-means clustering method, back-propagation neural network, and projection histogram features that yields the robustness for ill-posed condition. Using the color information of traffic signs enables k-means algorithm to cluster the region of interest for the detection efficiently. In each step of clustering, a cluster is verified by the neural network so that the cluster exactly represents the location of a traffic sign. Proposed method is practical, and yields robustness for the unexpected region of interest or for multiple detections.