• 제목/요약/키워드: clustering algorithms

검색결과 611건 처리시간 0.024초

Improvement of Support Vector Clustering using Evolutionary Programming and Bootstrap

  • Jun, Sung-Hae
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제8권3호
    • /
    • pp.196-201
    • /
    • 2008
  • Statistical learning theory has three analytical tools which are support vector machine, support vector regression, and support vector clustering for classification, regression, and clustering respectively. In general, their performances are good because they are constructed by convex optimization. But, there are some problems in the methods. One of the problems is the subjective determination of the parameters for kernel function and regularization by the arts of researchers. Also, the results of the learning machines are depended on the selected parameters. In this paper, we propose an efficient method for objective determination of the parameters of support vector clustering which is the clustering method of statistical learning theory. Using evolutionary algorithm and bootstrap method, we select the parameters of kernel function and regularization constant objectively. To verify improved performances of proposed research, we compare our method with established learning algorithms using the data sets form ucr machine learning repository and synthetic data.

Semantic-Based K-Means Clustering for Microblogs Exploiting Folksonomy

  • Heu, Jee-Uk
    • Journal of Information Processing Systems
    • /
    • 제14권6호
    • /
    • pp.1438-1444
    • /
    • 2018
  • Recently, with the development of Internet technologies and propagation of smart devices, use of microblogs such as Facebook, Twitter, and Instagram has been rapidly increasing. Many users check for new information on microblogs because the content on their timelines is continually updating. Therefore, clustering algorithms are necessary to arrange the content of microblogs by grouping them for a user who wants to get the newest information. However, microblogs have word limits, and it has there is not enough information to analyze for content clustering. In this paper, we propose a semantic-based K-means clustering algorithm that not only measures the similarity between the data represented as a vector space model, but also measures the semantic similarity between the data by exploiting the TagCluster for clustering. Through the experimental results on the RepLab2013 Twitter dataset, we show the effectiveness of the semantic-based K-means clustering algorithm.

휴리스틱 진화에 기반한 효율적 클러스터링 알고리즘 (An Efficient Clustering Algorithm based on Heuristic Evolution)

  • 류정우;강명구;김명원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권1_2호
    • /
    • pp.80-90
    • /
    • 2002
  • 클러스터링이란 한 군집에 포함된 데이터들 간의 유사한 성질을 갖도록 데이터들을 묶는 것으로 패턴인식, 영상처리 등의 공학 분야에 널리 적용되고 있을 뿐만 아니라, 최근 많은 관심의 대상이 되고 있는 데이터 마이닝의 주요 기술로서 활발히 응용되고 있다. 클러스터링에 있어서 K-means나 FCM(Fuzzy C-means)와 같은 기존의 알고리즘들은 지역적 최적해에 수렴하는 것과 사전에 클러스터 개수를 미리 결정해야 하는 문제점을 개선하였으며, 클러스터링의 특성을 분산도와 분리도로 정의하였다. 분산도는 임의의 클러스터의 중심으로부터 포함된 데이터들이 어느 정도 흩어져 있는지를 나타내는 척도인 반면, 분리도는 임의의 데이터와 모든 클러스터 중심간의 거리의 비율로서 얻어지는 소속정도를 고려하여 클러스터 중심간의 거리를 나타내는 척도이다. 이 두 척도를 이용하여 자동으로 적절한 클러스터 개수를 결정하게 하였다. 또한 진화알고리즘의 문제점인 탐색공간의 확대에 따른 수행시간의 증가는 휴리스틱 연산을 적용함으로써 크게 개선하였다. 제안한 알고리즘의 성능 및 타당성을 보이기 위해 이차원과 다차원 실험데이타를 사용하여 실험한 결과 제안한 알고리즘의 성능이 우수함을 나타내었다.

A Determination of an Optimal Clustering Method Based on Data Characteristics

  • Kim, Jeong-Hun;Yoo, Kwan-Hee;Nasridinov, Aziz
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제7권8호
    • /
    • pp.305-314
    • /
    • 2017
  • Clustering is a method that collects data objects into groups based on their similary. Performance of the state-of-the-art clustering methods is different according to the data characteristics. There have been numerous studies that performed experiments to compare the accuracy of the state-of-the-art clustering methods by applying various kinds of datasets. A common problem of these studies is that they only consider clustering algorithms that yield the most accurate results for a particular dataset. They do not consider what factors affect the execution time of each clustering method and how they are affected. Nevertheless, execution time is an important factor in clustering performance if there is no significant difference in accuracy. In order to solve the problems of the existing research, through a series of experiments using various types of datasets, we compare the accuracy of four representative clustering methods. In addition, we perform practical clustering performance comparisons by deriving time complexity and identifying factors that influences to its performance.

k-Modes 분할 알고리즘에 의한 군집의 상관정보 기반 빅데이터 분석 (A Big Data Analysis by Between-Cluster Information using k-Modes Clustering Algorithm)

  • 박인규
    • 디지털융복합연구
    • /
    • 제13권11호
    • /
    • pp.157-164
    • /
    • 2015
  • 본 논문은 융복합을 위한 범주형 데이터의 부공간에 의한 군집화에 대해서 다룬다. 범주형 데이터는 수치형 데이터에만 국한되지 않기 때문에 기존의 범주형 데이터들의 평가척도들은 순서화(ordering)의 부재와 데이터의 고차원성과 희소성으로 인하여 한계를 가지기 마련이다. 따라서 각각의 군집에 존재하는 범주형 속성들의 상호 유사도을 보다 근접하게 측정할 수 있는 조건부 엔트로피 척도를 제안한다. 또한 군집의 최적화를 위하여 군집내의 발산을 최소화하고, 군집간의 독립성을 향상시킬 수 있는 새로운 목적함수를 제안한다. 제안된 알고리즘의 성능을 4개의 알고리즘과 비교검증하기 위하여 5가지의 데이터에 대하여 실험을 수행하였다. 비교검증을 위한 평가척도는 정확도, f-척도와 적응된 Rand 색인이다. 실험을 통하여 제안된 방법이 평가척도에 의한 결과에서 기존의 방법들보다 좋은 성능을 보였다.

Iterative LBG Clustering for SIMO Channel Identification

  • Daneshgaran, Fred;Laddomada, Massimiliano
    • Journal of Communications and Networks
    • /
    • 제5권2호
    • /
    • pp.157-166
    • /
    • 2003
  • This paper deals with the problem of channel identification for Single Input Multiple Output (SIMO) slow fading channels using clustering algorithms. Due to the intrinsic memory of the discrete-time model of the channel, over short observation periods, the received data vectors of the SIMO model are spread in clusters because of the AWGN noise. Each cluster is practically centered around the ideal channel output labels without noise and the noisy received vectors are distributed according to a multivariate Gaussian distribution. Starting from the Markov SIMO channel model, simultaneous maximum ikelihood estimation of the input vector and the channel coefficients reduce to one of obtaining the values of this pair that minimizes the sum of the Euclidean norms between the received and the estimated output vectors. Viterbi algorithm can be used for this purpose provided the trellis diagram of the Markov model can be labeled with the noiseless channel outputs. The problem of identification of the ideal channel outputs, which is the focus of this paper, is then equivalent to designing a Vector Quantizer (VQ) from a training set corresponding to the observed noisy channel outputs. The Linde-Buzo-Gray (LBG)-type clustering algorithms [1] could be used to obtain the noiseless channel output labels from the noisy received vectors. One problem with the use of such algorithms for blind time-varying channel identification is the codebook initialization. This paper looks at two critical issues with regards to the use of VQ for channel identification. The first has to deal with the applicability of this technique in general; we present theoretical results for the conditions under which the technique may be applicable. The second aims at overcoming the codebook initialization problem by proposing a novel approach which attempts to make the first phase of the channel estimation faster than the classical codebook initialization methods. Sample simulation results are provided confirming the effectiveness of the proposed initialization technique.

범주형 데이터의 분류를 위한 퍼지 군집화 기법 (A Fuzzy Clustering Algorithm for Clustering Categorical Data)

  • 김대원;이광형
    • 한국지능시스템학회논문지
    • /
    • 제13권6호
    • /
    • pp.661-666
    • /
    • 2003
  • 본 논문에서는 범주형 데이터의 분류를 위한 새로운 기법을 제시한다. 기존의 대표적인 퍼지 군집화 방법인 k-modes 알고리즘과 fuzzy k-modes 알고리즘은 군집의 중심을 단일 값으로 표현하고, 군집에 속하는 데이터의 빈도 수에 기반한 중신 갱신 기법을 사용하였다. 이와 같은 기존의 방법들은 분류의 경계가 모호한 데이트를 군집화할 경우, 알고리즘의 각 단계에서 발생하는 분류의 에러를 보정하지 못해 최종적으로 지역해에 빠지는 단점이 있다. 이를 극복하기 위해 본 논문에서는 군집 중심을 퍼지 집합을 이용하여 정의한다. 퍼지 군집 중심은 주어진 데이터와 군집간의 거리 관계를 퍼지 값을 이용해 표현하며, 각 군집의 중심은 데이터의 소속 정도 값을 이용해 갱신된다. 이와 같은 퍼지 중심 표현기법을 도입하여 범주형 데이터의 분류 시에 보다 세밀한 결정을 내림으로써, 인접한 군집들의 경계에서 발생하는 불확실성을 최소화한다. 기존의 대표적인 방법들과의 비교실험을 수행함으로써 제안한 방법의 성능을 검증하였다.

수요응답형 대중교통체계를 위한 클러스터링 기반의 다중차량 경로탐색 방법론 연구 (Study on Multi-vehicle Routing Problem Using Clustering Method for Demand Responsive Transit)

  • 김지후;김정윤;여화수
    • 한국ITS학회 논문지
    • /
    • 제19권5호
    • /
    • pp.82-96
    • /
    • 2020
  • 수요응답형 대중교통체계 시스템은 사용자의 요청에 따라 서비스 차량의 경로와 스케줄을 설정하는 유동적인 대중교통 서비스이다. 도시 지역에서 대중교통 시스템의 중요성이 증가함에 따라, 수요응답형 대중교통체계를 위한 안정적이고 빠른 경로탐색 방법의 개발 또한 다양하게 연구되고 있다. 본 연구에서는 빠르고 효율적인 다중차량경로 탐색을 위해, 수요 기종점들의 클러스터링 기술을 활용한 종점수요 우선탐색의 휴리스틱 방법이 제안되었다. 제안된 방법은 기종점 수요 분포가 무작위인 경우, 집중된 경우와 방향성을 가지는 경우에 대하여 테스트되었다. 제안된 알고리즘은 수요밀도의 증가로 인한 서비스 비율의 감소를 저감시키며, 계산 속도가 비교적 빠른 장점을 보인다. 또한, 다른 클러스터링 기반 알고리즘에 비해 수요밀도 증가에 따른 서비스 비율 감소율이 낮고, 차량 용량의 활용성이 개선된 반면, 차량 운행경로 길이의 증가로 승객의 차량 탑승시간은 상대적으로 증가하는 특성을 보인다.

위치정보 및 사용자 경험을 반영하는 모바일 PA에이전트의 설계 (Designing mobile personal assistant agent based on users' experience and their position information)

  • 강신봉;노상욱
    • 인터넷정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.99-110
    • /
    • 2011
  • 급변하는 모바일 환경에서 스마트폰을 비롯한 모바일 기기는 엔터테인먼트, 비즈니스, 정보서비스 등 사용자들의 삶의 방식을 직접적으로 변화시키는 핵심 도구로써의 역할을 하고 있다. 모바일 서비스 중 특히 사용자의 위치정보를 활용하여 서비스를 제공하는 위치기반 서비스(Location Based Service)는 검색, 증강현실, 모바일 SNS(Social Network Service), 게임 등의 다른 서비스 및 콘텐츠와 결합하여 사용자의 다양한 요구를 충족시키며 주요 서비스로 자리 잡아 가고 있다. 본 논문에서는 모바일 서비스가 갖는 잠재적 가능성을 이용하여 모바일 기기의 사용성을 증대시키며, 서비스의 복잡성을 해결하기 위하여 복잡한 태스크를 숨기고 사용자를 대신하여 프로세스를 수행시킬 수 있는 방안에 중점을 둔다. 사용자의 의도 혹은 선호도를 파악하여 사용자에게 개인화된 서비스를 제공하는 PA(Personal Assistant) 에이전트의 개념을 모바일 환경에 적용하기 위한 기법을 제시한다. 사용자의 선호도를 파악하고 개인화된 서비스를 제공하기 위하여 클러스터링 알고리즘과 데이터 분류 알고리즘을 사용하였다. 실험을 통하여 사용자 패턴별로 생성한 클러스터에 분류 알고리즘을 적용한 결과에 대한 분류정확도를 측정하였으며, 제안한 기법의 클러스터별 분류 정확도는 기존의 기법과 비교하여 17.42% 증가하였다.

[Retracted]Hot Spot Analysis of Tourist Attractions Based on Stay Point Spatial Clustering

  • Liao, Yifan
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.750-759
    • /
    • 2020
  • The wide application of various integrated location-based services (LBS social) and tourism application (app) has generated a large amount of trajectory space data. The trajectory data are used to identify popular tourist attractions with high density of tourists, and they are of great significance to smart service and emergency management of scenic spots. A hot spot analysis method is proposed, based on spatial clustering of trajectory stop points. The DBSCAN algorithm is studied with fast clustering speed, noise processing and clustering of arbitrary shapes in space. The shortage of parameters is manually selected, and an improved method is proposed to adaptively determine parameters based on statistical distribution characteristics of data. DBSCAN clustering analysis and contrast experiments are carried out for three different datasets of artificial synthetic two-dimensional dataset, four-dimensional Iris real dataset and scenic track retention point. The experiment results show that the method can automatically generate reasonable clustering division, and it is superior to traditional algorithms such as DBSCAN and k-means. Finally, based on the spatial clustering results of the trajectory stay points, the Getis-Ord Gi* hotspot analysis and mapping are conducted in ArcGIS software. The hot spots of different tourist attractions are classified according to the analysis results, and the distribution of popular scenic spots is determined with the actual heat of the scenic spots.