• 제목/요약/키워드: clustering feature

검색결과 444건 처리시간 0.033초

고차원 데이터 처리를 위한 SVM기반의 클러스터링 기법 (SVM based Clustering Technique for Processing High Dimensional Data)

  • 김만선;이상용
    • 한국지능시스템학회논문지
    • /
    • 제14권7호
    • /
    • pp.816-820
    • /
    • 2004
  • 클러스터링은 데이터 집합을 유사한 데이터 개체들의 클러스터들로 분할하여 데이터 속에 존재하는 의미 있는 정보를 얻는 과정이다. 클러스터링의 주요 쟁점은 고차원 데이터를 효율적으로 클러스터링하는 것과 최적화 문제를 해결하는 것이다. 본 논문에서는 SVM(Support Vector Machines)기반의 새로운 유사도 측정법과 효율적으로 클러스터의 개수를 생성하는 방법을 제안한다. 고차원의 데이터는 커널 함수를 이용해 Feature Space로 매핑시킨 후 이웃하는 클러스터와의 유사도를 측정한다. 이미 생성된 클러스터들은 측정된 유사도 값과 Δd 임계값에 의해서 원하는 클러스터의 개수를 얻을 수 있다. 제안된 방법을 검증하기 위하여 6개의 UCI Machine Learning Repository의 데이터를 사용한 결과, 제시된 클러스터의 개수와 기존의 연구와 비교하여 향상된 응집도를 얻을 수 있었다.

한글 위키피디아를 이용한 트위터 문서의 주제별 클러스터링 기법 (Topical Clustering Techniques of Twitter Documents Using Korean Wikipedia)

  • 장재영
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권5호
    • /
    • pp.189-196
    • /
    • 2014
  • 최근 들어 트위터와 같은 SNS 환경에서 검색의 필요성이 증가하고 있다. 트위터 검색을 지원하기 위해서는 다량으로 검색된 문서를 주제별로 분류하는 클러스터링 기법이 필요하다. 하지만 트위터의 특성상 단순한 클러스터링 기술을 그대로 적용하기에는 많은 제약이 따른다. 본 논문에서는 이를 극복하기 위해 트위터 환경에 적합한 클러스터링 기법을 제안한다. 제안된 기법에서는 한글 위키피디아를 이용하여 각 트위터 문서에 대한 특징 벡터를 보강하고 각 특징들의 가중치를 재계산하는 방법을 이용하였다. 또한 한글 트위터 문서를 대상으로 실험을 실시하고 기존 기법과의 성능 비교를 통해서 제안된 기법의 유용성을 증명하였다.

퍼지 매핑을 이용한 퍼지 패턴 분류기의 Feature Selection (Feature Selection of Fuzzy Pattern Classifier by using Fuzzy Mapping)

  • 노석범;김용수;안태천
    • 한국지능시스템학회논문지
    • /
    • 제24권6호
    • /
    • pp.646-650
    • /
    • 2014
  • 본 논문에서는 다차원 문제로 인하여 발생하는 패턴 분류 성능의 저하를 방지 하여 퍼지 패턴 분류기의 성능을 개선하기 위하여 다수의 Feature들 중에서 패턴 분류 성능 향상에 기여하는 Feature를 선택하기 위한 새로운 Feature Selection 방법을 제안 한다. 새로운 Feature Selection 방법은 각각의 Feature 들을 퍼지 클러스터링 기법을 이용하여 클러스터링 한 후 각 클러스터가 임의의 class에 속하는 정도를 계산하고 얻어진 값을 이용하여 해당 feature 가 fuzzy pattern classifier에 적용될 경우 패턴 분류 성능 개선 가능성을 평가한다. 평가된 성능 개선 가능성을 기반으로 이미 정해진 개수만큼의 Feature를 선택하는 Feature Selection을 수행한다. 본 논문에서는 제안된 방법의 성능을 평가, 비교하기 위하여 다수의 머신 러닝 데이터 집합에 적용한다.

GLVQ클러스터링을 위한 필기체 숫자의 효율적인 특징 추출 방법 (The Efficient Feature Extraction of Handwritten Numerals in GLVQ Clustering Network)

  • 전종원;민준영
    • 한국정보처리학회논문지
    • /
    • 제2권6호
    • /
    • pp.995-1001
    • /
    • 1995
  • 패턴인식은 전처리, 특징추출, 식별의 과정을 거쳐 인식을 하게된다. 식별과정 에서 여러개의 패턴이 흩어져 있을 경우에 유사한 패턴끼리 클러스터링을 위하여 한 카테고리 내에서 패턴을 분할하게 된다. 클러스터링 방법에는 통계적인 방법으로 k-means 방법, ISODATA알고리즘등이 있으며〔1〕, 최근에는 신경망에 의한 클러스터링 방법으로 T, Kohonen의 LVQ(Learning Vector Quantization)가 주로 이용되었다〔6〕. Nikhil R, Pal. et al은 LVQ알고리즘을 보다 개선한 방법으로 GLVQ(Generalized LVQ, 1993)를 제안하였다〔4〕.본 논문은 GLVQ 알고니즘으로 패턴을 클러스터링 할 경우에 효율적인 특징추출 방법을 제안한다. 본 논문에서는 20명의 필기체 숫자 0에서 9까지 의 200개 패턴을 여러 가지 방법으로 특징 추출하여 GLVQ알고리즘으로 10개(0-9의 패턴) 의 클러스터로 구분하고, 해당 클러스터에서 오분류되는 패턴의 비율로서 그 효율성을 비교 하였다. 그 결과 투영조합 방법을 이용하였을 경우 98.5%의 분류율을 나타내었다.

  • PDF

DEA를 이용한 의사결정단위의 클러스터링 (Clustering of Decision Making Units using DEA)

  • 김경택
    • 산업경영시스템학회지
    • /
    • 제37권4호
    • /
    • pp.239-244
    • /
    • 2014
  • The conventional clustering approaches are mostly based on minimizing total dissimilarity of input and output. However, the clustering approach may not be helpful in some cases of clustering decision making units (DMUs) with production feature converting multiple inputs into multiple outputs because it does not care converting functions. Data envelopment analysis (DEA) has been widely applied for efficiency estimation of such DMUs since it has non-parametric characteristics. We propose a new clustering method to identify groups of DMUs that are similar in terms of their input-output profiles. A real world example is given to explain the use and effectiveness of the proposed method. And we calculate similarity value between its result and the result of a conventional clustering method applied to the example. After the efficiency value was added to input of K-means algorithm, we calculate new similarity value and compare it with the previous one.

분산컴퓨팅 환경에서의 고가용성 클러스터링 프레임워크 기본설계 연구 (A Study of Basic Design Method for High Availability Clustering Framework under Distributed Computing Environment)

  • 김점구;노시춘
    • 융합보안논문지
    • /
    • 제13권3호
    • /
    • pp.17-23
    • /
    • 2013
  • 클러스터링은 상호 의존적 구성에 필요한 구조적인 기술이다. 클러스터링은 가변적 업무부하를 처리하거나, 서비스 연속성을 저해하는 고장 발생 시 운영이 계속되도록 여러대의 컴퓨터시스템 기능을 서로 연결하는 메커니즘이다. 고 가용성 클러스터링 기능은 가능한 오랜시간 서버 시스템이 작동하는데 중점을 둔다. 이 클러스터 는 멀티플 시스템에서 실행되는 노드와 서비스를 중복하여 가지고 있어서 서로가 서로를 추적할 수 있다. Active-Standby 상태의 두 시스템이 있을 경우 활성 서버에 장애가 발생했을 때 모든 서비스가 대기 서버에서 구동돼 서비스가 이루어진다. 이 기능을 절체 또는 스위치오버(switchover)라 한다. 고가용성 클러스터링 기능은 가능한 오랜시간 서버 시스템이 작동하는데 중점을 둔다. 이 클러스터는 멀티플 시스템 에서 실행되는 노드와 서비스를 중복하여 가지고 있어서 서로가 서로를 추적할 수 있다. 한 노드가 장애 발생 시 둘째 노드가 몇초 이내에 고장 난 노드 임무를 수행한다. 고가용성 클러스터링 구조는 효율성 여부가 측정되어야 한다. 시스템 성능은 인프라시스템의 performance, latency, 응답시간(response Time), CPU 부하율(CPU utilization), CPU상의 시스템 프로세스(system process)수로 대표된다.

Validation Measures of Bicluster Solutions

  • Lee, Young-Rok;Lee, Jeong-Hwa;Jun, Chi-Hyuck
    • Industrial Engineering and Management Systems
    • /
    • 제8권2호
    • /
    • pp.101-108
    • /
    • 2009
  • Biclustering is a method to extract subsets of objects and features from a dataset which are characterized in some way. In contrast to traditional clustering algorithms which group objects similar in a whole feature set, biclustering methods find groups of objects which have similar values or patterns in some features. Both in clustering and biclustering, validating how much the result is informative or reliable is a very important task. Whereas validation methods of cluster solutions have been studied actively, there are only few measures to validate bicluster solutions. Furthermore, the existing validation methods of bicluster solutions have some critical problems to be used in general cases. In this paper, we review several well-known validation measures for cluster and bicluster solutions and discuss their limitations. Then, we propose several improved validation indices as modified versions of existing ones.

Mean-Shift Blob Clustering and Tracking for Traffic Monitoring System

  • Choi, Jae-Young;Yang, Young-Kyu
    • 대한원격탐사학회지
    • /
    • 제24권3호
    • /
    • pp.235-243
    • /
    • 2008
  • Object tracking is a common vision task to detect and trace objects between consecutive frames. It is also important for a variety of applications such as surveillance, video based traffic monitoring system, and so on. An efficient moving vehicle clustering and tracking algorithm suitable for traffic monitoring system is proposed in this paper. First, automatic background extraction method is used to get a reliable background as a reference. The moving blob(object) is then separated from the background by mean shift method. Second, the scale invariant feature based method extracts the salient features from the clustered foreground blob. It is robust to change the illumination, scale, and affine shape. The simulation results on various road situations demonstrate good performance achieved by proposed method.

하이퍼링크를 이용한 그래프 기반의 웹 문서 클러스터링 (Web Document Clustering based on Graph using Hyperlinks)

  • 이준;강진범;최중민
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2009년도 학술대회
    • /
    • pp.590-595
    • /
    • 2009
  • 인터넷 상의 웹 문서의 수가 기하급수적으로 늘어남에 따라서, 정보검색에서의 웹 문서 클러스터링은 성능과 속도가 매우 중요하게 되었다. 웹 문서 클러스터링은 의미적으로 관계가 있는 웹 문서들을 같은 클러스터로 군집함으로써 정보 검색을 보다 빠르고, 정보를 정확하게 제공할 수 있다. 그물망 그래프 형태의 클러스터링은 모든 문서간의 유사도를 측정함으로써 재현율을 높일 수 있지만, 높은 계산 비용을 갖는다. 본 논문에서는 그물망 형태의 클러스터링의 재현율과 정확율을 유지하며 계산 비용을 줄이기 위하여, 웹 문서의 구조적 특징인 하이퍼링크(Hyperlinks)를 이용한 클러스터링 방법을 제안한다.

  • PDF

A Density Peak Clustering Algorithm Based on Information Bottleneck

  • Yongli Liu;Congcong Zhao;Hao Chao
    • Journal of Information Processing Systems
    • /
    • 제19권6호
    • /
    • pp.778-790
    • /
    • 2023
  • Although density peak clustering can often easily yield excellent results, there is still room for improvement when dealing with complex, high-dimensional datasets. One of the main limitations of this algorithm is its reliance on geometric distance as the sole similarity measurement. To address this limitation, we draw inspiration from the information bottleneck theory, and propose a novel density peak clustering algorithm that incorporates this theory as a similarity measure. Specifically, our algorithm utilizes the joint probability distribution between data objects and feature information, and employs the loss of mutual information as the measurement standard. This approach not only eliminates the potential for subjective error in selecting similarity method, but also enhances performance on datasets with multiple centers and high dimensionality. To evaluate the effectiveness of our algorithm, we conducted experiments using ten carefully selected datasets and compared the results with three other algorithms. The experimental results demonstrate that our information bottleneck-based density peaks clustering (IBDPC) algorithm consistently achieves high levels of accuracy, highlighting its potential as a valuable tool for data clustering tasks.