• Title/Summary/Keyword: 데이터 클러스터링

Search Result 1,058, Processing Time 0.032 seconds

Variable Clustering Management for Multiple Streaming of Distributed Mobile Service (분산 모바일 서비스의 다중 스트리밍을 위한 가변 클러스터링 관리)

  • Jeong, Taeg-Won;Lee, Chong-Deuk
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.19 no.4
    • /
    • pp.485-492
    • /
    • 2009
  • In the mobile service environment, patterns generated by temporal synchronization are streamed with different instance values. This paper proposed a variable clustering management method, which manages multiple data streaming dynamically, to support flexible clustering. The method manages synchronization effectively and differently with conventional streaming methods in data streaming environment and manages clustering streaming after the structural presentation level and the fitness presentation level. In the structural presentation level, the stream structure is presented using level matching and accumulation matching, and clustering management is carried out by the management of dynamic segment and static segment. The performance of the proposed method is tested by using k-means method, C/S server method, CDN method, and simulation. The test results showed that the proposed method has better performance than the other methods.

A Clustering Algorithm using the Genetic Algorithm (진화알고리즘을 이용한 클러스터링 알고리즘)

  • 류정우;김명원
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.313-315
    • /
    • 2000
  • 클러스터링에 있어서 K-means와 FCM(Fuzzy C-means)와 같은 기존의 알고리즘들은 지역적 최소 해에 수렴될 문제와 사전에 클러스터 개수를 결정해야 하는 문제점을 가지고 있다. 본 논문에서는 병렬 탐색을 통해 최적 해를 찾는 진화 알고리즘을 사용하여 지역적 최소 해에 수렴되는 문제점을 개선하였으며, 클러스터의 특성을 표준편차 벡터를 계산하여 중심으로부터 포함된 데이터가 얼마나 분포되어 있는지 알 수 있는 분산도와 임의의 데이터와 모든 중심들간의 거리의 비율로서 얻어지는 소속정도를 고려하여 클러스터간의 간격을 알 수 있는 분리도를 정의함으로써 자동으로 클러스터 개수를 결정할 수 있게 하였다. 실험데이터와 가우시안 분포에 의해 생성된 다차원 실험데이터를 사용하여 제안한 알고리즘이 이러한 문제점들을 해결하고 있음을 보인다.

  • PDF

Parallel k-Modes Algorithm for Spark Framework (스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘)

  • Chung, Jaehwa
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.6 no.10
    • /
    • pp.487-492
    • /
    • 2017
  • Clustering is a technique which is used to measure similarities between data in big data analysis and data mining field. Among various clustering methods, k-Modes algorithm is representatively used for categorical data. To increase the performance of iterative-centric tasks such as k-Modes, a distributed and concurrent framework Spark has been received great attention recently because it overcomes the limitation of Hadoop. Spark provides an environment that can process large amount of data in main memory using the concept of abstract objects called RDD. Spark provides Mllib, a dedicated library for machine learning, but Mllib only includes k-means that can process only continuous data, so there is a limitation that categorical data processing is impossible. In this paper, we design RDD for k-Modes algorithm for categorical data clustering in spark environment and implement an algorithm that can operate effectively. Experiments show that the proposed algorithm increases linearly in the spark environment.

Model-based Ozone Forecasting System using Fuzzy Clustering and Decision tree (퍼지 클러스터링과 결정 트리를 이용한 모델기반 오존 예보 시스템)

  • 천성표;이미희;이상혁;김성신
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2004.04a
    • /
    • pp.458-461
    • /
    • 2004
  • 오존 반응 메카니즘은 상당히 복잡하고 비선형적이기 때문에 오존 농도를 예측하는 것은 상당한 어려움을 안고 있다 따라서, 신뢰성 높은 오존 예측값을 구하는데 단일 예측모델만으로는 한계가 있으며, 이를 개선하기 위하여 다중 모델을 제안하였다. 입력데이터에 퍼지 클러스터링을 사용하여 고, 중, 저농도별로 그룹핑한 후, 그룹핑된 오존농도에 대해서 의사결정 트리를 사용하여 그룹핑된 오존데이터가 어느 정도 분류능력을 갖는지 파악하여, 오차가 가장 적은 분류특성을 갖는 그룹을 설정하여, 다중모델의 입력 데이터로 사용하여 모델을 형성하였다. 의사결정 트리를 이용하여 모델의 입력 데이터를 설정하는 것은 어떤 오존농도까지의 범위를 클래스로 설정하느냐에 따라서 모델의 성능과 고, 중, 저농도의 오존을 분류하는 성능이 달라지므로 본 논문에서는 퍼지 클러스터링을 이용하여 의사결정 트리의 클래스의 범위를 설정하여 예측 시스템을 구현하였다.

  • PDF

Study on the searching of images via clustering (이미지 데이타 클러스터링을 이용한 검색 연구)

  • Kim, Jin-Ok;Hwang, Dae-Joon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.97-100
    • /
    • 2002
  • 이미지, 비디오, 오디오와 같은 멀티미디어 데이터들은 텍스트기반의 데이터에 비하여 대용량이고 비정형적인 특성을 가지기 때문에 검색이 어렵다. 또한 멀티미디어 데이터의 특징은 행렬이나 벡터의 형태로 표현되기 때문에 완전일치 검색이 아닌 유사 검색을 수행하여 사용자가 원하는 이미지와 유사한 이미지를 검색해야 한다. 본 연구에서는 멀티미디어 데이터 검색에 클러스터링와 인덱싱 기법을 같이 적용하여 유사한 이미지끼리는 인접 디스크에 클러스터하고 이 클러스터에 접근하는 인덱스를 구축하여 검색이 빠르게 이루어지는 유사 검색방법을 제안한다 제안 검색 방법은 클러스터링을 생성하는 알고리즘과 해싱기법의 인덱싱을 같이 적용함으로써 VQ(Vector Quantization)보다 높은 재현율과 정확도를 보인다.

  • PDF

Data Clustering using a Neural Network for Anomaly Detection (비정상 행위 탐지를 위한 신경망 기반의 데이터 클러스터링)

  • 김인영;장병탁
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2000.05a
    • /
    • pp.31-34
    • /
    • 2000
  • 코호넨 자기조직 신경망을 사용하면 클러스터링뿐만 아니라 그 데이터가 할당된 클러스터의 대표값(Centroid)과의 거리 차이(Quantization Error)를 알아볼 수 있다 이를 이용하면 어떤 데이터가 정상적인 분포를 따르는지 정상적인 분포에서 벗어나는 비정상적인 데이터인지 알 수 있고, 유닉스 시스템 사용자의 명령어 사용 패턴에 적용하여 어떤 사용자의 명령어 사용 패턴이 정상적인 것인지 비정상적인 것인지 알 수 있다. 본 논문에서는 유닉스 시스템 사용자 8명의 명령어 패턴을 클러스터링한 후 Quantization Error를 이용하여 비정상 패턴을 탐지하는 오프라인에서의 비정상 행위를 탐지하는 시스템을 구현하였다. 그리고 통계적인 학습 방법을 적용한 비정상 패턴 탐지와의 비교를 통하여 두 가지 비정상 패턴 탐지 결과가 동일함을 확인하였다.

  • PDF

A Study on Improving Performance of Supervised Classifier using ISODATA and Fuzzy C-Means Clustering Method (ISODATA와 퍼지 C-Means를 이용한 감독 분류의 성능 향상에 관한 연구)

  • 전영준;김진일
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.79-81
    • /
    • 2003
  • 본 논문에서는 위성영상의 강독 분류에 대한 성능 개선을 위하여 ISODATA와 퍼지 C-Means 클러스터링 기법을 이용한 베이시안 최대우도 분류방법을 제안하였다. 본 연구에서는 ISODATA 클러스터링 기법을 이용하여 각각의 분류항목별로 분광특징에 따라 분석가가 선정한 훈련 데이터를 분할하여 새로운 훈련 데이터를 선정함으로써 분류항목별 훈련데이터의 분광적인 특징에 관계없이 분류를 수행할 수 있도록 하였다. 그리고 새롭게 선정된 훈련 데이터를 이용하여 퍼지 C-Means 클러스터링을 수행하고 그 결과를 베이시안 최대우도 분류기법의 사전확률로 이용함으로써 위성영상의 감독 분류에 대한 성능을 개선할 수 있는 방법을 제안한다. 제안된 기법은 Landset TM 위성영상을 이용하여 그 적용성을 시험하였다.

  • PDF

Analysis of large data transfer performance using DTN clustering based on NFS storage (DTN 클러스터를 활용한 NFS 스토리지 기반 대용량 데이터 전송 성능 분석)

  • Hong, Wontaek;Moon, Jeonghoon;Kwak, Jaiseung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.89-91
    • /
    • 2019
  • 최근 첨단 과학응용분야에서는 대용량의 데이터를 효과적으로 공유 및 전송하기 위해 전용의 연구망과 데이터 전송 노드(DTN)를 활용하여 전송 효율을 높이기 위한 연구들이 활발히 수행되고 있다. 특히, DTN 클러스터링은 복수 개의 전송 노드들을 이용하여 병행성을 높여 전송 효율을 극대화시키는 기법으로 고성능컴퓨팅 환경에서 적용되고 있다. 이와 관련하여, 본 논문에서는 초기 실험적 연구로 NFS 외부 스토리지를 연계한 DTN 클러스터링 환경을 구축하고, WAN 구간에서 종단간 대용량 데이터 전송 실험을 수행한다. 실험 결과, 파일의 크기 및 개수 등이 서로 다른 비교 군들을 대상으로 단일 DTN 대비 DTN 클러스터링에 대한 효과를 확인할 수 있었다.

Research for clustering algorithm for the functional classification of genes (유전자의 기능분류를 위한 클러스터링 알고리즘 연구)

  • Han, Seok-Hyeon;Yi, Gangman
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1149-1151
    • /
    • 2015
  • 차세대 유전정보 분석기 시퀀서의 개발은 양질의 시퀀싱 데이터를 증가시켰다. 수많은 유전정보는 유전자 분석의 새로운 연구 방향을 제시하였다. 본 논문은 유전자 분석 중에서 기존의 유전정보를 활용하여 유전자의 기능예측을 하고자 한다. 클러스터링 알고리즘의 정확도를 높이기 위해서 본 논문에서는 데이터 유사성 조절이 가능한 클러스터링 알고리즘을 적용하였다. 그 결과 데이터 유사성 조절을 할 경우에 그렇지 않을 경우보다 유전자 기능 예측의 정확도가 높아졌다. 따라서 제안된 데이터 유사성 조절 기법은 유전자 기능을 예측하는 방법에 정확도를 높일 수 있을 것으로 기대된다.

Image Segmentation Based on the Fuzzy Clustering Algorithm using Average Intracluster Distance (평균내부거리를 적용한 퍼지 클러스터링 알고리즘에 의한 영상분할)

  • You, Hyu-Jai;Ahn, Kang-Sik;Cho, Seok-Je
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.9
    • /
    • pp.3029-3036
    • /
    • 2000
  • Image segmentation is one of the important processes in the image information extraction for computer vision systems. The fuzzy clustering methods have been extensively used in the image segmentation because it extracts feature information of the region. Most of fuzzy clustering methods have used the Fuzzy C-means(FCM) algorithm. This algorithm can be misclassified about the different size of cluster because the degree of membership depends on highly the distance between data and the centroids of the clusters. This paper proposes a fuzzy clustering algorithm using the Average Intracluster Distance that classifies data uniformly without regard to the size of data sets. The Average Intracluster Distance takes an average of the vector set belong to each cluster and increases in exact proportion to its size and density. The experimental results demonstrate that the proposed approach has the g

  • PDF