• Title/Summary/Keyword: 데이터 군집화

Search Result 560, Processing Time 0.024 seconds

Design and Implementation of Distributed In-Memory DBMS-based Parallel K-Means as In-database Analytics Function (분산 인 메모리 DBMS 기반 병렬 K-Means의 In-database 분석 함수로의 설계와 구현)

  • Kou, Heymo;Nam, Changmin;Lee, Woohyun;Lee, Yongjae;Kim, HyoungJoo
    • KIISE Transactions on Computing Practices
    • /
    • v.24 no.3
    • /
    • pp.105-112
    • /
    • 2018
  • As data size increase, a single database is not enough to serve current volume of tasks. Since data is partitioned and stored into multiple databases, analysis should also support parallelism in order to increase efficiency. However, traditional analysis requires data to be transferred out of database into nodes where analytic service is performed and user is required to know both database and analytic framework. In this paper, we propose an efficient way to perform K-means clustering algorithm inside the distributed column-based database and relational database. We also suggest an efficient way to optimize K-means algorithm within relational database.

Initial Seed Generation for Constrained K-means (제약된 K-means를 위한 초기 씨드 생성방법)

  • Seo, Hyang-Suk;Kang, Jae-Ho;Ryu, Kwang-Ryel
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11a
    • /
    • pp.283-286
    • /
    • 2003
  • 군집화 시 일반적으로 개별 클래스(class) 혹은 카테고리(category) 당 하나의 군집이 형성되는 결과가 선호된다. 하지만 데이터가 비정형적인 분포를 따르는 경우에는 하나의 군집으로 개별 클래스를 온전히 표현하는 것이 불가능하거나 오히려 부자연스러운 경우가 발생할 수 있다. 본 논문에서는 예제의 클래스를 알고 있는 즉, 레이블(label)된 예제들을 그렇지 않은(unlabeled) 예제들과 함께 활용하여 군집화하는 제약된 K-means (constrained K-means) 알고리즘을 위하여 보다 자연스러운 형태의 군집이 형성될 수 있도록 초기 씨드(seed, 씨앗)를 생성하는 방안을 제안한다. 레이블된 예제들을 계층적으로 군집화하면 다양한 단계에서 제약된 K-means를 위한 씨드집합을 생성할 수 있다. 본 연구에서는 각 단계의 씨드집합을 기반으로 형성된 군집결과간의 변화정도를 측정하여 가장 적절한 것으로 추정되는 씨드집합을 선정하였다. 제안한 방안을 문서 군집화 문제에 적용하여 실험한 결과 개별 클래스마다 하나의 군집을 가정하는 경우보다 더 나은 군집을 형성할 수 있음을 확인하였다.

  • PDF

A clutter reduction algorithm based on clustering for active sonar systems (능동소나 시스템을 위한 군집화 기반의 클러터 제거 기법)

  • Kwak, ChulHyun;Cheong, Myoung Jun;Ahn, Jae-Kyun
    • The Journal of the Acoustical Society of Korea
    • /
    • v.35 no.2
    • /
    • pp.149-157
    • /
    • 2016
  • In this paper, we propose a new clutter reduction algorithm, which rejects heavy clutter density in shallow water environments, based on a clustering method. At first, it applies the density-based clustering to active sonar measurements by considering speed of targets, pulse repetition intervals, etc. We assume clustered measurements as target candidates and remove noise, which is a set of unclustered measurements. After clustering, we classify target and clutter measurements by the validation check method. We evaluate the performance of the proposed algorithm on synthetic data and sea-trial data. The results demonstrate that the proposed algorithm provides significantly better performances to reduce clutter than the conventional algorithm.

Agglomerative Hierarchical Clustering Using Latent Semantic Analysis in Information Retrieval (정보 검색에서의 잠재 의미 분석 방법을 이용한 응집 계층 군집화 기법 연구)

  • Khiati, Abdel-Ilah Zakaria;Kang, Daehyun;Park, Hansaem;Kwon, Kyunglag;Chung, In-Jeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.952-955
    • /
    • 2014
  • 본 논문에서는 정보 검색 분야에서 잘 알려진 잠재 의미 분석 방법과 계층적 군집화 방법의 단점을 상호 보완하여 보다 효율적인 정보 검색을 위한 혼합형 군집화 방법을 제안한다. 먼저, 잠재 의미 분석 방법은 벡터 연산을 통하여 자동적으로 문서 내에 있는 잠재적인 의미를 찾는 정보 검색분야에서 많이 사용되는 고전적인 방법이다. 그러나 이 방법은 언어의 유의성이나 다의성으로 인하여 발생되는 백-오브-워드(bag-of-word) 문제를 가지고 있다. 두 번째 방법인 문서 군집화를 위하여 범용적으로 사용되고 있는 계층적 군집화 방법이다. 이 방법은 이를 통하여 분석된 군집의 질적 측면에서 볼 때, 여전히 단층적 군집들이 많이 형성되어 세부적인 분석을 통한 추가적인 군집화가 필요함을 알 수 있다. 따라서, 본 논문에서는 앞서 언급한 문제점을 해결하기 위하여 혼합적인 방법으로 잠재 의미 분석 방법을 이용한 응집 계층 군집화 방법을 제안한다. 제안한 방법을 이용하여 잘 알려진 두 개의 데이터에 적용하고 기존의 방법과 그 결과를 비교함으로써 군집의 질적 측면에서의 우수함을 보인다.

Tree-structured Clustering for Continuous Data (연속형 자료에 대한 나무형 군집화)

  • Huh Myung-Hoe;Yang Kyung-Sook
    • The Korean Journal of Applied Statistics
    • /
    • v.18 no.3
    • /
    • pp.661-671
    • /
    • 2005
  • The aim of this study is to propose a clustering method, called tree-structured clustering, by recursively partitioning continuous multivariate dat a based on overall $R^2$ criterion with a practical node-splitting decision rule. The clustering method produces easily interpretable clustering rules of tree types with the variable selection function. In numerical examples (Fisher's iris data and a Telecom case), we note several differences between tree-structured clustering and K-means clustering.

Word Clustering Scheme for Twitter Sentiment Analysis Based on POS (트위터 감정 분석을 위한 POS 기반의 단어 군집화 기법)

  • Kim, Se-Jun;Lim, Hwan-Hee;Lee, Byung-Jun;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.01a
    • /
    • pp.31-32
    • /
    • 2019
  • 본 논문에서는 최근 빅데이터 활용 분야의 큰 이슈인 트위터 메시지의 효율적인 감정 분석을 위한 POS 기반의 단어 군집화 기법을 제안하였다. 기존에 군집화를 통한 다양한 텍스트 감정 분석 기법이 제시되어 왔으나, 군집화 된 기능과 분류 결과 간의 관련성에 대한 연구는 미흡하였다. 또한 모든 단어에 대한 감정 분석은 노이즈로 작용될 수 있는 단어로 인해 정확도가 감소할 수 있다. 본 논문에서는 이를 해결하기 위하여 Chi Square 기법을 통하여 분석 결과에 영향을 미치는 단어에 가중치를 부여함으로써 정확도를 향상시킨다.

  • PDF

Prediction of Consumer Propensity to Purchase Using Geo-Lifestyle Clustering and Spatiotemporal Data Cube in GIS-Postal Marketing System (GIS-우편 마케팅 시스템에서 Geo-Lifestyle 군집화 및 시공간 데이터 큐브를 이용한 구매.소비 성향 예측)

  • Lee, Heon-Gyu;Choi, Yong-Hoon;Jung, Hoon;Park, Jong-Heung
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.4
    • /
    • pp.74-84
    • /
    • 2009
  • GIS based new postal marketing method is presented in this paper with spatiotemporal mining to cope with domestic mail volume decline and to strengthening competitiveness of postal business. Market segmentation technique for socialogy of population and spatiotemporal prediction of consumer propensity to purchase through spatiotemporal multi-dimensional analysis are suggested to provide meaningful and accurate marketing information with customers. Internal postal acceptance & external statistical data of local districts in the Seoul Metropolis are used for the evaluation of geo-lifestyle clustering and spatiotemporal cube mining. Successfully optimal 14 maketing clusters and spatiotemporal patterns are extracted for the prediction of consumer propensity to purchase.

  • PDF

Design of an Arm Gesture Recognition System using Kinect Sensor (키넥트 센서를 이용한 팔 제스처 인식 시스템의 설계)

  • Heo, Se-Kyeong;Shin, Ye-Seul;Kim, Hye-Suk;Kim, In-Cheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.250-253
    • /
    • 2013
  • 최근 카메라 영상을 이용한 제스처 인식 관련 연구가 활발히 진행되고 있다. 카메라 영상을 이용한 제스처 인식에서 많이 사용되는 학습 알고리즘에는 확률 그래프 모델인 HMM과 CRF 등이 있다. 이 학습 알고리즘들은 다차원의 연속된 실수 데이터를 가지고 모델을 학습하면 계산량이 많아진다. 본 논문에서는 팔 관절 위치 데이터를 k-평균 군집화 과정을 거쳐 1차원의 시계열 데이터로 변환 후, 제스처별로 HMM 모델을 학습하는 방법을 제안한다. 키넥트 센서를 통해 얻은 팔 관절 위치 데이터에 k-평균 군집화를 적용하여 1차원 시계열 데이터를 생성하고, 이를 HMM의 학습 및 인식에 사용한다. 본 논문에서 제안하는 방법의 성능을 분석하기 위하여, 다른 시계열 학습 알고리즘인 AP+DTW를 이용한 방법과의 비교 실험을 포함해 다양한 실험들을 수행하였다.

A Comparison of Cluster Analyses and Clustering of Sensory Data on Hanwoo Bulls (군집분석 비교 및 한우 관능평가데이터 군집화)

  • Kim, Jae-Hee;Ko, Yoon-Sil
    • The Korean Journal of Applied Statistics
    • /
    • v.22 no.4
    • /
    • pp.745-758
    • /
    • 2009
  • Cluster analysis is the automated search for groups of related observations in a data set. To group the observations into clusters many techniques has been proposed, and a variety measures aimed at validating the results of a cluster analysis have been suggested. In this paper, we compare complete linkage, Ward's method, K-means and model-based clustering and compute validity measures such as connectivity, Dunn Index and silhouette with simulated data from multivariate distributions. We also select a clustering algorithm and determine the number of clusters of Korean consumers based on Korean consumers' palatability scores for Hanwoo bull in BBQ cooking method.