• 제목/요약/키워드: K-Means 클러스터링

검색결과 366건 처리시간 0.031초

반려동물 사료 추천시스템을 위한 유사성 측정 알고리즘에 대한 연구 (A Study of Similarity Measure Algorithms for Recomendation System about the PET Food)

  • 김삼택
    • 한국융합학회논문지
    • /
    • 제10권11호
    • /
    • pp.159-164
    • /
    • 2019
  • ICT 기술 발전으로 강아지와 고양이등 반려동물 돌보기와 건강에 대한 관심도가 높아지고 있다. 본 논문에서는 반려동물 산업의 다양한 분야에 활용될 수 있도록 반려동물 사료의 성분 데이터를 기반으로 군집분석을 수행하고 적합한 서비스에 대해 고찰한다. 군집분석을 위해 시중에서 유통되고 있는 300여 개의 강아지 및 고양이 펫푸드를 대상으로 성분별 상관관계를 분석하여 유사성을 측정하며, Hierarchical, K-Means, Partitioning around medoids(PAM), Density-based, Mean-Shift 등의 다양한 클러스터링 기법을 활용하여 군집화 하여 분석한다. 또한 반려동물의 개인화 추천시스템도 제안한다. 본 논문의 연구 결과는 반려동물을 대상으로 한 사료 추천시스템 등의 맞춤형 개인화 서비스에 활용할 수 있다.

계층적 클러스터링에서 분류 계층 깊이에 관한 연구 (A Study on Cluster Hierarchy Depth in Hierarchical Clustering)

  • 김해남;이신원;안동언;정성종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.673-676
    • /
    • 2004
  • Fast and high-quality document clustering algorithms play an important role in providing data exploration by organizing large amounts of information into a small number of meaningful clusters. In particular, hierarchical clustering provide a view of the data at different levels, making the large document collections are adapted to people's instinctive and interested requires. Many papers have shown that the hierarchical clustering method takes good-performance, but is limited because of its quadratic time complexity. In contrast, K-means has a time complexity that is linear in the number of documents, but is thought to produce inferior clusters. Think of the factor of simpleness, high-quality and high-efficiency, we combine the two approaches providing a new system named CONDOR system [10] with hierarchical structure based on document clustering using K-means algorithm to "get the best of both worlds". The performance of CONDOR system is compared with the VIVISIMO hierarchical clustering system [9], and performance is analyzed on feature words selection of specific topics and the optimum hierarchy depth.

  • PDF

클러스터링을 이용한 스마트폰 사용자 추천 시스템 만들기 (Creating a Smartphone User Recommendation System Using Clustering)

  • Jin Hyoung AN
    • Journal of Korea Artificial Intelligence Association
    • /
    • 제2권1호
    • /
    • pp.1-6
    • /
    • 2024
  • In this paper, we develop an AI-based recommendation system that matches the specifications of smartphones from company 'S'. The system aims to simplify the complex decision-making process of consumers and guide them to choose the smartphone that best suits their daily needs. The recommendation system analyzes five specifications of smartphones (price, battery capacity, weight, camera quality, capacity) to help users make informed decisions without searching for extensive information. This approach not only saves time but also improves user satisfaction by ensuring that the selected smartphone closely matches the user's lifestyle and needs. The system utilizes unsupervised learning, i.e. clustering (K-MEANS, DBSCAN, Hierarchical Clustering), and provides personalized recommendations by evaluating them with silhouette scores, ensuring accurate and reliable grouping of similar smartphone models. By leveraging advanced data analysis techniques, the system can identify subtle patterns and preferences that might not be immediately apparent to consumers, enhancing the overall user experience. The ultimate goal of this AI recommendation system is to simplify the smartphone selection process, making it more accessible and user-friendly for all consumers. This paper discusses the data collection, preprocessing, development, implementation, and potential impact of the system using Pandas, crawling, scikit-learn, etc., and highlights the benefits of helping consumers explore the various options available and confidently choose the smartphone that best suits their daily lives.

Anomalous Pattern Analysis of Large-Scale Logs with Spark Cluster Environment

  • Sion Min;Youyang Kim;Byungchul Tak
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.127-136
    • /
    • 2024
  • 본 연구는 Spark 클러스터 환경에서 대용량 로그를 분석하여 시스템 이상과의 연관성을 탐색한다. 로그를 활용한 이상 감지 연구는 증가하고 있으나, 클러스터의 다양한 컴포넌트의 로그를 충분히 활용하지 못하고 이상과 시스템의 연관성을 고려하지 않는다는 한계가 있다. 따라서 본 논문에서는 정상과 비정상 로그의 분포를 분석하고, 로그 템플릿의 출현 여부를 통해 이상 감지 가능성을 탐색한다. Hadoop과 Spark를 활용하여 정상과 비정상 로그 데이터를 생성하고, t-SNE와 K-means 클러스터링을 통해 비정상 상황에서의 로그 템플릿을 찾아 이상 현상을 파악한다. 결과적으로, 비정상 상황에서만 발생하는 고유한 로그 템플릿을 확인하며 이를 통해 이상 현상 감지의 가능성을 제시한다.

시계열 데이터에 대한 클러스터링 성능 분석: Wavelet과 Autoencoder 비교 (Clustering Performance Analysis for Time Series Data: Wavelet vs. Autoencoder)

  • 황우성;임효상
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.585-588
    • /
    • 2018
  • 시계열 데이터의 특징을 추출하여 분석하는 과정에서 시게열 데이터가 가지는 고차원성은 차원의 저주(Course of Dimensionality)로 인해 데이터내의 유효한 정보를 찾는데 어려움을 만든다. 이러한 문제를 해결하기 위해 차원 축소 기법(dimensionality reduction)이 널리 사용되고 있지만, 축소 과정에서 발생하는 정보의 희석으로 인하여 시계열 데이터에 대한 군집화(clustering)등을 수행하는데 있어서 성능의 변화를 가져온다. 본 논문은 이러한 현상을 관찰하기 위해 이산 웨이블릿 변환(Discrete Wavelet Transform:DWT)과 오토 인코더(AutoEncoder)를 차원 축소 기법으로 활용하여 시계열 데이터의 차원을 압축 한 뒤, 압축된 데이터를 K-평균(K-means) 알고리즘에 적용하여 군집화의 효율성을 비교하였다. 성능 비교 결과, DWT는 압축된 차원수 그리고 오토인코더는 시계열 데이터에 대한 충분한 학습이 각각 보장된다면 좋은 군집화 성능을 보이는 것을 확인하였다.

산업용 IoT환경에서 기계학습을 통한 비정상 디바이스 판별 (A Study of Improving System Security Using Abnormal Devices Detection in Industrial IoT Environment)

  • 노태균;이수연;정태명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.556-558
    • /
    • 2018
  • 다양한 센서들과 디바이스들이 실시간으로 정보를 주고받는 산업 IoT환경에서 싱크노드에게 속하는 하위 센서 및 디바이스들을 통한 데이터 손실 및 시스템 마비를 발생시킬 수 있는 상황이 발생될 수 있다. 따라서 본 논문은 위의 상황을 고려하여 센서 및 디바이스의 정상범주를 파악하고 비정상적인 디바이스를 판별을 통해 시스템 보안성을 향상시키는 방안을 제시한다. 싱크노드에 속하는 센서 및 디바이스들의 로그데이터를 통해 주성분 분석법을 통해 데이터의 차원을 감소시키고 차원 감소시킨 데이터를 K-means 클러스터링 알고리즘에 적용하여 정상범주 내에 속하지 않는 디바이스를 판별하여 비정상 센서 및 디바이스를 판별한다. 비정상 데이터로 판별된 센서 및 디바이스의 모니터링을 통해 시스템의 보안성을 향상시킬 수 있도록 한다.

K-평균 클러스터링을 이용한 네트워크 유해트래픽 탐지 (Malicious Traffic Detection Using K-means)

  • 신동혁;안광규;최성춘;최형기
    • 한국통신학회논문지
    • /
    • 제41권2호
    • /
    • pp.277-284
    • /
    • 2016
  • 인터넷 서비스의 질을 떨어뜨리고 온라인 범죄를 유발시키는 네트워크 공격들은 오늘날 현대 사회에서 해결해야 될 문제 중 하나이다. 이러한 문제 해결을 위해 시그니처 IDS(Intrusion Detection System)라는 침입 탐지 시스템이 개발되었지만 이들은 기존에 알려진 유형의 공격만 탐지해 낸다. 결과적으로 알려지지 않은 공격들에 대해서는 탐지하지 못하기 때문에 네트워크 공격 탐지를 위한 근본적인 해결책이라 할 수 없다. 본 논문에서는 시그니처 IDS의 단점을 보완하고자 K-평균 알고리즘 기반의 네트워크 유해트래픽 탐지 방법을 제안한다.

퍼지 클러스터링 기법을 이용한 MPEG 비디오의 장면 전환 검출 (Shot Change Detection Using Fuzzy Clustering Method on MPEG Video Frames)

  • 임성재;김운;이배호
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 추계종합학술대회 논문집(4)
    • /
    • pp.159-162
    • /
    • 2000
  • In this paper, we propose an efficient method to detect shot changes in compressed MPEG video data by using reference features among video frames. The reference features among video frames imply the similarities among adjacent frames by prediction coded type of each frame. A shot change is detected if the similarity degrees of a frame and its adjacent frames are low. And the shot change detection algorithm is improved by using Fuzzy c-means (FCM) clustering algorithm. The FCM clustering algorithm uses the shot change probabilities evaluated in the mask matching of reference ratios and difference measure values based on frame reference ratios.

  • PDF

Reconstructability criterion을 통한 granular-based RBF NN의 최적화 (Optimization of granular-based RBF NN with the aid of reconstructability criterion)

  • 박호성;오성권
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2009년도 제40회 하계학술대회
    • /
    • pp.1899_1900
    • /
    • 2009
  • 본 논문에서는 주어진 데이터의 입자화 특성을 효과적으로 모델 구축에 반영하고자 재구성 평가 기준을 통한 새로운 형태의 입자화 기반 RBF 뉴럴 네트워크를 개발한다. 주어진 데이터들의 입자화 특성을 파악하기 위해서 새로운 형태의 FCM 클러스터링(-Context-based fuzzy clustering)을 이용한다. 즉, 출력 공간의 입자화 특성은 K-means clustering 방법을 사용한 것에 반해, 입력 공간에서의 정보들은 Context-based fuzzy clustering 방법을 이용하여 효율적으로 데이터의 특성을 파악하여 모델의 구축에 반영하였으며, 또한 모델의 최적화를 위하여 RBF 뉴럴 네트워크의 은닉층의 수를 재구성 평가 기준을 통하여 모델의 최적화를 꾀하였다. 제안된 모델의 효율적인 특성을 보여주기 위해 저차원 합성 데이터를 이용하여 모델을 평가한다.

  • PDF

PSO 기반 RBF 뉴럴 네트워크 구조적 설계 (Design of Radial Basis Function Neural Network(RBFNN) Structure Based on PSO)

  • 석진욱;김영훈;오성권
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2009년도 제40회 하계학술대회
    • /
    • pp.1873_1874
    • /
    • 2009
  • 본 논문에서는 대표적인 시스템 모델링 도구중의 하나인 RBF 뉴럴 네트워크(Radial Basis Function Neural Network)를 설계한다. 제안된 RBF 뉴럴 네트워크는 은닉층의 활성함수로서 Fuzzy C-Means 클러스터링을 사용하며 더 나아가 모델의 최적화를 위해 PSO 알고리즘을 사용하여 은닉층의 노드 수와 다수의 입력을 가질 경우 입력의 종류를 동정한다. 제안한 모델의 성능을 평가하기 위해 NOx 데이터를 적용하였으며 제안된 모델의 근사화와 일반화 능력을 분석한다.

  • PDF