• 제목/요약/키워드: statistical clustering method

검색결과 231건 처리시간 0.026초

스마트 그리드에서의 시계열 군집분석을 통한 전력수요 예측 연구 (A study on electricity demand forecasting based on time series clustering in smart grid)

  • 손흥구;정상욱;김삼용
    • 응용통계연구
    • /
    • 제29권1호
    • /
    • pp.193-203
    • /
    • 2016
  • 본 논문은 ICT기반 시장에서의 수요관리시스템에서의 핵심 요소인 전력 수요 예측을 위하여, 전체 사용량을 기반으로 예측 하는 방식이 아닌, 시계열 기반 군집분석을 통한 군집별 예측량의 결합을 실시하였다. 시계열 군집 분석 방법으로서 Periodogram 기반의 정규화 군집분석, 예측 기반의 군집분석, DTW(Dynamic Time Warping)를 이용하여 군집화를 시도하였으며, 군집 별 수요예측 모형으로서 DSHW(Double Seasonal Holt-Winters) 모형, TBATS(Trigonometric, Box-Cox transform, ARMA errors, Trend and Seasonal components) 모형, FARIMA(Fractional ARIMA) 모형을 사용하여 예측을 실시하였다. 전체 사용량을 기반으로 예측 하는 방식이 아닌, 군집분석을 통한 군집별 예측량의 결합이 더 낮은 MAPE로 나타남에 따라 우수한 예측 방법으로 판단되었다.

κ-공간중위 군집방법을 활용한 층화방법 (Stratification Method Using κ-Spatial Medians Clustering)

  • 손순철;전명식
    • 응용통계연구
    • /
    • 제22권4호
    • /
    • pp.677-686
    • /
    • 2009
  • 표본조사에서 널리 쓰이는 모집단의 층화는 추정의 효율을 높이는 방법 중의 하나지만, 이상점을 포함하는 변수가 있는 경우에 여러 가지 문제점을 유발시킬 수 있다. 특히, 이상점이 존재하는 다변량 자료의 경우, 층화를 위한 $\kappa$-평균 군집방법은 이상점에 매우 민감하여 추정의 효율을 떨어뜨릴 수 있다. 본 연구에서는 이상점이 존재하는 다변량 자료의 층화를 위해 $\kappa$-평균 군집방법보다 강건하며 이상점을 따로 식별하는 과정이 배제된 $\kappa$-공간중위수 군집방법을 제안한다. 기존 관련연구인 박진우와 윤석훈 (2008)과 동일한 자료에 대한 사례분석을 통해 층화과정들을 비교, 검토하였으며 이들의 효율성을 추정량의 분산을 통해 비교하였다.

대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법 (A Hybrid Clustering Technique for Processing Large Data)

  • 김만선;이상용
    • 정보처리학회논문지B
    • /
    • 제10B권1호
    • /
    • pp.33-40
    • /
    • 2003
  • 데이터 마이닝은 지식발견 과정에서 중요한 역할을 수행하며, 여러 데이터 마이닝의 알고리즘들은 특정의 목적을 위하여 선택될 수 있다. 대부분의 전통적인 계층적 클러스터링 방법은 적은 양의 데이터 집합을 처리하는데 적합하여 제한된 리소스와 부족한 효율성으로 인하여 대용량의 데이터 집합을 다루기가 곤란하다. 본 연구에서는 대용량의 데이터에 적용되어 알려지지 않은 패턴을 발견할 수 있는 하이브리드형 신경망 클러스터링 기법의 PPC(Pre-Post Clustrering) 기법을 제안한다. PPC 기법은 인공지능적 방법인 자기조직화지도(SOM)와 통계적 방법인 계층적 클러스터링을 결합하여 두 과정에서는 군집의 내부적 특징을 나타내는 응집거리와 군집간의 외부적 거리를 나타내는 인접거리에 따라 유사도를 측정한다. 최종적으로 PPC 기법은 측정된 유사도를 이용하여 대용량 데이터 집합을 군집화한다. PPC 기법은 UCI Repository 데이터를 이용하여 실험해 본 결과, 다른 클러스터링 기법들 보다 우수한 응집도를 보였다.

Outlier Identification in Regression Analysis using Projection Pursuit

  • Kim, Hyojung;Park, Chongsun
    • Communications for Statistical Applications and Methods
    • /
    • 제7권3호
    • /
    • pp.633-641
    • /
    • 2000
  • In this paper, we propose a method to identify multiple outliers in regression analysis with only assumption of smoothness on the regression function. Our method uses single-linkage clustering algorithm and Projection Pursuit Regression (PPR). It was compared with existing methods using several simulated and real examples and turned out to be very useful in regression problem with the regression function which is far from linear.

  • PDF

Compression of the Variables Classifying Domestic Marine Accident Data

  • Park, Deuk-Jin;Yang, Hyeong-Sun;Yim, Jeong-Bin
    • 한국항해항만학회지
    • /
    • 제46권2호
    • /
    • pp.92-98
    • /
    • 2022
  • Maritime accidents result in enormous economic loss and loss of life; thus, such accidents must be prevented, and risks must be managed to prevent these occurrences Risk management must be based on statistical evidence such as variables. Because calculating when variables increase statistically can be difficult, compressing the designated variables is necessary to use the maritime accident data in Korea. Thus, in this study, variables of marine accident data are compressed using statistical methods. The date, ship type, and marine accident type included in all maritime accident data were extracted, the number of optimal variables was confirmed using the hierarchical clustering analysis method, and the data were compressed. For the compressed variables, the validity of the data use was statistically confirmed using analysis of variance, and the data of the variables identified using the variable compression method were designated. Consequently, among the monthly and yearly data, statistical significance was confirmed in yearly data, and compression was possible. The significance of the data was confirmed in six and eight types of ships and accidents, respectively, and these were compressed. These results can be directly used for prevention or prediction based on past maritime accident data. Additionally, the data range extracted from past maritime accidents and the number of applicable data will be studied in the future.

Hierarchical Structure in Semantic Networks of Japanese Word Associations

  • Miyake, Maki;Joyce, Terry;Jung, Jae-Young;Akama, Hiroyuki
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2007년도 정기학술대회
    • /
    • pp.321-329
    • /
    • 2007
  • This paper reports on the application of network analysis approaches to investigate the characteristics of graph representations of Japanese word associations. Two semantic networks are constructed from two separate Japanese word association databases. The basic statistical features of the networks indicate that they have scale-free and small-world properties and that they exhibit hierarchical organization. A graph clustering method is also applied to the networks with the objective of generating hierarchical structures within the semantic networks. The method is shown to be an efficient tool for analyzing large-scale structures within corpora. As a utilization of the network clustering results, we briefly introduce two web-based applications: the first is a search system that highlights various possible relations between words according to association type, while the second is to present the hierarchical architecture of a semantic network. The systems realize dynamic representations of network structures based on the relationships between words and concepts.

  • PDF

K-평균 군집화의 재현성 평가 및 응용 (Reproducibility Assessment of K-Means Clustering and Applications)

  • 허명회;이용구
    • 응용통계연구
    • /
    • 제17권1호
    • /
    • pp.135-144
    • /
    • 2004
  • K-평균 군집화(K-means clustering)는 고객 세분화(customer segmentation) 등 데이터 마이닝에서 중요한 한 몫을 하는 비지도 학습방법 (unsupervised learning method)이다. K-평균 군집화가 재현성(reproducibility)이 있는가를 보기 위하여, 다수의 기존 연구에서는 관측 자료를 2개 셋으로 나눈 자료 분할(data partitioning) 방법이 활용되고 있다. 본 교신에서 우리는 이보다 개념적으로 명확한 새로운 자료 분할 방법을 제안한다. 이 방법은 관측 자료를 3개 셋으로 나누어 그 중 2개 자료 셋을 독립적인 군집화 규칙을 생성하는 데 사용하고 나머지 1개의 자료 셋을 규칙간 일치성을 테스트하는데 사용한다. 또한 2개의 군집화 규칙간 일치성 평가를 위한 지표로서 엔트로피 기준의 환용 방법을 제시한다.

MEMS 기술로 제작된 가스 센서 어레이를 이용한 유해가스 분류를 위한 간단한 통계적 패턴인식방법의 구현 (Implementation of simple statistical pattern recognition methods for harmful gases classification using gas sensor array fabricated by MEMS technology)

  • 변형기;신정숙;이호준;이원배
    • 센서학회지
    • /
    • 제17권6호
    • /
    • pp.406-413
    • /
    • 2008
  • We have been implemented simple statistical pattern recognition methods for harmful gases classification using gas sensors array fabricated by MEMS (Micro Electro Mechanical System) technology. The performance of pattern recognition method as a gas classifier is highly dependent on the choice of pre-processing techniques for sensor and sensors array signals and optimal classification algorithms among the various classification techniques. We carried out pre-processing for each sensor's signal as well as sensors array signals to extract features for each gas. We adapted simple statistical pattern recognition algorithms, which were PCA (Principal Component Analysis) for visualization of patterns clustering and MLR (Multi-Linear Regression) for real-time system implementation, to classify harmful gases. Experimental results of adapted pattern recognition methods with pre-processing techniques have been shown good clustering performance and expected easy implementation for real-time sensing system.

Exploring COVID-19 in mainland China during the lockdown of Wuhan via functional data analysis

  • Li, Xing;Zhang, Panpan;Feng, Qunqiang
    • Communications for Statistical Applications and Methods
    • /
    • 제29권1호
    • /
    • pp.103-125
    • /
    • 2022
  • In this paper, we analyze the time series data of the case and death counts of COVID-19 that broke out in China in December, 2019. The study period is during the lockdown of Wuhan. We exploit functional data analysis methods to analyze the collected time series data. The analysis is divided into three parts. First, the functional principal component analysis is conducted to investigate the modes of variation. Second, we carry out the functional canonical correlation analysis to explore the relationship between confirmed and death cases. Finally, we utilize a clustering method based on the Expectation-Maximization (EM) algorithm to run the cluster analysis on the counts of confirmed cases, where the number of clusters is determined via a cross-validation approach. Besides, we compare the clustering results with some migration data available to the public.

클러스터링 기법을 활용한 해외건설 필요정보 우선순위 수요 조사 평가 (Priority Demand Assessment for Overseas Construction Information Using Clustering Method)

  • 최원영;곽승진
    • 한국비블리아학회지
    • /
    • 제29권4호
    • /
    • pp.57-68
    • /
    • 2018
  • 국내 건설시장의 침체가 예상되는 상황에서 지속적으로 국내 중소엔지니어링 기업의 해외시장으로의 진출을 지원하기 위해 해외건설엔지니어링 정보시스템(OVICE)이 운영되고 있다. 이에 본 연구에서는 기존 연구를 통해 수행된 전문가 설문조사를 통한 필요정보 우선순위와 정보시스템 사용자 통계를 비교하여 정보시스템의 정보제공 방향성을 제시하여 정보서비스 품질을 높이고자 하였다. 정보시스템의 이용 통계 분석에 있어서, 우선순위를 매기기 힘든 통계분석의 효율성을 높이기 위해 K-means Clustering 기법을 분석에 활용하였다. 그 결과 기존 설문결과와 정보시스템 이용 통계의 차이를 분석하여 정보시스템의 정보제공에서의 보완점과 함께 설문조사 과정에서 부각되지 않았던 중요한 콘텐츠를 찾아낼 수 있었다.