• Title/Summary/Keyword: 범주형 자료

Search Result 222, Processing Time 0.022 seconds

A distance metric of nominal attribute based on conditional probability (조건부 확률에 기반한 범주형 자료의 거리 측정)

  • 이재호;우종하;오경환
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2003.09b
    • /
    • pp.53-56
    • /
    • 2003
  • 유사도 혹은 자료간의 거리 개념은 많은 기계학습 알고리즘에서 사용되고 있는 중요한 측정개념이다 하지만 입력되는 자료의 속성들중 순서가 정의되지 않은 범주형 속성이 포함되어 있는 경우, 자료간의 유사도나 거리 측정에 어려움이 따른다. 비거리 기반의 알고리즘들의 경우-C4.5, CART-거리의 측정없이 작동할 수 있지만, 거리기반의 알고리즘들의 경우 범주형 속성의 거리 정보 결여로 효과적으로 적용될 수 없는 문제점을 갖고 있다. 본 논문에서는 이러한 범주형 자료들간 거리 측정을 자료 집합의 특성을 충분히 고려한 방법을 제안한다. 이를 위해 자료 집합의 선험적인 정보를 필요로 한다. 이런 선험적 정보인 조건부 확률을 기반으로한 거리 측정방법을 제시하고 오류 피드백을 통해서 속성 간 거리 측정을 최적화 하려고 노력한다. 주어진 자료 집합에 대해 서로 다른 두 범주형 값이 목적 속성에 대해서 유사한 분포를 보인다면 이들 값들은 비교적 가까운 거리로 결정한다 이렇게 결정된 거리를 기반으로 학습 단계를 진행하며 이때 발생한 오류들에 대해 피드백 작업을 진행한다. UCI Machine Learning Repository의 자료들을 이용한 실험 결과를 통해 제안한 거리 측정 방법의 우수한 성능을 확인하였다.

  • PDF

K-모드 알고리즘과 ROCK 알고리즘의 비교 및 개선방안

  • 김보화;김규성
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2001.11a
    • /
    • pp.163-167
    • /
    • 2001
  • 데이터 마이닝에서 분석의 대상으로 하는 대용량 자료에는 연속형 자료와 범주형 자료가 모두 포함된다. 전통적인 군집분석은 연속형 자료를 대상으로 하는 방법들이다. 본 연구에서는 범주형 자료를 대상으로 하는 군집분석방법인 K-모드 알고리즘과 락(ROCK) 알고리즘을 비교${\cdot}$분석하였다. 그리고 두 알고리즘이 갖는 방법론적인 단점을 보안하여 군집의 효과를 높일 수 있는 개선 방안을 제안하였다.

  • PDF

반복조사를 통한 범주형 자료의 오분류 탐색

  • 고봉성
    • Communications for Statistical Applications and Methods
    • /
    • v.4 no.1
    • /
    • pp.75-90
    • /
    • 1997
  • 본 연구는 범주형자료의 오분류에 관한 연구로, 2$\times$2분할표의 자료에 오분류가 있다고 생각되는 조사와 반복조사를 통해 정확하게 분류한 새로운 범주형자료를 시간이라는 새변수의 결합을 통해 오분류 여부를 탐색하는 방법에 대한 연구이다.

  • PDF

Categorical Date Analysis System in the internet (인터넷상에서의 범주형 자료분석 시스템 개발)

  • 홍종선;김동욱;오민권
    • The Korean Journal of Applied Statistics
    • /
    • v.12 no.1
    • /
    • pp.83-95
    • /
    • 1999
  • 본 논문의 목적은 인터넷에서 범주형 자료분석에 대한 전문적인 지식이 없는 일반 분석자들에게 보다 쉽고, 간편하게 다룰 수 있는 범주형 자료 분석 시스템을 제공하는것이다. 이 분석 시스템은 크게 세 가지 측면으로 설계하여 구현하였다. 첫째, 범주형 자료에 대한 탐색적 자료분석을 위하여 세 가지 종류의 히스토그램을 제공한다. 둘째, 범주형 변수들간에 존재하는 연관성을 측정하기 위한 여러 연관성 측도들을 제공한다. 특히, 현재 많이 사용되는 통계 패키지들에서 제공하지 못하는 모자익 그림과 연관 그림을 동적 그래픽스로 구현하여 연관성을 측정하거나 모형을 설정하는데 유용한 정보를 얻을 수 있도록 하였다. 셋째, 대수선형모형에 대한 분석을 통해 사용자가 가장 잘 적합된 대수선형모형을 선택할 수 있게 하였다.

  • PDF

Latent class model for mixed variables with applications to text data (혼합모드 잠재범주모형을 통한 텍스트 자료의 분석)

  • Shin, Hyun Soo;Seo, Byungtae
    • The Korean Journal of Applied Statistics
    • /
    • v.32 no.6
    • /
    • pp.837-849
    • /
    • 2019
  • Latent class models (LCM) are useful tools to draw hidden information from categorical data. This model can also be interpreted as a mixture model with multinomial component distributions. In some cases, however, an available dataset may contain both categorical and count or continuous data. For such cases, we can extend the LCM to a mixture model with both multinomial and other component distributions such as normal and Poisson distributions. In this paper, we consider a LCM for the data containing categorical and count data to analyze the Drug Review dataset which contains categorical responses and text review. From this data analysis, we show that we can obtain more specific hidden inforamtion than those from the LCM only with categorical responses.

Ring Chart for Categorical Data (다차원 범주형 자료에 대한 링차트)

  • 오민권;홍종선;이종철
    • The Korean Journal of Applied Statistics
    • /
    • v.12 no.1
    • /
    • pp.225-239
    • /
    • 1999
  • 범주형 자료에 대하여 탐색적 자료분석을 할 수 있는 기존의 여러 그림들을 변수의 수가 많아지면 시각적인 식별이 어렵다는 단점이 있다. 본 논문에서는 삼차원이상의 다차원 범주형 자료를 이차원 평면성에 표현할 수 있는 링차트(ring chart)를 제안한다. 각 칸의 확률값을 표현하는 링차트는 범주형 자료의 구조 전체를 시각적으로 파악할 수 있으며, 관측값을 표준화한 링차트는 변수들간의 연관성 여부를 시각적으로 판단하는데 유용한 정보를 제공한다. 삼차원이상의 자료에서는 이중 링차트(조건부 링차트)를 개발하여 일차 및 이차교호작용 검정까지도 가능하다. 또한, 관측값과 잔차를 동시에 표현한 잔차 링차트는 설정된 모형의 적합성 여부를 시각적으로 평가할 수 있는 장점이 있다.

  • PDF

Validation Comparison of Credit Rating Models for Categorized Financial Data (범주형 재무자료에 대한 신용평가모형 검증 비교)

  • Hong, Chong-Sun;Lee, Chang-Hyuk;Kim, Ji-Hun
    • Communications for Statistical Applications and Methods
    • /
    • v.15 no.4
    • /
    • pp.615-631
    • /
    • 2008
  • Current credit evaluation models based on only financial data except non-financial data are used continuous data and produce credit scores for the ranking. In this work, some problems of the credit evaluation models based on transformed continuous financial data are discussed and we propose improved credit evaluation models based on categorized financial data. After analyzing and comparing goodness-of-fit tests of two models, the availability of the credit evaluation models for categorized financial data is explained.

Integration of Categorical Data using Multivariate Kriging for Spatial Interpolation of Ground Survey Data (현장 조사 자료의 공간 보간을 위한 다변량 크리깅을 이용한 범주형 자료의 통합)

  • Park, No-Wook
    • Spatial Information Research
    • /
    • v.19 no.4
    • /
    • pp.81-89
    • /
    • 2011
  • This paper presents a multivariate kriging algorithm that integrates categorical data as secondary data for spatial interpolation of sparsely sampled ground survey data. Instead of using constant mean values in each attribute of categorical data, disaggregated local mean values at target grid points are first estimated by area-to-point kriging and then are used as local mean values in simple kriging with local means. This algorithm is illustrated through a case study of spatial interpolation of a geochemical copper element with geological map data. Cross validation results indicates that the presented algorithm leads to significant respective improvement of 15% and 25% in prediction capability, compared with univariate ordinary kriging and conventional simple kriging with constant mean values. It is expected that the multivariate kriging algorithm applied in this study would be effectively applied for spatial interpolation with categorical data.

Multi-dimension Categorical Data with Bayesian Network (베이지안 네트워크를 이용한 다차원 범주형 분석)

  • Kim, Yong-Chul
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.11 no.2
    • /
    • pp.169-174
    • /
    • 2018
  • In general, the methods of the analysis of variance(ANOVA) for the continuous data and the chi-square test for the discrete data are used for statistical analysis of the effect and the association. In multidimensional data, analysis of hierarchical structure is required and statistical linear model is adopted. The structure of the linear model requires the normality of the data. A multidimensional categorical data analysis methods are used for causal relations, interactions, and correlation analysis. In this paper, Bayesian network model using probability distribution is proposed to reduce analysis procedure and analyze interactions and causal relationships in categorical data analysis.

Visualizing Large Two-way Crosstabs by PLS Method (PLS 방법에 의한 "큰" 2원 교차표의 시각화)

  • Lee, Yong-Goo;Choi, Youn-Im
    • Communications for Statistical Applications and Methods
    • /
    • v.16 no.3
    • /
    • pp.421-428
    • /
    • 2009
  • On the visualization of categorical data, if the number of categories is small, we can consider Hayashi Quantification Method 3 for visualization of the categories of the variables. But it is known that the method is unstable because it quantifies more significantly for the small frequency categories rather than large frequency categories. The purpose of this research is to propose the visualization of large two-way crosstabulation data by PLS methods for checking the relationship between the categories of row and column variables. In this research, we utilize the PLS visualization methods (Huh et al., 2007) that is proposed for visualization of the qualitative data to visualize the categories of the large categorical data. We also compared both methods by applying them to real data, and studied the results from PLS visualization method on the real categorized data with many categories.