• 제목/요약/키워드: Categorical Information

검색결과 219건 처리시간 0.033초

이산화 알고리즘을 이용한 계층적 클러스터링의 실험적 성능 평가 (Performance Comparison of Clustering using Discritization Algorithm)

  • 원재강;이정찬;정용규;이영호
    • 서비스연구
    • /
    • 제3권2호
    • /
    • pp.53-60
    • /
    • 2013
  • 데이터로부터 의미있는 형태의 정보를 얻기 위한 여러 가지 기법들이 개발되어 왔지만, 최근 들어 가장 각광받는 분야 중 하나는 패턴인식과 기계학습 방법이다. 기존의 학습 알고리즘은 대부분 범주 형 속성에 기반 한 규칙 또는 의사 결정 모델을 생성한다. 그런데, 실세계의 데이터는 보통 범주 형 속성 외에도 수치 값을 갖는 속성을 포함하고, 또 많은 경우에 있어 수치 형 속성으로만 구성되기도 한다. 따라서 이러한 경우, 데이터를 학습에 사용하기 위해서는 수치형 속성에 대한 적절한 처리 과정이 필요하다. 본 논문에서는, 수치형 속성의 도메인을 여러 개의 분절된 부분으로 나누어 학습 알고리즘에 사용하는 방법인 이산화 기법을 설명하고 또한 데이터마이닝의 기법으로 사용되는 클러스터링(Clustering)을 사용한다. 클러스터란 대량의 데이터베이스로부터 유사한 레코드 특성을 지닌 작은 그룹으로 여러 개를 분할하는 것으로 패턴 공간에 주어진 유한 개의 패턴들이 서로 가깝게 모여서 무리를 이루고 있는 패턴 집합이다. 그 집합들 중에서 특정한 카테고리를 지정하지 않고 주어진 데이터들에서 어떤 패턴을 추출하여, 비슷한 데이터들을 묶어서 데이터를 분류하는 기법인 클러스터링에 대해 실험한다.

  • PDF

k-모집단 동질성검정에서 피어슨검정의 오차성분 분석에 관한 연구 (Error cause analysis of Pearson test statistics for k-population homogeneity test)

  • 허순영
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권4호
    • /
    • pp.815-824
    • /
    • 2013
  • 국가단위의 조사와 같은 대규모 표본조사에서는 표본의 대표성을 확보하기 위해 층화, 집락, 계통, 불균등확률추출 등을 종합적으로 사용하는 복합표본설계가 일반화되어 있다. 이러한 복합표본설계에 기초한 범주형 자료분석에서는 자료의 독립성과 다항분포를 가정하는 전통적인 피어슨검정이 왜곡된 검정결과를 가져올 수 있다. 본 연구는 복합표본설계에 의한 범주형조사자료의 k-모집단 동질성검정에서 설계기반 일치통계량인 Wald 검정통계량을 유도하고, 전통적인 피어슨검정통계량을 사용할 경우 발생할 수 있는 오차요인을 항목별로 분해하여, 분산의 편의에 의한 영향, 추정량의 편의에 의한 영향, 기타 분산의 편의와 추정량의 편의가 교락되어 미치는 영향으로 각각 분해하는 식을 도출하였다. 또한, 도출된 식의 각 항목이 피어슨 카이제곱검정통계량에 미치는 상대적 크기를 경험적으로 확인하기 위해 국민건강영양조사 제4기 2차년도 자료를 이용해 경험분석 하였다. 분석결과, 변수에 따른 차이는 있지만 대체로 분산의 편의가 미치는 영향이 추정량의 편의가 미치는 영향보다 크다는 것을 명확히 확인할 수 있었다.

연속형 반응변수를 위한 데이터마이닝 방법 성능 향상 연구 (A study for improving data mining methods for continuous response variables)

  • 최진수;이석형;조형준
    • Journal of the Korean Data and Information Science Society
    • /
    • 제21권5호
    • /
    • pp.917-926
    • /
    • 2010
  • 배깅과 부스팅의 기법은 예측력을 향상 시킨다고 알려져 있다. 이는 비교 실험을 통하여 성능이 검증 되었는데, 목표변수가 범주형인 경우에 특정 의사결정나무 알고리즘인 회귀분류나무만 주로 고려되었다. 본 논문에서는 의사결정나무 외에도 다른 데이터마이닝 방법도 고려하여 목표변수가 연속형인 경우에 배깅과 부스팅 기법의 성능 검증을 위한 비교 실험을 실시하였다. 구체적으로, 데이터마이닝 알고리즘 기법인 선형회귀, 의사결정나무, 신경망에 배깅 및 부스팅 앙상블 기법을 결합하여 8개의 데이터를 비교 분석하였다. 실험 결과로 연속형 자료에 대한 여러 데이터마이닝 알고리즘에도 배깅과 부스팅의 기법이 성능 향상에 도움이 되는 것으로 확인되었다.

엑셀 VBA을 이용한 가변수 회귀모형 교육도구 개발 (An educational tool for regression models with dummy variables using Excel VBA)

  • 최현석;박철용
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권3호
    • /
    • pp.593-601
    • /
    • 2013
  • 회귀모형에서 범주형 변수를 독립변수로 포함시켜야 할 경우가 발생한다. 회귀모형의 범주형 변수는 가변수를 통해 수량화된다. 이 연구에서는 하나의 양적 독립변수와 하나 혹은 두 개의 범주형 독립변수를 가지는 회귀모형에 대해 가설검정 결과와 함께 회귀직선을 보여주는 교육용 도구를 엑셀 VBA (Visual Basic for application)를 통해서 구현한다. 가설검정 결과와 회귀직선은 교호작용이 포함된 모형, 교호작용이 없는 모형 및 가변수가 없는 모형에 대해 단계별로 제공된다. 이 교육도구를 통해 가변수와 교호작용의 의미를 더 쉽게 이해할 수 있으며, 나아가 어떤 모형이 주어진 자료에 가장 적합한지 그림을 통해 판단할 수 있게 된다.

다속성 빅데이터로부터 유용한 정보 추출에 관한 연구 - 서울시 1인 가구를 중심으로 - (A Study on Extraction of Useful Information from Big dataset of Multi-attributes - Focus on Single Household in Seoul -)

  • 최정민;김건우
    • 한국주거학회논문집
    • /
    • 제25권4호
    • /
    • pp.59-72
    • /
    • 2014
  • This study proposes a data-mining analysis method for examining variable multi-attribute big-data, which is considered to be more applicable in social science using a Correspondence Analysis of variables obtained by AIC model selection. The proposed method was applied on the Seoul Survey from 2005 to 2010 in order to extract interesting rules or patterns on characteristics of single household. The results found as follows. Firstly, this paper illustrated that the proposed method is efficiently able to apply on a big dataset of huge categorical multi attributes variables. Secondly, as a result of Seoul Survey analysis, it has been found that the more dissatisfied with residential environment the higher tendency of residential mobility in single household. Thirdly, it turned out that there are three types of single households based on the characteristics of their demographic characteristics, and it was different from recognition of home and partner of counselling by the three types of single households. Fourthly, this paper extracted eight significant variables with a spatial aggregated dataset which are highly correlated to the ratio of occupancy of single household in 25 Seoul Municipals, and to conclude, it investigated the relation between spatial distribution of single households and their demographic statistics based on the six divided groups obtained by Cluster Analysis.

A Study on Association between Type of E-commerce and Demographic variables

  • JEONG, Dong-Bin
    • 동아시아경상학회지
    • /
    • 제9권3호
    • /
    • pp.83-100
    • /
    • 2021
  • Purpose - The purpose of this study is to comprehensively understand the recent status of domestic e-commerce market and provide useful information for the revitalization of domestic on-line economy. This study looks over the association between type of e-commerce and demographic variables for each purchase ordering and sales order business. The demographics under consideration is administrative district, occupation and business organization type and type of e-commerce is B2B, B2C and B2G to deal with. Research design, data, and methodology - From January 2017 to December 2017, about 14000 samples are extracted from all businesses with experience in purchasing or selling products or services through e-commerce. The association between the two categorical variables considered by using two major statistical techniques such as chi-square test and correspondence analysis can be quantitatively and visually detected. Result - This study shows the association between the type of e-commerce with the administrative district and the occupation is completely different, but B2B and B2C are identical for organization type, with respect to both purchase and sales orders. Conclusion - The association between the type of e-commerce with the administrative district and the occupation is completely different, but B2B and B2C are identical for organization type, with respect to both purchase and sales orders.

범주형 데이터의 러프집합 분석을 통한 의사결정 향상기법 (An Improvement of the Decision-Making of Categorical Data in Rough Set Analysis)

  • 박인규
    • 디지털융복합연구
    • /
    • 제13권6호
    • /
    • pp.157-164
    • /
    • 2015
  • 최적의 의사결정시스템에서 효율적인 정보검색을 위해서는 정보의 감축이 필수적이다. 다양한 종류의 데이터에 존재하는 유용한 정보를 찾는 데이터 마이닝 기법에 대한 많은 연구가 활발하게 진행되어 왔고 타 산업과의 융복합을 위한 빅데이터 활용이 높아져 가고 있다. 유용한 지식의 발견을 위한 여러 가지 기법들이 특징을 가지고 있지만 단점이 존재하기 마련이다. 따라서 그러한 특징을 수렴하는 하나의 새로운 기법이 필요하다. 본 논문에서는 베이지언 정리를 이용하여 정보의 대수학적인 확률을 측정하고 이 확률에 대하여 정보엔트로피를 계산함으로써 정보의 불확실성을 계산한다. 제안된 척도를 기반으로 불필요한 속성을 제거하여 최소의 리덕트를 생성하고 이를 기반으로 결정규칙을 유도하는 알고리즘을 제안한다. 제안된 방법의 효율성을 위하여 콘텍트 렌즈를 결정하는 실험을 통하여 기존방법과 비교 결과, 본 연구가 의사결정의 유용성면에 있어 일반성이 있음을 보인다.

빅 데이터의 자율 속성 감축을 위한 확장된 정보 엔트로피 기반 상관척도 (Extended Information Entropy via Correlation for Autonomous Attribute Reduction of BigData)

  • 박인규
    • 한국게임학회 논문지
    • /
    • 제18권1호
    • /
    • pp.105-114
    • /
    • 2018
  • 고객 유형 분석에 쓰이는 다양한 데이터 분석 방법은 고객들을 위한 맞춤형 콘텐츠를 기획하고, 보다 편리한 서비스를 제공하기 위하여 고객들의 유형과 특성을 정확히 파악하는 것이 매우 중요하다. 본 논문에서는 정보의 손실을 줄이기 위한 일환으로 정보 엔트로피를 확장하여 속성의 불확실성을 이용한 k-modes 군집분석 알고리즘을 제안한다. 따라서 속성에 대한 유사도의 측정은 두 가지의 측면에서 고려되어진다. 하나는 각 분할의 중심에 대한 각 속성간의 불확실성을 측정하는 것이고, 다른 하나는 각 속성이 가지는 불확실성에 대한 확률적 분포에 대한 불확실성을 측정하는 것이다. 특히 속성내의 불확실성은 속성의 엔트로피를 확률적 정보로 변환하여 불확실성을 측정하기 때문에 최종적인 불확실성은 비확률적인 척도와 확률적인 척도에서 고려되어 진다. 여러 실험과 척도를 통하여 제안한 알고리즘의 정확도가 최적의 초기치를 기반으로 군집분석을 수행한 결과에 준수함을 보인다.

SVM과 meta-learning algorithm을 이용한 고지혈증 유병 예측모형 개발과 활용 (Development and application of prediction model of hyperlipidemia using SVM and meta-learning algorithm)

  • 이슬기;신택수
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.111-124
    • /
    • 2018
  • 본 연구는 만성질환 중의 하나인 고지혈증 유병을 예측하는 분류모형을 개발하고자 한다. 이를 위해 SVM과 meta-learning 알고리즘을 이용하여 성과를 비교하였다. 또한 각 알고리즘에서 성과를 향상시키기 위해 변수선정 방법을 통해 유의한 변수만을 선정하여 투입하여 분석하였고 이 결과 역시 각각 성과를 비교하였다. 본 연구목적을 달성하기 위해 한국의료패널 2012년 자료를 이용하였고, 변수 선정을 위해 세 가지 방법을 사용하였다. 먼저 단계적 회귀분석(stepwise regression)을 실시하였다. 둘째, 의사결정나무(decision tree) 알고리즘을 사용하였다. 마지막으로 유전자 알고리즘을 사용하여 변수를 선정하였다. 한편, 이렇게 선정된 변수를 기준으로 SVM, meta-learning 알고리즘 등을 이용하여 고지혈증 환자분류 예측모형을 비교하였고, TP rate, precision 등을 사용하여 분류 성과를 비교분석하였다. 이에 대한 분석결과는 다음과 같다. 첫째, 모든 변수를 투입하여 분류한 결과 SVM의 정확도는 88.4%, 인공신경망의 정확도는 86.7%로 SVM의 정확도가 좀 더 높았다. 둘째, stepwise를 통해 선정된 변수만을 투입하여 분류한 결과 전체 변수를 투입하였을 때보다 각각 정확도가 약간 높았다. 셋째, 의사결정나무에 의해 선정된 변수 3개만을 투입하였을 때 인공신경망의 정확도가 SVM보다 높았다. 유전자 알고리즘을 통해 선정된 변수를 투입하여 분류한 결과 SVM은 88.5%, 인공신경망은 87.9%의 분류 정확도를 보여 주었다. 마지막으로, 본 연구에서 제안하는 meta-learning 알고리즘인 스태킹(stacking)을 적용한 결과로서, SVM과 MLP의 예측결과를 메타 분류기인 SVM의 입력변수로 사용하여 예측한 결과, 고지혈증 분류 정확도가 meta-learning 알고리즘 중에서는 가장 높은 것으로 나타났다.

병원 성과 비교를 위한 급성기 뇌졸중 사망률 위험보정모형의 타당도 평가 (Evaluation of the Validity of Risk-Adjustment Model of Acute Stroke Mortality for Comparing Hospital Performance)

  • 최은영;김선하;옥민수;이현정;손우승;조민우;이상일
    • 보건행정학회지
    • /
    • 제26권4호
    • /
    • pp.359-372
    • /
    • 2016
  • Background: The purpose of this study was to develop risk-adjustment models for acute stroke mortality that were based on data from Health Insurance Review and Assessment Service (HIRA) dataset and to evaluate the validity of these models for comparing hospital performance. Methods: We identified prognostic factors of acute stroke mortality through literature review. On the basis of the avaliable data, the following factors was included in risk adjustment models: age, sex, stroke subtype, stroke severity, and comorbid conditions. Survey data in 2014 was used for development and 2012 dataset was analysed for validation. Prediction models of acute stroke mortality by stroke type were developed using logistic regression. Model performance was evaluated using C-statistics, $R^2$ values, and Hosmer-Lemeshow goodness-of-fit statistics. Results: We excluded some of the clinical factors such as mental status, vital sign, and lab finding from risk adjustment model because there is no avaliable data. The ischemic stroke model with age, sex, and stroke severity (categorical) showed good performance (C-statistic=0.881, Hosmer-Lemeshow test p=0.371). The hemorrhagic stroke model with age, sex, stroke subtype, and stroke severity (categorical) also showed good performance (C-statistic=0.867, Hosmer-Lemeshow test p=0.850). Conclusion: Among risk adjustment models we recommend the model including age, sex, stroke severity, and stroke subtype for HIRA assessment. However, this model may be inappropriate for comparing hospital performance due to several methodological weaknesses such as lack of clinical information, variations across hospitals in the coding of comorbidities, inability to discriminate between comorbidity and complication, missing of stroke severity, and small case number of hospitals. Therefore, further studies are needed to enhance the validity of the risk adjustment model of acute stroke mortality.