• 제목/요약/키워드: 데이터 분포 분석

검색결과 1,446건 처리시간 0.023초

유사이항분포와 유사다항분포의 통계적 성질

  • 안성진;정연선
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2004년도 춘계학술대회
    • /
    • pp.111-119
    • /
    • 2004
  • 유사이항분포와 유사다항분포를 소개하고 베타분포와 Dirichlet 분포와의 관계를 밝힘으로써 심플렉스상에서 정의되는 성분데이터의 분석을 위한 새로운 방법을 제시하는 토대를 마련하고자 한다.

  • PDF

공간 데이터 웨어하우스에서 분포 지역 질의 처리를 위한 확장된 큐브 트리 기법 (The Extended Cube Tree for Distribution Area Query Processing in Spatial Data Warehouses)

  • 최준호;유병섭;박순영;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.76-78
    • /
    • 2004
  • 최근 원격 탐사 시스템 등이 발전함에 따라 축적된 공간 데이터의 양이 증가했고 이를 공간 데이터 웨어하우스 분야에서 의사 결정에 활용하는 방안이 중요한 이슈가 되고 있다. 기존의 활용 방법은 주어진 영역을 기준으로 공간 범위-집계를 검색하는 형태였지만, 최근 특정 성향 분석을 위해 분포 질의를 요청하고 그 결과 지역에 대한 공간 분석을 통한 의사결정의 필요성이 대두되었다. 하지만 기존의 처리 방법으로 비공간 질의를 처리하기 위해서는 모든 데이터를 검색해야 하므로 분포 질의를 처리하기 위한 비용이 증가하게 된다. 본 논문에서는 분포 지역 질의 처리를 위한 확장된 큐브 트리 기법을 제안한다. 제안하는 기법은 분석하고자 하는 사실 테이블의 비공간 속성을 큐브 트리의 키로 사용하고, 이 속성과 관련된 공간 데이터의 포인터 집합을 관리한다. 본 논문의 제안 기법을 공간 데이터 웨어하우스에 적용함으로써 비공간 속성 질의를 통해 공간 객체를 결과로 요청하는 형태의 질의를 지원할 수 있게 되며 사실 컬럼을 계층화시킴으로서 사용자에게 좀 더 다각적인 분석을 지원할 수 있다.

  • PDF

건설 장비 운영 데이터 분포 특성에 관한 연구 - 버력 처리 시스템을 중심으로 - (An Analysis on the Data Distribution of Construction Equipment Operations - A Case on Muck Hauling System -)

  • 서형범;정원지;김경민;김경주
    • 대한토목학회논문집
    • /
    • 제26권4D호
    • /
    • pp.661-670
    • /
    • 2006
  • 건설 공정계획을 수립함에 있어 시뮬레이션의 제한적인 활용은 시뮬레이션 관련 데이터의 수집과 모델 구축의 어려움에 그 원인을 두고 있다. 본 연구에서는 시뮬레이션 관련 데이터 수집과 분석을 통하여 건설 장비 운영 특성 데이터 축적과 데이터 분포 특성 분석 방법론을 제시하였다. 실제 현장에서 측정한 건설 장비 운영 데이터를 확률 통계적 기법을 적용하여 데이터의 분포 특성을 분석하였으며, 이러한 데이터 축적 및 데이터베이스(DB)화는 시뮬레이션 입력 데이터의 지원과 건설 장비 운영 계획에 다시 사용되어 건설 관련 정보의 효율적 활용이 가능하다.

승용차용 브레이크 패드의 공정분석 및 수명분포 탐색 (A study on the production process and wear life distributions of brake pads for passenger cars)

  • 홍연웅
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권3호
    • /
    • pp.485-492
    • /
    • 2009
  • 본 연구에서는 소형 승용차용 브레이크 패드 공정의 공정능력분석과 패드의 마모수명 분포를 실제데이터를 이용하여 추정하였다. 정규분포와 2모수 와이블분포 및 로지스틱분포 모두 마모수명데이터를 적합한다고 분석되었다. 추정된 수명 분포로부터 얻어진 백분위 수명은 브레이크 패드의 설계기준 설정이나 고객의 품질요구수준 평가에 활용될 수 있을 것이다.

  • PDF

베이지안 공액 사전분포를 이용한 키워드 데이터 분석 (Keyword Data Analysis Using Bayesian Conjugate Prior Distribution)

  • 전성해
    • 한국콘텐츠학회논문지
    • /
    • 제20권6호
    • /
    • pp.1-8
    • /
    • 2020
  • 빅데이터 분석에서 텍스트 데이터의 활용이 증가하고 있다. 따라서 텍스트 데이터의 분석 기법에 관한 많은 연구가 이루어지고 있다. 본 논문에서는 텍스트 데이터로부터 추출된 키워드 데이터의 분석을 위하여 공액사전분포 기반의 베이지안 학습 방법이 연구된다. 베이지안 통계학은 기존의 데이터에 새로운 데이터가 추가될 때마다 모수를 갱신하는 데이터 학습을 제공하기 때문에 시간에 따라 대용량의 데이터가 생성 및 추가되는 빅데이터 환경에서 효율적인 방법을 제공한다. 제안 방법의 성능과 적용 가능성을 보이기 위하여 실제 특허 빅데이터를 전처리하여 구축된 정형화된 키워드 데이터를 분석하는 사례연구를 수행한다.

토픽 모델링을 이용한 비정형 데이터 기반 산업간 유사도 분석 (Analysis of similarity between industries based on unstructured data using topic modeling)

  • 김경원;박종빈;정종진;윤경로
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 추계학술대회
    • /
    • pp.180-182
    • /
    • 2018
  • 최근 빠르게 변화하는 산업 환경에서 뉴스 기사와 같은 비정형 데이터를 기반으로 산업 트랜드를 분석하기 위한 연구가 진행되고 있다. 뉴스와 같은 비정형 데이터를 기반으로 산업별 트랜드를 분석하기 위해서는 분석 대상 산업에 대한 많은 양의 시계열 데이터가 요구된다. 하지만, 수집된 비정형 데이터를 분류하면 산업별/기간별 일정하지 않은 데이터 분포를 보이거나, 특정 산업에 대해서는 특정 기간에 데이터가 존재하지 않은 경우가 발생하여 산업별 시계열 분석이 어려운 경우가 발생할 수 있다. 이에, 본 논문에서는 산업별/기간별 균일하지 못한 비정형 데이터의 분포를 보정하기 위한 방법으로 비정형 데이터 기반 산업간 유사도를 분석 기법을 제안한다. 산업별 유사도 분석을 위해 각 산업별 주요 키워드를 도출하고 토픽 모델링 기법을 이용하여 산업간 유사도 분석을 통해 산업별/기간별 비정형 데이터 부족현상을 보완하는 방법을 제시한다.

  • PDF

수치 데이터 분포에 적응적 유클리드 거리 측정 기법 (Adaptive Euclidean Distance Measure Method for Numeric Data Distribution)

  • 최유환;조범준;정성원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.67-69
    • /
    • 2011
  • 데이터의 군집 분석에서 두 개의 서로 다른 데이터에 대한 유사도(거리)를 어떻게 정의하는가는 매우 중요한 문제이다. 수치속성에 대한 거리 측정 방법에는 다양한 기법이 존재하지만 각 속성의 크기와 범위가 서로 크게 다를 경우 이들을 동일한 인자로 여기고 거리 측정을 하게 되면 논리적인 오류를 범할 수 있다. 기존의 군집 분석 연구에서 사용된 거리 측정 기법은 데이터의 정규화 과정을 통해 이 문제를 해결하려고 노력하지만 일반적인 정규화는 이상치의 존재나 데이터의 편중된 분포 등의 이유로 속성별 거리가 왜곡될 수 있다. 본 논문은 이러한 문제점을 해결하기 위해 정규화된 데이터에서 각 속성의 비중을 고려한 적응적 유클리드 거리 측정 기법(AEDM: Adaptive Euclidean Distance Measure)을 제안한다. AEDM은 유클리드 거리를 기반으로 정규화 된 데이터의 형태에 따라 가중치를 부여하여 데이터의 분포에 관계없이 각 속성간의 거리를 충분히 반영하기 때문에 더욱 정확한 군집 분석을 가능하게 한다.

고차 일반화극치분포와 PMLE를 이용한 환율자료분석

  • 정보윤;전유나;박정수
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2003년도 추계학술대회
    • /
    • pp.147-152
    • /
    • 2003
  • 본 논문에서는 일반화극치분포(GEV)와 r개의 순서통계량을 이용한 r-GEV를 기술하였다. 모수 $\mu,\;\sigma$, k 를 추정하기 위해 최우추정법(MLE)과 Penalized MLE(P-MLE) 방법을 적용해 보았다. 이 분포를 원/달러 환율자료에 적용하여 일종의 재정위기 분석을 실시하였다.

  • PDF

기운 일반화 t 분포를 이용한 이진 데이터 회귀 분석 (Binary regression model using skewed generalized t distributions)

  • 김미정
    • 응용통계연구
    • /
    • 제30권5호
    • /
    • pp.775-791
    • /
    • 2017
  • 이진 데이터는 일상 생활에서 자주 접할 수 있는 데이터이다. 이진 데이터를 회귀 분석하는 방법으로 로지스틱(Logistic), 프로빗(Probit), Cauchit, Complementary log-log 모형이 주로 쓰이는데, 이 방법 이외에도 Liu(2004)가 제시한 t 분포를 이용한 로빗(Robit) 모형, Kim 등 (2008)에서 제시한 일반화 t-link 모형을 이용한 방법 등이 있다. 유연한 분포를 이용하면 유연한 회귀 모형이 가능해지는 점에 착안하여, 이 논문에서는 Theodossiou(1998)에서 제시된 기운 일반화 t 분포 (Skewed Generalized t Distribution)의 이용하여 우도 함수를 최대로 하는 이진 데이터 회귀 모형을 소개한다. 기운 일반화 t 분포를 R glm 함수, R sgt 패키지를 연결하여 이 논문에서 제시한 방법을 R로 분석할 수 있는 방법을 소개하고, 피마 인디언(Pima Indian) 데이터를 분석한다.

서울 아파트 매매가 자료의 심볼릭 데이터를 이용한 군집분석 (Cluster analysis for Seoul apartment price using symbolic data)

  • 김재직
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권6호
    • /
    • pp.1239-1247
    • /
    • 2015
  • 이 논문에서는 아파트 매매가 활발히 일어나는 서울시내 64개 행정동들에 대해 아파트 전용면적별 실거래 매매가를 기준으로 군집분석을 실시하였다. 군집분석에 있어서 각 행정동의 실거래가에 대한 정보를 최대한 이용하기 위해 실거래가의 평균 뿐만 아니라 그 분포까지 고려할 수 있도록 전통적인 형태의 데이터를 히스토그램 형태의 데이터로 변환하여 분석을 하였다. 히스토그램 데이터는 심볼릭 데이터의 한 종류이고, 심볼릭 데이터는 기본적으로 구간, 목록, 히스토그램, 분포, 모형 등과 같이 데이터 자체가 내부적인 변동을 갖는 모든 형태의 데이터를 포함한다. 이러한 각 행정동들의 내부적인 매매가의 변동을 고려한 군집분석의 결과 강남구, 서초구, 송파구와 그에 인접한 행정동들이 상대적으로 다른 지역보다 매매가도 높았고 실거래가의 분포도 훨씬 더 넓은 것으로 조사되었다. 전반적으로 도심에 대한 접근성이 좋고 교육환경이 우수한 지역과 강북의 뉴타운 지역이 상대적으로 주변지역보다 더 높고 넓은 매매가 분포를 보이는 것으로 분석되었다.