• 제목/요약/키워드: 데이터유사성

검색결과 1,567건 처리시간 0.028초

음의 일치 빈도를 고려한 유사성 측도의 대소 관계 규명에 관한 연구 (A study on the ordering of similarity measures with negative matches)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권1호
    • /
    • pp.89-99
    • /
    • 2015
  • 세계 경제 포럼과 대한민국 지식경제부에서 10대 핵심정보기술 가운데 하나로 빅 데이터를 선정한 바 있다. 빅 데이터에 대한 분석은 결국 데이터들이 가지고 있는 속성을 얼마나 효과적으로 분석하느냐가 관건이다. 이를 위한 기법들 중에서 군집 분석 방법은 거리 또는 유사성 측도를 이용하여 각 개체의 유사성을 측정하여 유사도가 높은 대상 집단을 분류하고 군집에 속한 개체들의 유사성과 서로 다른 군집에 속한 개체간의 상이성을 밝혀내는 통계분석 기법이다. 군집분석에서 이용되고 있는 유사성 측도는 데이터의 속성에 따라 여러 가지의 형태로 분류할 수 있으며, 범주형 데이터에 적용 가능한 측도들은 음의 일치 빈도를 고려한 측도, 음의 일치 빈도를 고려하지 않는 측도, 그리고 주변 확률 분포의 포함 여부에 의한 측도 등으로 구분할 수 있다. 음의 일치 빈도는 동시발생빈도와 더불어 두 항목간의 관련성에 대한 순방향성을 의미하므로 이를 고려하지 않는 유사성 측도들보다 이를 고려한 유사성 측도들이 좀 더 현실적인 측도라고 할 수 있다. 따라서 본 논문에서는 이분형 데이터에 대해 일반적으로 많이 활용되고 있는 음의 일치 빈도를 고려한 측도들에 대해 대소 관계를 규명함으로써 이들의 상한 및 하한을 설정하는 문제를 고려하였다.

유사측도를 이용한 신뢰성 있는 데이터의 추출 (Reliable Data Selection using Similarity Measure)

  • 류수록;이상혁
    • 한국지능시스템학회논문지
    • /
    • 제18권2호
    • /
    • pp.200-205
    • /
    • 2008
  • 데이터 분석을 위하여 데이터의 불확실성에 대한 측도로서 퍼지 집합에 대한 엔트로피를 소개하였고, 또한 데이터간의 유사도를 나타내는 유사측도를 구성하였다. 퍼지 소속 함수간의 유사측도는 거리측도를 이용하여 구성하였고, 제안한 유사측도를 증명을 통하여 확인하였다. 제안한 유사측도의 유용성을 확인하기 위하여 신뢰성 있는 데이터추출 예제에 적용하였다. 적용결과를 퍼지 엔트로피와 통계적 지식을 통하여 얻어진 이전의 결과와 비교하였다.

시계열 데이터베이스에서의 분해법을 이용한 유사 검색 기법 (Similarity Search in Time-Series Databases Using Decomposition Method)

  • 박신유;문봉희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.110-112
    • /
    • 2000
  • 최근 몇 년간 시계열 데이터의 저장 및 분석에 대한 연구가 활발히 진행되고 있으며, 시계열 데이터베이스에서 유사패턴(similarity pattern)을 탐색하는 기법이 광범위한 응용분야에서 중요한 연구주제로 자리잡고 있다. 본 논문에서는 회귀분석방법을 바탕으로 한 분해 시계열 방법을 이용함으로써 기존의 유사성의 개념을 확장시켰다. 즉, 시계열 데이터가 가지고 있는 패턴을 여러 성분으로 분해하여 각기 다른 저장 공간에 저장하고, 이를 이용하여 유사성을 탐색할 때에도 분리된 각 성분 중 특정 변동특성이 유사한 데이터를 추가적으로 요구되는 시간없이 검색할 수 있다. 이는 전체 시계열 데이터를 이해하는데 뿐만 아니라 데이터를 예측하는 방법에도 유용하게 사용될 수 있다.

  • PDF

데이터 변형성 기반 유사성 연결을 위한 시각화 알고리즘 (Visualization Algorithm for Similarity Connection based on Data Transmutability)

  • 김분희
    • 한국전자통신학회논문지
    • /
    • 제9권11호
    • /
    • pp.1249-1254
    • /
    • 2014
  • 사람에 의해 만들어진 수많은 데이터를 기반으로 하는 빅 데이터는 유용한 정보를 얻기 위해 사용된다. 컴퓨터 프로그램의 특징에 인간 메모리의 변형성을 추가 한 기계 학습 기법을 적용 할 경우 보다 유용한 정보를 얻을 수 있다. 그리고 빅 데이터는 이러한 결론을 사용하여 예측된다. 인간은 원래의 데이터와 유사한 데이터를 기억하는 경향이 있다. 그래서 빅 데이터 처리 기술은 인간의 이러한 특성을 반영해야 한다. 본 연구에서는 정보의 선택성을 제공하는 알고리즘을 제안한다. 이 알고리즘은 위 요인들을 반영한 기술이다. 이 알고리즘은 데이터의 변형 특성에 기초하여 유사한 데이터를 결정하는 데 높은 선택성을 가진 데이터를 선택한다.

유사추론 기반 예측모형

  • 장용식;최윤정
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2007년도 추계학술대회
    • /
    • pp.581-585
    • /
    • 2007
  • 본 연구는 비선형적인 시계열 자료로부터 최신 데이터와 유사한 사례를 탐색하여 미래를 예측하기 위하여 유사추론 기법을 이용한 예측 알고리즘을 제안한다. 기존의 연구들이 최신 데이터와 과거 사례와의 유사성을 비교하기 위해 유클리디언 거리 또는 평균 제곱에러 등을 이용하나, 추세의 유사성을 고려하지는 않는다. 본 연구는 사례 구간 크기, 예측 오차, 평균차이 검증, 사례간 추세의 유사성 등 다차원적 유사추론 요인을 이용한 예측방법과 그 효과를 제시한다.

  • PDF

Hopfield 네트워크를 이용한 데이터 클러스터링 (Data Clustering Using Hopfield Network)

  • 윤면희;정균락
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.329-331
    • /
    • 2000
  • 데이터 클러스터링은 서로 유사한 성질을 갖는 데이터들은 동일한 클러스터에 분류하고, 이질적인 데이터는 다른 클러스터에 분류하여, 클러스터 내의 유사성은 최대로 하고 클러스터와 클러스터사이의 유사성을 최소로 하는 것을 말한다. 데이터 클러스터링은 데이터 마이닝, 기계 학습, 패턴 인식, 통계 분야 등에 다양하게 활용되고 있다. Hopfield 네트워크는 조합적 최적화 문제를 해결하는데 사용되어 좋은 결과를 나타내고 있다. 본 논문에서는 Hopfield 네트워크를 사용하여 데이터 클러스터링 문제를 해결하는 알고리즘을 연구하였고, 실험을 통해 기존의 방법과 비교하였다.

  • PDF

데이터 추상화와 퍼지 관계를 이용한 근사적 질의응답에 관한 연구

  • 허순영;문개현
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2000년도 춘계공동학술대회 논문집
    • /
    • pp.302-305
    • /
    • 2000
  • 본 논문은 데이터베이스에 존재하는 데이터 값들 사이의 유사성에 관한 지식을 이용하여 사용자가 요구한 정확한 답뿐 아니라 그와 유사한 답까지 제공해 줄 수 있는 근사적 질의처리 기법을 제시한다. 이를 위하여, 계량적인 방법에 해당하는 퍼지 관계와 비계량적인 방법에 해당하는 데이터 추상화를 하나로 통합한 유사성 표현 프레임웍을 제시하고 그를 이용한 지식 베이스를 설계한다.

  • PDF

자기유사적인 데이터 트래픽 특성을 고려한 대역폭 할당 (Bandwidth Allocation for Self-Similar Data Traffic Characteristics)

  • 임석구
    • 한국콘텐츠학회논문지
    • /
    • 제5권3호
    • /
    • pp.175-181
    • /
    • 2005
  • 현재 제공되는 인터넷 서비스들의 동작 특성은 기존에 고려되던 트래픽 특성과는 완전히 다른 자기 유사성(Self-similarity)이라는 성질을 가진다는 것이 증명되었다. 자기 유사성은 장기간 의존성으로 표현되는데, 이것은 단기간 의존성 성질을 갖는 기존의 모델인 포아송(Poisson) 모델과는 상반되는 개념이다 따라서 차세대 통신망의 설계 및 디멘져닝을 위해서는 무엇보다도 데이터 트래픽의 주요 특성인 버스트성(Burstiness)과 자기유사성이 반영된 트래픽 모델이 요구된다. 여기서 자기유사성은 허스트 파라미터(Hurst Parameter)로 특성화 될 수 있다. 이러한 관점에서 본 논문에서는 데이터 트래픽 특성이 서로 다른 다수의 데이터 트래픽의 통합되어 통신망에 입력되는 경우 주요 파라미터인 허스트 파라미터의 변화를 다양한 환경 하에서 분석하였고 이를 시뮬레이션 결과와도 비교하였다.

  • PDF

퍼지값을 갖는 데이터에 대한 퍼지 클러스터링 (Fuzzy Clustering for Fuzzy Data1)

  • 이건명
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.27-29
    • /
    • 1998
  • 클러스터링은 데이터의 특성 추출, 데이터의 압축 등을 목적으로 동일 클러스터에 속하는 데이터간에는 유사성이 크도록 하면서 다른 클러스터에 속하는 데이터간에는 유사성이 작도록 데이터를 군집화하는 것이다. 일상에서 발생하는 많은 데이터에는 관측 오류, 불확실성, 주관적인 판정 등으로 인해서 데이터의 속성값이 정확한 값으로 주어지지 않은 경우가 있다. 본 논문에서는 분명한 값뿐만 아니라 퍼지값도 포함한 데이터들에 대해서 퍼지 클러스터링하는 방법을 제안한다.

  • PDF

인터넷에서의 데이터 트래픽 특성분석 (Analysis for Data Traffic Characteristics in Internet)

  • 임석구;이종규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (중)
    • /
    • pp.1401-1404
    • /
    • 2003
  • 현재 제공되는 인터넷 서비스들의 동작 특성은 기존에 고려되던 트래픽 특성과는 완전히 다른 자기 유사성(Self·similarity)이라는 성질을 가진다는 것이 증명되었다. 자기 유사성은 장기간 의존성으로 표현되는데, 이것은 단기간 의존성 성질을 갖는 기존의 모델인 포아송(Poisson) 모델과는 상반되는 개념이다. 따라서 차세대 통신망의 설계 및 디멘져닝을 위해서는 무엇보다도 데이터 트래픽의 주요 특성인 버스트성(Burstiness)과 자기유사성이 반영된 트래픽 모델이 요구된다. 여기서 자기유사성은 허스트 파라미터(Hurst Parameter)로 특성화 될 수 있다. 이러한 관점에서 본 논문에서는 데이터 트래픽 특성이 서로 다른 다수의 데이터 트래픽의 통합되어 통신망에 입력되는 경우 주요 파라미터인 Hurst Parameter의 변화를 다양한 환경 하에서 분석하였고 이를 시뮬레이션 결과와도 비교하였다.

  • PDF