• 제목/요약/키워드: 통계기법

검색결과 2,503건 처리시간 0.034초

개선된 휴리스틱 규칙 및 의사 결정 트리 분석을 이용한 P2P 트래픽 분류 기법 (P2P Traffic Classification using Advanced Heuristic Rules and Analysis of Decision Tree Algorithms)

  • 예우지엔;조경산
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권3호
    • /
    • pp.45-54
    • /
    • 2014
  • 본 논문에서는 기존 기법들의 제한점을 개선하기 위해 휴리스틱 규칙 및 기계학습 분석 결과를 이용한 두 단계의 P2P 트래픽 분류 기법을 제안한다. 첫 번째 단계는 패킷 레벨의 시그니처 기반 분류기이고, 두 번째 단계는 플로우 레벨에서 수행되는 패턴 휴리스틱 규칙 및 통계 기반 분류기이다. 제안된 패턴 휴리스틱 규칙은 분류의 정확도를 높이고 통계 기반 분류기가 처리할 트래픽의 양을 줄일 수 있다. 다양한 의사 결정 트리 알고리즘의 분석을 기반으로 통계 기반 분류기는 가장 효율적인 REPTree로 구현하고, 앙상블 알고리즘을 통해 통계 기반 분류기의 성능을 개선한다. 실제 환경의 데이터 집합을 이용한 검증 분석을 통해, 본 제안 기법이 기존 기법에 비해 높은 정확도와 낮은 과부하를 제공함을 제시한다.

영평균 정규화와 PCA를 이용한 회귀 신경망의 성능개선 (Performance Improvement of Regression Neural Networks by Using PCA and Zero-Mean Normalization)

  • 박용수;조용현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.515-518
    • /
    • 2001
  • 본 논문에서는 전처리단계로 영평균 정규화 기법과 주요성분분석 기법을 도입하여 다층신경망을 이용한 고신뢰성의 회귀분석 모델을 제안한다. 영평균 정규화 기법은 데이터의 1차적 통계성을 고려하여 알고리즘을 간략화시키며, 주요성분분석 기법은 입력 데이터의 2차적 통계성을 고려하여 독립인 특징들의 집합으로 변환시켜 학습데이터의 차원을 감소시킬 수 있어 고차원의 학습데이터에 따른 회귀분석 모델의 제약을 해결할 수 있었다. 제안된 기법의 신경망을 3개의 독립변수를 가진 암모니아 제조공정문제와 10개의 독립변수를 가진 자동차 연비문제에 각각 적용하여 시뮬레이션한 결과, 단순정규화나 PCA를 적용하지 않는 경우보다 제안된 기법의 학습속도와 회귀성능이 더욱 더 우수함을 확인할 수 있었다.

  • PDF

언어 사용환경에 적응적인 영어 문맥의존 철자오류 교정 기법 (Adaptive English Context-Sensitive Spelling Error Correction Techniques for Language Environments)

  • 김민호;김경식;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.133-136
    • /
    • 2015
  • 문서 교정기에서 문맥의존 철자오류를 교정하는 방법은 크게 규칙을 이용한 방법과 통계 정보를 이용한 방법으로 나뉜다. 한국어와 달리 영어는 오래전부터 통계 모형에 기반을 둔 문맥의존 철자오류 교정 연구가 활발히 이루어졌다. 그러나 대부분 연구가 문맥의존 철자오류 교정 문제를 특정 어휘 쌍을 이용한 분류 문제로 간주하기 때문에 실제 응용에는 한계가 있다. 또한, 대규모 말뭉치에서 추출한 통계 정보를 이용하지만, 통계 정보 자체에 오류가 있을 경우를 고려하지 않았다. 본 논문에서는 텍스트에 포함된 모든 단어에 대하여 문맥의존 철자오류 여부를 판단하고, 해당 단어가 오류일 경우 대치어를 제시하는 영어 문맥의존 철자오류 교정 기법을 제안한다. 또한, 통계 정보의 오류가 문맥의존 철자오류 교정에 미치는 영향과 오류 발생률의 변화가 철자오류 검색과 교정의 정확도와 재현율에 미치는 영향을 분석한다. 구글 웹데이터에서 추출한 통계 정보를 바탕으로 통계 모형을 구성하고 평가를 위해 브라운 말뭉치에서 무작위로 2,000문장을 추출하여 무작위로 문맥의존 철자오류를 생성하였다. 실험결과, 문맥의존 철자오류 검색의 정확도와 재현율은 각각 98.72%, 95.79%였으며, 문맥의존 철자오류 교정의 정확도와 재현률은 각각 71.94%, 69.81%였다.

  • PDF

GCM 자료를 활용하기 위한 비선형 축소기법의 개발 (Development of Nonlinear Downscaling Technique to Use GCM Data)

  • 김수전;이건행;김형수;전환돈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2011년도 학술발표회
    • /
    • pp.73-73
    • /
    • 2011
  • 일반적으로 미래 기후자료를 산출하기 위하여 기후 시스템을 수치화한 GCM에 의한 결과를 사용한다. 하지만 GCM의 시공간적인 해상도의 문제로 기후변화에 따른 수자원 영향 분석을 위해서는 축소기법의 적용과정이 필요하다. 이를 위하여 전세계적으로 통계학적 방법에 의한 일기발생기를 이용한 축소기법 방법이 많이 이용되고 있다. 하지만 일기발생기에 의한 방법은 월 평균값의 연간 변동성이나 계절적 변화를 재현하는데 한계가 있는 것이 사실이다. 본 연구에서는 이러한 일기 발생기의 한계가 강우의 발생 특성이 평균과 표준편차로 대표되는 통계학적 기법에 근거하고 있기 때문이라고 파악하였다. 따라서 최저온도, 최고온도, 강수량, 상대습도, 풍속, 일사량과 같이 6개의 기상자료를 선정하여 비선형 관계를 고려할 수 있는 기법을 적용하고자 하였다. 이를 위하여 SRES A1B 기후변화 시나리오에 의한 CNCM3 기후모형의 결과를 이용하였고 각 관측소 마다 다양하게 발생하는 강우 특성은 과거의 강우 특성과 유사할 것이라는 가정하에 공간적 축소기법으로 인공 신경망(ANN: Artificial Neural Network) 을 적용하고 시간적 축소기법으로 최근린(NN: Nearest Neighbor) 방법과 유전자 알고리즘(GA: Genetic Algorithm)을 적용하는 기법을 함께 제시하였다. 이러한 기법들을 실제 남한강 유역의 기상관측소 지점으로 적용하여 검증한 결과 모의된 대부분의 기상자료가 관측치를 비교적 잘 재현하였다. 본 연구에서 제시한 비선형 축소기법은 추후 기후변화 연구에 중요한 방법론으로 활용될 수 있을 것으로 기대된다.

  • PDF

다변량 정규성과 이상치 검정을 위한 통계 시스템 개발 (Development of Statistical System for Checking Multivariate Normality and Outliers)

  • 최용석;김종건;강명래
    • 응용통계연구
    • /
    • 제14권2호
    • /
    • pp.223-231
    • /
    • 2001
  • 다변량분석 기법을 위해서는 자료가 정규성(normality)가정을 만족해야한다. 본 연구에서는 GUI환경에서 일변량 및 다변량자료의 정규성검정, 이상치제거 및 변수변환을 하는 시스템을 Visual Basic 언어로서 구축하여 사용자들이 보다 편리하게 사용할 수 있음을 소개 하고자 한다.

  • PDF

AVL을 이용한 구간통행시간 산출기법 개발 (A new approach to estimate the link travel time by using AVL technology)

  • 김성인;이영호;남기효
    • 대한교통학회지
    • /
    • 제17권2호
    • /
    • pp.91-103
    • /
    • 1999
  • 이 연구는 자동 차량위치 측정기법(Automatic Vehicle Location, AVL)을 이용해서 수집한 교통상황자료를 가지고 구간 통행시간을 산출하는 알고리즘을 개발한다. AVL기법을 이용하는 경우, 처리해야 할 자료량이 많아서 실시간에 정보를 산출하는 것이 힘들다. 따라서 이 연구는 처리해야 할 자료량을 가능한 한 줄이고 자료량이 적은 경우에도 효율적인 구간통행시간을 산출하는 알고리즘을 제시한다. 이 연구의 방법론은 크게 4가지인데, 첫째, 해석 기법, 둘째, 회귀분석, 셋째, 인공지능 및 전문가 시스템, 넷째, 통계분석이다. 이 방법론을 이용해서 세 단계 알고리즘을 개발하는데, 첫째는 실시간 분석통계 알고리즘, 둘째는 과거자료분석 알고리즘, 셋째는 자료응합 알고리즘이다. 이 알고리즘 가운데 자료융합 알고리즘 결과가 산출하고자 하는 구간 통행시간이다. 실시간 분석통계 알고리즘은 연속하는 세 개 구간의 통행 패턴을 이용해서 가운데 구간의 통행시간을 산출하는 방법을 제시한다. 또 실시간 분석통계 알고리즘으로 산출하지 못한 구간은 인접구간 상관도 정보를 이용해서 구간통행시간을 추정한다. 과거자료분석 알고리즘은 회귀분석을 이용해서 시간대별 통행시간 평균과 분산을 구하고, 이 결과를 바탕으로 인접구간 상관도 정보를 오프라인으로 구하는 알고리즘이다. 자료융합 알고리즘은 2가지 단계를 거치는데, 그것은 실시간 자료융합과 최종 자료융합이다. 실시간 자료융합은 실시간에 가까운 자료원의 실시간 분석통계 알고리즘 결과 패턴과 인접구간 상관도 정보를 이용한 구간통행시간 추정 결과를 이용해서 패턴에 따라 다른 방법으로 융합을 하는 알고리즘을 개발한다. 최종 자료융합은 실시간 자료융합 결과와 회귀분석 결과의 패턴을 이용해서 구간 통행시간을 산출한다. 이 연구를 기존 연구와 비교할 때, 세 가지 독차성이 있다. 첫째는 연속하는 세 구간 통행 패턴을 분석하였기 때문에 기존의 노드의존 방식을 탈피하였다는 점이다. 따라서 자료량이 적은 경우도 믿을만한 통행시간을 산출할 수 있다는 것이다. 둘째는 인접구간 상관도 정보를 구간통행시간 산출에 이용하였기 때문에 자료를 효율적으로 이용할 수 있다는 점이다. 셋째는 자료원 패턴을 분류하고 전문가 시스템을 이용하여 자료융합 하였기 때문에 수행속도가 빠르고, 신뢰성있는 정보를 제공한다는 점이다. 이 연구는 개발한 알고리즘 정확도를 검증하기 위해서 두 가지 검증방법을 이용하였다. 첫째는 시뮬레이션을 이용한 것이고, 둘째는 실제 주행조사 분석을 이용한 것이다. 두 가지 검증 결과는 알고리즘 정확도를 보여준다.

  • PDF

운항사고 자료의 수량화 데이터 작성에 관한 연구 (The Conversion of Transportation Casualty Recording to Numerical Data)

  • 임정빈
    • 해양환경안전학회:학술대회논문집
    • /
    • 해양환경안전학회 2007년도 춘계학술발표회
    • /
    • pp.115-119
    • /
    • 2007
  • 본 연구의 목적은 선박관리회사에서 관리하는 선박의 운항사고를 사전에 예측하여 사고를 미연에 예방 또는 저감하고, 사고 발생시에는 신속 대처하여 사고결과 발생되는 손실을 최소화하기 위한 운항사고 예측 시스템을 개발하는데 있다. 이러한 운항사고 예측 시스템을 개발하기 위해서는 과거 문서로 작성된 사건을 숫자로 변환시킨 수량화 데이터 제작이 우선 필요하다. 수량화 데이터를 이용하면 통계기법을 적용하여 다양한 사건 사이에 숨어 있는 기본적인 요소를 축출할 수 있고, 이러한 요소 사이의 상관관계를 통하여 사고발생 수준을 숫자로 표시할 수 있기 때문에 사전에 해당 위험정도를 알 수 있다. 본 연구에서는 운항사고 예측 시스템 개발의 초보단계로서, 과거 사건기록을 수량화 데이터로 변환하기 위한 절차와 결과를 기술하였다.

  • PDF

통계정보와 WordNet을 이용한 복합명사 분석 (Nominal Compound Analysis Using Statistical Information and WordNet)

  • 류민홍;나동열;장명길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.33-40
    • /
    • 2000
  • 복합명사의 한 구조는 구성 명사간의 수식관계의 집합이라고 본다. 한 복합명사에 대하여 가능한 여러 구조 중에서 올바른 구조를 알아 내는 것이 본 논문의 목표이다. 이를 위하여 우리는 최근에 유행하는 통계 기반 분석 기법을 이용한다. 먼저 우리의 복합 명사 분석 문제에 알맞은 통계 모델을 개발하였다. 이 모델을 이용하면 분석하려는 복합명사의 가능한 분석 구조마다 확률 값을 얻게 된다. 그 다음 가능한 구조들 중에서 가장 확률값이 큰 구조를 복합명사의 구조로 선택한다. 통계 기반 기법에서 항상 문제가 되는 것이 데이터 부족문제이다. 우리는 이를 해결하기 위해 개념적 계층구조의 하나인 워드넷(WordNet)을 이용한다.

  • PDF

"의학 연구자료 분석과 통계적 기법"에 대하여

  • 송혜양
    • 응용통계연구
    • /
    • 제6권2호
    • /
    • pp.217-226
    • /
    • 1993
  • 이 논문은 크게 두 부분으로 구성되었는데, 첫째 부분은 의학연구 목적에 따라 요구되는 분석법을 소개하고 있고, 둘째 부분은 국내 의학논문에서 통계처리의 잘못의 유형과 빈도를 제시하고 있습니다. 첫째 부분인 여러 분석법의 소개에서는 분석법의 열거로 보아서는 통계인들에게 새로운 것이 많지 않다고 언뜻 느껴지시겠지만, 실제로는 여러 면에서 새로운 점이 많습니다. 이 차이점을 살펴보면 우선 rate와 proportion과 ratio란 용어를 구분하여 사용하고 있고, 이들의 사용이 요구되는 의학적인 경우도 분명히 다름을 의학연구의 예제와 연구목적에 따라 제시하였습니다. 교과서처럼 쓸 수 있어서 설명이 부족합니다만, 의학에서 요구되는 구체적인 상황은 매우 다릅니다. 여러 가지 연구의 하나인 원인성연구를 살펴보면 measure of association으로써 rate difference (RD), rate ratio (PR)과 odds ratio (OR)의 세가지가 제시되었고, 이 measure에 대해서도 각각이 요구되는 의학적인 경우가 분명히 다르며, 또한 각각에 따른 분석기법도 다름을 논문에서 볼 수 있습니다.

  • PDF