• 제목/요약/키워드: 디리클레 분포

검색결과 7건 처리시간 0.018초

확률 분포와 추론에 의한 이메일 분류 및 정리 방법 (Classification and Allocation method of e-mail using possibility distribution and prediction)

  • 고남현;김지윤;최만규
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
    • /
    • pp.95-96
    • /
    • 2016
  • 본 논문에서는 디리클레 분포와 베이즈 추론 모델을 활용하여 전자우편을 분류하고 정리하는 방법을 제안한다. 과거 원치 않는 광고성 이메일인 스팸 탐지에서 시작한 전자우편 분류는 지속적인 송수신 량의 증가와 내용의 다양화로 인해 광고성과 정보성의 판단 기준이 모호해진 상태이다. 스팸 탐지와 같은 이분법적 분류 방식이 아닌 내용의 주제 별로 자동 분류할 수 있는 방법이 필요하다. 본 논문에서 다루는 제안 기법은 전자우편의 내용에서 다뤄질 수 있는 주제의 종류를 예측하기 위한 방법을 제공한다. 발신하거나 수신된 전자우편이 속한 주제를 자동으로 정할 수 있다. 본 제안 기법의 활용을 통해 전자우편의 분류만이 아닌 업무 및 시장 동향 분석과 정보보안 분야에서는 악성코드 분류에 사용될 수 있을 것으로 기대된다.

  • PDF

디리클레 분포 기반 모델 기여도 예측을 이용한 앙상블 트레이딩 알고리즘 (Ensemble trading algorithm Using Dirichlet distribution-based model contribution prediction)

  • 정재용;이주홍;최범기;송재원
    • 스마트미디어저널
    • /
    • 제11권3호
    • /
    • pp.9-17
    • /
    • 2022
  • 알고리즘을 이용하여 금융 상품을 거래하는 알고리즘 트레이딩은 시장의 많은 요인들로 인해 그 결과가 안정적이지 못한 문제가 있다. 이 문제를 완화시키기 위해 트레이딩 알고리즘들을 조합한 앙상블 기법들이 제안되었다. 하지만 이 앙상블 방법에도 여러 문제가 존재한다. 첫째, 앙상블의 필요 요건인 앙상블에 포함된 알고리즘의 최소 성능 요건(랜덤 이상)을 만족시키도록, 트레이딩 알고리즘을 선택하지 못할 수 있다는 점이다. 둘째, 과거에 우수한 성능을 보인 앙상블 모델이 미래에도 우수한 성능을 보일 것이라는 보장이 없다는 점이다. 이 문제점들을 해결하기 위해 앙상블 모델에 포함되는 트레이딩 알고리즘들을 선택하는 방법을 다음과 같이 제안한다. 과거의 데이터를 기반으로 상위 성능의 앙상블 모델들에 포함된 트레이딩 알고리즘들의 기여도를 측정한다. 그러나 이 과거 데이터에만 기반 된 기여도들은 과거의 데이터가 충분히 많지 않고 과거 데이터의 불확실성이 반영되어 있지 않기 때문에 디리클레 분포를 사용하여 기여도 분포를 근사시키고, 기여도 분포에서 기여도 값들을 샘플하여 불확실성을 반영한다. 과거 데이터로부터 구한 트레이딩 알고리즘의 기여도 분포를 기반으로 Transformer을 훈련하여 미래의 기여도를 예측한다. 예측된 미래 기여도가 높은 트레이딩 알고리즘들을 앙상블 모델에 선택하여 포함시킨다. 실험을 통하여 제안된 앙상블 방법이 기존 앙상블 방법들과 비교하여 우수한 성능을 보임을 입증하였다.

비모수 베이지안 방법을 이용한 영상 잡음 제거 알고리즘 (Noise reduction algorithm for an image using nonparametric Bayesian method)

  • 우호영;김영화
    • 응용통계연구
    • /
    • 제31권5호
    • /
    • pp.555-572
    • /
    • 2018
  • 영상처리 분야의 중요한 주제인 영상의 잡음 제거 과정은 원래의 순수한 영상이 다양한 원인으로 발생한 잡음에 의해 오염되었을때 이 잡음을 제거하거나 줄이는 것을 의미한다. 잡음 제거 과정에서는 영상에 추가된 잡음과 원 영상이 가진 고유한 특징들을 구별해내는 것이 중요하며 이에 대한 많은 연구가 진행되고 있다. 적응적 필터와 시그마 필터는 잡음 제거를 위하여 사용하는 대표적인 잡음 제거 필터이며 이 필터들의 효용성은 정확한 잡음 추정에 영향을 받는다. 따라서 본 연구에서는 디리클레 정규 혼합모형을 토대로 영상을 오염시키고 있는 잡음의 분포를 생성하고 이를 토대로 영상의 특징과 잡음을 구별하기 위한 베이지안 방법을 제시한다. 특히 잡음의 분포와 특징의 분포를 구별하기 위해 베이지안 추론을 전개하고 영상에 포함된 잡음을 제거하는 알고리즘을 제시하고자 한다.

총선 출구조사에서 정당별 지역구 의석수 추정 (Estimating the Number of Seats in Local Constituencies of a Party Using Exit Polls in the General Election)

  • 김지현
    • 응용통계연구
    • /
    • 제26권1호
    • /
    • pp.59-70
    • /
    • 2013
  • 2012년 4월 11일 총선 당일 이루어진 출구조사에서 정당별 의석수를 구간으로 예측했음에도 불구하고 예측이 빗나갔다. 지상파 3사가 출구조사는 공동으로 실시하였지만 정당별 의석수 예측은 각자 하였다고 하는데 구체적 예측 방법은 공개하지 않았다. 이 논문에서 정당별 지역구 의석수를 구간으로 추정하는 방법을 제안하고 그 성능을 모의실험을 통해 알아보았다. 그리고 제19대 총선 출구조사의 실제자료에 적용해 보았다.

윈드프로파일러의 평균모멘트 값을 이용한 도플러 파워 스펙트럼 및 시계열 원시신호 시뮬레이션기법 개발 (Development of Simulation Method of Doppler Power Spectrum and Raw Time Series Signal Using Average Moments of Radar Wind Profiler)

  • 이상윤;이규원
    • 한국전자통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.1037-1044
    • /
    • 2020
  • 윈드프로파일러(RWP, radar wind profiler)는 기상 상태와 관계없이 시공간 분해능이 높은 바람장 자료를 제공하며 생산된 바람의 정확도나 품질에 대한 검증이 필수적이다. 기존 정확도 검증 방식은 레윈존데와의 동시 관측을 통해 윈드프로파일러에서 생성된 바람 벡터를 기준 자료로 활용하는 것이다. 본 연구에서는 평균 모멘트 자료로부터 스펙트럼과 원시 시계열 자료를 시뮬레이션하는 알고리즘을 통해 윈드프로파일러의 신호처리 알고리즘을 단계별로 검증하는 방안을 제시하고, LAP-3000의 원시 자료와의 비교를 통해 해당 알고리즘의 가능성을 확인하였다. 기상 신호의 밀도 함수를 모멘트값을 인자로 하는 왜곡된 정규 분포의 밀도 함수로 가정하여 생성하였고, 난수를 통해 시뮬레이션 스펙트럼을 생성하였다. 또한, 난수 위상과 역 이산푸리에 변환으로 간섭 평균된 시뮬레이션 원시 시계열 자료를 생성하고 최종적으로 디리클레 분포(Dirichlet distribution)를 통해 간섭 평균 전 단계의 원시 시계열 자료를 생성하였다.

토픽모델링을 이용한 국내 방사선 학술연구 트렌드 분석 (A Trend Analysis of Radiological Research in Korea using Topic Modeling)

  • 홍동희
    • 한국방사선학회논문지
    • /
    • 제16권3호
    • /
    • pp.343-349
    • /
    • 2022
  • 토픽 모델링을 활용하여 1989년부터 2022년까지 출판된 방사선을 주제로 한 논문을 파악하고 주제들 간의 관련성과 비중을 분석하고자 한다. 본 연구는 방사선 분야의 연구 활성화에 기여하기 위하여 2022년 최근까지 출판된 논문 717편을 대상으로 국문제목에서 도출된 토픽들을 분석하였다. 텍스트마이닝을 통해 연구의 주제 분포에 대한 전반적 연구 동향을 분석하였으며, 토픽모델링을 통해 5가지 주제를 도출해냈다. 첫째, 분석 대상 논문 중 키워드 중심으로 총 논문 717편의 연구에서 핵심어를 전처리 과정을 거쳐 최종적으로 선정된 단어는 총 1675개의 단어를 빈도 분석하였다. 둘째, 5개 토픽에 대하여 구성단어의 연관성을 중심으로 토픽을 분석한 결과 방사선, 영상, CT 임상분야에서 영상의 화질을 떨어뜨리지 않는 범위에서 선량을 최소화 하는데 연구가 주를 이루고 있음을 알 수 있었다. 또한, MRI 분야는 다양한 연구가 주를 이루었고 초음파는 다양한 부위의 질환 분석이 연구가 활발하게 시도되고 있음을 알 수 있었다.

LDA 기반 은닉 토픽 추론을 이용한 TV 프로그램 자동 추천 (Automatic TV Program Recommendation using LDA based Latent Topic Inference)

  • 김은희;표신지;김문철
    • 방송공학회논문지
    • /
    • 제17권2호
    • /
    • pp.270-283
    • /
    • 2012
  • 다채널 TV, IPTV 및 Smart TV 서비스의 등장으로 인해 수많은 방송 채널과 방대한 TV 프로그램 콘텐츠가 시청자 단말로 제공됨으로써 시청자들은 자신이 원하는 콘텐츠를 쉽게 찾고 소비하는 것이 어려운 TV 시청 환경을 맞게 되었다. 따라서 TV 사용자들에게 자신이 선호하는 콘텐츠를 자동 추천해 줌으로써 원하는 콘텐츠로의 접근성을 증대시키는 것은 미래의 지능형 TV 서비스에 있어서 주요한 이슈이다. 이에 본 논문에서는 사용자의 선호 취향과 대중의 선호취향을 모두 고려한 협업필터링 개념의 통계적 기계학습 기반 TV 프로그램 추천 모델을 제시한다. 이를 위해 시청한 TV 콘텐츠에 대한 선호 토픽을 사용자의 시청 선호도로 보고, 최근 널리 활용되고 있는 LDA(Latent Dirichlet Allocation)모델을 TV 프로그램 추천 모델에 적용하였다. LDA 기반 TV 프로그램 추천 성능을 개선하기 위해 본 논문에서는 TV시청 이용내역 데이터를 기반으로, TV 사용자들의 관심 토픽을 은닉 변수로 하고, TV 사용자들의 관심 토픽에 대한 다양성을 반영하기 위해 은닉 변수의 확률분포 특성을 비대칭 디리클레(Dirichlet) 분포로 모형화하여 실험에 적용하였다. 제안된 LDA 기반 TV 프로그램 자동 추천 방법의 성능을 검증하기 위해, 유사 시청 특성을 갖는 사용자 그룹에 대해 상위 5개의 TV 프로그램을 일주일 단위로 추천하였을 경우 평균 66.5%, 2개월 단위의 추천에 대해서는 평균 77.9%의 precision 추천 성능을 확인할 수 있었다.