• 제목/요약/키워드: 디리인

검색결과 54건 처리시간 0.026초

무한차원 상공간에서의 디리클레 형식과 확산과정

  • 박용문;유현재
    • 대한수학회논문집
    • /
    • 제13권4호
    • /
    • pp.691-725
    • /
    • 1998
  • 무한차원 상공간에서의 디리클레 형식과 이에 관계된 확산과정에 대한 일반 이론을 소개하고, 이 이론을 물리학의 통계역학 모델에 적용하였다. 구체적으로, 고전 비유계 스핀계에 대한 통계역학적인 모델, 연속체 공간에서 상호 작용하는 무한 입자계에 대한 통계역학적인 모델에 응용하였다. 아울러서 확률 미분 방정식과 같은 디리클레 형식에 관련된 연구분야에 대해서도 간단히 알아보았다.

  • PDF

확률 분포와 추론에 의한 이메일 분류 및 정리 방법 (Classification and Allocation method of e-mail using possibility distribution and prediction)

  • 고남현;김지윤;최만규
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
    • /
    • pp.95-96
    • /
    • 2016
  • 본 논문에서는 디리클레 분포와 베이즈 추론 모델을 활용하여 전자우편을 분류하고 정리하는 방법을 제안한다. 과거 원치 않는 광고성 이메일인 스팸 탐지에서 시작한 전자우편 분류는 지속적인 송수신 량의 증가와 내용의 다양화로 인해 광고성과 정보성의 판단 기준이 모호해진 상태이다. 스팸 탐지와 같은 이분법적 분류 방식이 아닌 내용의 주제 별로 자동 분류할 수 있는 방법이 필요하다. 본 논문에서 다루는 제안 기법은 전자우편의 내용에서 다뤄질 수 있는 주제의 종류를 예측하기 위한 방법을 제공한다. 발신하거나 수신된 전자우편이 속한 주제를 자동으로 정할 수 있다. 본 제안 기법의 활용을 통해 전자우편의 분류만이 아닌 업무 및 시장 동향 분석과 정보보안 분야에서는 악성코드 분류에 사용될 수 있을 것으로 기대된다.

  • PDF

잠재 디리클레 할당 기반 토픽 모델링을 통한 건설재해 사례 분석 (Analysis of Construction Accident Incident Using Latent Dirichlet Allocation-based Topic Modeling)

  • 김창재;김하림;이창수;조훈희
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2022년도 봄 학술논문 발표대회
    • /
    • pp.31-32
    • /
    • 2022
  • The construction industry has more safety accidents than other industries. Although there have been more attempts to reduce safety hazards in the industry such as the enforcement of the "Serious Accidents Punishment Act (SAPA)", construction accident has not been reduced enough. In this study, analysis of safety risk factors has been made through Latent Dirichlet Allocation (LDA)-based topic modeling. Risk analysis in construction site would be improved with natural language processing and topic modeling.

  • PDF

단어 유사도를 이용한 뉴스 토픽 추출 (News Topic Extraction based on Word Similarity)

  • 김동욱;이수원
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1138-1148
    • /
    • 2017
  • 토픽 추출은 문서 집합으로부터 그 문서 집합을 대표하는 토픽을 자동 추출하는 기술이며 자연어 처리의 중요한 연구 분야이다. 대표적인 토픽 추출 방법으로는 잠재 디리클레 할당과 단어 군집화 기반 토픽 추출방법이 있다. 그러나 이러한 방법의 문제점으로는 토픽 중복 문제와 토픽 혼재 문제가 있다. 토픽 중복 문제는 특정 토픽이 여러 개의 토픽으로 추출되는 문제이며, 토픽 혼재 문제는 추출된 하나의 토픽 내에 여러 토픽이 혼재되어 있는 문제이다. 이러한 문제를 해결하기 위하여 본 연구에서는 토픽 중복 문제에 대해 강건한 잠재 디리클레 할당으로 토픽을 추출하고 단어 간 유사도를 이용하여 토픽 분리 및 토픽 병합의 단계를 거쳐 최종적으로 토픽을 보정하는 방법을 제안한다. 실험 결과 제안 방법이 잠재 디리클레 할당 방법에 비해 좋은 성능을 보였다.

토픽 모델링을 이용한 건설현장 추락재해 분석 (Falling Accidents Analysis in Construction Sites by Using Topic Modeling)

  • 류한국
    • 한국융합학회논문지
    • /
    • 제10권7호
    • /
    • pp.175-182
    • /
    • 2019
  • 본 연구는 기계학습 기법 중 토픽 모델링을 활용하여 건설현장에서 발생하는 추락재해에 대한 토픽을 분류하고 각 토픽에 따른 재해요인을 분석하였다. 잠재 디리클레 할당 기반의 토픽 모델링을 적용하기 위해 텍스트 데이터의 전처리를 하였고 Perplexity 점수로 평가하여 모형의 신뢰성을 높였다. 각 토픽에서 공통으로 도출된 추락재해의 대부분은 소규모 사업장에 속한 일용직 작업자들에게 발생하였다. 추락재해의 대부분의 원인은 안전장비 미착용, 현장 정리 정돈 미흡, 안전장비의 성능 및 착용 상태로 인해 제대로 작동하지 않은 것으로 판단되었다. 추락재해를 예방하고 절감하기 위해서는 소규모 사업장에 맞는 안전교육과 작업장의 정리 정돈과 개인 안전장비의 적절한 착용 상태 및 성능을 확인하는 것이 중요한 것으로 도출되었다.

잠재 디리클레 할당(LDA)을 이용한 항공안전 의무보고 토픽 예측 모형 (Aviation Safety Mandatory Report Topic Prediction Model using Latent Dirichlet Allocation (LDA))

  • 김준환;백현진;전성진;최영재
    • 한국항공운항학회지
    • /
    • 제31권3호
    • /
    • pp.42-49
    • /
    • 2023
  • Not only in aviation industry but also in other industries, safety data plays a key role to improve the level of safety performance. By analyzing safety data such as aviation safety report (text data), hazard can be identified and removed before it leads to a tragic accident. However, pre-processing of raw data (or natural language data) collected from each site should be carried out first to utilize proactive or predictive safety management system. As air traffic volume increases, the amount of data accumulated is also on the rise. Accordingly, there are clear limitation in analyzing data directly by manpower. In this paper, a topic prediction model for aviation safety mandatory report is proposed. In addition, the prediction accuracy of the proposed model was also verified using actual aviation safety mandatory report data. This research model is meaningful in that it not only effectively supports the current aviation safety mandatory report analysis work, but also can be applied to various data produced in the aviation safety field in the future.

디리클레 분포 기반 모델 기여도 예측을 이용한 앙상블 트레이딩 알고리즘 (Ensemble trading algorithm Using Dirichlet distribution-based model contribution prediction)

  • 정재용;이주홍;최범기;송재원
    • 스마트미디어저널
    • /
    • 제11권3호
    • /
    • pp.9-17
    • /
    • 2022
  • 알고리즘을 이용하여 금융 상품을 거래하는 알고리즘 트레이딩은 시장의 많은 요인들로 인해 그 결과가 안정적이지 못한 문제가 있다. 이 문제를 완화시키기 위해 트레이딩 알고리즘들을 조합한 앙상블 기법들이 제안되었다. 하지만 이 앙상블 방법에도 여러 문제가 존재한다. 첫째, 앙상블의 필요 요건인 앙상블에 포함된 알고리즘의 최소 성능 요건(랜덤 이상)을 만족시키도록, 트레이딩 알고리즘을 선택하지 못할 수 있다는 점이다. 둘째, 과거에 우수한 성능을 보인 앙상블 모델이 미래에도 우수한 성능을 보일 것이라는 보장이 없다는 점이다. 이 문제점들을 해결하기 위해 앙상블 모델에 포함되는 트레이딩 알고리즘들을 선택하는 방법을 다음과 같이 제안한다. 과거의 데이터를 기반으로 상위 성능의 앙상블 모델들에 포함된 트레이딩 알고리즘들의 기여도를 측정한다. 그러나 이 과거 데이터에만 기반 된 기여도들은 과거의 데이터가 충분히 많지 않고 과거 데이터의 불확실성이 반영되어 있지 않기 때문에 디리클레 분포를 사용하여 기여도 분포를 근사시키고, 기여도 분포에서 기여도 값들을 샘플하여 불확실성을 반영한다. 과거 데이터로부터 구한 트레이딩 알고리즘의 기여도 분포를 기반으로 Transformer을 훈련하여 미래의 기여도를 예측한다. 예측된 미래 기여도가 높은 트레이딩 알고리즘들을 앙상블 모델에 선택하여 포함시킨다. 실험을 통하여 제안된 앙상블 방법이 기존 앙상블 방법들과 비교하여 우수한 성능을 보임을 입증하였다.

비모수 베이지안 방법을 이용한 영상 잡음 제거 알고리즘 (Noise reduction algorithm for an image using nonparametric Bayesian method)

  • 우호영;김영화
    • 응용통계연구
    • /
    • 제31권5호
    • /
    • pp.555-572
    • /
    • 2018
  • 영상처리 분야의 중요한 주제인 영상의 잡음 제거 과정은 원래의 순수한 영상이 다양한 원인으로 발생한 잡음에 의해 오염되었을때 이 잡음을 제거하거나 줄이는 것을 의미한다. 잡음 제거 과정에서는 영상에 추가된 잡음과 원 영상이 가진 고유한 특징들을 구별해내는 것이 중요하며 이에 대한 많은 연구가 진행되고 있다. 적응적 필터와 시그마 필터는 잡음 제거를 위하여 사용하는 대표적인 잡음 제거 필터이며 이 필터들의 효용성은 정확한 잡음 추정에 영향을 받는다. 따라서 본 연구에서는 디리클레 정규 혼합모형을 토대로 영상을 오염시키고 있는 잡음의 분포를 생성하고 이를 토대로 영상의 특징과 잡음을 구별하기 위한 베이지안 방법을 제시한다. 특히 잡음의 분포와 특징의 분포를 구별하기 위해 베이지안 추론을 전개하고 영상에 포함된 잡음을 제거하는 알고리즘을 제시하고자 한다.

영상감시시스템에서 움직임의 비교사학습을 통한 비정상행동탐지 (Unsupervised Motion Learning for Abnormal Behavior Detection in Visual Surveillance)

  • 정하욱;장형진;최진영
    • 전자공학회논문지SC
    • /
    • 제48권5호
    • /
    • pp.45-51
    • /
    • 2011
  • 본 논문에서는 비교사학습법을 통해 영상의 방대한 정보를 효율적으로 모델링 하는 방법을 제안하고자 한다. 여기서 이동궤적들은 자연어 처리에 사용되는 알고리즘인 잠재 디리클레 할당 모형(Latent Dirichlet Allocation)에 의해 직진, 좌회전, 우회전등 각 상황 별로 주제에 따라 그 영역을 효과적으로 분류할 수 있다. LDA를 이용해 주제별로 의미 있는 영역을 분류한 후, 각 주제별로 분류된 궤적을 관측열로 보고 은닉 마르코프 모델(Hidden Markov Model)의 바움-웰치 알고리즘을 사용하여 학습한다. 전향 알고리즘을 사용하여 입력된 행동과 학습된 행동을 비교함으로써 영상내의 행동이 정상인지 비정상인지를 효과적으로 판단할 수 있다. 실험결과 다양한 영상에 대해 의미있는 주제별로 영역이 잘 분류되며 추적에러로 인한 궤적의 노이즈에도 강인하게 물체의 무단횡단, 신호위반과 같은 상황을 효과적으로 탐지하는 것을 확인할 수 있다.

소셜 네트워크 서비스의 단어 빈도와 범죄 발생과의 관계 분석 (An Analysis of Relationship Between Word Frequency in Social Network Service Data and Crime Occurences)

  • 김용우;강행봉
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권9호
    • /
    • pp.229-236
    • /
    • 2016
  • 기존의 범죄 예측 방법들은 범죄 발생을 예측하기 위해 기존 기록을 이용하였다. 그러나 이러한 범죄 예측 모델은 데이터를 갱신하는데 어려움이 있다. 범죄 예측을 향상시키기 위해서 소셜 네트워크 서비스(SNS)를 이용하여 범죄를 예측하는 연구들이 진행되었지만, SNS 데이터와 범죄 기록 사이의 관계에 대한 연구는 미흡하다. 따라서, 본 논문에서는 SNS 데이터와 범죄 발생 사이의 관계를 범죄 예측의 관점에서 분석하였다. 잠재 디리클레 할당(LDA)을 이용하여 범죄 발생과 관련된 단어를 포함하는 트윗을 추출하였고, 범죄 기록에 따른 트윗 빈도의 변화를 분석하였다. 범죄 관련 단어를 포함하는 트윗의 빈도를 계산하고, 범죄 발생에 따라서 트윗 빈도를 분석하였다. 범죄가 발생하였을 때, 범죄와 관련된 트윗의 빈도가 변화하였다. 게다가, 범죄 발생 전후에 트윗 빈도가 특정 패턴을 보이기 때문에 SNS 데이터가 범죄 예측 모델에 도움이 될 것이다.