• 제목/요약/키워드: 확률데이터연관기법

검색결과 33건 처리시간 0.03초

신뢰성이 부족한 FAQ 데이터셋에서의 강건성 개선을 위한 모델의 예측 강도 기반 손실 조정 정규화 (Loss-adjusted Regularization based on Prediction for Improving Robustness in Less Reliable FAQ Datasets)

  • 박예원;양동일;김수필;이강욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.18-22
    • /
    • 2019
  • FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

  • PDF

시뮬레이션을 이용한 최적예방정비주기 결정에 관한 연구 (A Study on the Determination of Optimal Preventive Maintenance Periods using Simulation)

  • 윤익근;하종만;김호연;김동혁
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2002년도 춘계공동학술대회
    • /
    • pp.590-597
    • /
    • 2002
  • LNG고압펌프계통은 천연가스 고압 송출에 있어 가용도가 매우 중요한 계통이다. 본 연구에서는 현재 적용되고 있는 예방(계획)정비주기를 가용성 측면에서 재검토했다. 확률적인 운전대수와 운전 및 보전 형태에 연관된 여러제약이 고려할 때 계통 불가용도를 정량화하기 위하여 시뮬레이션 기법을 적용했다. 중도 절단된 형태의 펌프 수명 데이터를 분석해 욕조형의 고장율 함수를 도출했으며 보수시간 데이터를 분석해 확률분포모수를 구했다. 또한 주요 펌프부대설비에 대해서는 상수형의 고장율과 보전율을 도출했다. 분석된 확률모수를 작성된 시뮬레이션 모형에 입력하고 과거의 운전대수 시나리오를 설정해 실험한 결과와 실제 보수 및 운전 자료를 비교해 모형의 유효성을 보였다. 그리고 차후 예상되는 운전요구대수 시나리오를 기정하고 각 예방정비주기별로 반복 실험하여 계통의 불가용도를 보이고 적합한 예방정비주기를 도출했으며 펌프부품 교체비용의 기대 절감액을 보였다.

  • PDF

밀리미터파 대역 차량용 레이더를 위한 순서통계 기법을 이용한 다중표적의 데이터 연관 필터 (Multi-target Data Association Filter Based on Order Statistics for Millimeter-wave Automotive Radar)

  • 이문식;김용훈
    • 대한전자공학회논문지SP
    • /
    • 제37권5호
    • /
    • pp.94-104
    • /
    • 2000
  • 차량 충돌 경보용 레이더 시스템의 개발에 있어 표적 추적의 정확도와 신뢰도는 매우 중요한 요소이다. 여러 표적을 동시에 추적할 때 중요한 것은 표적과 측정치와의 데이터 연관(data association) 이며, 부적절한 측정치가 어느 표적과 연관되면 그 표적은 트랙을 벗어나 추적능력을 잃어버릴 수 있고 심지어 다른 표적의 추적에도 영향을 줄 수 있다 지금까지 발표된 대부분의 데이터 연관 필터들은 근접하여 이동하는 표적들의 경우 이와 같은 문제점을 보여왔다 따라서, 현재 개발되고 있는 많은 알고리즘들은 이러한 데이터 연 관 문제의 해결에 초점을 맞추고 있다 본 논문에서는 순서통계(order statistics)를 이용한 새로운 다중 표적의 데이터 연관 방법에 대하여 서술하고자 한다 OSPDA와 OSJPDA로 불리는 제안된 방법은 각각 PDA 필터 또는 JPDA 필터에서 계산된 연관 확률을 이용하며 이 연관 확률을 결정 논리(dicision logic)에 의한 가중치로 함수화 하여 표적과 측정치 사이에 최적 혹은 최적 근처의(near optimal) 데이터 연관이 가능하도록 한 것이다 시뮬레이션 결과를 통해, 제안한 방법은 기존의 NN 필터, PDA 필터, 그리고 JPDA 필터의 성능과 비교 분석되었으며, 그 결과 제안한 OSPDA, OSJPDA 필터는 PDA, JPDA 필터보다 추적 정확도에 대해 각각 약 18%, 19% 이상으로 성능이 향상됨을 확인하였다 제안한 방법은 CAN을 통해 차량 엔진 등의 ECU와 통신하도록 개발된 DSP 보드를 이용하여 구현되었다

  • PDF

텍스트 문서 분류를 위한 베이지안망 학습 (Learning Bayesian Networks for Text Documents Classification)

  • 황규백;장병탁;김영택
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.262-264
    • /
    • 2000
  • 텍스트 문서 분류는 텍스트 형태로 주어진 문서를 종류별로 구분하는 작업으로 웹페이지 검색, 뉴스 그룹 검색, 메일 필터링 등이 분야에 응용될 수 있는 기반 작업이다. 지금까지 문서를 분류하는데는 k-NN, 신경망 등 여러 가지 기계학습 기법이 이용되어 왔다. 이 논문에서는 베이지안망을 이용해서 텍스트 문서 분류를 행한다. 베이지안망은 다수의 변수들간의 확률적 관계를 표현하는 그래프 모델로 DAG 형태인 망 구조와 각 노드에 연관된 지역확률분포로 구성된다. 그래프 모델을 사용할 경우 학습에 이용되는 각 속성들간의 관계를 사람이 알아보기 쉬운 형태로 학습할 수 있다는 장점이 있다. 실험 데이터로는 Reuters-21578 문서분류데이터를 이용했으며 베이안망의 성능은 나이브 베이즈 분류기와 비슷했다.

  • PDF

탐지문턱값 적응기법을 이용한 표적추적 유효화 영역의 최적화 (Optimization of the Validation Region for Target Tracking Using an Adaptive Detection Threshold)

  • 최성린;김용식;홍금식
    • 한국항공우주학회지
    • /
    • 제30권2호
    • /
    • pp.75-82
    • /
    • 2002
  • 불확실한 측정값 근원의 문제에서는 표적을 최적으로 탐지해내는 것이 유용하다. 본 논문에서는 클러터 환경에서 표적을 추적하는 경우에 탐지확률 및 오경보확률과 동시에 탐지문턱값 처리에 따른 추적오차를 살펴보고, 문턱값과 표적추적 유효화영역의 최적화 알고리즘을 제안한다. 제안한 알고리즘은 시뮬레이션을 통해 상태추정오차공분산의 측면에서 성능을 분석한다.

연관 규칙 마이닝에서의 평가기준 표준화 방안 (Standardization for basic association measures in association rule mining)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제21권5호
    • /
    • pp.891-899
    • /
    • 2010
  • 연관성 규칙은 방대한 양의 데이터베이스 속에 있는 각 항목들 간의 관련성을 수치화함으로써 두개 이상의 항목간의 관련성을 나타내는 기법으로 데이터 마이닝 분야에서 가장 많이 활용되고 있다. 의미 있는 연관성 규칙을 탐색하기 위한 가장 기본적인 평가기준에는 지지도, 신뢰도, 향상도 등이 있으며, 이들을 이용하여 연관성 규칙을 생성하게 된다. 이 때 사용되는 향상도는 그 값의 범위가 지지도나 신뢰도와는 다르므로 지지도나 신뢰도의 범위를 동일하도록 하기 위해 표준화할 필요가 있으며, 지지도와 신뢰도도 하나의 후항변수에 대해 여러 개의 전항변수들이 있는 경우 이들 중 어느 것이 후항변수와 가장 연관성이 있는지를 객관적으로 비교하기 위해서도 표준화가 필요하다. 본 논문에서는 각 항목집합의 주변 발생확률을 고려하여 객관적이고도 정확한 연관성 정도를 파악하기 위해 연관성 평가기준을 표준화하는 방안에 대해 연구하고자 한다. 또한 흥미도 측도의 세 가지 조건의 충족 여부를 점검해 본 후, 구체적인 예제를 통하여 기존의 연관성 평가기준과 표준화된 연관성 평가기준을 비교 분석하고자 한다.

연관 마이닝 기법을 이용한 침입 시나리오 자동생성 알고리즘 (Automated Generation Algorithm of the Penetration Scenarios using Association Mining Technique)

  • 정경훈;주정은;황현숙;김창수
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1999년도 춘계종합학술대회
    • /
    • pp.203-207
    • /
    • 1999
  • 본 논문에서는 연관 마이닝 기법을 이용한 침입 시나리오 자동생성 알고리즘을 제안한다. 현재 알려진 침입 탐지는 크게 비정상 탐지(Anomaly Detection)와 오용 탐지(Misuse Detection)로 분류되는데, 침입 판정을 위해 전자는 통계적 방법, 특징 추출, 신경망 기법 둥을 사용하며, 후자는 조건부 확률, 전문가 시스템, 상태 전이 분석, 패턴 매칭 둥을 사용한다. 기존에 제안된 침입 탐지 알고리즘들의 경우 알려지지 않은 침입은 보안 전문가에 의해 수동적으로 시나리오를 생성ㆍ갱신한다. 본 알고리즘은 기존의 데이터 내에 있는 알려지지 않은 유효하고 잠재적으로 유용한 정보를 발견하는데 사용되는 연관 마이닝 알고리즘을 상태전이 기법에 적용하여 침입 시나리오를 자동으로 생성한다. 본 논문에서 제안한 알고리즘은 보안 전문가에 의해 수동적으로 생성되던 침입 시나리오를 자동적으로 생성할 수 있으며, 기존 알고리즘에 비해서 새로운 침입에 대응하는 것이 용이하고 시스템 유지 보수비용이 적다는 이점이 있다.

  • PDF

변형된 FP-Tree를 기반한 상품 추천 시스템 (The Goods Recommendation System based on modified FP-Tree Algorithm)

  • 김종희;정순기
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권11호
    • /
    • pp.205-213
    • /
    • 2010
  • 연관규칙 마이닝 기법 중에 하나인 FP-트리 알고리즘을 이용하는 추천시스템이 시도되고 있다. 본 논문에서는 트랜�Ъ� 데이터베이스로부터 빈발 2-항목집합만을 추출하여 연관규칙을 생성하는 변형된 FP-알고리즘을 사용하는 추천시스템을 제안하였다. 제안된 추천시스템은 전처리 모듈, 학습 모듈, 추천 모듈 및 평가 모듈로 구성되었다. 제안된 추천시스템의 실험을 통하여 상품 추천의정확률과 재현율과 F-Measure와 성공률과 추천실행시간을 수행하였으며, 순차패턴 마이닝 기법을 사용하는 추천시스템과의 성능을 비교분석 하였다. 순차패턴 마이닝기법을 사용하는 추천시스템과 학습 성능, 추천 성능을 비교한 결과 학습 성능은 5배 이상 향상되었으며, 추천 성능은 20%이상 향상 되었다. 결론적으로, 순차패턴 추천시스템과 같은 데이터를 가지고 실험하여 추천시스템 성능의 타당성에는 보다 나은 시스템임을 입증 하였다.

Sparse and low-rank feature selection for multi-label learning

  • Lim, Hyunki
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권7호
    • /
    • pp.1-7
    • /
    • 2021
  • 본 논문에서는 다중 레이블 분류를 위한 특징 선별 기법을 제안한다. 기존 많은 특징 선별 기법들은 상호정보척도 등을 이용하여 특징과 레이블 사이의 연관성을 계산하여 특징을 선별하였다. 하지만 상호정보척도는 결합 확률을 요구하기 때문에 실제 전제 특징 집합에서 결합 확률을 계산하는 것은 어렵다. 따라서 소수의 특징만 계산이 가능하여 지역적 최적화만 가능하다는 단점을 가진다. 이런 지역적 최적화 문제를 피해, 주어진 특징 전체 공간에서 저랭크 공간을 구성하고, 희소성을 가진 특징들을 선별할 수 있는 특징 선별 기법을 제안한다. 이를 위해 뉴클리어 노름을 이용해 회귀 기반의 목적함수를 설계하였고, 이 목적 함수의 최적화 문제를 풀기 위한 경사하강법 방식의 알고리즘을 제안하였다. 4가지의 데이터와 3가지 다중 레이블 분류 성능을 기준으로 다중 레이블 분류 실험 결과를 통해 제안하는 방법론이 기존 특징 선별 기법보다 좋은 성능을 나타내는 것을 보였다. 또한 제안하는 목적함수의 파라미터 값 변화에도 성능 변화가 둔감한 것을 실험적인 결과로 확인하였다.

복합모델 다차량 추종 기법을 이용한 차량 주행 제어 (Vehicle Cruise Control with a Multi-model Multi-target Tracking Algorithm)

  • 문일기;이경수
    • 대한기계학회:학술대회논문집
    • /
    • 대한기계학회 2004년도 추계학술대회
    • /
    • pp.696-701
    • /
    • 2004
  • A vehicle cruise control algorithm using an Interacting Multiple Model (IMM)-based Multi-Target Tracking (MTT) method has been presented in this paper. The vehicle cruise control algorithm consists of three parts; track estimator using IMM-Probabilistic Data Association Filter (PDAF), a primary target vehicle determination algorithm and a single-target adaptive cruise control algorithm. Three motion models; uniform motion, lane-change motion and acceleration motion, have been adopted to distinguish large lateral motions from longitudinal motions. The models have been validated using simulated and experimental data. The improvement in the state estimation performance when using three models is verified in target tracking simulations. The performance and safety benefits of a multi-model-based MTT-ACC system is investigated via simulations using real driving radar sensor data. These simulations show system response that is more realistic and reflective of actual human driving behavior.

  • PDF