• 제목/요약/키워드: 레이블이 결정된 데이터

검색결과 23건 처리시간 0.034초

준지도학습 기반의 P2P 대출 부도 위험 예측에 대한 연구 (Semi-Supervised Learning to Predict Default Risk for P2P Lending)

  • 김현정
    • 디지털융복합연구
    • /
    • 제20권4호
    • /
    • pp.185-192
    • /
    • 2022
  • 본 연구는 P2P(Peer-to-Peer) 대출의 부도위험 예측을 위하여 준지도학습(SSL) 기반의 모델을 개발하고자 한다. 검증된 성능에도 불구하고 지도학습(SL) 방법은 완전 지불 또는 채무불이행과 같이 레이블이 결정된 다수의 데이터가 필요한데 충분한 수의 레이블 데이터를 수집하려면 많은 자원과 시간이 필요하다. P2P 플랫폼이 급성장하면서 대출 건수도 매해 급증하였고, 레이블이 없는 데이터도 지속적으로 증가하고 있다. 본 연구는 P2P 대출 플랫폼인 LendingClub에서 수집한 데이터를 사용하였다. P2P 대출 중 레이블이 결정된 대출에서 추출한 정보뿐만 아니라 레이블이 결정되지 않은 대출에서 추출한 정보도 사용하여 부도 위험을 예측하는 SSL 모델을 개발하여 연구를 수행한 결과, 적은 수의 레이블이 결정된 데이터를 사용함에도 불구하고 SSL 방법으로 구축된 모델이 많은 수의 레이블이 결정된 데이터를 사용하여 학습시킨 SL 방법으로 구축된 모델보다 부도 위험 예측성과가 향상되었다.

후보 레이블 정보를 반영한 멀티 디코더 모델 (Multi-decoder Model Reflecting Candidate Label Information)

  • 박원재;최기현;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.307-310
    • /
    • 2021
  • 지도 학습을 하기 위해선 레이블이 부착된 데이터셋이 필요하다. 크라우드소싱 서비스를 통해 데이터셋을 구축하는데 다수의 주석자(Annotator)가 관여한다. 다수의 주석자가 레이블을 할당하고 과반수인 레이블을 최종 정답으로 결정한다. 이 과정에서 최종 정답과 다른 후보 레이블의 정보가 누락된다. 이를 완화하고 목표 작업에 대한 성능을 높이기 위해 후보 레이블에 대한 정보를 반영하는 멀티 디코더 모델을 제안한다. KLUE-TC, SNLI, MNLI 데이터셋으로 정량적 성능 평가를 수행하였으며 실험한 데이터셋 모두 일괄적인 성능 향상을 보였다.

  • PDF

대용량 소셜 미디어 감성분석을 위한 반감독 학습 기법 (Semi-supervised learning for sentiment analysis in mass social media)

  • 홍소라;정연오;이지형
    • 한국지능시스템학회논문지
    • /
    • 제24권5호
    • /
    • pp.482-488
    • /
    • 2014
  • 대표적인 소셜 네트워크 서비스(SNS)인 트위터의 내용을 분석하여 자동으로 트윗에 나타난 사용자의 감성을 분석하고자 한다. 기계학습 기법을 사용해서 감성 분석 모델을 생성하기 위해서는 각각의 트윗에 긍정 또는 부정을 나타내는 감성 레이블이 필요하다. 그러나 사람이 모든 트윗에 감성 레이블을 붙이는 것은 비용이 많이 소요되고, 실질적으로 불가능하다. 그래서 본 연구에서는 "감성 레이블이 있는 데이터"와 함께 "감성 레이블이 없는 데이터"도 활용하기 위해서 반감독 학습기법인 self-training 알고리즘을 적용하여 감성분석 모델을 생성한다. Self-training 알고리즘은 "레이블이 있는 데이터"의 레이블이 있는 데이터를 활용하여 "레이블이 없는 데이터"의 레이블을 확정하여 "레이블이 있는 데이터"를 확장하는 방식으로, 분류모델을 점진적으로 개선시키는 방식이다. 그러나 데이터의 레이블이 한번 확정되면 향후 학습에서 계속 사용되므로, 초기의 오류가 계속적으로 학습에 영향을 미치게 된다. 그러므로 조금 더 신중하게 "레이블이 없는 데이터"의 레이블을 결정할 필요가 있다. 본 논문에서는 self-training 알고리즘을 이용하여 보다 높은 정확도의 감성 분석 모델을 생성하기 위하여, self-training 중 "감성 레이블이 없는 데이터"의 레이블을 결정하여 "감성 레이블이 있는 데이터"로 확장하기 위한 3가지 정책을 제시하고, 각각의 성능을 비교 분석한다. 첫 번째 정책은 임계치를 고려하는 것이다. 분류 경계로부터 일정거리 이상 떨어져 있는 데이터를 선택하고자 하는 것이다. 두 번째 정책은 같은 개수의 긍/부정 데이터를 추가하는 것이다. 한쪽 감성에 해당하는 데이터에만 국한된 학습을 하는 것을 방지하기 위한 것이다. 세 번째 정책은 최대 개수를 고려하는 것이다. 한 번에 많은 양의 데이터가 "감성 레이블이 있는 데이터"에 추가되는 것을 방지하고 상위 몇%만 선택하기 위해서, 선택되는 데이터의 개수의 상한선을 정한 것이다. 실험은 긍정과 부정으로 분류되어 있는 트위터 데이터 셋인 Stanford data set에 적용하여 실험하였다. 그 결과 학습된 모델은 "감성 레이블이 있는 데이터" 만을 가지고 모델을 생성한 것보다 감성분석의 성능을 향상 시킬 수 있었고 3가지 정책을 적용한 방법의 효과를 입증하였다.

효과적인 의사결정을 위한 다중레이블 기반 속성선택 방법에 관한 연구: 감성 분석을 중심으로 (Exploring the Performance of Multi-Label Feature Selection for Effective Decision-Making: Focusing on Sentiment Analysis)

  • 원종윤;이건창
    • 경영정보학연구
    • /
    • 제25권1호
    • /
    • pp.47-73
    • /
    • 2023
  • 본 연구는 인공지능 기법 중 다중레이블 속성선택 방법을 적용하여 복잡한 경영환경에서 의사결정의 효과성을 증대시키는 방안을 설명한다. 인공지능 기반의 의사결정 시스템은 의사결정자의 선택과 판단을 돕거나, 대신하는 중요한 역할을 한다. 더욱이 최근 인공지능을 중심으로 한 비즈니스 의사결정은 기업의 성장 동력으로 평가받는데, 이를 위해서는 효과적인 의사결정 방법이 수반되어야 한다. 이에 본 연구는 의미 있는 속성값을 선별하는 CFS-BR(이진연관성 접근 기반의 상관관계 속성선택 모델)을 제안하여, 효과적인 의사결정을 지원하는 것을 돕는다. 예시데이터와 실증데이터의 분석 결과, CFS-BR은 유의미한 속성을 최상우선선별 알고리즘 기반으로 최상의 조합을 선별하므로 효율적 의사결정을 지원할 수 있고, 기존의 다중 레이블 속성선택 방법과 비교하였을 때 정확도가 높은 것으로 보아 효과적인 의사결정을 증대시키는 데 유용하다.

추론 및 비교사학습 기법 기반 레이블링을 적용한 탐지 모델 (A Detection Model using Labeling based on Inference and Unsupervised Learning Method)

  • 홍성삼;김동욱;김병익;한명묵
    • 인터넷정보학회논문지
    • /
    • 제18권1호
    • /
    • pp.65-75
    • /
    • 2017
  • 탐지 모델은 인공지능 기법들이나 데이터 마이닝 기법, 또는 지능형 알고리즘들을 이용하여 어떠한 목적에 맞는 결과를 찾고자 하는 모델들이다. 사이버 보안에서는 주로 침입탐지, 악성코드 탐지, 침해사고 탐지, 공격 탐지로 활용되고 있다. 보안데이터와 같은 실제 환경에 수집되는 데이터들을 레이블이 되지 않은 데이터들이 많다. 클래스 레이블이 정해지지 않아 유형을 알 수 없는 데이터가 많아 정확한 탐지 및 분석을 하기 위해서는 레이블 결정과정이 필요하다. 본 논문에서 제안하는 방법은 레이블 결정을 위해 D-S 추론 알고리즘과 비교사 방법인 k-means 알고리즘을 적용하여 각 데이터의 레이블을 융합하여 결정할 수 있는 KDFL(K-means and D-S Fusion based Labeling)제안하였으며 이를 적용한 탐지 모델 구조를 제안하였다. 제안하는 방법은 실험을 통해 기존의 방법에 비해 탐지율, 정확도, F1-measure 성능 지표에서 우수한 성능을 나타냈다. 또한 오류율도 크게 개선된 결과를 나타내어 제안하는 방법의 성능을 검증할 수 있었다.

준지도 학습 기반 선박충돌 예측에 대한 연구 (A Study on the Prediction of Ship Collision Based on Semi-Supervised Learning)

  • 석호준;심승;우정훈;조준래;조득재;백종화;정재룡
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2023년도 춘계학술대회
    • /
    • pp.204-205
    • /
    • 2023
  • 본 연구는 준지도학습(SSL)을 기반한 소형 어선의 충돌 경보 송출 예측 모델에 관한 연구이다. 지도학습(SL) 방법은 레이블링된 다수의 데이터가 필요하지만 레이블링 과정에서 많은 자원과 시간이 소요된다. 본 연구는 '지능형 해상교통정보 서비스'와 연계한 데이터 파이프 라인을 통해 수집된 서비스 데이터와 실해역 시험에서 수집한 데이터를 사용하였다. 실제 사용자 만족도 기반으로 레이블이 결정된 실해역 시험 데이터만 아니라 레이블이 결정되지 않은 서비스 데이터를 함께 학습시킨 결과, 모델 정확도가 향상되었다.

  • PDF

동적 XML 데이터 관리를 위한 트리 분해 기반의 소수 레이블링 기법 (A Prime Number Labeling Based on Tree Decomposition for Dynamic XML Data Management)

  • 변창우
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권4호
    • /
    • pp.169-177
    • /
    • 2011
  • 갱신 연산의 허용으로 동적 XML 데이터의 처리 효율성의 요구가 증대하면서 새로운 동적 XML 레이블링 기법들이 연구되어 왔다. 동적 XML 레이블링 기법의 핵심적인 해결 사항으로는 조상-자손-형제 관계 결정, 레이블 저장공간의 절약, 빠른 응답시간, 갱신에 의한 레이블 재작성의 최소화이다. 대표적인 동적 레이블링 기법으로 소수 기반 레이블링 기법이 있다. 소수 기반 레이블링 기법은 소수의 특성을 이용하여 조상-자손 관계를 쉽게 결정한다. 또한 새로운 엘리먼트를 삽입할 때도 기존 노드의 레이블을 재작성하는 비용이 발생되지 않는 장점을 갖고 있다. 하지만 소수를 많이 사용하면 레이블의 값이 상당히 커지게 되는 레이블 오버플로우 문제가 발생된다. 본 논문에서는 레이블 오버플로우 문제를 효과적으로 줄이는 새로운 방법을 소개한다. 제안하는 방법의 핵심 개념은 트리 분해이다. 레이블 오버플로우가 발생하면 트리를 하부 트리들로 분해하고 레이블은 각 하부 트리에 한해서 부여하는 것이다. 실험을 통해 트리 분해 기반의 소수 기반 레이블링 기법의 효과를 보인다.

웹페이지에서 레이블이 없는 텍스트 인식을 위한 확률 모델 (A Probabilistic Method for Recognizing Unlabeled Text on Web Pages)

  • 정창후;이민호;주원균;맹성현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.163-165
    • /
    • 2003
  • 도메인 지식은 텍스트의 포맷과 의미 정보를 이용하여 웹에 존재하는 텍스트의 다양한 의미를 이해할 수 있도록 도와준다. 그러나 도메인 지식은 텍스트에 데이터의 의미를 표현하는 레이블이 존재하지 알을 경우에 텍스트 인식을 제대로 수행할 수 없기 때문에 무용지물이 되고 만다. 이러한 문제를 해결하기 위해 본 논문에서는 레이블이 존재하지 않는 텍스트의 의미를 효과적으로 추론할 수 있는 엔티티 인식 모델을 제안한다 엔티티 인식 모델은 베이지언 모델과 컨텍스트 정보를 결합한 방법으로서, 구조 분석을 수행한 HTML 문서의 텍스트 토큰에 대해서 어떤 엔티티에 속할 것인가를 결정하는 기능을 수행한다. 실험 결과 본 모델을 사용할 경우 기존에는 레이블이 없어서 인식되지 않았던 텍스트들을 효과적으로 인식하는 것을 확인할 수 있었다.

  • PDF

은행 텔레마케팅 예측을 위한 레이블 전파와 협동 학습의 결합 방법 (A Fusion Method of Co-training and Label Propagation for Prediction of Bank Telemarketing)

  • 김아름;조성배
    • 정보과학회 논문지
    • /
    • 제44권7호
    • /
    • pp.686-691
    • /
    • 2017
  • 텔레마케팅은 지식정보화 사회가 되면서 기업 마케팅 활동의 중심축으로 발전하였다. 최근 금융 데이터에 기계학습을 적용하는 연구가 활발하게 진행되고 있으며 좋은 성과를 내고 있다. 하지만 지도학습법이 대부분이어서 많은 양의 클래스가 있는 데이터가 필요하다. 본 논문에서는 텔레마케팅의 목표 고객을 선정하는데 클래스가 없는 금융 데이터에 자동으로 클래스를 부여하는 방법을 제안한다. 준지도 학습법 중 레이블 전파와 의사결정나무 기반의 협동 학습으로 클래스가 없는 데이터를 레이블링한다. 신뢰도가 낮은 데이터를 제거한 후 두 방법이 같은 클래스로 예측한 데이터만 추출한다. 이를 학습 데이터에 추가한 후 의사결정나무를 학습하여 테스트 데이터로 평가한다. 제안하는 방법의 유용성을 입증하기 위해 실제 포르투갈 은행의 텔레마케팅 데이터를 이용하여 실험을 수행하였다. 비교 실험 결과, 정확도가 83.39%로 1.82% 향상되고, 정밀도가 19.37%로 2.67% 향상되었으며, t-검증을 통해 유의미한 성능 향상이 있음을 입증하였다.

Natural Language Explanations 에 기반한 한국어 자연어 추론 (Korean Natural Language Inference with Natural Langauge Explanations)

  • 윤준호;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.170-175
    • /
    • 2022
  • 일반적으로 대규모 언어 모델들은 다량의 데이터를 오랜시간 사전학습하면서 레이블을 예측하기 위한 성능을 높여왔다. 최근 언어 모델의 레이블 예측에 대한 정확도가 높아지면서, 언어 모델이 왜 해당 결정을 내렸는지 이해하기 위한 신뢰도 높은 Natural Language Explanation(NLE) 을 생성하는 것이 시간이 지남에 따라 주요 요소로 자리잡고 있다. 본 논문에서는 높은 레이블 정확도를 유지하면서 동시에 언어 모델의 예측에 대한 신뢰도 높은 explanation 을 생성하는 참신한 자연어 추론 시스템을 제시한 Natural-language Inference over Label-specific Explanations(NILE)[1] 을 소개하고 한국어 데이터셋을 이용해 NILE 과 NLE 를 활용하지 않는 일반적인 자연어 추론 태스크의 성능을 비교한다.

  • PDF