• 제목/요약/키워드: Semi-supervised

검색결과 172건 처리시간 0.022초

준지도학습 기반의 P2P 대출 부도 위험 예측에 대한 연구 (Semi-Supervised Learning to Predict Default Risk for P2P Lending)

  • 김현정
    • 디지털융복합연구
    • /
    • 제20권4호
    • /
    • pp.185-192
    • /
    • 2022
  • 본 연구는 P2P(Peer-to-Peer) 대출의 부도위험 예측을 위하여 준지도학습(SSL) 기반의 모델을 개발하고자 한다. 검증된 성능에도 불구하고 지도학습(SL) 방법은 완전 지불 또는 채무불이행과 같이 레이블이 결정된 다수의 데이터가 필요한데 충분한 수의 레이블 데이터를 수집하려면 많은 자원과 시간이 필요하다. P2P 플랫폼이 급성장하면서 대출 건수도 매해 급증하였고, 레이블이 없는 데이터도 지속적으로 증가하고 있다. 본 연구는 P2P 대출 플랫폼인 LendingClub에서 수집한 데이터를 사용하였다. P2P 대출 중 레이블이 결정된 대출에서 추출한 정보뿐만 아니라 레이블이 결정되지 않은 대출에서 추출한 정보도 사용하여 부도 위험을 예측하는 SSL 모델을 개발하여 연구를 수행한 결과, 적은 수의 레이블이 결정된 데이터를 사용함에도 불구하고 SSL 방법으로 구축된 모델이 많은 수의 레이블이 결정된 데이터를 사용하여 학습시킨 SL 방법으로 구축된 모델보다 부도 위험 예측성과가 향상되었다.

그래프 임베딩 및 준지도 기반의 이더리움 피싱 스캠 탐지 (Ethereum Phishing Scam Detection based on Graph Embedding and Semi-Supervised Learning)

  • 정유영;김경태;임동혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제12권5호
    • /
    • pp.165-170
    • /
    • 2023
  • 최근 블록체인 기술이 부상하면서 이를 이용한 암호화폐 플랫폼이 늘어나며 화폐 거래가 활발이 이뤄지고 있다. 그러나 암호화폐의 특성을 악용한 범죄 또한 늘어나 문제가 되고 있다. 특히 피싱 스캠은 이더리움 사이버 범죄의 과반수 이상을 차지하며 주요 보안 위협원으로 여겨지고 있다. 따라서 효과적인 피싱 스캠 탐지 방법이 시급하다. 그러나 전체 이더리움 참여 계정 주소에서 라벨링된 피싱 주소의 부족으로 인한 데이터 불균형 문제로 지도학습에 충분한 데이터 제공이 어려운 상황이다. 이를 해결하기 위하여 본 논문에서는 이더리움 트랜잭션 네트워크를 고려한 효과적인 그래프 임베딩 기법인 trans2vec과 준지도 학습 모델 tri-training을 함께 사용하여 라벨링된 데이터 뿐만 아니라 라벨링되지 않은 데이터도 최대한 활용하는 피싱 스캠 탐지 방법을 제안한다.

준지도 학습 기반 선박충돌 예측에 대한 연구 (A Study on the Prediction of Ship Collision Based on Semi-Supervised Learning)

  • 석호준;심승;우정훈;조준래;조득재;백종화;정재룡
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2023년도 춘계학술대회
    • /
    • pp.204-205
    • /
    • 2023
  • 본 연구는 준지도학습(SSL)을 기반한 소형 어선의 충돌 경보 송출 예측 모델에 관한 연구이다. 지도학습(SL) 방법은 레이블링된 다수의 데이터가 필요하지만 레이블링 과정에서 많은 자원과 시간이 소요된다. 본 연구는 '지능형 해상교통정보 서비스'와 연계한 데이터 파이프 라인을 통해 수집된 서비스 데이터와 실해역 시험에서 수집한 데이터를 사용하였다. 실제 사용자 만족도 기반으로 레이블이 결정된 실해역 시험 데이터만 아니라 레이블이 결정되지 않은 서비스 데이터를 함께 학습시킨 결과, 모델 정확도가 향상되었다.

  • PDF

준 지도학습과 여러 개의 딥 뉴럴 네트워크를 사용한 멀티 모달 기반 감정 인식 알고리즘 (Multi-modal Emotion Recognition using Semi-supervised Learning and Multiple Neural Networks in the Wild)

  • 김대하;송병철
    • 방송공학회논문지
    • /
    • 제23권3호
    • /
    • pp.351-360
    • /
    • 2018
  • 인간 감정 인식은 컴퓨터 비전 및 인공 지능 영역에서 지속적인 관심을 받는 연구 주제이다. 본 논문에서는 wild 환경에서 이미지, 얼굴 특징점 및 음성신호로 구성된 multi-modal 신호를 기반으로 여러 신경망을 통해 인간의 감정을 분류하는 방법을 제안한다. 제안 방법은 다음과 같은 특징을 갖는다. 첫째, multi task learning과 비디오의 시공간 특성을 이용한 준 감독 학습을 사용함으로써 영상 기반 네트워크의 학습 성능을 크게 향상시켰다. 둘째, 얼굴의 1 차원 랜드 마크 정보를 2 차원 영상으로 변환하는 모델을 새로 제안하였고, 이를 바탕으로 한 CNN-LSTM 네트워크를 제안하여 감정 인식을 향상시켰다. 셋째, 특정 감정에 오디오 신호가 매우 효과적이라는 관측을 기반으로 특정 감정에 robust한 오디오 심층 학습 메커니즘을 제안한다. 마지막으로 소위 적응적 감정 융합 (emotion adaptive fusion)을 적용하여 여러 네트워크의 시너지 효과를 극대화한다. 제안 네트워크는 기존의 지도 학습과 반 지도학습 네트워크를 적절히 융합하여 감정 분류 성능을 향상시켰다. EmotiW2017 대회에서 주어진 테스트 셋에 대한 5번째 시도에서, 제안 방법은 57.12 %의 분류 정확도를 달성하였다.

Sentiment Orientation Using Deep Learning Sequential and Bidirectional Models

  • Alyamani, Hasan J.
    • International Journal of Computer Science & Network Security
    • /
    • 제21권11호
    • /
    • pp.23-30
    • /
    • 2021
  • Sentiment Analysis has become very important field of research because posting of reviews is becoming a trend. Supervised, unsupervised and semi supervised machine learning methods done lot of work to mine this data. Feature engineering is complex and technical part of machine learning. Deep learning is a new trend, where this laborious work can be done automatically. Many researchers have done many works on Deep learning Convolutional Neural Network (CNN) and Long Shor Term Memory (LSTM) Neural Network. These requires high processing speed and memory. Here author suggested two models simple & bidirectional deep leaning, which can work on text data with normal processing speed. At end both models are compared and found bidirectional model is best, because simple model achieve 50% accuracy and bidirectional deep learning model achieve 99% accuracy on trained data while 78% accuracy on test data. But this is based on 10-epochs and 40-batch size. This accuracy can also be increased by making different attempts on epochs and batch size.

Sentiment Analysis to Evaluate Different Deep Learning Approaches

  • Sheikh Muhammad Saqib ;Tariq Naeem
    • International Journal of Computer Science & Network Security
    • /
    • 제23권11호
    • /
    • pp.83-92
    • /
    • 2023
  • The majority of product users rely on the reviews that are posted on the appropriate website. Both users and the product's manufacturer could benefit from these reviews. Daily, thousands of reviews are submitted; how is it possible to read them all? Sentiment analysis has become a critical field of research as posting reviews become more and more common. Machine learning techniques that are supervised, unsupervised, and semi-supervised have worked very hard to harvest this data. The complicated and technological area of feature engineering falls within machine learning. Using deep learning, this tedious process may be completed automatically. Numerous studies have been conducted on deep learning models like LSTM, CNN, RNN, and GRU. Each model has employed a certain type of data, such as CNN for pictures and LSTM for language translation, etc. According to experimental results utilizing a publicly accessible dataset with reviews for all of the models, both positive and negative, and CNN, the best model for the dataset was identified in comparison to the other models, with an accuracy rate of 81%.

준지도 학습을 활용한 사용자 기반 소형 어선 충돌 경보 분류모델에대한 연구 (A Study on the User-Based Small Fishing Boat Collision Alarm Classification Model Using Semi-supervised Learning)

  • 석호준;심승;우정훈;조준래;정재룡;조득재;백종화
    • 한국항해항만학회지
    • /
    • 제47권6호
    • /
    • pp.358-366
    • /
    • 2023
  • 본 연구는 해양수산부의 '지능형 해상교통정보시스템' 서비스 중 '사고취약선박 모니터링 서비스'의 선박 충돌 경보를 개선하기 위한 것으로, 현재의 선박 충돌 경보는 대형 선박 위주의 데이터와 그 운항자에 기반한 설문조사 레이블을 가지고 지도 학습(SL)한 모델을 사용하고 있다. 이로 인해, 소형선박 데이터 및 운항자의 의견이 현재 충돌 지도학습 모델에 반영되지 않아, 소형선박 운항자가 느끼는 체감보다 먼 거리에서 경보가 제공되기 때문에 그 효과가 미비하다. 또한, 지도학습(SL) 방법은 레이블링 된 다수의 데이터가 필요하지만, 레이블링 과정에서 많은 자원과 시간이 필요하다. 본 논문은 이러한 한계를 극복하기 위해 준지도학습(SSL)의 알고리즘인 Label Propagation과 TabNet을 사용하여 레이블이 결정되지 않은 데이터를 활용하여 소형선박을 위한 충돌 경보의 분류 모델을 연구하였다. 충돌 경보의 분류 모델을 활용하여 소형선박 운항자를 대상으로 실해역 시험을 수행한 결과 운항자의 만족도가 증가하는 결과를 확인하였다.

질의 응답 시스템을 위한 반교사 기반의 정답 유형 분류 (Semi-Supervised Answer Type Classification For Question-Answering System)

  • 박선영;이동현;김용희;류성한;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.45-49
    • /
    • 2013
  • 기존 연구에서는 질의 응답 시스템에서 정답 유형을 분류하기 위해 패턴 매칭 방식이나 교사 학습(Supervised Learning)을 이용했다. 패턴 매칭 방식은 질의 분석을 통해 수동으로 패턴을 구축해야 한다. 교사 학습에서는 훈련 데이터 전체에 정답 유형이 태깅(Tagging)되어야 하며, 이를 위해서는 사용자의 질의에 정답 유형을 수동으로 태깅하는 작업이 많이 필요하다. 웹을 통해 정답 유형이 태깅되지 않은 대용량의 사용자 질의 말뭉치를 구할 수 있지만, 이 데이터에는 정답 유형이 태깅되어 있지 않다. 따라서, 대용량의 사용자 질의에 비례하여, 정답 유형을 수동으로 태깅하는 작업량이 증가한다. 앞서 언급한 두 가지 방법론에서, 정답 유형 분류를 위해 수작업이 많이 필요하다는 문제점을 해결하고자 본 논문에서는 일부 태깅된 훈련 데이터를 필요로 하는 반교사 학습(Semi-supervised Learning)에 기반한 정답 유형 분류를 제안한다. 이는 정답 유형 분류 작업에 필요한 노동력을 최소화함으로 대용량의 데이터를 통한 효율적 질의 응답 시스템 구축을 가능하게 한다.

  • PDF

사전정보 활용을 위한 관련 규칙 기반의 Ensemble 클러스터링 (Association-rule based ensemble clustering for adopting a prior knowledge)

  • 고송;김대원
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
    • /
    • pp.67-70
    • /
    • 2007
  • 본 논문은 클러스터링 문제에서 사전 정보에 대한 활용의 효율을 개선시킬 수 있는 방법을 제안한다. 클러스터링에서 사전 정보의 존재 시 이의 활용은 성능을 개선시킬 수 있는 계기가 될 수 있으므로 그의 활용 폭을 늘리기 위한 방법으로 다양한 사용 방법의 적용인 semi-supervised 클러스터링 앙상블을 제안한다. 사전 정보의 활용 방법의 방안으로써 association-rule의 개념을 접목하였다. 클러스터 수를 다르게 적용하더라도 패턴간의 유사도가 높으면 같은 그룹에 속할 확률은 높아진다. 다양한 초기화에 따른 클러스터의 동작은 사전 정보의 활용을 다양화 시키게 되며, 사전 정보에 충족하는 각각의 클러스터 결과를 제시한다. 결과를 총 취합하여 association-matrix를 형성하면 패턴간의 유사도를 얻을 수 있으며 결국 association-matrix를 통해 클러스터링 할 수 있는 방법을 제시한다.

  • PDF

시계열 네트워크에 기반한 주가예측 (Stock Price Prediction Based on Time Series Network)

  • 박강희;신현정
    • 경영과학
    • /
    • 제28권1호
    • /
    • pp.53-60
    • /
    • 2011
  • Time series analysis methods have been traditionally used in stock price prediction. However, most of the existing methods represent some methodological limitations in reflecting influence from external factors that affect the fluctuation of stock prices, such as oil prices, exchange rates, money interest rates, and the stock price indexes of other countries. To overcome the limitations, we propose a network based method incorporating the relations between the individual company stock prices and the external factors by using a graph-based semi-supervised learning algorithm. For verifying the significance of the proposed method, it was applied to the prediction problems of company stock prices listed in the KOSPI from January 2007 to August 2008.