• 제목/요약/키워드: 부스팅 알고리즘

검색결과 54건 처리시간 0.025초

불균형적인 이항 자료 분석을 위한 샘플링 알고리즘들: 성능비교 및 주의점 (On sampling algorithms for imbalanced binary data: performance comparison and some caveats)

  • 김한용;이우주
    • 응용통계연구
    • /
    • 제30권5호
    • /
    • pp.681-690
    • /
    • 2017
  • 파산감지, 스팸메일 감지, 불량품 감지 등 일상생활에서 불균형적인 이항 분류 문제를 다양하게 접할 수 있다. 반응변수의 클래스의 비율이 상당히 불균형한 경우 이항 분류 모형의 예측 성능이 좋지 않다는 점은 이미 잘 알려진 사실이다. 이러한 문제점을 해결하기 위해 그 동안 오버 샘플링, 언더 샘플링, SMOTE와 같은 여러 샘플링 기법이 개발되어 왔다. 본 연구에서는 분류 모형으로 많이 사용되는 기계학습모형으로 로지스틱 회귀모형, Lasso, 랜덤포레스트, 부스팅, 서포트 벡터 머신을 위의 샘플링 기법들과 결합하여 사용했을 때의 예측 성능을 살펴보았다. 실질적인 예측 성능의 개선 여부를 확인하기 위해 네 개의 실제 자료를 분석하였다. 이와 더불어, 샘플링 방법이 사용될 때 주의해야 할 점에 대해서 강조하였다.

LightGBM 알고리즘을 활용한 고속도로 교통사고심각도 예측모델 구축 (Predicting of the Severity of Car Traffic Accidents on a Highway Using Light Gradient Boosting Model)

  • 이현미;전교석;장정아
    • 한국전자통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.1123-1130
    • /
    • 2020
  • 본 연구는 고속도로 교통사고 심각도 예측모델을 구축하기 위해 다섯가지 머신러닝 기반의 분류모형 적용하였다. 2015년~2017년 동안 전국 고속도로에서 발생한 사고 데이터 21,013건을 5가지의 분류 모형을 적용한 결과 LightGBM(Light Gradient Boosting Model)이 가장 좋은 성능을 나타내는 것으로 나타났다. LightGBM에서는 교통사고심각도 추정에 있어 우선순위 요인으로 사고차량 수, 사고유형, 사고지점, 사고차로유형, 사고차량 유형 순으로 나타났다. 이러한 모형의 결과를 기반으로 일관적인 사고심각도 예측 과정을 통하여 교통사고대응관리 전략 수립에 활용할 수 있다. 본 연구는 국내 기계학습을 활용한 사례가 적은 여건에서 향후 빅데이터 기반의 다양한 기계학습 기법을 활용이 가능함을 제시하고 있다.

약물유전체학에서 약물반응 예측모형과 변수선택 방법 (Feature selection and prediction modeling of drug responsiveness in Pharmacogenomics)

  • 김규환;김원국
    • 응용통계연구
    • /
    • 제34권2호
    • /
    • pp.153-166
    • /
    • 2021
  • 약물유전체학 연구의 주요 목표는 고차원의 유전 변수를 기반으로 개인의 약물 반응성을 예측하는 것이다. 변수의 개수가 많기 때문에 변수의 개수를 줄이기 위해서는 변수 선택이 필요하며, 선택된 변수들은 머신러닝 알고리즘을 사용하여 예측 모델을 구축하는데 사용된다. 본 연구에서는 400명의 뇌전증 환자의 차세대 염기서열 분석 데이터에 로지스틱 회귀, ReliefF, TurF, 랜덤 포레스트, LASSO의 조합과 같은 여러 가지 혼합 변수 선택 방법을 적용하였다. 선택된 변수들에 랜덤포레스트, 그래디언트 부스팅, 서포트벡터머신을 포함한 머신러닝 방법들을 적용했고 스태킹을 통해 앙상블 모형을 구축하였다. 본 연구의 결과는 랜덤포레스트와 ReliefF의 혼합 변수 선택 방법을 이용한 스태킹 모형이 다른 모형보다 더 좋은 성능을 보인다는 것을 보여주었다. 5-폴드 교차 검증을 기반으로 하여 적합한 최적 모형의 평균 검증 정확도는 0.727이고 평균 검증 AUC 값은 0.761로 나타났다. 또한, 동일한 변수를 사용할 때 스태킹 모델이 단일 머신러닝 예측 모델보다 성능이 우수한 것으로 나타났다.

인공지능을 이용한 학습부진 특성 추출 및 예측 모델 연구 (Extracting characteristics of underachievers learning using artificial intelligence and researching a prediction model)

  • 양자영;문경희;박성호
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.510-518
    • /
    • 2022
  • 국가수준에서 시행되는 진단평가는 학교에서 학습부진이 있는 학생을 조기 발견하는 것이 매우 중요하다. 본연구는 부산교육종단의 2019년 중학교 1학년의 데이터를 입력하여 2020년 성취여부를 판별하는 인공지능 모델을 구축하고 분석하였다. 머신러닝 알고리즘으로 중학교 국어, 영어, 수학 기초학력을 예측하는 예측모형을 개발하고, 다음 학년 예측에도 78%, 82%, 83% 의 정확도를 보이는 것을 확인하였다. 또한, 중학교 과목별 성취예측 의사결정트리를 그려서 과정을 분석해보면서, 성취 예측에 영향을 미치는 특성들은 어떠한 것들이 있는지 살펴보았다.

기계학습 기반 접근관제구역 수용량 예측 모형 (Machine Learning Based Capacity Prediction Model of Terminal Maneuvering Area)

  • 한상혁;윤태경;김상현
    • 한국항공우주학회지
    • /
    • 제50권3호
    • /
    • pp.215-222
    • /
    • 2022
  • 항공교통흐름관리의 목적은 공항 및 공역의 수용량 안에서 항공교통 수요를 만족시키는 것이다. 그러므로 수용량을 정확하게 예측하는 것은 항공교통흐름관리의 성능에 많은 영향을 준다. 본 논문은 특정 공항의 예상 출·도착 수요, 시각, 기상 및 실제 처리한 항공기 대수 등 과거의 항공기운항 데이터를 기계학습의 한 방법론인 부스팅 앙상블 알고리즘으로 학습하여 시간당 출·도착하는 항공기의 수를 예측하는 회귀모형을 개발하였다. 기계학습을 통해 도출된 모델은 실제 인천국제공항의 출·도착 항공편 데이터를 이용해 검증하였으며, 결정계수가 0.95 이상으로 나타났다. 이 모델을 이용하여 접근관제구역의 수용량을 간접적으로 예측할 수 있었다.

XAI 기반 기업부도예측 분류모델 연구 (A Study on Classification Models for Predicting Bankruptcy Based on XAI)

  • 김지홍;문남미
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.333-340
    • /
    • 2023
  • 기업 부도의 효율적인 예측은 금융기관의 적절한 대출 결정과 여신 부실률 감소 측면에서 중요한 부분이다. 많은 연구에서 인공지능 기술을 활용한 분류모델 연구를 진행하였다. 금융 산업 특성상 새로운 예측 모델의 성능이 우수하더라도 어떤 근거로 결과를 출력했는지 직관적인 설명이 수반되어야 한다. 최근 미국, EU, 한국 등 에서는 공통적으로 알고리즘의 설명요구권을 제시하고 있어 금융권 AI 활용에 투명성을 확보하여야 한다. 본 논문에서는 외부에 오픈된 기업부도 데이터를 활용하여 인공지능 기반의 해석 가능한 분류 예측 모델을 제안하였다. 먼저 데이터 전처리 작업, 5겹 교차검증 등을 수행하고 로지스틱 회귀, SVM, XGBoost, LightGBM 등 10가지 지도학습 분류모델 최적화를 통해 분류 성능을 비교하였다. 그 결과 LightGBM이 가장 우수한 모델로 확인되었고, 설명 가능한 인공지능 기법인 SHAP을 적용하여 부도예측 과정에 대한 사후 설명을 제공하였다.

시공 중 흙막이 벽체 수평변위 예측을 위한 앙상블 모델 개발 (Development of an Ensemble Prediction Model for Lateral Deformation of Retaining Wall Under Construction)

  • 서승환;정문경
    • 한국지반공학회논문집
    • /
    • 제39권4호
    • /
    • pp.5-17
    • /
    • 2023
  • 도심지 지하굴착 공사가 대형화되면서 공사 중 안전사고에 대한 위험요인이 더욱 증가하고 있다. 이에 따라 공사현장의 위험요소를 모니터링하고 사전에 예측할 수 있는 기술이 필요하다. 굴착으로 인한 흙막이 벽체의 변형을 예측하는 방법에는 크게 경험식과 수치해석 두 가지 방법으로 분류할 수 있으며, 최근에는 인공지능 기술의 발달과 함께 머신러닝 기법을 활용한 예측 모델이 한 가지 방법으로 자리 잡고 있다. 본 연구에서는 예측력과 효율성이 우수한 부스팅 계열 알고리즘 및 앙상블 모델을 이용하여 시공 중 흙막이 벽체 변형을 예측하는 모델을 구축하였다. 지하흙막이 공사의 설계-시공-유지관리 과정에서 도출되는 자료들을 복합적으로 활용하여 데이터베이스를 구축하고, 이 자료를 토대로 학습모델을 만들고 성능을 평가하였다. 모델 성능 평가 결과, 높은 정확도로 흙막이 벽체 변형을 예측할 수 있었으며, 지반계측 자료를 학습에 활용함으로써 실제 시공과정의 특성이 반영된 예측결과를 제시할 수 있었다. 본 연구에서 구축한 예측 모델을 활용하여 시공 중 흙막이 벽체의 안정성 평가 및 모니터링에 활용할 수 있을 것으로 기대된다.

머신러닝 기법을 활용한 토양수분 예측 가능성 연구 (Study on Soil Moisture Predictability using Machine Learning Technique)

  • 조봉준;최완민;김영대;김기성;김종건
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.248-248
    • /
    • 2020
  • 토양수분은 증발산, 유출, 침투 등 물수지 요소들과 밀접한 연관이 있는 주요한 변수 중에 하나이다. 토양수분의 정도는 토양의 특성, 토지이용 형태, 기상 상태 등에 따라 공간적으로 상이하며, 특히 기상 상태에 따라 시간적 변동성을 보이고 있다. 기존 토양수분 측정은 토양시료 채취를 통한 실내 실험 측정과 측정 장비를 통한 현장 조사 방법이 있으나 시간적, 경제적 한계점이 있으며, 원격탐사 기법은 공간적으로 넓은 범위를 포함하지만 시간 해상도가 낮은 단점이 있다. 또한, 모델링을 통한 토양수분 예측 기술은 전문적인 지식이 요구되며, 복잡한 입력자료의 구축이 요구된다. 최근 머신러닝 기법은 수많은 자료 학습을 통해 사용자가 원하는 출력값을 도출하는데 널리 활용되고 있다. 이에 본 연구에서는 토양수분과 연관된 다양한 기상 인자들(강수량, 풍속, 습도 등)을 활용하여 머신러닝기법의 반복학습을 통한 토양수분의 예측 가능성을 분석하고자 한다. 이를 위해 시공간적으로 토양수분 실측 자료가 잘 구축되어 있는 청미천과 설마천 유역을 대상으로 머신러닝 기법을 적용하였다. 두 대상지에서 2008년~2012년 수문자료를 확보하였으며, 기상자료는 기상자료개방포털과 WAMIS를 통해 자료를 확보하였다. 토양수분 자료와 기상자료를 머신러닝 알고리즘을 통해 학습하고 2012년 기상 자료를 바탕으로 토양수분을 예측하였다. 사용되는 머신러닝 기법은 의사결정 나무(Decision Tree), 신경망(Multi Layer Perceptron, MLP), K-최근접 이웃(K-Nearest Neighbors, KNN), 서포트 벡터 머신(Support Vector Machine, SVM), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 (Gradient Boosting)이다. 토양수분과 기상인자 간의 상관관계를 분석하기 위해 히트맵(Heat Map)을 이용하였다. 히트맵 분석 결과 토양수분의 시간적 변동은 다양한 기상 자료 중 강수량과 상대습도가 가장 큰 영향력을 보여주었다. 또한 다양한 기상 인자 기반 머신러닝 기법 적용 결과에서는 두 지역 모두 신경망(MLP) 기법을 제외한 모든 기법이 전반적으로 실측값과 유사한 형태를 보였으며 비교 그래프에서도 실측값과 예측 값이 유사한 추세를 나타냈다. 따라서 상관관계있는 과거 기상자료를 통해 머신러닝 기법 기반 토양수분의 시간적 변동 예측이 가능할 것으로 판단된다.

  • PDF

회사채 신용등급 예측을 위한 SVM 앙상블학습 (Ensemble Learning with Support Vector Machines for Bond Rating)

  • 김명종
    • 지능정보연구
    • /
    • 제18권2호
    • /
    • pp.29-45
    • /
    • 2012
  • 회사채 신용등급은 투자자의 입장에서는 수익률 결정의 중요한 요소이며 기업의 입장에서는 자본비용 및 기업 가치와 관련된 중요한 재무의사결정사항으로 정교한 신용등급 예측 모형의 개발은 재무 및 회계 분야에서 오랫동안 전통적인 연구 주제가 되어왔다. 그러나, 회사채 신용등급 예측 모형의 성과와 관련된 가장 중요한 문제는 등급별 데이터의 불균형 문제이다. 예측 문제에 있어서 데이터 불균형(Data imbalance) 은 사용되는 표본이 특정 범주에 편중되었을 때 나타난다. 데이터 불균형이 심화됨에 따라 범주 사이의 분류경계영역이 왜곡되므로 분류자의 학습성과가 저하되게 된다. 본 연구에서는 데이터 불균형 문제가 존재하는 다분류 문제를 효과적으로 해결하기 위한 다분류 기하평균 부스팅 기법 (Multiclass Geometric Mean-based Boosting MGM-Boost)을 제안하고자 한다. MGM-Boost 알고리즘은 부스팅 알고리즘에 기하평균 개념을 도입한 것으로 오분류된 표본에 대한 학습을 강화할 수 있으며 불균형 분포를 보이는 각 범주의 예측정확도를 동시에 고려한 학습이 가능하다는 장점이 있다. 회사채 신용등급 예측문제를 활용하여 MGM-Boost의 성과를 검증한 결과 SVM 및 AdaBoost 기법과 비교하여 통계적으로 유의적인 성과개선 효과를 보여주었으며 데이터 불균형 하에서도 벤치마킹 모형과 비교하여 견고한 학습성과를 나타냈다.

깊이정보를 이용한 케스케이드 방식의 실시간 손 영역 검출 (Real-time Hand Region Detection based on Cascade using Depth Information)

  • 주성일;원선희;최형일
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권10호
    • /
    • pp.713-722
    • /
    • 2013
  • 본 논문에서는 깊이정보를 이용하여 케스케이드 방식에 기반한 실시간 손 영역 검출 방법을 제안한다. 실험 환경 조명 조건의 변화로부터 빠르고 안정적으로 손 영역을 검출하기 위해 깊이정보만을 이용한 특징을 제안하며, 부스팅과 케스케이드 방법을 이용한 분류기를 통해 손 영역 검출 방법을 제안한다. 먼저, 깊이정보만을 이용한 특징을 추출하기 위해 입력영상의 중심 깊이 값과 분할된 블록의 평균 깊이 값의 차이를 계산하고, 모든 크기의 손 영역 검출을 위해 중심 깊이 값과 2차 선형 모델을 이용하여 손 영역의 크기를 예측한다. 그리고 손 영역으로부터의 특징 추출을 통한 학습 및 인식을 위해 케스케이드 방식을 적용한다. 본 논문에서 제안한 분류기는 정확도를 유지하고 속도를 향상시키기 위하여 각 스테이지를 한 개의 약분류기로 구성하고 검출율을 만족하면서 오류율이 가장 낮은 임계값을 구하여 과적합 학습을 수행한다. 학습된 분류기를 이용하여 손 영역을 분류하고, 병합단계를 통해 최종 손 영역을 검출한다. 마지막으로 성능 검증을 위해 기존의 다양한 아다부스트와 정량적, 정성적 비교 분석을 통해 제안하는 손 영역 검출 알고리즘의 효율성을 입증한다.