• 제목/요약/키워드: Lasso 회귀분석

검색결과 41건 처리시간 0.023초

머신러닝 알고리즘을 이용한 온실 딸기 생산량 예측 (Prediction of Greenhouse Strawberry Production Using Machine Learning Algorithm)

  • 김나은;한희선;아룰모지엘렌체쟌;문병은;최영우;김현태
    • 생물환경조절학회지
    • /
    • 제31권1호
    • /
    • pp.1-7
    • /
    • 2022
  • 서부 경남 지역 중 딸기재배로 유명한 지역 40개 농가를 대상으로 한 조사에 따르면 국산품종 중에서 "설향"이 65.0%으로서 가장 선호하고 있는 것으로 나타났다. 그리고 현재의 농업은 4차 산업혁명으로 스마트팜(Smart Farm)의 기술이 더욱 발전하고 있는 실정이다. 그러나 각 생육단계가 어떤 상황일 때 딸기의 생산량이 최적에 달하는지 대한 기준이 없으며, 이러한 판단기준은 아직까지 스마트팜에 경험이 있는 농업인의 의사에 달려있다는 문제점이 있다. 따라서 본 연구에서는 딸기의 생육상황에 대한 생산량 예측을 통해 선진화된 스마트팜 시스템을 구축하고자 한다. 실험 장소는 경상남도 사천시의 딸기 농가에서 수행하였으며, 총 3곳을 대상으로 데이터 수집을 진행하였다. 실험 대상의 모든 온실 내에서 재배하는 딸기의 품종은 '설향'이다. 작물 데이터의 수집 항목은 작물의 엽수, 꽃수, 과실수, 초장, 잎의 길이, 엽록소 함량이며, 환경 데이터의 수집 항목은 온도, 습도, 조도이다. 기존의 농가 단위의 스마트팜의 문제점 보완 및 개선을 통하여 고품질의 작물 생장 상태를 유지하기 위해 K-fold 교차검증, Lasso 회귀분석, MAPE 검증을 통해 예측모델을 도출하였으며, MAPE 검증 결과 값으로 0.511(꽃 예측)과 0.488(과일 예측)의 값이 나타났다. 본 연구는 스마트팜 데이터 구축을 위해서는 AI를 통해 성장상태별 수확량을 예측하였으며, 이를 농가 및 농업 관련 기업에 활용해 농업 서비스가 편리할 것으로 판단된다.

불균형적인 이항 자료 분석을 위한 샘플링 알고리즘들: 성능비교 및 주의점 (On sampling algorithms for imbalanced binary data: performance comparison and some caveats)

  • 김한용;이우주
    • 응용통계연구
    • /
    • 제30권5호
    • /
    • pp.681-690
    • /
    • 2017
  • 파산감지, 스팸메일 감지, 불량품 감지 등 일상생활에서 불균형적인 이항 분류 문제를 다양하게 접할 수 있다. 반응변수의 클래스의 비율이 상당히 불균형한 경우 이항 분류 모형의 예측 성능이 좋지 않다는 점은 이미 잘 알려진 사실이다. 이러한 문제점을 해결하기 위해 그 동안 오버 샘플링, 언더 샘플링, SMOTE와 같은 여러 샘플링 기법이 개발되어 왔다. 본 연구에서는 분류 모형으로 많이 사용되는 기계학습모형으로 로지스틱 회귀모형, Lasso, 랜덤포레스트, 부스팅, 서포트 벡터 머신을 위의 샘플링 기법들과 결합하여 사용했을 때의 예측 성능을 살펴보았다. 실질적인 예측 성능의 개선 여부를 확인하기 위해 네 개의 실제 자료를 분석하였다. 이와 더불어, 샘플링 방법이 사용될 때 주의해야 할 점에 대해서 강조하였다.

OBDII 데이터 기반의 실시간 연료 소비량 예측 모델 연구 (A Modeling of Realtime Fuel Comsumption Prediction Using OBDII Data)

  • 양희은;김도현;최호섭
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권2호
    • /
    • pp.57-64
    • /
    • 2021
  • 자율주행차 시대가 도래하면서 ECU (Electronic Control Unit)는 점차 고도화되고 있고, 이에 따라 차량에서 정확한 데이터를 추출하고 분석하려는 연구가 다양하게 시도되어 왔다. 그러나 ECU는 차량 제조사별로 상이한 프로토콜을 가지고 있어 상용 단말기로는 정확한 데이터 추출과 분석이 어렵다. 본 연구에서는 정확한 차량 데이터를 추출하기 위하여 전용 펌웨어를 개발하여 차량의 2019년 1월부터 2월의 실제 주행데이터 53,580건의 데이터를 추출하였으며, 20회가 넘는 실제 도로 주행을 통해서 데이터의 정확도를 검증하였다. 이러한 데이터를 바탕으로 실시간 연료 소비량 예측 모델의 정확도를 높이기 위하여 스태킹 앙상블 기법을 이용하였다. 본 연구에서는 베이스 모델로 Ridge, Lasso, XGBoost, LightGBM이 사용되고 메타 모델은 Ridge가 사용되었으며, 예측 성능은 MAE 0.011, RMSE 0.017로 최적의 결과를 보였다.

국내 회사채 신용 등급 예측 모형의 비교 연구 (Comparative study of prediction models for corporate bond rating)

  • 박형권;강준영;허성욱;유동현
    • 응용통계연구
    • /
    • 제31권3호
    • /
    • pp.367-382
    • /
    • 2018
  • 회사채 신용 등급 예측 모형에 대한 연구는 신용 평가 기관이 회사채 신용 등급 평가에 사용될 것이라 예상 되는 여러 재무적 특성 변수들을 기반으로 진행되었으며 선형 회귀 모형(linear regression), 순위 로짓(ordered logit), 순위 프로빗(ordered probit), 서포트 벡터 기계(support vector machine), 랜덤 포레스트(random forest) 등 다양한 모형들을 적용하여 개발되었다. 하지만 기존 연구들에서 고려한 회사채 신용 등급은 연구에 따라 5등급에서 20등급까지 다른 등급 구간을 적용하였으며 분석에 이용된 표본 자료의 기간 및 대상도 상이하여 예측 성능의 공정한 비교에 어려움이 있다. 따라서 본 연구에서는 2013년부터 2017년까지의 회사채 신용 등급 자료와 기존 연구들에서 사용된 재무 지표들을 통합하여 기존에 발표된 예측 모형들을 동일한 자료에 적용하고 예측 성능을 비교하였다. 추가적으로 Elastic-net 벌점화 회귀 모형 및 순위 로짓, 순위 프로빗 모형을 적합하여 LASSO 벌점이 선택됨을 확인하였으며 LASSO 벌점을 고려한 예측 모형이 대응하는 기존의 예측 모형들보다 향상된 성능을 보임을 확인하였다. 본 연구의 수행 결과, 랜덤 포레스트를 이용한 예측 모형이 15등급 기준 검증 자료에서 정확한 등급 예측률이 69.6%로 다른 모형과 비교하여 높은 예측 성능을 나타내었다.

약물유전체학에서 약물반응 예측모형과 변수선택 방법 (Feature selection and prediction modeling of drug responsiveness in Pharmacogenomics)

  • 김규환;김원국
    • 응용통계연구
    • /
    • 제34권2호
    • /
    • pp.153-166
    • /
    • 2021
  • 약물유전체학 연구의 주요 목표는 고차원의 유전 변수를 기반으로 개인의 약물 반응성을 예측하는 것이다. 변수의 개수가 많기 때문에 변수의 개수를 줄이기 위해서는 변수 선택이 필요하며, 선택된 변수들은 머신러닝 알고리즘을 사용하여 예측 모델을 구축하는데 사용된다. 본 연구에서는 400명의 뇌전증 환자의 차세대 염기서열 분석 데이터에 로지스틱 회귀, ReliefF, TurF, 랜덤 포레스트, LASSO의 조합과 같은 여러 가지 혼합 변수 선택 방법을 적용하였다. 선택된 변수들에 랜덤포레스트, 그래디언트 부스팅, 서포트벡터머신을 포함한 머신러닝 방법들을 적용했고 스태킹을 통해 앙상블 모형을 구축하였다. 본 연구의 결과는 랜덤포레스트와 ReliefF의 혼합 변수 선택 방법을 이용한 스태킹 모형이 다른 모형보다 더 좋은 성능을 보인다는 것을 보여주었다. 5-폴드 교차 검증을 기반으로 하여 적합한 최적 모형의 평균 검증 정확도는 0.727이고 평균 검증 AUC 값은 0.761로 나타났다. 또한, 동일한 변수를 사용할 때 스태킹 모델이 단일 머신러닝 예측 모델보다 성능이 우수한 것으로 나타났다.

신경망 내 잔여 블록을 활용한 콕스 모델 개선: 자궁경부암 사망률 예측모형 연구 (Cox Model Improvement Using Residual Blocks in Neural Networks: A Study on the Predictive Model of Cervical Cancer Mortality)

  • 이낭경;김주영;탁지수;이형록;전현지;양지명;이승원
    • 정보처리학회 논문지
    • /
    • 제13권6호
    • /
    • pp.260-268
    • /
    • 2024
  • 자궁경부암은 전 세계적으로 여성에게 발생하는 암 중 네 번째로 흔한 암이며, 2020년 한 해 동안 60만 4천 건 이상의 신규 케이스가 보고되었고 이로 인한 사망자 수는 약 34만 1천 831명에 달했다. 콕스 회귀 모델은 암 연구에서 널리 채택되고 있는 주요 모델이지만, 비선형 연관성의 존재를 고려하면 선형 가정으로 인해 한계에 부딪힌다. 이러한 문제를 해결하기 위해, 본 논문에서는 ResNet의 잔여 학습 프레임워크를 활용하여 자궁경부암 사망률 예측의 정확성을 개선한 새로운 모델인 ResSurvNet을 제안한다. 이 모델은 본 연구에서 비교한 DNN, CPH, CoxLasso, Cox Gradient Boost, RSF 모델들을 능가하는 정확도를 보여주었기에 이러한 우수한 예측 성능은 자궁경부암 환자 관리에 있어 조기 진단 및 치료 전략 수립에 기여할 수 있고 임상적으로 적용할 때 큰 가치가 있음을 입증하며, 생존 분석 분야에서도 의미 있는 진전을 나타낸다.

그룹 구조를 갖는 고차원 유전체 자료 분석을 위한 네트워크 기반의 규제화 방법 (Network-based regularization for analysis of high-dimensional genomic data with group structure)

  • 김기풍;최지윤;선호근
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1117-1128
    • /
    • 2016
  • 고차원 유전체 자료를 사용하는 유전체 연관 분석에서는 벌점 우도함수 기반의 회귀계수 규제화 방법이 질병 및 표현형질에 영향을 주는 유전자를 발견하는데 많이 이용된다. 특히, 네트워크 기반의 규제화 방법은 유전체 연관성 연구에서의 유전체 경로나 신호 전달 경로와 같은 생물학적 네트워크 정보를 사용할 수 있으므로, Lasso나 Elastic-net과 같은 다른 규제화 방법들과 비교했을 경우 네트워크 기반의 규제화 방법이 보다 더 정확하게 관련 유전자들을 찾아낼 수 있다는 장점을 가지고 있다. 그러나 네트워크 기반의 규제화 방법은 그룹 구조를 갖고 있는 고차원 유전체 자료에는 적용시킬 수 없다는 문제점을 가지고 있다. 실제 SNP 데이터와 DNA 메틸화 데이터처럼 대다수의 고차원 유전체 자료는 그룹 구조를 가지고 있으므로 본 논문에서는 이러한 그룹 구조를 가지고 있는 고차원 유전체 자료를 분석하고자 네트워크 기반의 규제화 방법에 주성분 분석(principal component analysis; PCA)과 부분 최소 자승법(partial least square; PLS)과 같은 차원 축소 방법을 결합시키는 새로운 분석 방법을 제안하고자 한다. 새롭게 제안한 분석 방법은 몇 가지의 모의실험을 통해 변수 선택의 우수성을 입증하였으며, 또한 152명의 정상인들과 123명의 난소암 환자들로 구성된 고차원 DNA 메틸화 자료 분석에도 사용하였다. DNA 메틸화 자료는 대략 20,000여개의 CpG sites가 12,770개의 유전자에 포함되어 있는 그룹 구조를 가지고 있으며 Illumina Innium uman Methylation27 BeadChip으로부터 생성되었다. 분석 결과 우리는 실제로 암에 연관된 몇 가지의 유전자를 발견할 수 있었다.

도심형 수요응답 교통서비스의 통행목적별 만족도 영향요인 비교연구: 세종특별자치시 셔클(Shucle)을 중심으로 (A Comparative Study on Factors Affecting Satisfaction by Travel Purpose for Urban Demand Response Transport Service: Focusing on Sejong Shucle)

  • 김원철;한우진;박준태
    • 한국ITS학회 논문지
    • /
    • 제23권2호
    • /
    • pp.132-141
    • /
    • 2024
  • 본 연구에서는 수요응답 교통서비스를 이용한 통행목적을 통근·통학과 쇼핑·여가로 구분하고 통행목적별 만족도와 영향변수의 차이를 비교한다. 세종특별자치시 '셔클(Shucle)' 이용자를 대상으로 실시한 만족도 설문조사 자료를 활용하고, 다중선형모델의 과적합(overfitting) 문제점을 최소화하기 위해 LASSO 회귀분석을 적용한다. 분석 결과, 수요응답 교통서비스 도입으로 기존 대중교통 사각지역의 공백이 해소되고, 자가용 이용 감소로 저탄소 및 대중교통 활성화 정책을 유인할 수 있으며, 간헐적인 통행행태를 갖는 행위자(예컨대 고령자, 주부 등)에게 최적의 이동 서비스를 제공할 수 있는 가능성이 확인되었다. 또한, 차량 호출 후 대기시간, 탑승 후 이동시간, 앱이용 편리성, 예상 출/도착 시간의 정시성, 승·하차 지점의 위치 요인은 통근·통학과 쇼핑·여가 통행 시 수요응답 교통서비스 만족도에 긍정적인 영향을 미치는 공통요인으로 나타났다. 한편, 타 교통수단과의 환승은 통근·통학의 경우에만 만족도에 영향을 미치고 쇼핑·여가의 경우는 미치지 않는 것으로 나타났다. 수요응답 교통서비스를 활성화하기 위해서는 분석된 5개의 영향요인에 대한 고려뿐만 아니라 통근·통학과 쇼핑·여가의 차별화 요인 즉, 통근·통학의 경우 행위자는 시간가치를 중요하게 여기므로 총 통행시간을 줄이기 위한 타교통수단과의 환승 편의를 도모하고, 쇼핑·여가 통행의 경우 이용자가 승·하차 지점의 위치를 쉽고 편하게 지정하여 이용할 수 있는 이용편의 조성방안의 고려가 필요할 것으로 사료된다.

랜섬웨어 탐지를 위한 동적 분석 자료에서의 변수 선택 및 분류에 관한 연구 (A study on variable selection and classification in dynamic analysis data for ransomware detection)

  • 이승환;황진수
    • 응용통계연구
    • /
    • 제31권4호
    • /
    • pp.497-505
    • /
    • 2018
  • 최근 랜섬웨어는 일반 PC 사용자에 비해 상대적으로 수준 높은 보안 체계를 갖추고 있는 기업과 정부 기관에 침입하여 상당한 피해를 입히는 등 기존 보안 체계의 허점을 찾아 진화하는 모습을 보이고 있다. 이처럼 계속해서 변화하는 랜섬웨어를 탐지하기 위해 랜섬웨어의 특징을 파악하는 정적 분석과 동적 분석과 관련된 연구가 활발히 이루어지고 있다. 본 연구에서는 582개의 랜섬웨어 샘플과 942개의 정상 샘플 프로그램을 쿠쿠 샌드박스 가상환경 내에서 실행시킨 뒤, PC에서 이루어지는 30,967가지의 행동 여부를 기록한 동적 분석 자료를 활용하여 랜섬웨어 분류에 유의한 변수를 탐색하기 위한 여러 변수 선택 방법의 적용과 랜섬웨어 분류를 위한 기계학습 모형들을 구축하고자 하였다. 변수 선택법으로 LASSO와 이항변수 만으로 이루어진 고차원 자료라는 특성을 활용하기 위한 카이제곱검정을 이용한 변수 선택, 선행 연구에서 이용된 방법인 상호정보를 이용한 변수 선택법을 적용하였으며 기계 학습 모형으로는 능형 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트, XGBoost가 활용되었다. 연구 결과, 정상 프로그램과 구별되는 랜섬웨어 프로그램만의 특징적인 행동을 확인할 수 있었으며 여러 변수 선택법과 기계학습 분류 모형들의 조합 중, 주어진 자료에서 카이제곱검정을 이용한 변수 선택법과 랜덤 포레스트 모형의 조합이 가장 높은 탐지율과 정분류율을 보이는 것을 확인하였다.

바이오폴리머-흙 처리(BPST) 기술의 강도 발현 거동에 대한 주요 영향인자 분석에 관한 연구 (Investigation on the Key Parameters for the Strengthening Behavior of Biopolymer-based Soil Treatment (BPST) Technology)

  • 이해진;조계춘;장일한
    • 토지주택연구
    • /
    • 제12권3호
    • /
    • pp.109-119
    • /
    • 2021
  • 최근 지구 온난화로 인한 이상 기후로 인해 과거보다 더 많은 지반공학 재해들이 발생하고 있으며, 재해들의 규모도 더욱 증대되고 있다. 최근 토목 및 건설분야에 소개된 바이오폴리머 기반 흙 처리(BPST; Biopolymer-based soil treatment) 기술은 효율적으로 흙의 강도를 증진시키면서 탄소배출이 거의 없는 친환경 지반보강법으로 알려져 있다. 특히, 아가검, 젤란검, 잔탄검과 같은 열적젤화 특성을 지닌 바이오폴리머들의 강도 증진 효과가 매우 우수함이 여러 연구를 통해 밝혀지고 있다. 하지만 바이오폴리머 함량 외에는 바이오폴리머 기반 흙 처리에서 흙의 강도 증진을 제어하는 주요 영향인자 규명에 대한 연구는 많이 부족한 실정이다. 본 연구에서는 기존 발표된 열적젤화 바이오 폴리머 처리 흙의 불구속일축압축강도(UCS; Unconfined compressive strength) 자료에 대한 기계학습 기반 선형회귀 분석을 통해 젤란검 바이오폴리머로 처리된 흙의 강도 발현을 결정하는 주요 인자들을 분석하였다. 해석 결과, 바이오폴리머 함량과 더불어 흙 속 점토 함량이 강도 발현에 가장 중요한 인자임을 확인할 수 있었다.