• 제목/요약/키워드: 하이퍼파라미터

검색결과 74건 처리시간 0.024초

위성영상을 활용한 토지피복 분류 항목별 딥러닝 최적화 연구 (A Study on Deep Learning Optimization by Land Cover Classification Item Using Satellite Imagery)

  • 이성혁;이명진
    • 대한원격탐사학회지
    • /
    • 제36권6_2호
    • /
    • pp.1591-1604
    • /
    • 2020
  • 본 연구는 고해상도 위성영상을 딥러닝 알고리즘에 적용하여 토지피복을 분류하고 공간객체별 알고리즘의 성능 검증에 대한 연구이다. 이를 Fully Convolutional Network계열의 알고리즘을 선정하였으며, Kompasat-3 위성영상, 토지피복지도 및 임상도를 활용하여 데이터셋을 구축하였다. 구축된 데이터셋을 알고리즘에 적용하여 각각 최적 하이퍼파라미터를 산출하였다. 하이퍼파라미터 최적화 이후 최종 분류를 시행하였으며, 전체 정확도는 DeeplabV3+가 81.7%로 가장 높게 산정되었다. 그러나 분류 항목별로 정확도를 살펴보면, 도로 및 건물에서 SegNet이 가장 우수한 성능을 나타내었으며, 활엽수, 논의 항목에서 U-Net이 가장 높은 정확도를 보였다. DeeplabV3+의 경우 밭과 시설재배지, 초지 등에서 다른 두 모델보다 우수한 성능을 나타내었다. 결과를 통해 토지피복 분류를 위해 하나의 알고리즘 적용에 대한 한계점을 확인하였으며, 향후 공간객체별로 적합한 알고리즘을 적용한다면, 높은 품질의 토지피복분류 결과를 산출할 수 있을 것으로 기대된다.

하이브리드 Auto-sklearn 앙상블 모델을 이용한 댐 유입량 예측 및 평가 (Dam Inflow Prediction and Evaluation Using Hybrid Auto-sklearn Ensemble Model)

  • 이서로;배주현;이관재;양동석;홍지영;김종건;임경재
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.307-307
    • /
    • 2022
  • 최근 기후변화와 댐 상류 토지이용 변화 등과 같은 다양한 원인에 의해 댐 유입량의 변동성이 증가하면서 댐 관리 및 운영조작 의사 결정에 어려움이 발생하고 있다. 따라서 이러한 댐 유입량의 변동 특성을 반영하여 댐 유입량을 정확하고 효율적으로 예측할 수 있는 방안이 필요한 실정이다. 머신러닝 기술이 발전하면서 Auto-ML(Automated Machine Learning)이 다양한 분야에서 활용되고 있다. Auto-ML은 데이터 전처리, 최적 알고리즘 선택, 하이퍼파라미터 튜닝, 모델 학습 및 평가 등의 모든 과정을 자동화하는 기술이다. 그러나 아직까지 수문 분야에서 댐 유입량을 예측하기 위한 모델을 개발하는데 있어서 Auto-ML을 활용한 사례는 부족하고, 특히 댐 유입량의 예측 정확성을 확보하기 위해 High-inflow and low-inflow 의 변동 특성을 고려한 하이브리드 결합 방식을 통해 Auto-ML 기반 앙상블 모델을 개발하고 평가한 연구는 없다. 본 연구에서는 Auto-ML의 패키지 중 Auto-sklearn을 통해 홍수기, 비홍수기 유입량 변동 특성을 반영한 하이브리드 앙상블 댐 유입량 예측 모델을 개발하였다. 소양강댐을 대상으로 적용한 결과, 하이브리드 Auto-sklearn 앙상블 모델의 댐 유입량 예측 성능은 R2 0.868, RMSE 66.23 m3/s, MAE 16.45 m3/s로 단일 Auto-sklearn을 통해 구축 된 앙상블 모델보다 전반적으로 우수한 것으로 나타났다. 특히 FDC (Flow Duration Curve)의 저수기, 갈수기 구간에서 두 모델의 유입량 예측 경향은 큰 차이를 보였으며, 하이브리드 Auto-sklearn 모델의 예측 값이 관측 값과 더욱 유사한 것으로 나타났다. 이는 홍수기, 비홍수기 구간에 대한 앙상블 모델이 독립적으로 구축되는 과정에서 각 모델에 대한 하이퍼파라미터가 최적화되었기 때문이라 판단된다. 향후 본 연구의 방법론은 보다 정확한 댐 유입량 예측 자료를 생성하기 위한 방안 수립뿐만 아니라 다양한 분야의 불균형한 데이터셋을 이용한 앙상블 모델을 구축하는데도 유용하게 활용될 수 있을 것으로 사료된다.

  • PDF

작물분류에서 기계학습 및 딥러닝 알고리즘의 분류 성능 평가: 하이퍼파라미터와 훈련자료 크기의 영향 분석 (Performance Evaluation of Machine Learning and Deep Learning Algorithms in Crop Classification: Impact of Hyper-parameters and Training Sample Size)

  • 김예슬;곽근호;이경도;나상일;박찬원;박노욱
    • 대한원격탐사학회지
    • /
    • 제34권5호
    • /
    • pp.811-827
    • /
    • 2018
  • 본 연구의 목적은 다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 비교에 있다. 이를 위해 전라남도 해남군과 미국 Illinois 주의 작물 재배지를 대상으로 기계학습 알고리즘과 딥러닝 알고리즘에 대해 (1) 하이퍼파라미터와 (2) 훈련자료의 크기에 따른 영향을 비교 분석하였다. 비교 실험에는 기계학습 알고리즘으로 support vector machine(SVM)을 적용하고 딥러닝 알고리즘으로 convolutional neural network(CNN)를 적용하였다. 특히 CNN에서 2차원의 공간정보를 고려하는 2D-CNN과 시간차원을 확장한 구조의 3D-CNN을 적용하였다. 비교 실험 결과, 다양한 하이퍼파라미터를 고려해야 하는 CNN의 경우 SVM과 다르게 두 지역에서 정의된 하이퍼파라미터 값이 유사한 것으로 나타났다. 이러한 결과를 바탕으로 모델 최적화에 많은 시간이 소요되지만 최적화된 CNN 모델을 다른 지역으로 확장할 수 있는 전이학습의 적용 가능성이 높을 것으로 판단된다. 다음 훈련자료 크기에 따른 비교 실험 결과, SVM 보다 CNN에서 훈련자료 크기의 영향이 큰 것으로 나타났는데 특히 다양한 공간특성을 갖는 Illinois 주에서 이러한 경향이 두드러지게 나타났다. 또한 Illinois 주에서 3D-CNN의 분류 성능이 저하되는 것으로 나타났는데, 이는 모델 복잡도가 증가하면서 과적합의 영향이 발생한 것으로 판단된다. 즉 모델의 훈련 정확도는 높지만 다양한 공간특성이나 입력 자료의 잡음 효과 등으로 오히려 분류 성능이 저하된 것으로 나타났다. 이러한 결과는 대상 지역의 공간특성을 고려해 적절한 분류 알고리즘을 선택해야 하는 것을 의미한다. 또한 CNN에서 특히, 3D-CNN에서 일정 수준의 분류 성능을 담보하기 위해 다량의 훈련자료 수집이 필요하다는 것을 의미한다.

One-class SVM 알고리즘을 이용한 안드로이드 API의 이상치 탐지 시스템 (Android API anomaly Detection System Using One-class SVM algorithm)

  • 이지은;최유준;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.562-564
    • /
    • 2023
  • 스마트폰 발전으로 인한 SNS(Social Network Service), 웹 검색 및 활용 등 편리함과 유용성을 가져다 주었지만 안드로이드 APP의 개방성으로 인하여 프로그램의 원칙적 특성을 악용한 취약점이 발생하고 있다. 이를 대응하는 해결방안으로 API에 대한 요청 데이터를 모듈을 통하여 로그 값을 수집한다. 수집된 데이터는 로그 값을 시간을 기준으로 라벨링하여 이상치 탐지 알고리즘인 OCSVM의 이상치 평균으로 사용하여 실시간 데이터 영향을 받는 하이퍼파라미터 C 와 r 값을 Grid Search 기법을 통해 조정함으로써 최적의 파라미터 값을 찾는 시스템을 제안한다.

앙상블 조합 방법에 따른 주가 예측 성능 비교 (Comparison of Stock Price Forecasting Performance by Ensemble Combination Method)

  • 양현성;박준;소원호;심춘보
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.524-527
    • /
    • 2022
  • 본 연구에서는 머신러닝(Machine Learning, ML)과 딥러닝(Deep Learning, DL) 모델을 앙상블(Ensemble)하여 어떠한 주가 예측 방법이 우수한지에 대한 연구를 하고자 한다. 연구에 사용된 모델은 하이퍼파라미터(Hyperparameter) 조정을 통하여 최적의 결과를 출력한다. 앙상블 방법은 머신러닝과 딥러닝 모델의 앙상블, 머신러닝 모델의 앙상블, 딥러닝 모델의 앙상블이다. 세 가지 방법으로 얻은 결과를 평균 제곱근 오차(Root Mean Squared Error, RMSE)로 비교 분석하여 최적의 방법을 찾고자 한다. 제안한 방법은 주가 예측 연구의 시간과 비용을 절약하고, 최적 성능 모델 판별에 도움이 될 수 있다고 사료된다.

코드 생성 언어 모델의 코드 보안성 향상을 위한 프롬프트 튜닝 (Prompt Tuning for Enhancing Security of Code in Code Generation Language Models)

  • 유미선;한우림;조윤기;백윤흥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.623-626
    • /
    • 2024
  • 최근 거대 언어 모델의 발전으로 프로그램 합성 분야에서 활용되고 있는 코드 생성 언어 모델의 보안적 측면에 대한 중요성이 부각되고 있다. 그러나, 이를 위해 모델 전체를 재학습하기에는 많은 자원과 시간이 소모된다. 따라서, 본 연구에서는 효율적인 미세조정 방식 중 하나인 프롬프트 튜닝으로 코드 생성 언어 모델이 안전한 코드를 생성할 확률을 높이는 방법을 탐구한다. 또한 이에 따른 기능적 정확성 간의 상충 관계를 분석한다. 실험 결과를 통해 프롬프트 튜닝이 기존 방법에 비해 추가 파라미터를 크게 줄이면서도 보안률을 향상시킬 수 있음을 알 수 있었다. 미래 연구 방향으로는 새로운 조정 손실함수와 하이퍼파라미터 값을 조정하여 성능을 더욱 향상시킬 수 있는지 조사할 것이다. 이러한 연구는 보다 안전하고 신뢰할 수 있는 코드 생성을 위한 중요한 발전을 이끌 수 있을 것으로 기대된다.

LSTM을 이용한 주가예측 모델의 학습방법에 따른 성능분석 (A Performance Analysis by Adjusting Learning Methods in Stock Price Prediction Model Using LSTM)

  • 정종진;김지연
    • 디지털융복합연구
    • /
    • 제18권11호
    • /
    • pp.259-266
    • /
    • 2020
  • 과거 인공지능 분야에서는 지식 기반의 전문가 시스템 및 머신러닝 알고리즘들을 금융 분야에 적용하는 연구가 꾸준하게 수행되어 왔다. 특히 주식에 대한 지식 기반의 시스템 트레이딩은 이제 보편화되었고, 최근에는 대용량 데이터에 기반한 딥러닝 기술을 주가 예측에 적용하기 시작했다. 이중 LSTM은 시계열 데이터에 대한 검증된 모델로서 주가 예측에도 적용되고 있다. 본 논문에서는 주가 예측 모델로서 LSTM을 적용할 때 성능향상을 위해 고려해야 할 복잡한 매개변수 설정과 적용 함수들에 대해 적합한 조합 방법을 제안하도록 한다. 크게 가중치와 바이어스에 대한 초기화 대상과 설정 방법, 과적합을 피하기 위한 정규화 적용 대상과 설정 방법, 활성화 함수 적용 방법, 최적화 알고리즘 선택 등을 제시한다. 이 때 나스닥 상장사들에 대한 대용량 데이터를 바탕으로 각각의 방법들을 적용하여 정확도를 비교하면서 평가한다. 이를 통해 주가 예측을 위한 LSTM 적용 시 최적의 모델링 방법을 실증적인 형태로 제안하여 현실적인 시사점을 갖도록 한다. 향후에는 입력 데이터의 포맷과 길이, 하이퍼파라미터들에 대한 성능평가를 추가 수행하여 주요 설정 항목들의 조합에 대한 일반화 연구를 수행하고자 한다.

참조점의 불규칙적 배치를 통한 PIC보의 하중 충실도 향상에 관한 연구 (Load Fidelity Improvement of Piecewise Integrated Composite Beam by Irregular Arrangement of Reference Points)

  • 함석우;조재응;전성식
    • Composites Research
    • /
    • 제32권5호
    • /
    • pp.216-221
    • /
    • 2019
  • Piecewise Integrated Composite (PIC) 보는 하중 유형에 따라 구간을 나누어, 각 구간마다 하중 유형에 강한 복합재료의 적층 순서를 배열한 보이다. 본 연구에서는 보의 거동을 고려하여 PIC 보의 구간을 머신 러닝을 통해 나누어 기존에 제시되었던 PIC 보에 비해 우수한 굽힘 특성을 갖게 하는 것이 목적이다. FE 모델의 240개 요소가 참조점으로 선택되었다. 선행 유한요소해석은 머신 러닝의 학습데이터 생성을 위하여 규칙적으로 분포된 참조점에서 3축 특성 값(Triaxiality)으로 나타냈다. 3축 특성 값은 인장, 압축 그리고 전단의 하중유형을 나타낸다. 머신 러닝 모델은 하이퍼파라미터(Hyperparameter)와 학습데이터로 구성되었으며, 하이퍼파라미터 튜닝을 통해 적절한 하중 충실도를 도출하였지만, 거동이 큰 보의 옆면에서는 적절하지 않은 하중 충실도가 도출되었다. 이를 해결하기 위하여 고르게 배치한 참조점을 보의 거동에 따라 배치하여 학습 데이터를 얻었고, 머신 러닝 모델이 생성되었다. 앞서 생성된 머신 러닝 모델을 통하여 보가 매핑 되었고, PIC 보에 대하여 유한요소 해석을 진행한 결과, 기존에 제시되었던 PIC 보에 비해 최대하중과 흡수 에너지가 커지는 특성이 나타났다.

단행본 서명의 단어 임베딩에 따른 자동분류의 성능 비교 (Performance Comparison of Automatic Classification Using Word Embeddings of Book Titles)

  • 이용구
    • 정보관리학회지
    • /
    • 제40권4호
    • /
    • pp.307-327
    • /
    • 2023
  • 이 연구는 짧은 텍스트인 서명에 단어 임베딩이 미치는 영향을 분석하기 위해 Word2vec, GloVe, fastText 모형을 이용하여 단행본 서명을 임베딩 벡터로 생성하고, 이를 분류자질로 활용하여 자동분류에 적용하였다. 분류기는 k-최근접 이웃(kNN) 알고리즘을 사용하였고 자동분류의 범주는 도서관에서 도서에 부여한 DDC 300대 강목을 기준으로 하였다. 서명에 대한 단어 임베딩을 적용한 자동분류 실험 결과, Word2vec와 fastText의 Skip-gram 모형이 TF-IDF 자질보다 kNN 분류기의 자동분류 성능에서 더 우수한 결과를 보였다. 세 모형의 다양한 하이퍼파라미터 최적화 실험에서는 fastText의 Skip-gram 모형이 전반적으로 우수한 성능을 나타냈다. 특히, 이 모형의 하이퍼파라미터로는 계층적 소프트맥스와 더 큰 임베딩 차원을 사용할수록 성능이 향상되었다. 성능 측면에서 fastText는 n-gram 방식을 사용하여 하부문자열 또는 하위단어에 대한 임베딩을 생성할 수 있어 재현율을 높이는 것으로 나타났다. 반면에 Word2vec의 Skip-gram 모형은 주로 낮은 차원(크기 300)과 작은 네거티브 샘플링 크기(3이나 5)에서 우수한 성능을 보였다.

컴퓨터 단층촬영 영상에서 3번 요추부 슬라이스 검출을 위한 최적화 기반 딥러닝 모델 (Optimization-based Deep Learning Model to Localize L3 Slice in Whole Body Computerized Tomography Images)

  • 채성원;조재현;박예은;정진형;김성진;최안렬
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권5호
    • /
    • pp.331-337
    • /
    • 2023
  • 본 논문에서는 근감소증의 발병 여부와 정도를 확인하기 위해 3번 요추부 (L3) CT 영상을 검출하는 딥러닝 모델을 제안하는 것이다. 또한, CT 데이터 내에 L3 레벨과 L3 레벨이 아닌 부분의 데이터 불균형으로 인한 성능 저하의 문제점을 오버샘플링 비율과 클래스 가중치를 설계변수로 하는 최적화 기법을 제시하고자 한다. 모델 학습 및 검증을 위하여 강릉아산병원에 내원한 전립선암 환자 104명, 방광암 환자 46명의 총 150명의 전신 CT 영상이 활용되었다. 딥러닝 모델은 ResNet50을 활용하였으며, 최적화기법의 설계변수로는 모델 하이퍼파라미터 5종과 데이터 증강비율 및 클래스 가중치로 선정하였다. 제안하는 최적화 기반의 L3 레벨 추출 모델은 대조군 (하이퍼파라미터 5종만을 최적화한 모델)과 비교하여 중간 L3 오차가 약 1.0 슬라이스 감소한 것을 확인할 수 있었다. 본 연구결과를 통하여 정확한 L3 슬라이스 검출이 가능하며, 추가적으로 데이터 증강을 통한 오버 샘플링과 클래스 가중치 조절을 통해 데이터 불균형 문제를 효과적으로 해결할 수 있는 가능성을 제시할 수 있다.