• 제목/요약/키워드: Learning Machine System

검색결과 1,807건 처리시간 0.033초

Machine Learning-based landslide susceptibility mapping - Inje area, South Korea

  • Chanul Choi;Le Xuan Hien;Seongcheon Kwon;Giha Lee
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.248-248
    • /
    • 2023
  • In recent years, the number of landslides in Korea has been increasing due to extreme weather events such as localized heavy rainfall and typhoons. Landslides often occur with debris flows, land subsidence, and earthquakes. They cause significant damage to life and property. 64% of Korea's land area is made up of mountains, the government wanted to predict landslides to reduce damage. In response, the Korea Forest Service has established a 'Landslide Information System' to predict the likelihood of landslides. This system selects a total of 13 landslide factors based on past landslide events. Using the LR technique (Logistic Regression) to predict the possibility of a landslide occurrence and the accuracy is known to be 0.75. However, most of the data used for learning in the current system is on landslides that occurred from 2005 to 2011, and it does not reflect recent typhoons or heavy rain. Therefore, in this study, we will apply a total of six machine learning techniques (KNN, LR, SVM, XGB, RF, GNB) to predict the occurrence of landslides based on the data of Inje, Gangwon-do, which was recently produced by the National Institute of Forest. To predict the occurrence of landslides, it is necessary to process converting landslide events and factors data into a suitable form for machine learning techniques through ArcGIS and Python. In addition, there is a large difference in the number of data between areas where landslides occurred or not. Therefore, the prediction was performed after correcting the unbalanced data using Tomek Links and Near Miss techniques. Moreover, to control unbalanced data, a model that reflects soil properties will use to remove absolute safe areas.

  • PDF

LIME을 활용한 준지도 학습 기반 이상 탐지 모델: 반도체 공정을 중심으로 (Anomaly Detection Model Based on Semi-Supervised Learning Using LIME: Focusing on Semiconductor Process)

  • 안강민;신주은;백동현
    • 산업경영시스템학회지
    • /
    • 제45권4호
    • /
    • pp.86-98
    • /
    • 2022
  • Recently, many studies have been conducted to improve quality by applying machine learning models to semiconductor manufacturing process data. However, in the semiconductor manufacturing process, the ratio of good products is much higher than that of defective products, so the problem of data imbalance is serious in terms of machine learning. In addition, since the number of features of data used in machine learning is very large, it is very important to perform machine learning by extracting only important features from among them to increase accuracy and utilization. This study proposes an anomaly detection methodology that can learn excellently despite data imbalance and high-dimensional characteristics of semiconductor process data. The anomaly detection methodology applies the LIME algorithm after applying the SMOTE method and the RFECV method. The proposed methodology analyzes the classification result of the anomaly classification model, detects the cause of the anomaly, and derives a semiconductor process requiring action. The proposed methodology confirmed applicability and feasibility through application of cases.

웹쉘 수집 및 분석을 통한 머신러닝기반 방어시스템 제안 연구 (A study on machine learning-based defense system proposal through web shell collection and analysis)

  • 김기환;신용태
    • 인터넷정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.87-94
    • /
    • 2022
  • 최근 정보통신 인프라의 발달로 인터넷접속 디바이스가 급속하게 늘어나고 있는 실정이다. 스마트폰, 노트북, 컴퓨터, IoT디바이스까지 인터넷접속을 통하여 정보통신서비스를 받고 있는 것이다. 디바이스 운영환경이 대부분이 웹(WEB)으로 이루어져 있는 관계로 웹쉘을 이용한 웹사이버 공격에 취약하다. 웹쉘이 웹 서버에 업로드 될 경우 웹 서버의 제어가 손쉽게 이루어 질 수 있어서 공격빈도가 높은 것으로 확인된다. 웹쉘로 인한 피해가 많이 발생하면서 각 기업에서는 침입차단시스템, 방화벽, 웹방화벽등 다양한 보안장비로 공격에 대응하고 있지만, 현재 출시되는 대부분의 웹쉘 대응 장비는 패턴 기반으로 탐지가 이루어지기 때문에 웹쉘 변종에 있어서는 탐지가 어려우며 이런 특성으로 웹쉘 공격의 예방 및 대처하기 위해서는 기존의 체계와 보안소프트웨어만 가지고 대응 하기에는 힘든 상황이 현실이다. 이에 인공지능 머신러닝 과 딥러닝기법을 활용하여 알려지지 않은 웹쉘을 사전에 탐지하는 등 신규 사이버 공격에 대하여 대처 할 수 있는 인공지능 머신러닝 기반의 웹쉘 수집 및 분석을 통하여 자동화된 웹쉘 방어시스템에 대하여 제안하고자 한다. 본 논문에서 제안하는 머시러닝기반 웹쉘 방어시스템 모델은 웹환경에 대한 사이버공격중의 하나인 악성 웹쉘에 대하여 수집, 분석, 탐지를 빠르게 하여,안전한 인터넷환경구축 및 운영시 필수적으로 적용이 필요한 웹정보보안 시스템 설계,구축에 많은 도움이 될 것으로 생각한다.

기업의 머신러닝 선정에 영향을 미치는 요인 연구: 확장된 알고리즘 선택 문제의 관점으로 (A Study on the Factors Influencing a Company's Selection of Machine Learning: From the Perspective of Expanded Algorithm Selection Problem)

  • 이영수;권민수;권오병
    • 한국전자거래학회지
    • /
    • 제27권2호
    • /
    • pp.37-64
    • /
    • 2022
  • 인공지능의 사회적수용도가 증가하면서 머신러닝 기법을 기업에 적용하는 사례가 증가하고 있다. 머신러닝 기법의 선정에는 주로 정확성이나 해석 가능성 등 기술적 요인이 주로 기준이 되어왔다. 그러나 머신러닝 채택의 성공은 개발부서, 사용부서, 리더십과 조직문화 등 경영관리 요인도 영향을 주기도 한다. 아쉽게도 기술적 요인과 경영관리적 요인이 함께 고려된 머신러닝 선정의 성공 요인을 이해하는 통합 연구가 거의 존재하지 않는다. 이에 본 논문의 목적은 기업 내 머신러닝 선정을 이해하기 위해 John Rice의 algorithm selection process model과 task-technology fit, 그리고 IS Success Model 이론을 결합한 기술-경영관리 통합 모형을제안하고 실증적 분석을 하는 것이다. 머신러닝을 도입한 국내 기업 240곳을 대상으로 설문 분석을 실시한 결과 알고리즘 품질과 데이터 품질이 높을수록 문제-알고리즘 적합성에 높게 영향을 주는 것으로 나타났으며, 문제-알고리즘 적합성은 조직의 생산성과 혁신성에도 유의한 영향을 미치는 것으로 검증되었다. 또한 외주화와 경영진 지원이 머신러닝 시스템 품질에 긍정적인 영향을 미치고, 데이터 중심 경영 및 동기화와 같은 조직문화 요인은 활용성과에 높은 영향을 미치는 것으로 확인되었다.

AttentionMesh를 활용한 국가과학기술표준분류체계 소분류 키워드 자동추천에 관한 연구 (A Study on Automatic Recommendation of Keywords for Sub-Classification of National Science and Technology Standard Classification System Using AttentionMesh)

  • 박진호;송민선
    • 한국도서관정보학회지
    • /
    • 제53권2호
    • /
    • pp.95-115
    • /
    • 2022
  • 이 연구의 목적은 국가과학기술표준분류체계의 소분류 용어를 기계학습 알고리즘을 적용하여 기술키워드 변환하는 것이 목적이다. 이를 위해 본 연구에서는 주제어 추천에 적합한 학습 알고리즘으로 AttentionMeSH를 활용했다. 원천데이터는 한국과학기술기획평가원이 정제한 2017년부터 2020년까지 4개년 연구현황 파일을 사용하였다. 학습은 과제명, 연구목표, 연구내용, 기대효과와 같이 연구내용을 잘 표현하고 있는 4개 속성을 사용했다. 그 결과 임계치(threshold)가 0.5일 때 MiF 0.6377이라는 결과가 도출됨을 확인하였다. 향후 실제 업무에 기계학습을 활용하고, 기술키워드 확보를 위해서는 용어관리체계 구축과 다양한 속성들의 데이터 확보가 필요할 것으로 보인다.

점진적 샘플링과 정규 상호정보량을 이용한 온라인 기계학습 공조기 급기온도 예측 모델 개발 (Development of Online Machine Learning Model for AHU Supply Air Temperature Prediction using Progressive Sampling and Normalized Mutual Information)

  • 추한경;신한솔;안기언;라선중;박철수
    • 대한건축학회논문집:구조계
    • /
    • 제34권6호
    • /
    • pp.63-69
    • /
    • 2018
  • The machine learning model can capture the dynamics of building systems with less inputs than the first principle based simulation model. The training data for developing a machine learning model are usually selected in a heuristic manner. In this study, the authors developed a machine learning model which can describe supply air temperature from an AHU in a real office building. For rational reduction of the training data, the progressive sampling method was used. It is found that even though the progressive sampling requires far less training data (n=60) than the offline regular sampling (n=1,799), the MBEs of both models are similar (2.6% vs. 5.4%). In addition, for the update of the machine learning model, the normalized mutual information (NMI) was applied. If the NMI between the simulation output and the measured data is less than 0.2, the model has to be updated. By the use of the NMI, the model can perform better prediction ($5.4%{\rightarrow}1.3%$).

SHM data anomaly classification using machine learning strategies: A comparative study

  • Chou, Jau-Yu;Fu, Yuguang;Huang, Shieh-Kung;Chang, Chia-Ming
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.77-91
    • /
    • 2022
  • Various monitoring systems have been implemented in civil infrastructure to ensure structural safety and integrity. In long-term monitoring, these systems generate a large amount of data, where anomalies are not unusual and can pose unique challenges for structural health monitoring applications, such as system identification and damage detection. Therefore, developing efficient techniques is quite essential to recognize the anomalies in monitoring data. In this study, several machine learning techniques are explored and implemented to detect and classify various types of data anomalies. A field dataset, which consists of one month long acceleration data obtained from a long-span cable-stayed bridge in China, is employed to examine the machine learning techniques for automated data anomaly detection. These techniques include the statistic-based pattern recognition network, spectrogram-based convolutional neural network, image-based time history convolutional neural network, image-based time-frequency hybrid convolution neural network (GoogLeNet), and proposed ensemble neural network model. The ensemble model deliberately combines different machine learning models to enhance anomaly classification performance. The results show that all these techniques can successfully detect and classify six types of data anomalies (i.e., missing, minor, outlier, square, trend, drift). Moreover, both image-based time history convolutional neural network and GoogLeNet are further investigated for the capability of autonomous online anomaly classification and found to effectively classify anomalies with decent performance. As seen in comparison with accuracy, the proposed ensemble neural network model outperforms the other three machine learning techniques. This study also evaluates the proposed ensemble neural network model to a blind test dataset. As found in the results, this ensemble model is effective for data anomaly detection and applicable for the signal characteristics changing over time.

우리나라 고령층의 경제활동 수준 예측 - 머신러닝 기법과 연계한 예측조합법을 중심으로 - (Prediction on the Economic Activity Level of the Elderly in South Korea - Focusing on Machine Learning Method Combined with Forecast Combination -)

  • 김정우
    • 한국융합학회논문지
    • /
    • 제13권5호
    • /
    • pp.237-247
    • /
    • 2022
  • 본 연구는 급속한 고령화 시대에서 우리나라의 고령층의 경제활동 수준을 다양한 머신러닝 기법으로 정확히 예측하고자 하였다. 고령층의 경제활동 수준과 기존 연구들은 고령층의 삶의 만족도, 사회보장제도 등과 연관된 인과성 검증을 중심으로 이루어진 데 반해, 본 연구는 다양한 머신러닝 기법으로 고령층의 경제활동 수준을 예측하였으며, 특히 예측조합법을 함께 사용함으로써 예측의 안정성을 도모하였다. 60세 이상의 경제활동참가율, 취업률 등을 종속변수로 하고 가구 특성, 소득, 평균임금 등을 설명변수로 설정하여 서로 다른 특성을 지닌 5가지의 머신러닝 기법과 2가지의 예측조합법을 적용하여 예측결과들을 비교하였다. 분석 결과, 종속변수별, 예측구간별로 예측성능이 높은 머신러닝 기법 및 예측조합법은 상이하였으나, 예측의 안정성 측면에서는 예측조합법이 상대적으로 우수한 것으로 나타났다. 이에 따라, 본 연구는 고령층의 경제활동 수준을 정확히 예측하고 예측의 안정성을 도모하여 정책적 관점에서도 실용성을 제고한다고 볼 수 있다.

BERT 기반 감성분석을 이용한 추천시스템 (Recommender system using BERT sentiment analysis)

  • 박호연;김경재
    • 지능정보연구
    • /
    • 제27권2호
    • /
    • pp.1-15
    • /
    • 2021
  • 추천시스템은 사용자의 기호를 파악하여 물품 구매 결정을 도와주는 역할을 할 뿐만 아니라, 비즈니스 전략의 관점에서도 중요한 역할을 하기에 많은 기업과 기관에서 관심을 갖고 있다. 최근에는 다양한 추천시스템 연구 중에서도 NLP와 딥러닝 등을 결합한 하이브리드 추천시스템 연구가 증가하고 있다. NLP를 이용한 감성분석은 사용자 리뷰 데이터가 증가함에 따라 2000년대 중반부터 활용되기 시작하였지만, 기계학습 기반 텍스트 분류를 통해서는 텍스트의 특성을 완전히 고려하기 어렵기 때문에 리뷰의 정보를 식별하기 어려운 단점을 갖고 있다. 본 연구에서는 기계학습의 단점을 보완하기 위하여 BERT 기반 감성분석을 활용한 추천시스템을 제안하고자 한다. 비교 모형은 Naive-CF(collaborative filtering), SVD(singular value decomposition)-CF, MF(matrix factorization)-CF, BPR-MF(Bayesian personalized ranking matrix factorization)-CF, LSTM, CNN-LSTM, GRU(Gated Recurrent Units)를 기반으로 하는 추천 모형이며, 실제 데이터에 대한 분석 결과, BERT를 기반으로 하는 추천시스템의 성과가 가장 우수한 것으로 나타났다.

Extreme Learning Machine Approach for Real Time Voltage Stability Monitoring in a Smart Grid System using Synchronized Phasor Measurements

  • Duraipandy, P.;Devaraj, D.
    • Journal of Electrical Engineering and Technology
    • /
    • 제11권6호
    • /
    • pp.1527-1534
    • /
    • 2016
  • Online voltage stability monitoring using real-time measurements is one of the most important tasks in a smart grid system to maintain the grid stability. Loading margin is a good indicator for assessing the voltage stability level. This paper presents an Extreme Learning Machine (ELM) approach for estimation of voltage stability level under credible contingencies using real-time measurements from Phasor Measurement Units (PMUs). PMUs enable a much higher data sampling rate and provide synchronized measurements of real-time phasors of voltages and currents. Depth First (DF) algorithm is used for optimally placing the PMUs. To make the ELM approach applicable for a large scale power system problem, Mutual information (MI)-based feature selection is proposed to achieve the dimensionality reduction. MI-based feature selection reduces the number of network input features which reduces the network training time and improves the generalization capability. Voltage magnitudes and phase angles received from PMUs are fed as inputs to the ELM model. IEEE 30-bus test system is considered for demonstrating the effectiveness of the proposed methodology for estimating the voltage stability level under various loading conditions considering single line contingencies. Simulation results validate the suitability of the technique for fast and accurate online voltage stability assessment using PMU data.