• 제목/요약/키워드: Data preprocessing technique

검색결과 167건 처리시간 0.023초

쾌삭 303계 스테인리스강 소형 압연 선재 제조 공정의 생산품질 예측 모형 (Quality Prediction Model for Manufacturing Process of Free-Machining 303-series Stainless Steel Small Rolling Wire Rods)

  • 서석준;김흥섭
    • 산업경영시스템학회지
    • /
    • 제44권4호
    • /
    • pp.12-22
    • /
    • 2021
  • This article suggests the machine learning model, i.e., classifier, for predicting the production quality of free-machining 303-series stainless steel(STS303) small rolling wire rods according to the operating condition of the manufacturing process. For the development of the classifier, manufacturing data for 37 operating variables were collected from the manufacturing execution system(MES) of Company S, and the 12 types of derived variables were generated based on literature review and interviews with field experts. This research was performed with data preprocessing, exploratory data analysis, feature selection, machine learning modeling, and the evaluation of alternative models. In the preprocessing stage, missing values and outliers are removed, and oversampling using SMOTE(Synthetic oversampling technique) to resolve data imbalance. Features are selected by variable importance of LASSO(Least absolute shrinkage and selection operator) regression, extreme gradient boosting(XGBoost), and random forest models. Finally, logistic regression, support vector machine(SVM), random forest, and XGBoost are developed as a classifier to predict the adequate or defective products with new operating conditions. The optimal hyper-parameters for each model are investigated by the grid search and random search methods based on k-fold cross-validation. As a result of the experiment, XGBoost showed relatively high predictive performance compared to other models with an accuracy of 0.9929, specificity of 0.9372, F1-score of 0.9963, and logarithmic loss of 0.0209. The classifier developed in this study is expected to improve productivity by enabling effective management of the manufacturing process for the STS303 small rolling wire rods.

ICS 사이버 공격 탐지를 위한 딥러닝 전처리 방법 연구 (A Study on Preprocessing Method in Deep Learning for ICS Cyber Attack Detection)

  • 박성환;김민석;백은서;박정훈
    • 스마트미디어저널
    • /
    • 제12권11호
    • /
    • pp.36-47
    • /
    • 2023
  • 주요 산업현장에서 설비를 제어하는 산업제어시스템(ICS, Industrial Control System)이 네트워크로 다른 시스템과 연결되는 사례가 증가하고 있다. 또한, 이러한 통합과 함께 한 번의 외부 침입이 전체 시스템 마비로 이루어질 수 있는 지능화된 공격의 발달로, 산업제어시스템에 대한 보안에 대한 위험성과 파급력이 증가하고 있어, 사이버 공격에 대한 보호 및 탐지 방안의 연구가 활발하게 진행되고 있으며, 비지도학습 형태의 딥러닝 모델이 많은 성과를 보여 딥러닝을 기반으로 한 이상(Anomaly) 탐지 기술이 많이 도입되고 있다. 어어, 본 연구에서는 딥러닝 모델에 전처리 방법론을 적용하여 시계열 데이터의 이상 탐지성능을 향상시키는 것에 중점을 두어, 그 결과 웨이블릿 변환(WT, Wavelet Transform) 기반 노이즈 제거 방법론이 딥러닝 기반 이상 탐지의 전처리 방법론으로 효과적임을 알 수 있었으며, 특히 센서에 대한 군집화(Clustering)를 통해 센서의 특성을 반영하여 Dual-Tree Complex 웨이블릿 변환을 차등적으로 적용하였을 때 사이버 공격의 탐지성능을 높이는 것에 가장 효과적임을 확인하였다.

변형 Karhunen-Loeve 변환의 수리형태학적 의미와 칼라 영상처리에의 응용 (Morphological Interpretation of Modified Karhunen-Loeve Transformation and Its Applications to Color Image Processing)

  • 어진우
    • 전자공학회논문지B
    • /
    • 제31B권11호
    • /
    • pp.97-108
    • /
    • 1994
  • 대상물체와 배경으로 이루어진 다변수 신호를 분리시키기 위한 변환 기법의 하나로 두 샘플 공분산 행렬의 정규화 후 동시 대각화를 이용한 변형된 Karhunen-Loeve 변환 기법이 제안되었다. 두 클래스간의 샘플 공분산비를 최대화함으로써 국소적 데이터 구조를 분리하는 이 변환 기법은 수리형태학적 연산자를 비롯한 인접 화소 연산자를 사용하는 다변수 영상처리 알고리듬의 전처리 변환으로 유망한 기법이라는 것을 보였다. 제안된 기법이 가지는 분리성은 수리형태학적 패턴 스펙트럼에 근거하여 제안된 measure인 ‘평균높이’의 개념과 관련시켜 해석하였다. 그리고 변환 기법에 대한 실용적인 구현 알고리듬과 이론적인 결과를 모의실험을 통하여 확인하였다.

  • PDF

스마트 가스 계량기 압력 데이터 기반 누출 판단 기법 개발 (Development of Leakage Judgment Technique based on Pressure Data of Smart Gas Meter)

  • 김정훈;오정석;이진한
    • 한국가스학회지
    • /
    • 제27권2호
    • /
    • pp.57-64
    • /
    • 2023
  • 가스계량기의 검침방식이 발전하면서 원격검침이 가능한 스마트 가스 계량기(누출점검용 계량기 및 다기능 안전 계량기)가 사용되고 있다. 이러한 계량기는 부가기능으로 수집하는 유량 및 압력 데이터를 활용하여 누출 판단을 하는 기능이 있다. 유량 데이터를 이용한 누출판단 기능은 실제 현장에서 유효한 사례가 있지만 압력 데이터 기반 누출 판단 기준은 누출로 인한 압력 값 변화뿐만 아니라 여러 요인(정압기 압력 크기, 인접 계량기 연계, 인접 주택 사용량, 계량기 위치 등)으로 압력 크기 변화(레벨)가 있는 문제점이 있다. 본 논문에서는 스마트 가스계량기에서 수집되는 압력데이터를 활용하여 누출여부를 판단 할 수 있는 기법으로 압력 데이터 전처리 방법과 누출 여부 관련 압력 값 범위 기준, 누출판단 기법 및 적용 사례 검증을 통해 개발하였다.

비프로파일링 기반 전력 분석의 성능 향상을 위한 오토인코더 기반 잡음 제거 기술 (Improving Non-Profiled Side-Channel Analysis Using Auto-Encoder Based Noise Reduction Preprocessing)

  • 권동근;진성현;김희석;홍석희
    • 정보보호학회논문지
    • /
    • 제29권3호
    • /
    • pp.491-501
    • /
    • 2019
  • 최근 보안 디바이스의 물리적 취약성을 찾을 수 있는 부채널 분석 분야에서 딥러닝을 활용한 연구가 활발히 진행되고 있다. 하지만, 최신 딥러닝 기반 부채널 분석 기술 연구는 템플릿 공격 등과 같은 프로파일링 기반 부채널 분석 환경에서 파형을 옳게 분류하기 위한 연구에 집중되어 있다. 본 논문에서는 이전 연구들과 다르게 딥러닝을 신호 전처리 기법으로 활용하여 차분 전력 분석, 상관 전력 분석 등과 같은 논프로파일링 기반 부채널 분석의 성능을 고도화할 수 있는 방법을 제안한다. 제안기법은 오토인코더를 부채널 분석 환경에 적합하게 변경하여 부채널 정보의 노이즈를 제거하는 전처리 기법으로, 기존 노이즈 제거 오토인코더는 임의로 추가한 노이즈에 대한 학습을 하였다면 제안하는 기법은 노이즈가 제거된 라벨을 사용하여 실제 데이터의 노이즈를 학습한다. 제안기법은 논프로파일링 환경에서 수행 가능한 전처리 기법이며 하나의 뉴런 네트워크의 학습만을 통해 수행할 수 있다. 본 논문에서는 실험을 통해 제안기법의 노이즈 제거 성능을 입증하였으며, 주성분분석 및 선형판별분석과 같은 기존 전처리 기법들과 비교하여 우수하다는 것을 보인다.

이진 분류를 위하여 거리계산을 이용한 특징 변환 기반의 가중된 최소 자승법 (Weighted Least Squares Based on Feature Transformation using Distance Computation for Binary Classification)

  • 장세인;박충식
    • 한국정보통신학회논문지
    • /
    • 제24권2호
    • /
    • pp.219-224
    • /
    • 2020
  • 이진 분류(binary classification)는 머신러닝(machine learning) 분야에서 많이 다루어진 주제이다. 게다가 이진 분류는 다중 분류로 쉽게 발전될 수 있는 중요한 분야이다. 머신러닝 방법들을 적용할 때에 전처리(preprocessing)이나 특징 추출(feature extraction)과 같은 작업이 필수적이다. 이는 분류기 성능을 향상시키기 위한 중요한 작업이다. 본 논문에서는 가중된 최소 자승법을 기반으로 새로운 머신러닝 방법을 제안한다. 또한, 특징 변환시킬 수 있는 새로운 가중치 계산 방법을 제안한다. 이를 통해 특징 변환과 동시에 학습을 진행할 수 있는 방법을 제안한다. 본 제안을 다섯 개의 머신러닝 데이터베이스에서 실험을 진행하였으며 이 데이터베이스에서 우수한 성능을 얻을 수 있었다.

Spark를 이용한 항목 추천 기법에 관한 연구 (Item Recommendation Technique Using Spark)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제22권5호
    • /
    • pp.715-721
    • /
    • 2018
  • 모바일 기기의 확산으로 소셜 네트워크 서비스나 전자상거래 사이트의 사용자 수가 급증하고 있고 사용자들이 남긴 데이터의 양도 기하급수적으로 증가하고 있다. 그로 인해 전자 상거래 기업들은 사용자들이 남긴 방대한 양의 데이터로부터 어떻게 유용한 정보를 추출할 것인가 하는 과제를 갖게 되었다. 이러한 문제를 해결하기 위해 추천 시스템에 빅 데이터 처리 기법을 적용한 다양한 연구들이 이루어지고 있다. 본 논문에서는 Apache Spark 플랫폼에서 Tag 가중치를 적용한 협업 필터링 기법을 사용한 추천방식을 제안한다. 제안하는 기법은 추천의 정확성을 높이기 위해 전처리 과정에서 Tag 데이터를 정제하고 아이템을 분류한 후 아이템 평가값에 기간 정보와 Tag 가중치를 적용하여 사용한다. RDD(Resilient Distributed Dataset)를 생성한 후 아이템 유사도와 예측값을 구하고 사용자에게 아이템을 추천한다. 실험을 통해 제안 하는 기법이 대량의 데이터를 빠르게 처리하고 추천의 적합성도 향상되는 것을 확인하였다.

웨이브렛 변환을 응용한 합성자료 및 기조력 자료의 잡음 제거 (Denoise of Synthetic and Earth Tidal Effect using Wavelet Transform)

  • 임형래;진홍성;권병두
    • 지구물리
    • /
    • 제2권2호
    • /
    • pp.143-152
    • /
    • 1999
  • 지구 물리 자료의 질을 높이기 위한 전처리 과정에서 웨이브렛 변환을 도입하여 잡음을 제거하는 기법에 관한 연구를 수행하였다. 이 기법의 효율성을 평가하기 위하여 합성자료를 이용하여 저역통과 필터링과 웨이브렛 변환을 통한 잡음 제거 결과를 비교하였다. 저역통과 필터링한 삼각함수 신호는 샘플링 구간에서 신호 양단의 차이에 기인하는 깁스 현상에 의해 오차가 나타났고, 범프 신호는 고주파 성분이 소멸되어 피크가 나타나는 부근에서 큰 오차가 발생하였다. 웨이브렛 변환을 이용한 잡음 제거에서는 시간 영역에서의 국부성과 웨이브렛 변환 영역에서의 신호와 무작위 잡음이 구분 가능하다는 특성을 이용함으로써 잡음을 효과적으로 제거할 수 있었다. 실측된 기조력 자료는 계기 보정 후 Soft threshold를 통해 잡음이 효과적으로 제거됨을 보였고, 이를 이론 기조력 값과 비교하여 G-인자를 계산하였다.

  • PDF

단체법 프로그램 LPAKO 개발에 관한 연구 (Development of LPAKO : Software of Simplex Method for Liner Programming)

  • 박순달;김우제;박찬규;임성묵
    • 경영과학
    • /
    • 제15권1호
    • /
    • pp.49-62
    • /
    • 1998
  • The purpose of this paper is to develope a large-scale simplex method program LPAKO. Various up-to-date techniques are argued and implemented. In LPAKO, basis matrices are stored in a LU factorized form, and Reid's method is used to update LU maintaining high sparsity and numerical stability, and further Markowitz's ordering is used in factorizing a basis matrix into a sparse LU form. As the data structures of basis matrix, Gustavson's data structure and row-column linked list structure are considered. The various criteria for reinversion are also discussed. The dynamic steepest-edge simplex algorithm is used for selection of an entering variable, and a new variation of the MINOS' perturbation technique is suggested for the resolution of degeneracy. Many preprocessing and scaling techniques are implemented. In addition, a new, effective initial basis construction method are suggested, and the criteria for optimality and infeasibility are suggested respectively. Finally, LPAKO is compared with MINOS by test results.

  • PDF

A Proposal for Processor for Improved Utilization of High resolution Satellite Images

  • Choi, Kyeong-Hwan;Kim, Sung-Jae;Jo, Yun-Won;Jo, Myung-Hee
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.211-214
    • /
    • 2007
  • With the recent development of spatial information technology, the relative importance of satellite image contents has increased to about 62%, the techniques related to satellite images have improved, and their demand is gradually increasing. Accordingly, a standard processing method for the whole process of collection from satellites to distribution of satellite images is required in many countries for efficient distribution of images and improvement of their utilization. This study presents the processor standardization technique for the preprocessing of satellite images including geometric correction, orthorectification, color adjustment, interpolation for DEM (Digital Elevation Model) production, rearrangement, and image data management, which will standardize the subjective, complex process and improve their utilization by making it easy for general users to use them

  • PDF