• 제목/요약/키워드: Data Preprocessing

검색결과 967건 처리시간 0.031초

주조공정 데이터 처리 및 분석 (1) (Data Management and Analysis in Foundry Industry (1))

  • 조인성
    • 한국주조공학회지
    • /
    • 제42권1호
    • /
    • pp.35-41
    • /
    • 2022
  • In the present paper, the data management of casting processes has been discussed. In order to construct a smart factory in the foundry industry, understanding of the whole casting processes has to be in the first place. Casting process data can be obtained at the kiosk operated by casting engineers and data acquired by sensors in the foundry facility. However, preprocessing of the casting process data must be carried out in order to analyze the casting process by the data. Techniques and some examples for data preprocessing in the foundry was introduced.

머신러닝 자동화를 위한 개발 환경에 관한 연구 (A Study on Development Environments for Machine Learning)

  • 김동길;박용순;박래정;정태윤
    • 대한임베디드공학회논문지
    • /
    • 제15권6호
    • /
    • pp.307-316
    • /
    • 2020
  • Machine learning model data is highly affected by performance. preprocessing is needed to enable analysis of various types of data, such as letters, numbers, and special characters. This paper proposes a development environment that aims to process categorical and continuous data according to the type of missing values in stage 1, implementing the function of selecting the best performing algorithm in stage 2 and automating the process of checking model performance in stage 3. Using this model, machine learning models can be created without prior knowledge of data preprocessing.

소형 밀리미터파 레이더를 위한 실시간 데이터 전처리 방법 연구 (A Study on Real-time Data Preprocessing Technique for Small Millimeter Wave Radar)

  • 최진규;신영철;홍순일;박창현;김윤진;김홍락;권준범
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권6호
    • /
    • pp.79-85
    • /
    • 2019
  • 최근 소형 레이더는 한번의 타격으로 표적의 시스템을 무능화시키기 위해 높은 거리해상도를 갖는 소형 밀리미터파 레이더 개발을 요구한다. 높은 거리해상도를 갖는 소형 밀리미터파 레이더가 표적을 획득하고, 추적하기 위해서는 대용량의 데이터를 실시간으로 처리해야한다. 본 논문에서는 소형 밀리미터파 레이더에서 요구하는 대용량의 데이터를 실시간으로 처리하기 위한 실시간 데이터 전처리 방법을 정리하였다. 또한 실시간 데이터 전처리 방법으로 제시한 디지털 IF(Intermediate Frequency) 수신기, Window처리, DFT(Discrete Fourier Transform)를 FPGA (Field Programmable Gate Array)를 활용하여 구현하였다. 마지막으로 구현한 실시간 데이터 전처리 모듈은 소형 밀리미터파 레이더를 위한 신호처리기에 적용하여 실시간 데이터 전처리 기능과 관련된 성능시험으로 검증하였다.

최적 TS 퍼지 모델 기반 다중 모델 예측 시스템의 구현과 시계열 예측 응용 (Multiple Model Prediction System Based on Optimal TS Fuzzy Model and Its Applications to Time Series Forecasting)

  • 방영근;이철희
    • 산업기술연구
    • /
    • 제28권B호
    • /
    • pp.101-109
    • /
    • 2008
  • In general, non-stationary or chaos time series forecasting is very difficult since there exists a drift and/or nonlinearities in them. To overcome this situation, we suggest a new prediction method based on multiple model TS fuzzy predictors combined with preprocessing of time series data, where, instead of time series data, the differences of them are applied to predictors as input. In preprocessing procedure, the candidates of optimal difference interval are determined by using con-elation analysis and corresponding difference data are generated. And then, for each of them, TS fuzzy predictor is constructed by using k-means clustering algorithm and least squares method. Finally, the best predictor which minimizes the performance index is selected and it works on hereafter for prediction. Computer simulation is performed to show the effectiveness and usefulness of our method.

  • PDF

영상 클러스터링과 HSV 컬러 모델을 이용한 차선 검출 전처리 기법 (Preprocessing Technique for Lane Detection Using Image Clustering and HSV Color Model)

  • 최나래;최상일
    • 한국멀티미디어학회논문지
    • /
    • 제20권2호
    • /
    • pp.144-152
    • /
    • 2017
  • Among the technologies for implementing autonomous vehicles, advanced driver assistance system is a key technology to support driver's safe driving. In the technology using the vision sensor having a high utility, various preprocessing methods are used prior to feature extraction for lane detection. However, in the existing methods, the unnecessary lane candidates such as cars, lawns, and road separator in the road area are false positive. In addition, there are cases where the lane candidate itself can not be extracted in the area under the overpass, the lane within the dark shadow, the center lane of yellow, and weak lane. In this paper, we propose an efficient preprocessing method using k-means clustering for image division and the HSV color model. When the proposed preprocessing method is applied, the true positive region is maximally maintained during the lane detection and many false positive regions are removed.

태양 에너지 수집형 IoT 엣지 컴퓨팅 환경에서 효율적인 오디오 딥러닝을 위한 에너지 적응형 데이터 전처리 기법 (Energy-Aware Data-Preprocessing Scheme for Efficient Audio Deep Learning in Solar-Powered IoT Edge Computing Environments)

  • 유연태;노동건
    • 대한임베디드공학회논문지
    • /
    • 제18권4호
    • /
    • pp.159-164
    • /
    • 2023
  • Solar energy harvesting IoT devices prioritize maximizing the utilization of collected energy due to the periodic recharging nature of solar energy, rather than minimizing energy consumption. Meanwhile, research on edge AI, which performs machine learning near the data source instead of the cloud, is actively conducted for reasons such as data confidentiality and privacy, response time, and cost. One such research area involves performing various audio AI applications using audio data collected from multiple IoT devices in an IoT edge computing environment. However, in most studies, IoT devices only perform sensing data transmission to the edge server, and all processes, including data preprocessing, are performed on the edge server. In this case, it not only leads to overload issues on the edge server but also causes network congestion by transmitting unnecessary data for learning. On the other way, if data preprocessing is delegated to each IoT device to address this issue, it leads to another problem of increased blackout time due to energy shortages in the devices. In this paper, we aim to alleviate the problem of increased blackout time in devices while mitigating issues in server-centric edge AI environments by determining where the data preprocessed based on the energy state of each IoT device. In the proposed method, IoT devices only perform the preprocessing process, which includes sound discrimination and noise removal, and transmit to the server if there is more energy available than the energy threshold required for the basic operation of the device.

모바일 환경에서의 상황인식 기반 사용자 감성인지를 통한 개인화 서비스 (Personalized Service Based on Context Awareness through User Emotional Perception in Mobile Environment)

  • 권일경;이상용
    • 디지털융복합연구
    • /
    • 제10권2호
    • /
    • pp.287-292
    • /
    • 2012
  • 본 논문에서는 모바일환경에서의 사용자 감정인지를 통한 개인화 서비스 지원에 필요한 위치기반 센싱 데이터의 전처리 기법과 사용자 감정 데이터의 구축 및 전처리를 위한 V-A 감정 모델에서의 감정 데이터 전처리 기법에 대하여 연구한다. 이를 위하여 그래뉼러 컨텍스트 트리 및 스트링 매칭 기반의 감정 패턴 매칭 기법을 사용한다. 또한 상황 인지를 통한 개인화 서비스를 위해 확률 기반 추론을 이용한 상황 인식 및 개인화 서비스 추천 기법에 대하여 연구한다.

NETWORK DESIGN AND PREPROCESSING FOR MULTI-SCALE SPHERICAL BASIS FUNCTION REPRESENTATION

  • Oh, Hee-Seok;Kim, Dong-Hoh
    • Journal of the Korean Statistical Society
    • /
    • 제36권2호
    • /
    • pp.209-228
    • /
    • 2007
  • Given scattered surface air temperatures observed by a network of weather stations, it is an important problem to estimate the entire temperature field for every location on the globe. Recently, a multi-scale spherical basis function (SBF) representation was proposed by Li (1999) for representing scattered data on the sphere. However, for a successful application of Li (1999)'s method, some practical issues such as network design, bandwidth selection of SBFs and initial coefficients are to be resolved. This paper proposes automatic procedures to design network and to select bandwidths. This paper also considers a preprocessing problem to obtain a stable initial coefficients from scattered data. Experiments with real temperature data demonstrate the promising empirical properties of the proposed approaches.

신경회로망을 이용한 분류모형 개발 (Development of Classification Model Using Neural Network)

  • 박광박;박영만;황승국
    • 한국지능시스템학회논문지
    • /
    • 제18권5호
    • /
    • pp.638-641
    • /
    • 2008
  • 본 논문에서는 데이터를 사전처리 한 후 Fuzzy TAM을 이용하여 분류하는 방법을 개발하였다. 사전 처리 방식은 category형 특성인 경우는 그 특성을 이용하여 문제를 분해시키고, 계량형 특성의 경우는 클래스별 영역을 설정하고 겹치지 않는 특성 영역이 있다면 그 영역의 자료를 고정시켜 분류에서 제외시킨다. 이러한 사전 처리를 한 후 Fuzzy TAM을 이용하여 분류를 수행한다.

센서 네트워크의 데이터 스트림 마이닝을 위한 온톨로지 기반의 전처리 기법 (Ontology based Preprocessing Scheme for Mining Data Streams from Sensor Networks)

  • 정재은
    • 지능정보연구
    • /
    • 제15권3호
    • /
    • pp.67-80
    • /
    • 2009
  • 다양한 센서의 개발과 센서 네트워크 구축으로 인해 특정 공간의 환경 데이터를 수집할 수 있다. 보다 유용한 정보 및 지식의 발견을 위하여 데이터 마이닝(Data mining) 기법이 활용되는 연구들이 소개되었다. 본 연구에서는 이와 같은 데이터 마이닝 기법의 효율성 증대를 위하여 센서 네트워크로부터의 데이터 스트림의 전처리 과정(Preprocessing)을 수행하고자 한다. 제안하는 센서 스트림 데이터의 전처리 과정은 i) 세션확인(Session identification)과 ii) 오류검증(Error detection) 문제를 해결하고자 한다. 특히, 이를 위해 각센서 장비로부터 수집되는 데이터의 의미(Semantics)를 표현하고 있는 온톨로지(Ontology)를 적용한다. 본 연구 결과의 성능 평가를 위하여 센서 네트워크 테스팅 환경을 교내에 설치하였으며 30여일 동안 수집된 데이터를 이용하여 시뮬레이션을 실행하였다.

  • PDF