• 제목/요약/키워드: Data preprocessing technique

검색결과 168건 처리시간 0.023초

대체천연가스 화염 이미지 역변환에서 전처리 효과 (Effect of a Preprocessing Method on Inverting Chemiluminescence Images of Flames Burning Substitute Natural Gas)

  • 안광호;송원준;차동진
    • 설비공학논문집
    • /
    • 제27권12호
    • /
    • pp.609-619
    • /
    • 2015
  • A preprocessing scheme utilizing multi-division of the ROI (region of interest) in a chemiluminescence image during inversion is proposed. The resulting inverted image shows the flame's structure, which can be useful for studying combustion instability. The flame structure is often quantitatively visualized with PLIF (planar laser-induced fluorescence) images as well. The chemiluminescence image, which is a line-integral of the flame, needs to be preprocessed before inversion, mainly due to the inherent noise and the assumption of axisymmetry during the inversion. The feasibility of the multi-division preprocessing technique has been tested with experimentally-obtained OH PLIF and $OH^*$ chemiluminescence images of jet and swirl-stabilized flames burning substitute natural gas (SNG). It turns out that the technique outperforms two conventional methods, specifically, the technique without preprocessing and the one with uni-division, reconstructing the SNG flame structures much better than its two counterparts when compared using corresponding OH PLIF images. The characteristics of the optimum degree of polynomials to be applied for curve-fitting of the flame region data for the multi-division method involving two flames has also been investigated.

의사결정트리의 분류 정확도 향상 (Classification Accuracy Improvement for Decision Tree)

  • 메하리 마르타 레제네;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.787-790
    • /
    • 2017
  • Data quality is the main issue in the classification problems; generally, the presence of noisy instances in the training dataset will not lead to robust classification performance. Such instances may cause the generated decision tree to suffer from over-fitting and its accuracy may decrease. Decision trees are useful, efficient, and commonly used for solving various real world classification problems in data mining. In this paper, we introduce a preprocessing technique to improve the classification accuracy rates of the C4.5 decision tree algorithm. In the proposed preprocessing method, we applied the naive Bayes classifier to remove the noisy instances from the training dataset. We applied our proposed method to a real e-commerce sales dataset to test the performance of the proposed algorithm against the existing C4.5 decision tree classifier. As the experimental results, the proposed method improved the classification accuracy by 8.5% and 14.32% using training dataset and 10-fold crossvalidation, respectively.

소형 밀리미터파 레이더를 위한 실시간 데이터 전처리 방법 연구 (A Study on Real-time Data Preprocessing Technique for Small Millimeter Wave Radar)

  • 최진규;신영철;홍순일;박창현;김윤진;김홍락;권준범
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권6호
    • /
    • pp.79-85
    • /
    • 2019
  • 최근 소형 레이더는 한번의 타격으로 표적의 시스템을 무능화시키기 위해 높은 거리해상도를 갖는 소형 밀리미터파 레이더 개발을 요구한다. 높은 거리해상도를 갖는 소형 밀리미터파 레이더가 표적을 획득하고, 추적하기 위해서는 대용량의 데이터를 실시간으로 처리해야한다. 본 논문에서는 소형 밀리미터파 레이더에서 요구하는 대용량의 데이터를 실시간으로 처리하기 위한 실시간 데이터 전처리 방법을 정리하였다. 또한 실시간 데이터 전처리 방법으로 제시한 디지털 IF(Intermediate Frequency) 수신기, Window처리, DFT(Discrete Fourier Transform)를 FPGA (Field Programmable Gate Array)를 활용하여 구현하였다. 마지막으로 구현한 실시간 데이터 전처리 모듈은 소형 밀리미터파 레이더를 위한 신호처리기에 적용하여 실시간 데이터 전처리 기능과 관련된 성능시험으로 검증하였다.

기계학습 기반의 실내 측위 성능 향상을 위한 학습 데이터 전처리 기법 (Learning data preprocessing technique for improving indoor positioning performance based on machine learning)

  • 김대진;황치곤;윤창표
    • 한국정보통신학회논문지
    • /
    • 제24권11호
    • /
    • pp.1528-1533
    • /
    • 2020
  • 최근 Wi-Fi 전파 지문을 이용한 실내 위치 인식 기술이 다양한 산업 분야 및 공공 서비스에서 적용되어 운영되고 있다. 기계학습 기술의 관심과 함께 단말 주변의 무선 신호 데이터를 사용한 기계학습 기반의 위치 인식 기술이 빠르게 발전하고 있다. 이때 기계학습에 필요한 무선 신호 데이터의 수집 과정에서 왜곡되거나 학습에 적합하지 않은 데이터가 포함되어 위치 인식의 정확도가 낮아지는 결과가 발생한다. 또한 특정 위치에서 수집된 데이터를 기반의 위치 인식을 수행하는 경우 학습에 포함되지 않은 주변 위치에서의 위치 인식에 문제가 발생한다. 본 논문에서는 수집된 학습 데이터의 전처리 과정을 통해 향상된 위치 인식 결과를 얻기 위한 학습 데이터 전처리 기법을 제안한다.

A Preprocessing Algorithm for Efficient Lossless Compression of Gray Scale Images

  • Kim, Sun-Ja;Hwang, Doh-Yeun;Yoo, Gi-Hyoung;You, Kang-Soo;Kwak, Hoon-Sung
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.2485-2489
    • /
    • 2005
  • This paper introduces a new preprocessing scheme to replace original data of gray scale images with particular ordered data so that performance of lossless compression can be improved more efficiently. As a kind of preprocessing technique to maximize performance of entropy encoder, the proposed method converts the input image data into more compressible form. Before encoding a stream of the input image, the proposed preprocessor counts co-occurrence frequencies for neighboring pixel pairs. Then, it replaces each pair of adjacent gray values with particular ordered numbers based on the investigated co-occurrence frequencies. When compressing ordered image using entropy encoder, we can expect to raise compression rate more highly because of enhanced statistical feature of the input image. In this paper, we show that lossless compression rate increased by up to 37.85% when comparing results from compressing preprocessed and non-preprocessed image data using entropy encoder such as Huffman, Arithmetic encoder.

  • PDF

전처리과정을 갖는 시계열데이터의 퍼지예측 (A Fuzzy Time-Series Prediction with Preprocessing)

  • 윤상훈;이철희
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 추계학술대회 논문집 학회본부 D
    • /
    • pp.666-668
    • /
    • 2000
  • In this paper, a fuzzy prediction method is proposed for time series data having uncertainty and non-stationary characteristics. Conventional methods, which use past data directly in prediction procedure, cannot properly handle non-stationary data whose long-term mean is floating. To cope with this problem, a data preprocessing technique utilizing the differences of original time series data is suggested. The difference sets are established from data. And the optimal difference set is selected for input of fuzzy predictor. The proposed method based the Takigi-Sugeno-Kang(TSK or TS) fuzzy rule. Computer simulations show improved results for various time series.

  • PDF

고차원 스펙트라 데이터 분석을 위한 Adjusted Direct Orthogonal Signal Correction 기법 (Adjusted Direct Orthogonal Signal Correction For High-Dimensional Spectral Data)

  • 김신영;김성범
    • 대한산업공학회지
    • /
    • 제37권4호
    • /
    • pp.400-407
    • /
    • 2011
  • Modeling and analysis of high-dimensional spectral data provide an opportunity to uncover inherent patterns in various information-rich data. Orthogonal signal correction (OSC) a preprocessing technique has been widely used to remove unwanted variations of spectral data that do not contribute to prediction or classification. In the present study we propose a novel OSC algorithm called adjusted direct OSC to improve visualization and the ability of classification. Experimental results with real mass spectral data from condom lubricants demonstrate the effectiveness of the proposed approach.

웹 마이닝을 위한 입력 데이타의 전처리과정에서 사용자구분과 세션보정 (User Identification and Session completion in Input Data Preprocessing for Web Mining)

  • 최영환;이상용
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권9호
    • /
    • pp.843-849
    • /
    • 2003
  • 웹 이용 마이닝은 거대한 웹 로그들을 이용하여 웹 사용자의 이용 패턴을 분석하는 데이타 마이닝 기술이다. 이러한 웹 이용 마이닝 기술을 사용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 로그 파일만으로는 완전히 구분할 수 없다. 사용자와 세션을 구분하기 위해서는 로컬캐시, 방화벽, ISP, 사용자 프라이버시, 쿠키 등과 같은 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 특히, 로컬캐시 문제는 웹 마이닝 시스템의 입력으로 사용되는 사용자 세션을 구분하는데 가장 어려운 문제이다 본 연구에서는 참조 로그와 에이전트 로그, 그리고 액세스 로그 둥의 서버측 클릭스트림 데이타만을 이용하여 로컬캐시 문제를 해결하고, 사용자 세션을 구분하고 세션을 보정하는 휴리스틱 방법을 제안한다.

건축 부재 사용량 예측을 위한 인공지능 학습 모델 (An Artificial Intelligent based Learning Model for BIM Elements Usage)

  • 김범수;박종혁;한수희;김경준
    • 한국전자통신학회논문지
    • /
    • 제18권1호
    • /
    • pp.107-114
    • /
    • 2023
  • 본 연구는 건축 부재 사용량 예측을 위한 인공지능 기반의 학습모델을 설계 및 구현하는 방법에 대하여 기술하였다. 인공지능(Artifical intelligence : AI) 은 기술의 발전에 힘입어 다양한 분야에서 폭넓게 활용되고 있지만, 건축설계분야 데이터의 특수성 및 빅데이터 수집의 어려움으로 인해 현장 활용도가 매우 저조한 상태이다. 따라서 건축설계분야에서 인공지능 기술을 도입할 수 있도록 건축 부재 단위의 AI문제를 발굴해 내었으며, 해당분야 데이터가 가지는 특이성을 해결하기 위한 새로운 전처리 기법을 고안하였다. 고안된 전처리 기법을 토대로 인공지능 모델을 구현하였고, 구현된 인공지능 모델의 건축 부재 사용량 예측 정확도가 실제 산업에 사용할 수 있는 수준임을 확인하였다.

Unsupervised Learning-Based Pipe Leak Detection using Deep Auto-Encoder

  • Yeo, Doyeob;Bae, Ji-Hoon;Lee, Jae-Cheol
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권9호
    • /
    • pp.21-27
    • /
    • 2019
  • In this paper, we propose a deep auto-encoder-based pipe leak detection (PLD) technique from time-series acoustic data collected by microphone sensor nodes. The key idea of the proposed technique is to learn representative features of the leak-free state using leak-free time-series acoustic data and the deep auto-encoder. The proposed technique can be used to create a PLD model that detects leaks in the pipeline in an unsupervised learning manner. This means that we only use leak-free data without labeling while training the deep auto-encoder. In addition, when compared to the previous supervised learning-based PLD method that uses image features, this technique does not require complex preprocessing of time-series acoustic data owing to the unsupervised feature extraction scheme. The experimental results show that the proposed PLD method using the deep auto-encoder can provide reliable PLD accuracy even considering unsupervised learning-based feature extraction.