• 제목/요약/키워드: Data preprocessing technique

검색결과 168건 처리시간 0.023초

SSA-based stochastic subspace identification of structures from output-only vibration measurements

  • Loh, Chin-Hsiung;Liu, Yi-Cheng;Ni, Yi-Qing
    • Smart Structures and Systems
    • /
    • 제10권4_5호
    • /
    • pp.331-351
    • /
    • 2012
  • In this study an output-only system identification technique for civil structures under ambient vibrations is carried out, mainly focused on using the Stochastic Subspace Identification (SSI) based algorithms. A newly developed signal processing technique, called Singular Spectrum Analysis (SSA), capable to smooth a noisy signal, is adopted for preprocessing the measurement data. An SSA-based SSI algorithm with the aim of finding accurate and true modal parameters is developed through stabilization diagram which is constructed by plotting the identified system poles with increasing the size of data matrix. First, comparative study between different approaches, with and without using SSA to pre-process the data, on determining the model order and selecting the true system poles is examined in this study through numerical simulation. Finally, application of the proposed system identification task to the real large scale structure: Canton Tower, a benchmark problem for structural health monitoring of high-rise slender structures, using SSA-based SSI algorithm is carried out to extract the dynamic characteristics of the tower from output-only measurements.

전이학습 기반 사출 성형품 burr 이미지 검출 시스템 개발 (Development of a transfer learning based detection system for burr image of injection molded products)

  • 양동철;김종선
    • Design & Manufacturing
    • /
    • 제15권3호
    • /
    • pp.1-6
    • /
    • 2021
  • An artificial neural network model based on a deep learning algorithm is known to be more accurate than humans in image classification, but there is still a limit in the sense that there needs to be a lot of training data that can be called big data. Therefore, various techniques are being studied to build an artificial neural network model with high precision, even with small data. The transfer learning technique is assessed as an excellent alternative. As a result, the purpose of this study is to develop an artificial neural network system that can classify burr images of light guide plate products with 99% accuracy using transfer learning technique. Specifically, for the light guide plate product, 150 images of the normal product and the burr were taken at various angles, heights, positions, etc., respectively. Then, after the preprocessing of images such as thresholding and image augmentation, for a total of 3,300 images were generated. 2,970 images were separated for training, while the remaining 330 images were separated for model accuracy testing. For the transfer learning, a base model was developed using the NASNet-Large model that pre-trained 14 million ImageNet data. According to the final model accuracy test, the 99% accuracy in the image classification for training and test images was confirmed. Consequently, based on the results of this study, it is expected to help develop an integrated AI production management system by training not only the burr but also various defective images.

Denoising Auto Encoder 기법을 활용한 진동 데이터 전처리 및 성능비교 (Vibration Data Denoising and Performance Comparison Using Denoising Auto Encoder Method)

  • 장준교;노천명;김성수;이순섭;이재철
    • 해양환경안전학회지
    • /
    • 제27권7호
    • /
    • pp.1088-1097
    • /
    • 2021
  • 기계 장비의 진동 데이터는 필연적으로 노이즈를 포함하고 있다. 이러한 노이즈는 기계 장비의 유지보수를 진행하는데 악영향을 끼친다. 그에 따라 데이터의 노이즈를 얼마나 효과적으로 제거해주냐에 따라 학습 모델의 성능을 좌우한다. 본 논문에서는 시계열 데이터를 전처리 함에 있어 특성추출 과정을 포함하지 않는 Denoising Auto Encoder 기법을 활용하여 데이터의 노이즈를 제거했다. 또한 기계 신호 처리에 널리 사용되는 Wavelet Transform과 성능 비교를 진행했다. 성능비교는 고장 탐지율을 계산하여 진행했으며 보다 정확한 비교를 위해 분류 성능 평가기준 중 하나인 F-1 Score를 계산하여 성능 비교를 진행했다. 고장을 탐지하는 과정에서는 One-Class SVM 기법을 활용하여 고장 데이터를 탐지했다. 성능 비교 결과 고장 진단율과 오차율 측면에서 Denoising Auto Encoder 기법이 Wavelet Transform 기법에 비해 보다 좋은 성능을 나타냈다.

오토인코더 기반 수치형 학습데이터의 자동 증강 기법 (Automatic Augmentation Technique of an Autoencoder-based Numerical Training Data)

  • 정주은;김한준;전종훈
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권5호
    • /
    • pp.75-86
    • /
    • 2022
  • 본 연구는 딥러닝 기반 변분 오토인코더(Variational Autoencoder)를 활용하여 수치형 학습데이터 내 클래스 불균형 문제를 해결하고, 학습데이터를 증강하여 학습모델의 성능을 향상시키고자 한다. 우리는 주어진 테이블 데이터에 대하여 인위적으로 레코드 개수를 늘리기 위해 'D-VAE'을 제안한다. 제안 기법은 최적의 데이터 증강을 지원하기 위해 우선 이산화와 특징선택을 수반한 전처리 과정을 수행한다. 이산화 과정에서 k-means 클러스터링을 적용하여 그룹화한 후, 주어진 데이터가 원-핫 인코딩(one-hot encoding) 기법으로 원-핫 벡터(one-hot vector)로 변환한다. 이후, 특징 선택 기법 중 RFECV 기법을 활용하여 예측에 도움이 되는 변수를 가려내고, 이에 대해서만 변분 오토인코더를 활용하여 새로운 학습데이터를 생성한다. 제안 기법의 성능을 검증하기 위해 4가지 유형의 실험 데이터를 활용하여 데이터 증강 비율별로 그 유효성을 입증한다.

뇌기능 양전자방출단층촬영영상 분석 기법의 방법론적 고찰 (Methodological Review on Functional Neuroimaging Using Positron Emission Tomography)

  • 박해정
    • Nuclear Medicine and Molecular Imaging
    • /
    • 제41권2호
    • /
    • pp.71-77
    • /
    • 2007
  • Advance of neuroimaging technique has greatly influenced recent brain research field. Among various neuroimaging modalities, positron emission tomography has played a key role in molecular neuroimaging though functional MRI has taken over its role in the cognitive neuroscience. As the analysis technique for PET data is more sophisticated, the complexity of the method is more increasing. Despite the wide usage of the neuroimaging techniques, the assumption and limitation of procedures have not often been dealt with for the clinician and researchers, which might be critical for reliability and interpretation of the results. In the current paper, steps of voxel-based statistical analysis of PET including preprocessing, intensity normalization, spatial normalization, and partial volume correction will be revisited in terms of the principles and limitations. Additionally, new image analysis techniques such as surface-based PET analysis, correlational analysis and multimodal imaging by combining PET and DTI, PET and TMS or EEG will also be discussed.

Feature Extraction System for Land Cover Changes Based on Segmentation

  • Jung, Myung-Hee;Yun, Eui-Jung
    • 대한원격탐사학회지
    • /
    • 제20권3호
    • /
    • pp.207-214
    • /
    • 2004
  • This study focused on providing a methodology to utilize temporal information obtained from remotely sensed data for monitoring a wide variety of targets on the earth's surface. Generally, a methodology in understanding of global changes is composed of mapping, quantifying, and monitoring changes in the physical characteristics of land cover. The selected processing and analysis technique affects the quality of the obtained information. In this research, feature extraction methodology is proposed based on segmentation. It requires a series of processing of multitempotal images: preprocessing of geometric and radiometric correction, image subtraction/thresholding technique, and segmentation/thresholding. It results in the mapping of the change-detected areas. Here, the appropriate methods are studied for each step and especially, in segmentation process, a method to delineate the exact boundaries of features is investigated in multiresolution framework to reduce computational complexity for multitemporal images of large size.

공정 이상원인의 비선형 통계적 방법을 통한 진단 (Identifying Causes of Industrial Process Faults Using Nonlinear Statistical Approach)

  • 조현우
    • 한국산학기술학회논문지
    • /
    • 제13권8호
    • /
    • pp.3779-3784
    • /
    • 2012
  • 산업체 공정의 실시간 공정 모니터링과 진단은 생산 제품의 품질과 안전을 보장하는데 반드시 필요한 활동들의 하나이다. 그중에서 공정 진단은 공정에 발생된 특정 이상상황의 원인을 밝혀내는 것으로서 조업자들이 이상상황의 근본원인을 보다 효과적으로 도출하는데 도움을 줄 수 있다. 본 논문에서는 비선형 KFDA 기법과 데이터 전처리기법을 이용한 이상원인 진단방법을 적용하고 이의 진단 성능을 기존 선형 기법에 기반한 PCA 진단방법과 비교한다. 실제 공정을 모사한 Tennessee Eastman 공정 시뮬레이터의 공정 데이터를 통한 사례연구를 수행한 결과 기존 선형 진단 방법론 대비 신뢰할 수 있는 진단 결과를 얻을 수 있었다.

Building Hybrid Stop-Words Technique with Normalization for Pre-Processing Arabic Text

  • Atwan, Jaffar
    • International Journal of Computer Science & Network Security
    • /
    • 제22권7호
    • /
    • pp.65-74
    • /
    • 2022
  • In natural language processing, commonly used words such as prepositions are referred to as stop-words; they have no inherent meaning and are therefore ignored in indexing and retrieval tasks. The removal of stop-words from Arabic text has a significant impact in terms of reducing the size of a cor- pus text, which leads to an improvement in the effectiveness and performance of Arabic-language processing systems. This study investigated the effectiveness of applying a stop-word lists elimination with normalization as a preprocessing step. The idea was to merge statistical method with the linguistic method to attain the best efficacy, and comparing the effects of this two-pronged approach in reducing corpus size for Ara- bic natural language processing systems. Three stop-word lists were considered: an Arabic Text Lookup Stop-list, Frequency- based Stop-list using Zipf's law, and Combined Stop-list. An experiment was conducted using a selected file from the Arabic Newswire data set. In the experiment, the size of the cor- pus was compared after removing the words contained in each list. The results showed that the best reduction in size was achieved by using the Combined Stop-list with normalization, with a word count reduction of 452930 and a compression rate of 30%.

다양한 데이터 전처리 기법 기반 침입탐지 시스템의 이상탐지 정확도 비교 연구 (Comparative Study of Anomaly Detection Accuracy of Intrusion Detection Systems Based on Various Data Preprocessing Techniques)

  • 박경선;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권11호
    • /
    • pp.449-456
    • /
    • 2021
  • 침입 탐지 시스템(IDS: Intrusion Detection System)은 보안을 침해하는 이상 행위를 탐지하는 기술로서 비정상적인 조작을 탐지하고 시스템 공격을 방지한다. 기존의 침입탐지 시스템은 트래픽 패턴을 통계 기반으로 분석하여 설계하였다. 그러나 급속도로 성장하는 기술에 의해 현대의 시스템은 다양한 트래픽을 생성하기 때문에 기존의 방법은 한계점이 명확해졌다. 이런 한계점을 극복하기 위해 다양한 기계학습 기법을 적용한 침입탐지 방법의 연구가 활발히 진행되고 있다. 본 논문에서는 다양한 네트워크 환경의 트래픽을 시뮬레이션 장비에서 생성한 NGIDS-DS(Next Generation IDS Dataset)를 이용하여 이상(Anomaly) 탐지 정확도를 높일 수 있는 데이터 전처리 기법에 관한 비교 연구를 진행하였다. 데이터 전처리로 패딩(Padding)과 슬라이딩 윈도우(Sliding Window)를 사용하였고, 정상 데이터 비율과 이상 데이터 비율의 불균형 문제를 해결하기 위해 AAE(Adversarial Auto-Encoder)를 적용한 오버샘플링 기법 등을 적용하였다. 또한, 전처리된 시퀀스 데이터의 특징벡터를 추출할 수 있는 Word2Vec 기법 중 Skip-gram을 이용하여 탐지 정확도의 성능 향상을 확인하였다. 비교실험을 위한 모델로는 PCA-SVM과 GRU를 사용하였고, 실험 결과는 슬라이딩 윈도우, Skip-gram, AAE, GRU를 적용하였을 때, 더 좋은 성능을 보였다.

대형 이미지 데이터셋 구축을 위한 객체 엣지 기반 이미지 생성 기법 (Object Edge-based Image Generation Technique for Constructing Large-scale Image Datasets)

  • 이주혁;김미희
    • 전기전자학회논문지
    • /
    • 제27권3호
    • /
    • pp.280-287
    • /
    • 2023
  • 딥러닝의 발전은 컴퓨터 비전 문제를 해결할 수 있지만, 높은 정확도를 위해서는 대규모 데이터셋이 필요하다. 본 논문에서는 객체 바운딩 박스와 이미지 엣지 성분을 이용한 이미지 생성 기법을 제안한다. 객체 탐지를 통해 이미지 내의 객체 바운딩 박스를 추출하고 이미지 엣지 성분을 함께 이미지 생성모델의 입력값으로 사용하여 새로운 이미지 데이터를 생성한다. 실험 결과, 제안 기법으로 생성된 이미지는 이미지 품질 평가에서 소스 이미지와 유사한 품질을 보였고, 딥러닝 훈련과정에서도 좋은 성능을 보였다.