• 제목/요약/키워드: Data preprocessing technique

검색결과 170건 처리시간 0.03초

딥러닝을 이용한 돼지 얼굴 인식 (Pig Face Recognition Using Deep Learning)

  • 마리한;김상철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.493-494
    • /
    • 2022
  • The development of livestock faces intensive farming results in a rising need for recognition of individual animals such as cows and pigs is related to high traceability. In this paper, we present a non-invasive biometrics systematic approach based on the deep-learning classification model to pig face identification. Firstly, in our systematic method, we build a ROS data collection system block to collect 10 pig face data images. Secondly, we proposed a preprocessing block in that we utilize the SSIM method to filter some images of collected images that have high similarity. Thirdly, we employ the improved image classification model of CNN (ViT), which uses the finetuning and pretraining technique to recognize the individual pig face. Finally, our proposed method achieves the accuracy about 98.66%.

A Comparative study on smoothing techniques for performance improvement of LSTM learning model

  • Tae-Jin, Park;Gab-Sig, Sim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권1호
    • /
    • pp.17-26
    • /
    • 2023
  • 본 연구논문에서는 LSTM 기반의 학습 모델 적용과 그 효용성을 높일 수 있도록 몇 가지 평활 기법을 비교, 적용하고자 한다. 적용된 평활 기법은 Savitky-Golay, 지수 평활법, 가중치 이동 평균 등이다. 본 연구를 통해 비트코인 데이터에 LSTM모델 적용 시 보여준 결과 값보다 전처리 과정에서 적용된 Savitky-Golay 필터가 적용된 LSTM 알고리즘이 예측 성능에 유의미한 좋은 결과를 보였다. 예측 성능 결과를 확인하기 위해 비트코인 가격 예측에 따른 복잡 요인을 제거하는데 사용된 LSTM의 경우와 Savitzky-Golay LSTM 모델에 따른 학습 손실율과 검증 손실율을 비교하고 그 신뢰성을 높일 수 있도록 20회 평균값으로 실험하였다. 그 결과 (3.0556, 0.00005), (1.4659, 0.00002)의 값을 얻을 수 있었다. 결과적으로는 비트코인과 같은 암호화폐가 주식보다 더한 변동성을 가지는 만큼 데이터 전처리 과정에서 평활 기법(Savitzky-Golay)을 적용하여 잡음(Noise)을 제거하였으며, 전처리 후의 데이터는 LSTM 신경망 학습을 통해서 비트코인 예측률을 높이는데 가장 유의미한 결과를 얻을 수 있었다.

전력 부하 분석을 통한 절삭 공정 이상탐지 (Anomaly Detection of Machining Process based on Power Load Analysis)

  • 육준홍;배성문
    • 산업경영시스템학회지
    • /
    • 제46권4호
    • /
    • pp.173-180
    • /
    • 2023
  • Smart factory companies are installing various sensors in production facilities and collecting field data. However, there are relatively few companies that actively utilize collected data, academic research using field data is actively underway. This study seeks to develop a model that detects anomalies in the process by analyzing spindle power data from a company that processes shafts used in automobile throttle valves. Since the data collected during machining processing is time series data, the model was developed through unsupervised learning by applying the Holt Winters technique and various deep learning algorithms such as RNN, LSTM, GRU, BiRNN, BiLSTM, and BiGRU. To evaluate each model, the difference between predicted and actual values was compared using MSE and RMSE. The BiLSTM model showed the optimal results based on RMSE. In order to diagnose abnormalities in the developed model, the critical point was set using statistical techniques in consultation with experts in the field and verified. By collecting and preprocessing real-world data and developing a model, this study serves as a case study of utilizing time-series data in small and medium-sized enterprises.

위치 이동에 무관한 홍채 인식을 위한 웨이블렛 변환 기술 (Wavelet Transform Technology for Translation-invariant Iris Recognition)

  • 임철수
    • 정보처리학회논문지B
    • /
    • 제10B권4호
    • /
    • pp.459-464
    • /
    • 2003
  • 본 논문에서 제안한 위치 이동에 무관한 웨이블렛 변환을 이용한 홍채 인식 방법은 영상 획득 장비에 의해 획득한 사용자의 눈 영상에 대하여 홍채 영역만을 추출하기 위한 전처리를 수행하고 전처리를 거친 홍채 영상에 의하여 사용자의 신원을 식별하는데 있어서 홍채 영상의 기울어짐 및 이동 문제를 해결하였다. 이를 위해서 일반적인 웨이블렛을 사용하는 대신, 위치 이동에 무관한 웨이블렛 변환을 통하여 최적의 특징값을 추출한후, 이를 코드화하여 저장한 후, 비교하여 본인 여부를 식별하였다. 실험결과 제안된 방법으로 생성된 특징 벡터와 기존에 등록된 특징 벡터의 일치도 측정에 있어서 종래의 웨이블렛 변환 홍채 인식 방법보다 오인식률(FAR) 및 오거부율(FRR)이 현저하게 감소하였다.

MalDC: Malicious Software Detection and Classification using Machine Learning

  • Moon, Jaewoong;Kim, Subin;Park, Jangyong;Lee, Jieun;Kim, Kyungshin;Song, Jaeseung
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권5호
    • /
    • pp.1466-1488
    • /
    • 2022
  • Recently, the importance and necessity of artificial intelligence (AI), especially machine learning, has been emphasized. In fact, studies are actively underway to solve complex and challenging problems through the use of AI systems, such as intelligent CCTVs, intelligent AI security systems, and AI surgical robots. Information security that involves analysis and response to security vulnerabilities of software is no exception to this and is recognized as one of the fields wherein significant results are expected when AI is applied. This is because the frequency of malware incidents is gradually increasing, and the available security technologies are limited with regard to the use of software security experts or source code analysis tools. We conducted a study on MalDC, a technique that converts malware into images using machine learning, MalDC showed good performance and was able to analyze and classify different types of malware. MalDC applies a preprocessing step to minimize the noise generated in the image conversion process and employs an image augmentation technique to reinforce the insufficient dataset, thus improving the accuracy of the malware classification. To verify the feasibility of our method, we tested the malware classification technique used by MalDC on a dataset provided by Microsoft and malware data collected by the Korea Internet & Security Agency (KISA). Consequently, an accuracy of 97% was achieved.

빅 데이터 처리 기법을 적용한 추천 시스템에 관한 연구 (Recommendation System Using Big Data Processing Technique)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.1183-1190
    • /
    • 2017
  • 네트워크와 IT 기술의 발전으로 사용자들은 장소에 구애 받지 않고 어디서든 본인이 원하는 아이템을 검색하고 구매하고 있다. 이에 따라 추천시스템에서 급증하는 데이터로 인한 확장성 문제를 어떻게 해결할 것인가에 대한 연구들이 다양하게 진행되고 있다. 본 논문에서는 Tag 가중치를 적용한 아이템 기반 협업 필터링 기법과 분산 병렬 처리 방식인 MapReduce 방법을 적용한 추천 기법을 제안한다. 제안하는 기법은 속도 향상과 효율성을 위해 전처리 과정에서 아이템을 카테고리별로 분류하고 노드 수에 맞게 그룹지은 후 사용한다. 각 분산 노드에서 4번의 Map-Reduce 단계를 통해 데이터 처리를 진행하는데 사용자에게 더 나은 아이템을 추천하기 위해 유사도 계산에서 아이템 Tag 가중치를 사용한다. 마지막 Reduce 단계를 거쳐 출력된 예측값 중 상위 N개의 아이템을 추천에 사용한다. 실험을 통해 제안 하는 기법이 대량의 데이터를 효율적으로 처리하며 기존의 아이템 기반 기법보다 추천의 적합성도 향상되는 것을 확인하였다.

국지예보모델에서 고해상도 마이크로파 위성자료(MHS) 동화에 관한 연구 (A Study on the Assimilation of High-Resolution Microwave Humidity Sounder Data for Convective Scale Model at KMA)

  • 김혜영;이은희;이승우;이용희
    • 대기
    • /
    • 제28권2호
    • /
    • pp.163-174
    • /
    • 2018
  • In order to assimilate MHS satellite data into the convective scale model at KMA, ATOVS data are reprocessed to utilize the original high-resolution data. And then to improve the preprocessing experiments for cloud detection were performed and optimized to convective-scale model. The experiment which is land scattering index technique added to Observational Processing System to remove contaminated data showed the best result. The analysis fields with assimilation of MHS are verified against with ECMWF analysis fields and fit to other observations including Sonde, which shows improved results on relative humidity fields at sensitive level (850-300 hPa). As the relative humidity of upper troposphere increases, the bias and RMSE of geopotential height are decreased. This improved initial field has a very positive effect on the forecast performance of the model. According to improvement of model field, the Equitable Threat Score (ETS) of precipitation prediction of $1{\sim}20mm\;hr^{-1}$ was increased and this impact was maintained for 27 hours during experiment periods.

부분최소자승법과 변수선택을 이용한 코팅두께 예측모델 개발 (A Prediction Model for Coating Thickness Based on PLS Model and Variable Selection)

  • 이혜선;이영록;전치혁;홍재화
    • 응용통계연구
    • /
    • 제23권2호
    • /
    • pp.295-304
    • /
    • 2010
  • 산업체 공정과정에서 타겟품질변수의 실시간 예측과 관리는 품질제고, 수익율 향상에 중요한 관건이 된다. 본 연구는 내지문강판의 코팅두께를 비파괴적이고 신속한 방법으로 예측하여 균일한 품질의 강판을 생산하기 위해 UV스펙트럼데이터를 이용한 최적예측모델을 개발하고자 한다. 부분최소자승법에서 변수중요도척도를 이용한 변수선택방법은 노이즈성 영역의 독립변수를 줄임으로써 예측정확도는 높일 수 있으며, 스펙트럼데이터의 경우 원데이터보다 적절한 데이터전처리가 예측정확도를 높이는 정보를 제공하기도 한다. 본 연구에서는 부분최소자승법 예측모텔에서 변수선택방법과 데이터전처리효과가 내지문강판 코팅두께 예측정확도 향상에 기여하는 결과를 제공하고, 스펙트럼 데이터를 이용한 품질변수 예측모델 개발 시 적용할 수 있는 일반적인 변수선택방법과정을 제안한다.

뇌 CT 영상의 대칭성을 고려한 관심영역 중심의 효율적인 의료영상 압축 (An Efficient Medical Image Compression Considering Brain CT Images with Bilateral Symmetry)

  • 정재성;이창훈
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권5호
    • /
    • pp.39-54
    • /
    • 2012
  • 오늘날 의료정보화 수준향상과 디지털 병원화의 흐름에 따라 PACS는 의료기관의 핵심 인프라 중 하나로 자리매김하였다. 이와 함께 생산되는 디지털 의료영상의 종류 및 의료영상 데이터가 양적으로 급증하고 있으며, 이는 의료영상 데이터의 효과적인 보관을 위한 의료영상 압축을 중요한 요소로 부각시킨다. 현재 의료영상에 관한 사실상의 표준인 DICOM 규격에서는 의료영상 압축을 위하여 무손실 압축기법인 RLE를 명시하고 있으나, 무손실 범용 압축기법인 RLE는 인체의 대칭성을 가지는 많은 의료영상에 적용하면 높은 압축율 기대하기 힘들다. 이 논문에서는 다양한 의료영상 중 대칭 특성을 크게 내포하는 뇌 CT 영상을 대상으로 하여 영상 내 관심영역을 검출하고 대칭특성에 따라 영상의 픽셀 값을 재코딩하는 전처리 하고 영상을 압축하는 기법을 제안한다. 실험에 의하면, 제안한 기법은 RLE 압축과 영상 내 관심영역을 검출하지 않고 압축할 때와 비교하여 높은 압축률을 보인다.

PCA를 이용한 온라인 문자인식 기법 (Online Character Recognition Technique Using PCA)

  • 유재만;김우생;한정훈
    • 한국멀티미디어학회논문지
    • /
    • 제9권4호
    • /
    • pp.414-420
    • /
    • 2006
  • 온라인 문자 인식 기술은 PDA, 타블릿 PC 등 많은 새로운 응용에서 사용되고 있으나, 인식 기술은 아직 이러한 첨단 도구들을 자연스럽게 이용하기에는 못 미치는 실정이다. 또한 최근 많이 사용되는 은닉 마르코프 모델(HMM)은 입력패턴을 전체 표준패턴과 비교함으로써 많은 기억장소와 계산량을 필요로 하는 단점을 지니고 있다. 따라서 본 논문에서는 더욱 효율적으로 온라인 문자 인식을 가능하게 하는 방법을 제안한다. 본 연구에서는 전처리 단계를 거쳐 학습 데이터와 인식 데이터의 체인코드를 생성하고, 인식 단계에서 입력 데이터에 주성분 분석(PCA) 기법을 적용하여 데이터의 차원을 줄여 문자를 인식한다. 제안하는 방법의 타당성은 실험을 통해서 검증한다.

  • PDF