• 제목/요약/키워드: data pre-processing

검색결과 801건 처리시간 0.028초

Food Detection by Fine-Tuning Pre-trained Convolutional Neural Network Using Noisy Labels

  • Alshomrani, Shroog;Aljoudi, Lina;Aljabri, Banan;Al-Shareef, Sarah
    • International Journal of Computer Science & Network Security
    • /
    • 제21권7호
    • /
    • pp.182-190
    • /
    • 2021
  • Deep learning is an advanced technology for large-scale data analysis, with numerous promising cases like image processing, object detection and significantly more. It becomes customarily to use transfer learning and fine-tune a pre-trained CNN model for most image recognition tasks. Having people taking photos and tag themselves provides a valuable resource of in-data. However, these tags and labels might be noisy as people who annotate these images might not be experts. This paper aims to explore the impact of noisy labels on fine-tuning pre-trained CNN models. Such effect is measured on a food recognition task using Food101 as a benchmark. Four pre-trained CNN models are included in this study: InceptionV3, VGG19, MobileNetV2 and DenseNet121. Symmetric label noise will be added with different ratios. In all cases, models based on DenseNet121 outperformed the other models. When noisy labels were introduced to the data, the performance of all models degraded almost linearly with the amount of added noise.

UDF 기반 이동객체 질의 처리 설계 및 구현 (Design of Moving Object Query Processing Based on UDF)

  • 유기현;양평우;남광우
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권2호
    • /
    • pp.85-90
    • /
    • 2017
  • 최근 모바일 컴퓨팅 환경의 발달로 다양한 모바일 장비들이 보급되고 있다. 특히 GPS가 탑재된 모바일 장비들의 보급이 활발해지면서 위치정보를 이용한 다양한 응용서비스들이 생겨나고 있다. 이 논문에서는 연속적인 시간에서 획득한 이동객체 위치 정보들의 집합, 즉 이동객체의 궤적을 저장, 관리하기 위한 시스템 모델 및 대용량 이동객체 데이터를 빠르게 질의할 수 있는 UDF (User-Defined Functions) 기반 궤적 인덱스 기법과 질의 선 실체화 테이블 기법을 제안하고 실험을 통해 각 기법들의 성능을 비교 평가한다. 실험에서 질의 선 실체화 테이블 기법이 UDF 기반 궤적 인덱스 기법보다 실행시간에서 약 1.2배 빠른 결과를 보였다.

도로망에서 연속적인 스카이라인 절의처리를 위한 효율적인 전처리기법 (An Efficient Pre-computing Method for Processing Continuous Skyline Queries in Road Networks)

  • 장수민;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권4호
    • /
    • pp.314-320
    • /
    • 2009
  • 최근에 검색서비스에서 스카이라인 질의 처리는 상당한 주목을 받고 있다. 스카이라인은 모든 속성들 측면에서 다른 객체에 지배되지 않는 관심 있는 객체들을 포함한다. 이에 관련된 기존 많은 연구들은 정적 데이터에 대한 스차이라인이거나 유클리디언 공간상에서 움직이는 대상에 대한 스차이라인 처리이다. 그러나 본 논문은 스카이라인 질의를 요청한 객체가 도로망에서 연속적으로 이동하는 것을 가정한다. 본 논문은 전처리된 객체들의 최단영역을 통하여 도로망에서 효과적인 연속적 스카이라인 질의처리를 위한 새로운 처리 기법을 제안한다. 제안하는 기법은 검색 대상에 대한 미리 연산된 최단거리 범위 데이터를 통하여 연속 스카이라인을 처리한다. 성능평가는 질의처리속도 측면에서 제안하는 기법이 기존방법보다 약 100배 정도 빠르다는 것을 보여준다.

AWS자료 기반 SVR과 뉴로-퍼지 알고리즘 구현 호우주의보 가이던스 연구 (A Study on Heavy Rainfall Guidance Realized with the Aid of Neuro-Fuzzy and SVR Algorithm Using AWS Data)

  • 임승준;오성권;김용혁;이용희
    • 전기학회논문지
    • /
    • 제63권4호
    • /
    • pp.526-533
    • /
    • 2014
  • In this study, we introduce design methodology to develop a guidance for issuing heavy rainfall warning by using both RBFNNs(Radial basis function neural networks) and SVR(Support vector regression) model, and then carry out the comparative studies between two pattern classifiers. Individual classifiers are designed as architecture realized with the aid of optimization and pre-processing algorithm. Because the predictive performance of the existing heavy rainfall forecast system is commonly affected from diverse processing techniques of meteorological data, under-sampling method as the pre-processing method of input data is used, and also data discretization and feature extraction method for SVR and FCM clustering and PSO method for RBFNNs are exploited respectively. The observed data, AWS(Automatic weather wtation), supplied from KMA(korea meteorological administration), is used for training and testing of the proposed classifiers. The proposed classifiers offer the related information to issue a heavy rain warning in advance before 1 to 3 hours by using the selected meteorological data and the cumulated precipitation amount accumulated for 1 to 12 hours from AWS data. For performance evaluation of each classifier, ETS(Equitable Threat Score) method is used as standard verification method for predictive ability. Through the comparative studies of two classifiers, neuro-fuzzy method is effectively used for improved performance and to show stable predictive result of guidance to issue heavy rainfall warning.

PC기반의 천해저 다중채널 탄성파 자료의 전산처리 (PC-based Processing of Shallow Marine Multi-channel Seismic Data)

  • 공영세;김국주
    • 한국해양학회지
    • /
    • 제30권2호
    • /
    • pp.116-124
    • /
    • 1995
  • PC기반의 디지털 탄성과 시스템에 다중채널 수진기(6채널)를 연결하여 천해져 탄 성과 반사법 자료를 취득하고 이를 P에서 전산처리하였다. 자료처리 내용은 전처리, 너울효과보정, 주파수필터링, 이득회수, 디콘볼루션, 종합, 구조보정, 단면도작성 등 이다. 이러한 다중채널 디지털 자료취득 및 처리를 거친 최종 단면을 종래의 아날로그 기록계의 단면과 비교해 본 결과 다중반사를 포함하는 잡음이 제거 혹은 억제되고 신 호는 강화되었으며 해상도 또한 향상되었다. 종래의 아날로그 탄성과 장비에 결합하여 사용하는 천해저 다중채널 디지털 탄성과 시스템 및 자료처리 소프트웨어는 경제성이 높고, 아날로그 시스템에 비해 현장작업이 용이하면서도 양질의 지질정보를 효율적으 로 획득하게 해준다.

  • PDF

비콘 기반 실내 정밀 트래킹을 위한 전처리 기법 (Pre-processing Scheme for Indoor Precision Tracking Based on Beacon)

  • 황유민;정준희;심이삭;김태우;김진영
    • 한국위성정보통신학회논문지
    • /
    • 제11권4호
    • /
    • pp.58-62
    • /
    • 2016
  • 본 논문에서는 실내 임펄시브 노이즈 채널 환경에서 비콘 기반의 측위 시스템의 측위 정밀도를 향상시킬 수 있는 전처리 기법을 제안하였다. 임펄시브 노이즈는 복잡한 실내 구조 환경이나 간섭 환경에서 발생하며 이는 무선 통신에서 신호 복조 오류 확률을 증가시켜 정확한 데이터 복조를 어렵게 한다. 제안한 전처리 기법은 사용자의 위치 좌표를 산출하기 위한 비콘 기반의 삼각측량법을 수행하기 이전에 적용 및 수행되며, 제안 기법을 데이터 복소의 오류 확률을 감소시켜 정확한 데이터를 삼각측량법의 입력값으로 제공한다. 신뢰성 있는 데이터 입력을 통해 위치 좌표 결과값의 신뢰도를 향상시키는 매커니즘이다. 따라서 임펄시브 노이즈 완화를 위해 신호의 시간-주파수 분해능이 우수한 웨이블릿 잡음 제어 방법을 기반으로 임펄시브 노이즈에 특성에 따라 노이즈를 제거하는 적응적 임계 함수를 제안하였다. 컴퓨터 시뮬레이션을 통해 제안한 적응적 임계 함수가 기존의 기법과 대비로 비교적 Bit Error Rate 성능 및 Signal-to-Noise Ratio 성능을 향상시키는 결과를 확인하였다.

산업제어시스템의 이상 탐지 성능 개선을 위한 데이터 보정 방안 연구 (Research on Data Tuning Methods to Improve the Anomaly Detection Performance of Industrial Control Systems)

  • 전상수;이경호
    • 정보보호학회논문지
    • /
    • 제32권4호
    • /
    • pp.691-708
    • /
    • 2022
  • 머신러닝과 딥러닝의 기술이 보편화되면서 산업제어시스템의 이상(비정상) 탐지 연구에도 적용이 되기 시작하였다. 국내에서는 산업제어시스템의 이상 탐지를 위한 인공지능 연구를 활성화시키기 위하여 HAI 데이터셋을 개발하여 공개하였고, 산업제어시스템 보안위협 탐지 AI 경진대회를 시행하고 있다. 이상 탐지 연구들은 대개 기존의 딥러닝 학습 알고리즘을 변형하거나 다른 알고리즘과 함께 적용하는 앙상블 학습 모델의 방법을 통해 향상된 성능의 학습 모델을 만드는 연구가 대부분 이었다. 본 연구에서는 학습 모델과 데이터 전처리(pre-processing)의 개선을 통한 방법이 아니라, 비정상 데이터를 탐지하여 라벨링 한 결과를 보정하는 후처리(post-processing) 방법으로 이상 탐지의 성능을 개선시키는 연구를 진행하였고, 그 결과 기존 모델의 이상 탐지 성능 대비 약 10%이상의 향상된 결과를 확인하였다.

딥러닝을 위한 모폴로지를 이용한 수중 영상의 세그먼테이션 (Segmentation of underwater images using morphology for deep learning)

  • 이지은;이철원;박석준;신재범;정현기
    • 한국음향학회지
    • /
    • 제42권4호
    • /
    • pp.370-376
    • /
    • 2023
  • 수중영상은 수중 잡음과 낮은 해상도로 표적의 형상과 구분이 명확하지 않다. 그리고 딥러닝의 입력으로 수중영상은 전처리가 필요하며 Segmentation이 선행되어야 한다. 전처리를 하여도 표적은 명확하지 않으며 딥러닝에 의한 탐지, 식별의 성능도 높지 않을 수 있다. 따라서 표적을 구분하며 명확하게 하는 작업이 필요하다. 본 연구에서는 수중영상에서 표적 그림자의 중요성을 확인하고 그림자에 의한 물체 탐지 및 표적 영역 획득, 그리고 수중배경이 없는 표적과 그림자만의 형상이 담긴 데이터를 생성하며 더 나아가 픽셀값이 일정하지 않은 표적과 그림자 영상을 표적은 흰색, 그림자는 흑색, 그리고 배경은 회색의 3-모드의 영상으로 변환하는 과정을 제시한다. 이를 통해 딥러닝의 입력으로 명확히 전처리된 판별이 용이한 영상을 제공할 수 있다. 또한 처리는 Open Source Computer Vision(OpenCV)라이브러리의 영상처리 코드를 사용했으면 처리 속도도 역시 실시간 처리에 적합한 결과를 얻었다.

An Improved Detection Technique for Spread Spectrum Audio Watermarking with a Spectral Envelope Filter

  • Jung, Sa-Rah;Seok, Jong-Won;Hong, Jin-Woo
    • ETRI Journal
    • /
    • 제25권1호
    • /
    • pp.52-54
    • /
    • 2003
  • We propose an improved algorithm for detecting audio watermarks based on a spread spectrum in the spectral domain. Since the energy of a watermark is much smaller than that of the cover audio data, pre-processing to reduce the effect of the cover data is needed to reliably extract watermarks. We introduce a spectral envelope filter as a pre-process that enhances detecting performance by filtering out the intrinsic spectral character of cover data. The proposed watermarking structure can be easily included in the compression system and can extract watermarks from partially decompressed spectral data. Our experimental results demonstrate that with a bit error rate of around 10 dB against general attacks, the proposed detecting scheme works better than detectors without the spectral filter.

  • PDF

PAIVS: prediction of avian influenza virus subtype

  • Park, Hyeon-Chun;Shin, Juyoun;Cho, Sung-Min;Kang, Shinseok;Chung, Yeun-Jun;Jung, Seung-Hyun
    • Genomics & Informatics
    • /
    • 제18권1호
    • /
    • pp.5.1-5.5
    • /
    • 2020
  • Highly pathogenic avian influenza (HPAI) viruses have caused severe respiratory disease and death in poultry and human beings. Although most of the avian influenza viruses (AIVs) are of low pathogenicity and cause mild infections in birds, some subtypes including hemagglutinin H5 and H7 subtype cause HPAI. Therefore, sensitive and accurate subtyping of AIV is important to prepare and prevent for the spread of HPAI. Next-generation sequencing (NGS) can analyze the full-length sequence information of entire AIV genome at once, so this technology is becoming a more common in detecting AIVs and predicting subtypes. However, an analysis pipeline of NGS-based AIV sequencing data, including AIV subtyping, has not yet been established. Here, in order to support the pre-processing of NGS data and its interpretation, we developed a user-friendly tool, named prediction of avian influenza virus subtype (PAIVS). PAIVS has multiple functions that support the pre-processing of NGS data, reference-guided AIV subtyping, de novo assembly, variant calling and identifying the closest full-length sequences by BLAST, and provide the graphical summary to the end users.