• 제목/요약/키워드: classifier evaluation

검색결과 149건 처리시간 0.027초

뇌컴퓨터접속(BCI) 무경험자에 대한 EEG-BCI 알고리즘 성능평가 (Performance Evaluation of EEG-BCI Interface Algorithm in BCI(Brain Computer Interface)-Naive Subjects)

  • 김진권;강대훈;이영범;정희교;이인수;박해대;김은주;이명호
    • 대한의용생체공학회:의공학회지
    • /
    • 제30권5호
    • /
    • pp.428-437
    • /
    • 2009
  • The Performance research about EEG-BCI algorithm in BCI-naive subjects is very important for evaluating the applicability to the public. We analyzed the result of the performance evaluation experiment about the EEG-BCI algorithm in BCI-naive subjects on three different aspects. The EEG-BCI algorithm used in this paper is composed of the common spatial pattern(CSP) and the least square linear classifier. CSP is used for obtaining the characteristic of event related desynchronization, and the least square linear classifier classifies the motor imagery EEG data of the left hand or right hand. The performance evaluation experiments about EEG-BCI algorithm is conducted for 40 men and women whose age are 23.87${\pm}$2.47. The performance evaluation about EEG-BCI algorithm in BCI-naive subjects is analyzed in terms of the accuracy, the relation between the information transfer rate and the accuracy, and the performance changes when the different types of cue were used in the training session and testing session. On the result of experiment, BCI-naive group has about 20% subjects whose accuracy exceed 0.7. And this results of the accuracy were not effected significantly by the types of cue. The Information transfer rate is in the inverse proportion to the accuracy. And the accuracy shows the severe deterioration when the motor imagery is less then 2 seconds.

로드셀을 이용한 요류검사기의 구현 및 평가 (Estimation and Implementation of the Uroflowmetry Using Load Cell)

  • 정도운;조성택;남기곤;정문기;전계록
    • 센서학회지
    • /
    • 제13권6호
    • /
    • pp.436-445
    • /
    • 2004
  • In this study, a uroflowmetry system was developed to detect a voiding symptom conveniently at home or hospital. A implemented hardware was composed of mechanism and system circuit part, the software was developed to process uroflow data, graph display, extraction of parameter, and evaluation of congregate rate so as to analysis obtaining uroflow data. The following experiment was performed to evaluate an ability of classification and fitness. The curve pattern of uroflow was classified into each symptom. Various parameters were calculated in the curve pattern of each uroflow as follows. The parameters are MFR, AFR, VOL, VT, and FT. A significant difference among parameters was examined by a statistical analysis for extracted parameters between normal and abnormal experimental group. The uroflow data with the various symptom was divided into normal and abnormal group using fuzzy classifier. The result of the fuzzy classification using MFR and AFR was superior by 91.23 % than grouping evaluation including VOL.

Classification-Based Approach for Hybridizing Statistical and Rule-Based Machine Translation

  • Park, Eun-Jin;Kwon, Oh-Woog;Kim, Kangil;Kim, Young-Kil
    • ETRI Journal
    • /
    • 제37권3호
    • /
    • pp.541-550
    • /
    • 2015
  • In this paper, we propose a classification-based approach for hybridizing statistical machine translation and rulebased machine translation. Both the training dataset used in the learning of our proposed classifier and our feature extraction method affect the hybridization quality. To create one such training dataset, a previous approach used auto-evaluation metrics to determine from a set of component machine translation (MT) systems which gave the more accurate translation (by a comparative method). Once this had been determined, the most accurate translation was then labelled in such a way so as to indicate the MT system from which it came. In this previous approach, when the metric evaluation scores were low, there existed a high level of uncertainty as to which of the component MT systems was actually producing the better translation. To relax such uncertainty or error in classification, we propose an alternative approach to such labeling; that is, a cut-off method. In our experiments, using the aforementioned cut-off method in our proposed classifier, we managed to achieve a translation accuracy of 81.5% - a 5.0% improvement over existing methods.

숫자 인식을 위한 PCA 기반 pRBFNNs 패턴 분류기 설계 (Design of PCA-based pRBFNNs Pattern Classifier for Digit Recognition)

  • 이승철;오성권;김현기
    • 한국지능시스템학회논문지
    • /
    • 제25권4호
    • /
    • pp.355-360
    • /
    • 2015
  • 본 논문에서는 필기체 숫자를 인식하기 위해 주성분 분석법(PCA) 기반 방사형 기저함수 신경회로망(pRBFNNs) 패턴 분류기를 설계한다. 제안된 패턴 분류기는 PCA를 이용한 데이터 전처리 단계와 pRBFNNs를 이용한 분류 단계로 구성된다. 전처리 단계에서는 PCA를 사용하여 주어진 데이터의 정보손실을 최소화한 특징데이터를 생성하고, 이를 분류 단계인 pRBFNNs의 입력으로 사용한다. 제안된 분류기의 조건부에서는 Fuzzy C-Means(FCM) 클러스터링 알고리즘으로 구성하였고, 연결가중치는 1차 선형식을 사용하였다. 결론부에서는 최소자승법(LSE)을 사용하여 다항식 계수를 구하였다. 제안된 분류기의 성능평가를 위해 대표적인 필기체 숫자데이터인 MNIST 데이터를 사용하였으며, 제안된 분류기의 결과를 기존 다른 분류기들과 비교한다.

최근접 이웃 규칙 기반 프로토타입 선택과 편의-분산을 이용한 성능 평가 (Nearest-neighbor Rule based Prototype Selection Method and Performance Evaluation using Bias-Variance Analysis)

  • 심세용;황두성
    • 전자공학회논문지
    • /
    • 제52권10호
    • /
    • pp.73-81
    • /
    • 2015
  • 이 논문은 프로토타입 선택 방법을 제안하고, 편의-분산 분해를 이용하여 최근접 이웃 알고리즘과 프로토타입 기반 분류 학습의 일반화 성능 비교 평가에 있다. 제안하는 프로토타입 분류기는 클래스 영역 내에서 가변 반지름을 이용한 다차원 구를 정의하고, 적은 수의 프로토타입으로 구성된 새로운 훈련 데이터 집합을 생성한다. 최근접 이웃 분류기는 새 훈련 집합을 이용하여 테스트 데이터의 클래스를 예측한다. 평균 기대 오류의 편의와 분산 요소를 분해하여 최근접 이웃 규칙, 베이지안 분류기, 고정 반지름을 이용한 프로토타입 선택 방법, 제안하는 프로토타입 선택 방법의 일반화 성능을 비교한다. 실험에서 제안하는 프로토타입 분류기의 편의-분산 변화 추세는 모든 훈련 데이터를 사용하는 최근접 이웃 알고리즘과 비슷한 편의-분산 추세를 보였으며, 프로토타입 선택 비율은 전체 데이터의 평균 약 27.0% 이하로 나타났다.

VGG16을 활용한 미학습 농작물의 효율적인 질병 진단 모델 (An Efficient Disease Inspection Model for Untrained Crops Using VGG16)

  • 정석봉;윤협상
    • 한국시뮬레이션학회논문지
    • /
    • 제29권4호
    • /
    • pp.1-7
    • /
    • 2020
  • 농작물 질병에 대한 조기 진단은 질병의 확산을 억제하고 농업 생산성을 증대하는 데에 있어 중요한 역할을 하고 있다. 최근 합성곱신경망(convolutional neural network, CNN)과 같은 딥러닝 기법을 활용하여 농작물 잎사귀 이미지 데이터세트를 분석하여 농작물 질병을 진단하는 다수의 연구가 진행되었다. 이와 같은 연구를 통해 농작물 질병을 90% 이상의 정확도로 분류할 수 있지만, 사전 학습된 농작물 질병 외에는 진단할 수 없다는 한계를 갖는다. 본 연구에서는 미학습 농작물에 대해 효율적으로 질병 여부를 진단하는 모델을 제안한다. 이를 위해, 먼저 VGG16을 활용한 농작물 질병 분류기(CDC)를 구축하고 PlantVillage 데이터세트을 통해 학습하였다. 이어 미학습 농작물의 질병 진단이 가능하도록 수정된 질병 분류기(mCDC)의 구축방안을 제안하였다. 실험을 통해 본 연구에서 제안한 수정된 질병 분류기(mCDC)가 미학습 농작물의 질병진단에 대해 기존 질병 분류기(CDC)보다 높은 성능을 보임을 확인하였다.

쾌삭 303계 스테인리스강 소형 압연 선재 제조 공정의 생산품질 예측 모형 (Quality Prediction Model for Manufacturing Process of Free-Machining 303-series Stainless Steel Small Rolling Wire Rods)

  • 서석준;김흥섭
    • 산업경영시스템학회지
    • /
    • 제44권4호
    • /
    • pp.12-22
    • /
    • 2021
  • This article suggests the machine learning model, i.e., classifier, for predicting the production quality of free-machining 303-series stainless steel(STS303) small rolling wire rods according to the operating condition of the manufacturing process. For the development of the classifier, manufacturing data for 37 operating variables were collected from the manufacturing execution system(MES) of Company S, and the 12 types of derived variables were generated based on literature review and interviews with field experts. This research was performed with data preprocessing, exploratory data analysis, feature selection, machine learning modeling, and the evaluation of alternative models. In the preprocessing stage, missing values and outliers are removed, and oversampling using SMOTE(Synthetic oversampling technique) to resolve data imbalance. Features are selected by variable importance of LASSO(Least absolute shrinkage and selection operator) regression, extreme gradient boosting(XGBoost), and random forest models. Finally, logistic regression, support vector machine(SVM), random forest, and XGBoost are developed as a classifier to predict the adequate or defective products with new operating conditions. The optimal hyper-parameters for each model are investigated by the grid search and random search methods based on k-fold cross-validation. As a result of the experiment, XGBoost showed relatively high predictive performance compared to other models with an accuracy of 0.9929, specificity of 0.9372, F1-score of 0.9963, and logarithmic loss of 0.0209. The classifier developed in this study is expected to improve productivity by enabling effective management of the manufacturing process for the STS303 small rolling wire rods.

기계학습 기반의 실시간 악성코드 탐지를 위한 최적 특징 선택 방법 (An Optimal Feature Selection Method to Detect Malwares in Real Time Using Machine Learning)

  • 주진걸;정인선;강승호
    • 한국멀티미디어학회논문지
    • /
    • 제22권2호
    • /
    • pp.203-209
    • /
    • 2019
  • The performance of an intelligent classifier for detecting malwares added to multimedia contents based on machine learning is highly dependent on the properties of feature set. Especially, in order to determine the malicious code in real time the size of feature set should be as short as possible without reducing the accuracy. In this paper, we introduce an optimal feature selection method to satisfy both high detection rate and the minimum length of feature set against the feature set provided by PEFeatureExtractor well known as a feature extraction tool. For the evaluation of the proposed method, we perform the experiments using Windows Portable Executables 32bits.

XGBoost와 교차검증을 이용한 품사부착말뭉치에서의 오류 탐지 (Detecting Errors in POS-Tagged Corpus on XGBoost and Cross Validation)

  • 최민석;김창현;박호민;천민아;윤호;남궁영;김재균;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권7호
    • /
    • pp.221-228
    • /
    • 2020
  • 품사부착말뭉치는 품사정보를 부착한 말뭉치를 말하며 자연언어처리 분야에서 다양한 학습말뭉치로 사용된다. 학습말뭉치는 일반적으로 오류가 없다고 가정하지만, 실상은 다양한 오류를 포함하고 있으며, 이러한 오류들은 학습된 시스템의 성능을 저하시키는 요인이 된다. 이러한 문제를 다소 완화시키기 위해서 본 논문에서는 XGBoost와 교차 검증을 이용하여 이미 구축된 품사부착말뭉치로부터 오류를 탐지하는 방법을 제안한다. 제안된 방법은 먼저 오류가 포함된 품사부착말뭉치와 XGBoost를 사용해서 품사부착기를 학습하고, 교차검증을 이용해서 품사오류를 검출한다. 그러나 오류가 부착된 학습말뭉치가 존재하지 않으므로 일반적인 분류기로서 오류를 검출할 수 없다. 따라서 본 논문에서는 매개변수를 조절하면서 학습된 품사부착기의 출력을 비교함으로써 오류를 검출한다. 매개변수를 조절하기 위해서 본 논문에서는 작은 규모의 오류부착말뭉치를 이용한다. 이 말뭉치는 오류 검출 대상의 전체 말뭉치로부터 임의로 추출된 것을 전문가에 의해서 오류가 부착된 것이다. 본 논문에서는 성능 평가의 척도로 정보검색에서 널리 사용되는 정밀도와 재현율을 사용하였다. 또한 모집단의 모든 오류 후보를 수작업으로 확인할 수 없으므로 표본 집단과 모집단의 오류 분포를 비교하여 본 논문의 타당성을 보였다. 앞으로 의존구조부착 말뭉치와 의미역 부착말뭉치에서 적용할 계획이다.

4가지 감정의 뇌파를 이용한 감성평가 기술에 관한 연구 (A Study on the Human Sensibility Evaluation Technique Using EEGs of 4 Emotions)

  • 김동준;강동기;김흥환;이상한;고한우;박세진
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제51권11호
    • /
    • pp.528-534
    • /
    • 2002
  • This paper describes a technique for human sensibility evaluation using EEGs of 4 emotions. The proposed method uses the linear predictor coefficients as EEG feature parameters and a neural network as sensibility pattern classifier. For subject independent system, multiple templates are stored and the most similar template can be selected. EEG signals corresponding to 4 emotions such as relaxation, joy, sadness and anger are collected from 5 armature performers. The states of relaxation and joy are considered as positive sensibility and those of sadness and anger as negative. The classification performance suing the proposed method is about 72.6%. This may be promising performance in the human sensibility evaluation.