• Communications for Statistical Applications and Methods
• /
• 제15권1호
• /
• pp.43-50
• /
• 2008

Multinomial logistic regression is a well known multiclass classification method in the field of statistical learning. More recently, the development of sparse multinomial logistic regression model has found application in microarray classification, where explicit identification of the most informative observations is of value. In this paper, we propose a sparse multinomial kernel logistic regression model, in which the sparsity arises from the use of a Laplacian prior and a fast exact algorithm is derived by employing a bound optimization approach. Experimental results are then presented to indicate the performance of the proposed procedure.

• Communications for Statistical Applications and Methods
• /
• 제26권6호
• /
• pp.635-644
• /
• 2019

Class probability is a fundamental target in classification that contains complete classification information. In this article, we propose a class probability estimation method when the predictor is functional. Motivated by Wang et al. (Biometrika, 95, 149-167, 2007), our estimator is obtained by training a sequence of functional weighted support vector machines (FWSVM) with different weights, which can be justified by the Fisher consistency of the hinge loss. The proposed method can be extended to multiclass classification via pairwise coupling proposed by Wu et al. (Journal of Machine Learning Research, 5, 975-1005, 2004). The use of FWSVM makes our method model-free as well as computationally efficient due to the piecewise linearity of the FWSVM solutions as functions of the weight. Numerical investigation to both synthetic and real data show the advantageous performance of the proposed method.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권12호
• /
• pp.483-490
• /
• 2019

네트워크 침입 탐지 시스템(NIDS)에서 분류의 기능은 상당히 중요하며 탐지 성능은 다양한 특징에 따라 달라진다. 최근 딥러닝에 대한 연구가 많이 이루어지고 있으나 네트워크 침입탐지 시스템에서는 많은 수의 트래픽과 고차원의 특징으로 인하여 속도가 느려지는 문제점이 있다. 따라서 딥러닝을 분류에 사용하는 것이 아니라 특징 추출을 위한 전처리 과정으로 사용하며 추출한 특징을 기반으로 분류하는 연구 방법을 제안한다. 딥러닝의 대표적인 비지도 학습인 Stacked AutoEncoder를 사용하여 특징을 추출하고 Random Forest 분류 알고리즘을 사용하여 분류한 결과 분류 성능과 탐지 속도의 향상을 확인하였다. IOT 환경에서 수집한 데이터를 이용하여 정상 및 공격트래픽을 멀티클래스로 분류하였을 때 99% 이상의 성능을 보였으며, AE-RF, Single-RF와 같은 다른 모델과 비교하였을 때도 성능 및 탐지속도가 우수한 것으로 나타났다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권7호
• /
• pp.283-290
• /
• 2015

본 논문에서는 WiseQA 시스템에서 정답유형을 인식하기 위한 하이브리드 방법을 제안한다. 정답유형은 어휘정답유형과 의미정답유형으로 구분된다. 본 논문은 어휘정답유형 인식을 위해서 질문초점에 기반한 규칙모델과 순차적 레이블링에 기반한 기계학습모델을 제안한다. 의미정답유형 인식을 위해 다중클래스 분류에 기반한 기계학습모델과 어휘정답유형을 이용한 필터링 규칙을 소개한다. 어휘정답유형 인식성능은 F1-score 82.47%이고, 의미정답유형 인식성능은 정확률 77.13%이다. 어휘정답유형 인식성능은 IBM 왓슨과 비교하여, 정확률은 1.0% 저조하고, 재현율은 7.4% 높다.

• 한국전자파학회논문지
• /
• 제29권7호
• /
• pp.550-559
• /
• 2018

본 논문은 딥뉴럴네트워크(deep neural network: DNN)를 이용해 사람 걸음 및 배경잡음원에 의해 발생한 마이크로 도플러 신호를 탐지 및 분류 처리하는 연구를 제안한다. 기존 분류처리 연구는 경험 및 통계적인 방법을 통해 분류기 성능에 직접적으로 영향을 미치는 의미있는 특징을 추출하기 위한 복잡한 과정을 포함한다. 그러나 딥뉴럴네트워크는 다수의 레이어 층을 단계적으로 통과하는 과정을 통해 점진적으로 특징을 재구성 및 생성하므로, 별도의 특징 추출과정을 생략할 수 있으며, 자연스럽게 네트워크상에서 특징을 생성할 수 있는 이점이 있다. 따라서 본 논문에서는 마이크로 도플러 신호 인식을 위한 딥뉴럴네트워크 효과성 입증을 위해, 이진분류기와 다층클래스 분류기를 다층퍼셉트론과 딥뉴럴네트워크를 통해 설계하고 비교분석한다. 실험 결과, 다층퍼셉트론은 이진분류기의 경우 테스트세트에 대한 분류 정확도가 90.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 86.1 %로 측정되었다. 딥뉴럴네트워크는 이진분류기의 경우 테스트세트에 대한 분류 정확도가 97.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 96.1 %로 측정되었다.

• 농업생명과학연구
• /
• 제53권4호
• /
• pp.93-101
• /
• 2019

개(Canis lupus familiaris)는 인간의 소외 현상을 개선하고, 공동체 생활 의식 향상에 기여하는 반 려동물이다. 반려견 품종을 명확히 관리하는 것은 유전병을 감소시키거나, 형질 개량, 종 다양성 유지 등을 위해 중요하다. 본 연구에서는 고밀도 SNP 칩 유전자형 데이터와 기계학습 기술을 이용하여, 유 전자형 데이터에 기반한 품종 식별이 가능한지, 가능하다면 최소 몇 개의 유전마커로 품종 식별을 유 의하게 수행할 수 있는지 확인하기 위하여, 반려견 11 품종 226두의 23K SNP 칩 데이터를 분석하였 다. 9종의 기계학습 다중범주 분류 알고리즘과 2종의 특징 선택 방법의 성능을 비교하여, 선형 서포트 벡터 머신 분류기와 주성분 분석 특징 기여도를 이용한 특징 선택 방법을 이용했을 때, 11종의 반려견 품종을 90% 이상 정확도로 식별하였으며, 이 때 40개의 유전마커가 필요함을 확인하였다. 최종 선발 된 40개의 반려견 품종 식별 유전마커는 타 질병 예측 마커와 결합하여 유전자 검사 키트로 제작될 수 있으며, 반려견 품종 관리 및 질병 관리 기술로 유용하게 활용될 수 있을 것이다.

• 지능정보연구
• /
• 제26권1호
• /
• pp.23-45
• /
• 2020

기업의 경쟁력 확보를 위해 판별 알고리즘을 활용한 의사결정 역량제고가 필요하다. 하지만 대부분 특정 문제영역에는 적합한 판별 알고리즘이 어떤 것인지에 대한 지식은 많지 않아 대부분 시행착오 형식으로 최적 알고리즘을 탐색한다. 즉, 데이터셋의 특성에 따라 어떠한 분류알고리즘을 채택하는 것이 적합한지를 판단하는 것은 전문성과 노력이 소요되는 과업이었다. 이는 메타특징(Meta-Feature)으로 불리는 데이터셋의 특성과 판별 알고리즘 성능과의 연관성에 대한 연구가 아직 충분히 이루어지지 않았기 때문이며, 더구나 다중 클래스(Multi-Class)의 특성을 반영하는 메타특징에 대한 연구 또한 거의 이루어진 바 없다. 이에 본 연구의 목적은 다중 클래스 데이터셋의 메타특징이 판별 알고리즘의 성능에 유의한 영향을 미치는지에 대한 실증 분석을 하는 것이다. 이를 위해 본 연구에서는 다중 클래스 데이터셋의 메타특징을 데이터셋의 구조와 데이터셋의 복잡도라는 두 요인으로 분류하고, 그 안에서 총 7가지 대표 메타특징을 선택하였다. 또한, 본 연구에서는 기존 연구에서 사용하던 IR(Imbalanced Ratio) 대신 시장집중도 측정 지표인 허핀달-허쉬만 지수(Herfindahl-Hirschman Index, HHI)를 메타특징에 포함하였으며, 역ReLU 실루엣 점수(Reverse ReLU Silhouette Score)도 새롭게 제안하였다. UCI Machine Learning Repository에서 제공하는 복수의 벤치마크 데이터셋으로 다양한 변환 데이터셋을 생성한 후에 대표적인 여러 판별 알고리즘에 적용하여 성능 비교 및 가설 검증을 수행하였다. 그 결과 대부분의 메타특징과 판별 성능 사이의 유의한 관련성이 확인되었으며, 일부 예외적인 부분에 대한 고찰을 하였다. 본 연구의 실험 결과는 향후 메타특징에 따른 분류알고리즘 추천 시스템에 활용할 것이다.

• 지능정보연구
• /
• 제23권4호
• /
• pp.147-168
• /
• 2017

오래 전부터 학계에서는 정확한 주식 시장의 예측에 대한 많은 연구가 진행되어 왔고 현재에도 다양한 기법을 응용한 예측모형들이 연구되고 있다. 특히 최근에는 딥러닝(Deep-Learning)을 포함한 다양한 기계학습기법(Machine Learning Methods)을 이용해 주가지수를 예측하려는 많은 시도들이 진행되고 있다. 전통적인 주식투자거래의 분석기법으로는 기본적 분석과 기술적 분석방법이 사용되지만 보다 단기적인 거래예측이나 통계학적, 수리적 기법을 응용하기에는 기술적 분석 방법이 보다 유용한 측면이 있다. 이러한 기술적 지표들을 이용하여 진행된 대부분의 연구는 미래시장의 (보통은 다음 거래일) 주가 등락을 이진분류-상승 또는 하락-하여 주가를 예측하는 모형을 연구한 것이다. 하지만 이러한 이진분류로는 추세를 예측하여 매매시그널을 파악하거나, 포트폴리오 리밸런싱(Portfolio Rebalancing)의 신호로 삼기에는 적합치 않은 측면이 많은 것 또한 사실이다. 이에 본 연구에서는 기존의 주가지수 예측방법인 이진 분류 (binary classification) 방법에서 주가지수 추세를 (상승추세, 박스권, 하락추세) 다분류 (multiple classification) 체계로 확장하여 주가지수 추세를 예측하고자 한다. 이러한 다 분류 문제 해결을 위해 기존에 사용하던 통계적 방법인 다항로지스틱 회귀분석(Multinomial Logistic Regression Analysis, MLOGIT)이나 다중판별분석(Multiple Discriminant Analysis, MDA) 또는 인공신경망(Artificial Neural Networks, ANN)과 같은 기법보다는 예측성과의 우수성이 입증된 다분류 Support Vector Machines(Multiclass SVM, MSVM)을 사용하고, 이 모델의 성능을 향상시키기 위한 래퍼(wrapper)로서 유전자 알고리즘(Genetic Algorithm)을 이용한 최적화 모델을 제안한다. 특히 GA-MSVM으로 명명된 본 연구의 제안 모형에서는 MSVM의 커널함수 매개변수, 그리고 최적의 입력변수 선택(feature selection) 뿐만이 아니라 학습사례 선택(instance selection)까지 최적화하여 모델의 성능을 극대화 하도록 설계하였다. 제안 모형의 성능을 검증하기 위해 국내주식시장의 실제 데이터를 적용해본 결과 ANN이나 CBR, MLOGIT, MDA와 같은 기존 데이터마이닝 기법들이나 인공지능 알고리즘은 물론 현재까지 가장 우수한 예측 성과를 나타내는 것으로 알려져 있던 전통적인 다분류 SVM 보다도 제안 모형이 보다 우수한 예측성과를 보임을 확인할 수 있었다. 특히 주가지수 추세 예측에 있어서 학습사례의 선택이 매우 중요한 역할을 하는 것으로 확인 되었으며, 모델의 성능의 개선효과에 다른 요인보다 중요한 요소임을 확인할 수 있었다.

• 지능정보연구
• /
• 제23권1호
• /
• pp.47-67
• /
• 2017

강판 표면 결함은 강판의 품질과 가격을 결정하는 중요한 요인 중 하나로, 많은 철강 업체는 그동안 검사자의 육안으로 강판 표면 결함을 확인해왔다. 그러나 시각에 의존한 검사는 통상 30% 이상의 판단 오류가 발생함에 따라 검사 신뢰도가 낮은 문제점을 갖고 있다. 따라서 본 연구는 Simultaneous MTS (S-MTS) 알고리즘을 적용하여 보다 지능적이고 높은 정확도를 갖는 새로운 강판 표면 결함 진단 시스템을 제안하였다. S-MTS 알고리즘은 단일 클래스 분류에는 효과적이지만 다중 클래스 분류에서 정확도가 떨어지는 기존 마할라노비스 다구찌시스템 알고리즘(Mahalanobis Taguchi System; MTS)의 문제점을 해결한 새로운 알고리즘이다. 강판 표면 결함 진단은 대표적인 다중 클래스 분류 문제에 해당하므로, 강판 표면 결함 진단 시스템 구축을 위해 본 연구에서는 S-MTS 알고리즘을 채택하였다. 강판 표면 결함 진단 시스템 개발은 S-MTS 알고리즘에 따라 다음과 같이 진행하였다. 첫째, 각 강판 표면 결함 별로 개별적인 참조 그룹 마할라노비스 공간(Mahalanobis Space; MS)을 구축하였다. 둘째, 구축된 참조 그룹 MS를 기반으로 비교 그룹 마할라노비스 거리(Mahalanobis Distance; MD)를 계산한 후 최소 MD를 갖는 강판 표면 결함을 비교 그룹의 강판 표면 결함으로 판단하였다. 셋째, 강판 표면 결함을 분류하는 데 있어 결함 간의 차이점을 명확하게 해주는 예측 능력이 높은 변수를 파악하였다. 넷째, 예측 능력이 높은 변수만을 이용해 강판 표면 결함 분류를 재수행함으로써 최종적인 강판 표면 결함 진단 시스템을 구축한다. 이와 같은 과정을 통해 구축한 S-MTS 기반 강판 표면 결함 진단 시스템의 정확도는 90.79%로, 이는 기존 검사 방법에 비해 매우 높은 정확도를 갖는 유용한 방법임을 보여준다. 추후 연구에서는 본 연구를 통해 개발된 시스템을 현장 적용하여, 실제 효과성을 검증할 필요가 있다.