• 정보처리학회논문지B
• /
• 제11B권5호
• /
• pp.545-554
• /
• 2004

단일 분류기에 비해 높은 분류성능을 얻기 위해 다수의 분류기들을 결합하여 사용하는 방법은 폭넓게 이용되어 온 기술이다. 하나의 다중 분류기 시스템을 구성하는 일은 다음 두 가지 문제들을 가지고 있다. 첫째는 어떻게 기반 분류기들을 생성하느냐 하는 것이고 둘째는 이들의 예측결과를 어떻게 결합하느냐 하는 것이다. 본 논문에서는 Bagging, Boosting, Stacking 등 기존의 대표적인 다중 분류기 시스템들의 특징을 살펴보고, 문서 분류를 위한 새로운 다중 분류기 시스템들인 Stacked Bagging, Stacked Boosting, Bagged Stacking, Boosted Stacking들을 제안한다. 이들은 Bagging, Boosting, Stacking과 같은 기존 다중 분류기 시스템들의 장점들을 결합한 일종의 혼합형 다중 분류기 시스템들이다. 본 논문에서는 제안된 다중 분류기 시스템들의 성능을 평가하기 위해 MEDLINE, 유즈넷 뉴스, 웹 문서 등의 문서집합을 이용한 문서 분류 실험들을 전개하였다. 그리고 이러한 실험결과를 통해 제안한 혼합형 다중 분류기 시스템들은 전반적으로 기존 시스템들보다 우수한 성능을 보이는 것으로 나타났다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.751-753
• /
• 2005

지문을 5가지 클래스로 나누는 헨리시스템을 기반으로 신경망이나 SVM(Support Vector Machines) 등과 같은 다양한 패턴분류 기법들이 지문분류에 많이 사용되고 있다. 특히 최근에는 높은 분류 성능을 보이는 SVM 분류기의 결합을 이용한 연구가 활발히 진행되고 있다. 지문은 클래스 구분이 모호한 영상이 많아서 단일결합모델로는 분류에 한계가 있다. 이를 위해 본 논문에서는 새로운 분류기 결합모델인 다중결정템플릿(Multiple Decision Templates, MuDTs)을 제안한다. 이 방법은 하나의 지문클래스로부터 서로 다른 특성을 갖는 클러스터들을 추출하여 각 클러스터에 적합한 결합모델을 생성한다. NIST-database4 데이터로부터 추출한 핑거코드에 대해 실험한 결과. 5클래스와 4클래스 분류문제에 대하여 각각 $90.4\%$와 $94.9\%$의 분류성능(거부율 $1.8\%$)을 획득하였다.

• 지능정보연구
• /
• 제10권2호
• /
• pp.133-145
• /
• 2004

단일 분류기보다 우수한 성능을 얻기 위해 다수의 분류기들을 결합하는 방법은 폭 넓게 이용되어 오고 있는 기술이다. 하나의 다중 분류기 시스템(MCS)를 구축하는 일은 두 가지 해결해야 할 문제들을 가지고 있다. 하나는 다양한 기반-레벨의 분류기들을 어떤 방법으로 생성하느냐 하는 것이고, 다른 하나는 이들의 예측을 어떤 방법으로 결합하느냐 하는 것이다. 본 논문에서는 기존의 다중 분류기 시스템들인 bagging, boosting, 그리고 staking의 특징들을 살펴본 다음, 새로운 다중 분류기 시스템들인 stacked boosting, boosting, bagged stacking, 그리고 boosted stacking들을 제안한다. 이들은 기존의 다중 분류기 시스템들의 장점들을 결합한 일종의 하이브리드 다중 분류기 시스템들이다. 새로 제안한 다중 분류기 시스템들의 성능을 평가하기 위해, 본 논문에서는 UCI KDD 데이터 아카이브에서 제공되는 서로 다른 9가지의 실세계 데이터 집합들을 이용하여 실험들을 전개하였다. 실험 결과, 본 논문에서 제안한 하이브리드 다중 분류기 시스템들, 특히 bagged stacking과 boosted stacking이 기존의 다중 분류기 시스템들에 비해 우수한 성능을 보여 주었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.163-165
• /
• 2001

최근 기계학습 분야에서 커널머신을 이용한 대표적 학습기로서 Support Vector Machine(SVM)이 주목받고 있다. SVM은 통계학자인 Vapnik에 의해 제안된 것으로 통계적 학습이론에 기반 하여 뛰어난 일반화 성능을 보여준다. 그러나. SVM은 2클래tm 분류기이므로 일반적인 다중 클래스 패턴인식 문제에 적용할 수 없다. 본 논문에서는 이를 해결하기 위해 SVM을 신경망과 결합하여 다중 클래스 분류기로 확장하는 방법을 새롭게 제안한다. 제안하는 분류기의 성능을 비교하기 위하여 ORL얼굴 데이터를 이용하여 제안하는 분류기와 기존의 대표적인 다중 SVM, 신경망, PCA를 적응한 얼굴인식 실험을 수행하였다. 실험결과 제안하는 분류기를 이용한 얼굴인식률이 기존의 다중 SVM을 이용한 경우보다 3%, 신경망을 이용한 경우보다 6% 높은 수치를 보였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권4호
• /
• pp.451-455
• /
• 2008

본 논문에서는 다중 분류기를 효과적으로 결합하기 위하여 k-최근접 템플릿방법을 제안한다. 이는 하나의 클래스를 여러개의 템플릿으로 모델링하기 위하여 분류기의 출력값을 기반으로 각 클래별 학습 샘플들을 여러개의 하위클래스로 분해하고, 각 하위클래스별 분류기 출력값의 평균을 계산하여 지역화된 템플릿을 생성한다. 그 뒤 평가샘플과 각 템플릿간의 거리를 계산하고, k개의 최근접 템플릿들 중 가장 많은 비율을 차지하는 클래스로 평가샘플을 분류한다. 본 논문에서는 클래스 분해를 위해 C-means 클러스터링 알고리즘을 이용하였으며, k값은 주어진 데이타 셋의 클래스 내 밀집도와 클래스 간 분리도에 따라 자동으로 결정하였다. 제안하는 방법은 각 클래스별로 여러 개의 모델을 사용하며, 이들 중 가장 유사한 하나의 모델과 매칭하는 대신 k개의 모델을 참조하기 때문에 안정적이고 높은 분류성능을 획득할 수 있다. 본 논문에서는 UCI와 ELENA데이타베이스를 이용한 실험을 통해 제안하는 방법이 기존의 결합 방법들에 비해 우수한 분류성능을 보임을 확인하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권12호
• /
• pp.1229-1237
• /
• 2005

분류 성능을 향상시키기 위해서 다수의 분류기들을 결합하는 연구가 활발히 진행되고 있다. 우수한 앙상블 분류기를 회득하기 위해서는 정확하고 다양한 개별 분류기를 구축해야 한다. 기존에는 Bagging이나 Boosting 등의 앙상블 학습 기법을 이용하거나 획득된 개별 분류기의 학습 데이타에 대한 다양성을 측정하였지만 유전 발현 데이타와 같이 학습 데이타가 적은 경우 한계가 있다. 본 논문에서는 유전자 프로그래밍으로부터 획득된 규칙의 구조적 다양성을 분석하여 결합하는 앙상블 기법을 제안한다. 유전자 프로그래밍으로 해석 가능한 분류 규칙을 생성하고 그들 사이의 다양성을 측정한 뒤, 이들 중 다양한 규칙의 집합을 결합하여 분류를 수행한다. 유전 발현 데이타로부터 림프종 암, 폐 암, 난소 암 등을 분류하는 문제를 대상으로 실험하여 제안하는 방법의 유용성을 검증하였다. 앙상블 시 분류 규칙 사이의 다양성을 분석하여 결합한 결과, 다양성을 고려하지 않을 때보다 높은 분류 성능을 획득하였고, 개별 분류 규칙들 사이의 다양성에 따라서 정분류율이 증가하는 것도 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.555-558
• /
• 2001

본 논문에서는 인간 행동의 성별 인식문제를 해결하기 위해 여러 개의 전문가(expert) 신경망의 앙상블로 이루어진 결합 신경망 분류기를 제안한다. 하나는 여러 개의 modular 다층퍼셉트론을 계층형으로 결합한 모텔이고, 다른 하나는 modular 다층퍼셉트론들의 출력값을 의사결정트리로 결합하는 모델이다. 데이터 베이스는 남녀 각 13 명의 데이터로 이루어져 있고, 문 두드리기, 손 흔들기, 물건 들어올리기의 세 가지 동작을, 보통 상태 혹은 화난 상태하에서 10 회씩 반복 수행하여 저장하였다. 행위자의 움직임은 몸에 부착된 6 개의 적외선 센서를 사용하여 기록 되었으며, 2 차원 혹은 3 차원 속도 및 좌표가 그 특징값으로 사용되었다. 앙상블 분류기의 성능을 비교하기 위하여 단일 다층퍼셉트론, 의사결정트리, 자기구성지도 및 support vector machine 을 사용한 실험 결과를 보였다. 실험 결과, 신경망 앙상블 모델이 다른 전통적인 분류기 및 사람에 비하여 훨씬 우수한 성능을 보였음을 알 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권1호
• /
• pp.61-70
• /
• 2004

폭발적으로 성장하고 있는 웹은 수백만 개의 웹 문서를 포함하고 있기 때문에, 적절한 웹사이트를 찾기 어렵다. 사용자 프로파일을 사용하여 적절한 웹사이트를 추천함으로써 웹의 탐색을 개인화 할 수도 있지만 웹 컨텐츠에 대한 사용자의 평가는 사용자의 성격에 관한 다양한 측면을 표현하므로 사용자의 선호도를 예측하기 위해서는 보다 효과적인 방법이 필요하다. 사용자 프로파일은 비선형적인 특성을 가지고 있으므로 분류기를 사용하여 예측하여야 하며 다양한 특성을 예측하기 위해 분류기의 결합이 필요하다. 패턴분류와 시각화에 유용한 구조적응 자기구성지도(SASOM)는 개선된 SOM 모델로서 웹 마이닝에 적절하다. 퍼지 적분은 주관적으로 정의된 분류기의 중요도를 이용하여 결합하는 방법이다. 본 논문에서는 독립적으로 학습된 SASOM의 퍼지적분(fuzzy integral)기반 결합을 이용하여 사용자의 프로파일을 예측하고 UCI 벤치마크 데이타인 Syskill ＆ Webert 데이타를 사용하여 그 성능을 평가한다. 실험결과 제안한 방법이 기존의 naive Bayes 분류기뿐만 아니라 SASOM의 투표결합보다 우수한 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권4호
• /
• pp.377-388
• /
• 2007

본 연구는 다중 생체 인식 기법을 이용하여 개인 확인 및 인증을 구현한 것으로， 단일생체인식 에서 많이 사용되어 지고 있는 생체 정보 중 얼굴과 지문， 홍채를 이용하여 상호 비교하고 구현하였다. 이를 위한 결합방식으로 단일 생체인식에서 얻은 유사도를 이용하는 방식인 유사도 단계에서의 결합방식을 적용하였으며， 이때의 각 유사도가 동일한 범위가 되도록 하는 여러 가지 균등화 방법에 대하여 연구하였다. 결합방법으로는 가중치 합， Support Vector Machine， Fisher 분류기， 베이시안 분류기를 사용하여 비교하였다. 다양한 실험결과， 사용되는 다중생체인식 조합에 따라 우수한 성능을 보이는 균등화 방법 및 분류기가 다르게 나타남을 알 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (A)
• /
• pp.37-39
• /
• 2006

지지 벡터 기계(Support Vector Machine; SVM)는 기본적으로 이진분류를 위해 고안되었지만, 최근 다양한 분류기 생성전략과 결합전략이 고안되어 다중부류 분류에도 적용되고 있다. 본 논문에서는 OVR(One-Vs-Rest) 전략으로 생성된 SVM을 NB(Naive Bayes) 분류기를 이용하여 동적으로 구성함으로써, OVR SVM을 이용한 다중부류 분류 시스템에서 자주 발생하는 동점을 효과적으로 해결하는 방법은 제안한다. 이 방법을 유전발현 데이터를 이용한 다중부류 암 분류에 적용하였는데, 고차원의 데이터로부터 NB 분류기 구축에 유용한 유전자를 선택하기 위해 Pearson 상관계수를 사용하였다. 14개의 암 유형과 16,063개의 유전발현 수준을 가지는 대표적인 다중부류 암 분류 데이터인 GCM 암 데이터에 적용하여 제안하는 방법의 유용성을 확인하였다.