• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.251-258
• /
• 2003

Support Vector Machine(SVM)은 이론상으로 좋은 일반화 성능을 보이지만, 실제적으로 구현된 SVM은 이론적인 성능에 미치지 못한다. 주 된 이유는 시간, 공간상의 높은 복잡도로 인해 근사화된 알고리듬으로 구현하기 때문이다. 본 논문은 SVM의 분류성능을 향상시키기 위해 Bagging(Bootstrap aggregating)과 Boosting을 이용한 SVM 앙상블 구조의 구성을 제안한다. SVM 앙상블의 학습에서 Bagging은 각각의 SVM의 학습데이타는 전체 데이타 집합에서 임의적으로 일부 추출되며, Boosting은 SVM 분류기의 에러와 연관된 확률분포에 따라 학습데이타를 추출한다. 학습단계를 마치면 다수결 (Majority voting), 최소자승추정법(LSE:Least Square estimation), 2단계 계층적 SVM등의 기법에 개개의 SVM들의 출력 값들이 통합되어진다. IRIS 분류, 필기체 숫자인식, 얼굴/비얼굴 분류와 같은 여러 실험들의 결과들은 제안된 SVM 앙상블의 분류성능이 단일 SVM보다 뛰어남을 보여준다.

• 한국정보과학회논문지:데이타베이스
• /
• 제28권4호
• /
• pp.545-557
• /
• 2001

본 논문에서는 저장 데이타베이스의 정보 시스템을 정제하여 이해 가능한 정보로 전환하고 새로운 객체를 근사 추론할 수 있도록 하기 위해 러프 소속 함수 값의 개념을 도입한 계층적 근사 분류 알 고리즘을 제안한다. 제안하는 알고리즘은 근사 추론의 한 방법인 퍼지 추론 방법의 언어적 불확실성을 속 성의 퍼지 소속 함수 값으로 나타내고 조건 속성의 소속 함수 값의 합성에 의해 근사 추론하는 방법을 이용하였으며 퍼지 소속 함수 값 대신에 러프 소속 함수 값을 이용하도록 제안하였다. 이는 퍼지 소속 함 수 값을 이용하여 괴지 규칙을 생성하는 과정을 생략할 수 있는 장점이 있다. 또한 정보 시스템 내의 속 성 중에서 수치 속성에 대한 이산화 방법을 연구하고 이것 또한 러프 소속 함수 값과 정보이론의 무질서 도의 개념을 이용한 수치 속성의 이산화를 제안하였다. 제안된 알고리즘을 이용하여 패턴 분류 문제에 교 준적으로 사용되는 IRIS 데이타에 대한 실험결과96%~98% 분류율을 나타냈으며 다른 실험 데이타에서 도 기존 알고리즘과 비교하여 수치 이산화나 근사 추론 모두 우수함을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제26권11호
• /
• pp.1314-1323
• /
• 1999

컴퓨터의 사용이 일반화됨에 따라 데이타를 생성하고 수집하는 것이 용이해졌다. 이에 따라 데이타로부터 자동적으로 유용한 지식을 얻는 기술이 필요하게 되었다. 데이타 마이닝에서 얻어진 지식은 정확성과 이해성을 충족해야 한다. 본 논문에서는 데이타 마이닝을 위하여 퍼지 결정트리에 기반한 효율적인 퍼지 규칙을 생성하는 알고리즘을 제안한다. 퍼지 결정트리는 ID3와 C4.5의 이해성과 퍼지이론의 추론과 표현력을 결합한 방법이다. 특히, 퍼지 규칙은 속성 축에 평행하게 판단 경계선을 결정하는 방법으로는 어려운 속성 축에 평행하지 않는 경계선을 갖는 패턴을 효율적으로 분류한다. 제안된 알고리즘은 첫째, 각 속성 데이타의 히스토그램 분석을 통해 적절한 소속함수를 생성한다. 둘째, 주어진 소속함수를 바탕으로 ID3와 C4.5와 유사한 방법으로 퍼지 결정트리를 생성한다. 또한, 유전자 알고리즘을 이용하여 소속함수를 조율한다. IRIS 데이타, Wisconsin breast cancer 데이타, credit screening 데이타 등 벤치마크 데이타들에 대한 실험 결과 제안된 방법이 C4.5 방법을 포함한 다른 방법보다 성능과 규칙의 이해성에서 보다 효율적임을 보인다.Abstract With an extended use of computers, we can easily generate and collect data. There is a need to acquire useful knowledge from data automatically. In data mining the acquired knowledge needs to be both accurate and comprehensible. In this paper, we propose an efficient fuzzy rule generation algorithm based on fuzzy decision tree for data mining. We combine the comprehensibility of rules generated based on decision tree such as ID3 and C4.5 and the expressive power of fuzzy sets. Particularly, fuzzy rules allow us to effectively classify patterns of non-axis-parallel decision boundaries, which are difficult to do using attribute-based classification methods.In our algorithm we first determine an appropriate set of membership functions for each attribute of data using histogram analysis. Given a set of membership functions then we construct a fuzzy decision tree in a similar way to that of ID3 and C4.5. We also apply genetic algorithm to tune the initial set of membership functions. We have experimented our algorithm with several benchmark data sets including the IRIS data, the Wisconsin breast cancer data, and the credit screening data. The experiment results show that our method is more efficient in performance and comprehensibility of rules compared with other methods including C4.5.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권11호
• /
• pp.1021-1028
• /
• 2005

분류 및 회계문제에서의 일반적인 해법은, 현실 세계에서 얻은 정보를 행렬로 사상하거나, 이진정보로 변형하는 등 주어진 데이타의 가공과 이를 이용한 학습에서 찾을 수 있다. 본 논문은 현실세계에 존재하는 순수한 데이타를 근원공간이라 칭하며, 근원 데이타가 커널에 의해 사상된 행렬을 이원공간이라 한다. 근원공간 혹은 이원공간에서의 분류문제는 그 역이 존재하는 문제 즉, 완전해가 존재하는 문제와, 그 역이 존재하지 않거나, 역의 원소 값들이 무한히 커지는 불량조건 흑은 특이조건인 두 가지 형태로 존재한다. 특히, 실제 문제에 있어서 완전 해를 가진 문제이기 보다는 후자에 가까운 형태로 나타나게 된다. 결론적으로 근원데이타나 이원데이타를 이용한 문제를 해결하기 위해서는 많은 경우에 완전 해를 갖는 문제로 변형시키는 정규화과정이 필요하다. 본 논문에서는 이러한 정규화 인수를 찾는 문제를 기존의 GCV, L-Curve, 그리고 이원공간에서의 데이타를 RBF 신경회로망에 적용시킨 커널 학습법에 대한 각각의 성능을 비교실험을 통해 고찰한다. GCV와 L-Curve는 정규화 인수를 찾는 대표적인 방법으로 두 방법 모두 성능면에서 동등하며 문제의 조건에 따라 다소 차이를 보인다. 그러나 이러한 두 방법은 문제해를 구하기 위해서는 정규화 인수를 구한후 문제를 재정의하는 이원적인 문제해결이라는 취약점을 갖는다. 반면, RBF 신경회로망을 이용한 방법은 정규화 인수와 해를 동시에 학습하는 단일화된 방법이 된다. 이때 커널을 이용한 학습법의 성능을 향상하기 위해, 전체학습과 성능의 제한적 비례관계라는 설정아래, 각각의 학습에 따라 능동적으로 변화하는 동적모멘텀의 도입을 제안한다. 동적모멘트는 바이어스 학습을 포함한 방법과 포함하지 않은 방법에 각각 적용분석하였다. 끝으로 제안된 동적모멘텀이 분류문제의 표준인 Iris 데이터, Singular 시스템의 대표적 모델인 가우시안 데이타, 그리고 마지막으로 1차원 이미지 복구문제인 Shaw데이타를 이용한 각각의 실험에서 분류문제와 회계문제 양쪽 모두에 있어 기존의 GCV, L-Curve와 동등하거나 우수한 성능이 있음을 보인다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제33권8호
• /
• pp.692-702
• /
• 2006

본 연구에서는 패턴 분류문제를 위하여 가중치 개념을 갖는 퍼지 최대 최소 신경망 모델을 제안한다. 제안된 모델은 기존의 FMM 신경망 모델에 대하여 학습데이타에 포함되는 특징값의 빈도요소를 효과적으로 반영할 수 있도록 수정한 구조를 갖는다. 본 논문에서는 제안된 모델에 대하여 하이퍼박스 소속함수로 정의되는 새로운 활성화 특성과 학습알고리즘을 정의한다. 학습알고리즘은 하이퍼박스 생성 및 확장, 중첩 테스트, 하이퍼박스 축소의 3 단계 과정으로 이루어지며, 각 과정에서 특정값의 빈도요소를 고려하여 가중치값을 갱신하는 규칙이 새롭게 정의된다. 본 연구에서는 또한 제안된 모텔의 응용으로서 특정분석 기법을 제안한다. 이를 위하여 특정값, 특정유형, 하이퍼박스, 패턴클래스 상호간 연관도 요소를 4 가지 유형의 척도로 정의하여, 주어진 패턴분류 문제에서 각 특정의 상대적 중요도를 평가할 수 있도록 한다. 아이리스 데이타와 클리블랜드 의료데이타에 대한 분류문제에 적용한 실험결과를 통하여 제안된 방법의 타당성을 고찰하였다.