• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권3호
• /
• pp.192-201
• /
• 2002

디지털 형태의 문서가 널리 퍼지고 끊임없이 증가함에 따라 이를 자동으로 가공하고 처리하는 문서 자동분류의 중요성이 널리 인식되고 있다. 최근의 문서 자동분류는 k-최근접 이웃, 결정트리, Support Vector Machine, 신경망 등의 다양한 기계학습 기법을 이용하여 연구되고 있다. 그러나 많은 연구가 잘 조직된 데이타 집합을 이용하여 연구결과를 보여주고 있으며, 실제 문제에의 응용성에는 큰 비중을 두지 않고 있다. 본 논문에서는 문서분류의 응용시스템인 질의 자동응답시스템에 적용할 수 있는 다중분류기 결합 방법을 제안하고 실제 전자우편 문서의 분류문제를 해결한다. 첫째로, 다중신경 망을 이용한 문서분류를 제안한다. 제안한 방법은 최대값 결합, 신경망 결합을 통해 성능의 향상을 가져온다. 둘째로, 여러 분류기의 결합을 통해 문서분류의 성능을 개선한다. 본 논문에서는 투표 결합방법, Borda 결합, 신경망 결합방법 등을 적용하여 여러 분류기의 결합을 수행하였다. 실용 가능성을 분석한 실험결과 90%이상의 정확율을 보여 제안한 방법이 실용적일 수 있음을 알 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권12호
• /
• pp.966-978
• /
• 2002

기계학습 기법을 이용한 문서분류시스템의 정확도를 결정하는 요인 중 가장 중요한 것은 학습문서 집합의 선택과 그것의 구성방법이다. 학습문서집합 선택의 문제란 임의의 문서공간에서 보다 정보량이 큰 적은 양의 문서집합을 골라서 학습문서로 채택하는 것을 말한다. 이렇게 선택한 학습문서집합을 재구성하여 보다 정확도가 높은 문서분류함수를 만드는 것이 학습문서집합 구성방법의 문제이다. 전자의 문제를 해결하는 대표적인 알고리즘이 능동적 학습(active learning) 알고리즘이고, 후자의 경우는 부스팅(boosting) 알고리즘이다. 본 논문에서는 이 두 알고리즘을 Naive Bayes 문서분류 알고리즘에 적응해보고, 이때 생기는 여러 가지 특징들을 분석하여 새로운 학습문서집합 구성방법인 AdaBUS 알고리즘을 제안한다. 이 알고리즘은 능동적 학습 알고리즘의 아이디어를 이용하여 최종 문서분류함수룰 만들기 위해 임시로 만든 여러 임시 문서분류함수(weak hypothesis)들 간의 변이(variance)를 높였다. 이를 통해 부스팅 알고리즘이 효과적으로 구동되기 위해 필요한 핵심 개념인 교란(perturbation)의 효과를 실현하여 문서분류의 정확도를 높일 수 있었다. Router-21578 문서집합을 이용한 경험적 실험을 통해, AdaBUS 알고리즘이 기존의 알고리즘에 비해 Naive Bayes 알고리즘에 기반한 문서분류시스템의 정확도를 보다 크게 향상시킨다는 사실을 입증한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
• /
• pp.36-39
• /
• 1999

본 논문에서는 다양성을 가진 웹문서의 범주를 결정짓는 웹문서 분류 시스템을 설계, 구축한다. 웹문서는 일관된 형식과 내용이 없이 만들어지기 때문에 문서의 범주를 결정하는 시스템을 구축하기는 쉬운 일이 아니다. 제안한 웹문서 분류 시스템은 잡음 처리에 적합한 신경망 방식을 적용하여 다양한 내용의 웹문서의 범주를 결정짓는다. 본 시스템은 한국어 문장을 분석하는 한국어 형태소 해석기, 단어의 의미를 획득하는 개념 획득기, 단어의 사용된 의미를 고르는 애매성 해소기, 그리고 문서의 범주를 결정하는 신경망 범주 결정기로 구성된다. 본 시스템은 단어의 의미를 이용하여 문서를 표현하고 분석하는 개념 중심의 문서 분류 시스템이다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.259-267
• /
• 2003

단순 베이지언 분류모형은 구현이 간단하고 효율적이기 때문에 실용적으로 사용하기에 적합하다. 그러나 이 분류모형은 많은 기계학습 도메인에서 우수한 성능을 보임에도 불구하고 문서분류에 적용되었을 경우에는 그 성능이 매우 낮은 것으로 알려져왔다. 본 논문에서는 단순 베이지언 분류모형중 가장 성능이 우수한 것으로 알려진 다항 시행접근 단순 베이지언 분류모형을 개선하는 세가지 방법을 제안한다. 첫 번째는 범주에 대한 단어의 확률추정방법을 문서모델에 기반하여 개선하는 것이고, 두 번째는 문서의 길이에 따라 범주와의 관련성이 선형적으로 증가하는 것을 억제하기 위해 길이에 대한 정규화를 수행하는 것이며, 마지막으로 범주판정에 중요한 역할을 하는 단어들의 영향력을 높여주기 위하여 상호정보가중 단순 베이지언 분류방법을 사용하는 것이다. 제안하는 방법들은 문서분류기의 성능 평가를 위한 벤치마크 문서집합인 Reuters21578과 20Newsgroup에서 기존의 방범에 비해 상당한 성능향상을 가져옴을 알 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
• /
• pp.265-267
• /
• 2000

본 논문에서는 텍스트 문서의 주제어를 추출하고 문서를 주제별로 분류하기 위해 확률적 그래프 모델을 사용하는 방법을 제안하였다. 텍스트 문서 데이터를 문서와 단어의 쌍으로(dyadic)표현하여 확률적 생성 모델을 학습하였다. 확률적 그래프 모델의 학습에는 정의된 likelihood를 최대화하기 위한 EM(Expected Maximization)알고리즘을 사용하였다. TREC-8 AdHoc 텍스트 에이터에 대하여 학습된 확률 그래프 모델의 성능을 실험적으로 평가하였다. 이로부터 찾아 낸 문서에 대한 주제어가 사람이 제시한 주제어와 유사한 지와, 사람이 각 주제에 대해 분류한 문서가 이 확률모델로부터의 분류와 유사한 지를 실험적으로 검토하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
• /
• pp.195-197
• /
• 1999

본 연구에서는 인터넷 상의 많은 문서들 중에서 사용자에게 보다 적합한 문서를 제공하기 위해 퍼지 관계성을 이용하여 검색 결과 집합의 문서에서 추출한 키워드간의 유사클래스를 생성한다. 또한, 기존의 키워드 직접 매칭에 의한 검색 방법의 단점이라 할 수 있는 의미적 관계를 가지는 문서에 대한 검색 방법도 제안한다. 생성된 유사 클래스는 사용자의 질의를 확장하여 사용자의 관심도를 보다 많이 반영하게 되고, 그 질의어가 포함된 단어나 구의 발생 빈도수가 높은 문서에 대해 의미적으로 서로 연결시켜 분류한다. 본 연구에서 제안한 알고리즘에 의해 문서를 사용자 관심 정도로 분류, 카테고리를 생성하여 검색 효율을 증대시키고 사용자의 요구에 적합한 결과를 제공하고자 한다.

• 컴퓨터교육학회논문지
• /
• 제5권3호
• /
• pp.37-44
• /
• 2002

문서 자동 분류란 입력 문서에 이미 정해져 있는 특정 범주를 할당하는 작업을 의미하며 이는 문서의 효율적, 체계적 관리를 위하여 그 필요성이 증가하고 있는 실정이다. 현재 국내외에서 기계 학습 방법을 이용한 문서 자동 분류에 대한 연구가 활발히 진행되고 있으나 대부분의 연구는 문서 분류기의 성능 향상을 위한 새로운 학습 모델 제안과 학습 모델간의 상호 비교 연구에 치중되어 있으며 특정 학습 모델을 이용한 분류 시스템의 최적화나 개선 방안에 대한 연구는 다소 미흡한 실정이다. 이에 본 논문은 kNN 학습 방법을 이용한 문서 분류 시스템의 성능 향상에 중요한 역할을 하는 파라미터를 정의하고 실험을 통해서 얻은 경험적 정보를 이용한 한국어 문서 분류기 성능 개성 방안을 제안한다. 실험 결과, 이웃 문서들간의 유사도 가중치를 사용하는 분류 함수, 분류 정보를 이용한 자질 선택 방법, 그리고 전역적 분류 방법이 높은 성능을 보였고, 분류 영역에 따라 신중히 결정된 k값을 사용한 지역적 방법도 많은 계산량을 필요로 하는 전역적 방법과 유사한 성능을 보일 수 있음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 추계학술발표논문집(상)
• /
• pp.501-504
• /
• 2004

인터넷이 발달하면서 인터넷 상에서 공유 문서를 효율적으로 분류하기 위한 자동 분류의 필요성이 높아지고 있다. 또한 인터넷은 단순한 문서 제공의 한계를 넘어 어플리케이션간의 통합연동을 위한 기술이 대두되고 있다. 이러한 관점에서 본 논문은 새롭게 제시되고 있는 웹서비스를 이용하여 SVM 기반의 분류기를 분산 구성하여 설계하였고, 문서로부터 추출된 특성단어 벡터정보를 이용하여 SVM 학습 후 각각의 분류기를 통하여 분산 문서 분류를 수행한다. 특성단어 벡터는 $TF^{\ast}IDF$에 기반한 특성 표현법을 사용하였으며, 분류 범주 별로 SVM 기반의 분류기 모델 데이터를 생성하기 위해 특성 단어 사전을 구축하여 분류 기준으로 구성하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권9호
• /
• pp.912-919
• /
• 2005

문서 범주화에서 이진 분류를 다중 분류에 적용할 때 일반적으로 '한 범주에 적합-다른 모든 범주에서는 부적합(One-Against-All) 판정 방법'을 사용한다. 하지만, 이러한 '한 범주에 적합-다른 모든 범주에서는 부적합 판정 방법'은 한 가지 문제점을 가지는데, 적합(positive) 집합의 문서들은 사람이 직접범주를 할당한 것이지만 부적합(negative) 집합의 문서들은 사람이 직접 범주를 할당한 것이 아니기 때문에 오류 문서들이 많이 포함될 수 있다는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해서 슬라이딩 원도우(sliding window) 기법과 EM 알고리즘을 이진 분류 기반의 문서 범주화에 적용할 것을 제안한다. 제안된 기법은 먼저 슬라이딩 윈도우 기법을 사용하여 오류 문서들을 추출하고 이들을 EM알고리즘을 사용해서 다시 범주를 할당함으로써 이진 분류 기반의 문서 범주화 기법의 성능을 향상시킨다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.589-591
• /
• 2019

본 논문에서는 고도장비의 운용 및 정비를 위한 교육훈련 시스템 개발을 위해 자연어 처리와 딥러닝 기술을 이용하여 항공정비와 관련된 전문분야의 문서 분류가 가능한 방법을 제안하고자 한다. 문서 분류 모델의 개발을 위해 항공정비 교범을 텍스트 파일로 변환하여 총 4917개의 문서를 생성하였으며, 정비사 개인별 정비능력 관리(IMQC)를 기준으로 12개의 범주로 구분하였다. 수집된 문서는 전문분야의 문서인 점을 고려하여 전문용어 사전을 추가하였으며, KoNLPy를 이용하여 전처리를 수행하였다. 전문분야의 문서는 범주에 상관없이 문서 내용의 유사도가 매우 높은 특징을 가지고 있어, 특정 범주내에서 중요한 정도를 잘 표현 할 수 있는 TF-ICF를 이용하여 특징 추출을 하였다. 이후 합성곱 신경망(CNN)을 이용하여 특징 맵을 생성한 후 완전 결합 계층을 통하여 분류하였으며, 테스트 문서 983건을 분류한 결과 평균 73.6%의 분류성능을 보여주었다.