• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.133-135
• /
• 2001

본 논문에서는 일반적으로 Word Based Matching 방법에서 많이 쓰이는 TFIDF 방법대신에 TTF(Total Term Frequency)와 ITTF(Inverse Total Term Frequecy) 에 가중치를 주어 문서분류의 정확도를 높이는 방법을 제안하고자 한다. TFIDF방법에서 IDF는 역문헌빈도를 나타내는데 Term에 대한 빈도비율의 공정성이 떨어져 문서 분류의 정확도에 한계가 있다. 본 논문에서 제시하는 문서 분류방법은 TTF와 ITTF에 각각의 가중치를 준 후에 차연산 이용하여 문서를 분류하는 것이다. 이러한 방법의 특징은 IDF를 사용할 때 보다 각 카테고리에 있는 term, 즉 단어의 중요도에 대한 가중치를 좀 더 공평하게 줌으로써 문서의 분류를 높일 수 있다. 본 논문에서는 조선일보의 카테고리를 사용하였으며 조선일보의 기사를 대상으로 문서 자동 분류 실험을 수행하였다. 실험 결과 TFIDF보다 본 논문에서 제안한 방법이 문서 분류에 높은 정확도를 나타냄을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.232-234
• /
• 2000

최근들어 정보의 양이 날로 방대해 짐에 따라 이를 자동으로 분류해 줄 수 있는 무서 자동분류의 중요성이 널리 인식되고 있다. 문서 자동분류는 새로운 문서를 미리 정의된 부류로 대응시키는 일련의 작업을 말하며, 각종 패턴인식 기법들을 이용하여 시도되고 있다. 본 논문에서는 수많은 사용자들의 질의들을 분류하여 자동으로 응답하는 시스템에 적용할 수 있는 자동 질의 분류시스템을 제안한다. 실험은 500만명 이상이 사용하고 있는 한메일넷의 실제 사용자 질의를 수집하여 수행하였으며, 자동분류 방법으로는 다중 신경망을 이용하였다. 또한 효율적인 특징추출 기법과 결과 결합방법을 적용하여 분류의 정확율을 높이고자 하였다. 2204개의 실제 질의메일에 대한 실험결과, 91.1%까지의 정확율을 얻어 제안한 시스템이 실제 한메일넷의 자동응답 시스템에 효과적으로 적용될 수 있음을 알 수 있었다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.11 no.2
• /
• pp.141-147
• /
• 2001

소프트웨어의 측정값에 근거하여 소프트웨어 품질에 관한 의사결정을 할 때, 동치관계의 요구조건인 추이적(transitive) 특성이 항상 만족되는 것은 아니다. 순환수(cyclomatic number)가 거의 비슷한 프로그램에서, 하나의 \"구조적인\" 프로그램 범주에 속하고 또 다른 하나는 \"비구조적인\" 프로그램 범주에 속한다고 명확히 분류할 수 있는가하는 점이다. 따라서, 본 연구에서는 동치관계보다는 허용적 관계를 만족하는 허용적 러프집합에 근거한 소프트웨어 분류기준을 제시하고자 한다. 분류기준을 생성하기 위한 실험 데이터 집합을 수집하고, 집합 내의 각 원소에 관한 허용적 클래스들을 생성한 후, 각 허용적 클래스들의 중심값을 클러스터링하여 분류기준을 생성한다. 생성된 분류기준을 또 다른 실험 집합에 적용하여 비교 분석한 결과 생성된 분류기준이 타당함을 보여준다.생성된 분류기준이 타당함을 보여준다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.146-148
• /
• 1999

문서분류의 문제점 중의 하나는 사용하는 데이터의 차원이 매우 크다는 것이다. 그러므로 문서에서 필요한 단어만을 자동적으로 추출하여 문서데이터의 차원을 축소하는 작업이 문서분류에서는 필수적이다. DF(Document Frequency)는 문서의 차원축소의 대표적인 통계적 방법 중 하나인데, 본 논문에서는 문서의 차원축소에 DF와 주성분 분석(PCA)을 비교하여 주성분 분석이 문서의 차원축소에 적합함을 실험적으로 보인다. 그리고 비선형 주성분 분석(nonlinear PCA) 방법 중 locally linear PCA와 kenel PCA를 적용하여 비선형 주성분 분석을 이용하여 문서의 차원을 줄이는 것이 선형 주성분 분석을 이용하는 것 보다 문서분류에 더 적합함을 실험적으로 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.475-477
• /
• 2002

자동 문서 분류는 범주 특성 벡터와 입력 문서 벡터의 유사도 비교에 의해 가장 유사한 범주를 선택하는 방법이다. 문서 분류 시스템을 구현하기 위하여 각 범주의 특성 벡터를 정보 검색 시스템의 역파일 형태로 구축하였으며, 용어 가중치를 계산하는 방법을 달리하여 문서 분류 시스템의 정확도를 실험하였다. 실험 문서는 일간지의 신문기사들을 무작위로 추출한 문서 집합을 대상으로 하였으며, 정보 검색 모델에서 보편적으로 사용되는 TF-lDF 방식이 변형된 방식에 비해 더 나은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.18-22
• /
• 2019

FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2005.08a
• /
• pp.71-78
• /
• 2005

빠르면서도 정확한 문서 자동분류를 위해서 자질값투표 기법과 문서측 자질선정 방식의 결합을 제안하였다. 자질값은 미리 학습된 분류자질과 분류범주간의 연관성을 뜻하는 것으로서, 자질값투표 기법은 분류대상 문서에 나타난 자질들의 자질값을 후보범주마다 합산하여 가장 높은 범주로 분류하는 것이다. 문서측 자질선정은 일반적인 분류자질선정과 달리 학습집단이 아닌 분류대상 문서의 자질 중 일부만을 선택하여 분류에 이용하는 방식이다. 이들을 결합하여 사용한 결과 실험환경에서는 나이브베이즈 분류기만큼 간단하고 빠르면서 SVM 분류기보다 좋은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 1995.10a
• /
• pp.50-55
• /
• 1995

많은 언어관계들이 의미적으로 유사한 단어들의 집합에 적응된다. 그러므로 단어들을 의미가 비슷한 것들의 집합으로 분류하는 것은 아주 유용한 일이다. 본 논문에서는 말뭉치로부터의 동사와 명사의 분포정보를 이용하여 명사들을 분류하고자 한다. 한국어에서는 명사마다 문장에서 그 명사를 특정한 격으로 사용할 수 있는 동사들이 제한되어 있다. 그러므로 본 논문에서는 말뭉치에서 나타나는 명사와 그 명사를 특정한 격으로 사용하는 동사들의 분포정보로부터 명사들을 분류하는 방법을 제시한다. 형태소 해석된 50만 단어 말뭉치에서 가장 빈도수가 높은 명사 85단어를 대상으로 실험하였다. 명사와 동사의 구문정보를 사용하므로 의미적으로는 다르지만 쓰임이 비슷한 단어들도 같은 부류로 분류되었다. 의미적으로 애매성을 가지는 명사들의 경우도 실험결과를 나쁘게하는 요인이 되었다. 그리고, 좀더 좋은 결과를 얻기 위해서는 동사들도 의미가 유사한 것들로 분류한 후, 명사와 동사의 분포정보가 아닌 명사와 동사들의 집합의 분포정보를 이용하는 것도 종은 방법이 될 것이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.295-297
• /
• 2001

최근 생물 유전자 정보를 효과적으로 분석하기 위한 적절한 도구의 필요성이 대두되고 있다. 본 논문에서는 백혈병 환자의 골수로부터 얻어낸 DNA Microarray 유전 정보를 분류하여 환자가 가지고 있는 암의 종류를 예측하기 위한 최적의 특징추출방법과 분류 방법을 찾고자 한다. 이를 위해 피어슨 상관관계, 유클리디안 거리, 코사인 계수, 스피어맨 상관관계, 정보 이득, 상호 정보, 신호 대잡음비의 7가지 특징 추출 방법을 사용하였으며, 역전과 신경망, 의사결정 트리, 구조 적응형 자기구성 지도, $textsc{k}$-최근접 이웃 등 가지의 기계학습 분류기를 이용하여 분류 실험을 하였다. 실험결과, 피어슨 상관관계와 역전파 신경망을 이용한 분류 방법이 97.1%의 인식률을 보임을 알 수 있었다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2000.05a
• /
• pp.307-310
• /
• 2000

소프트웨어의 측정값에 근거하여 소프트웨어 품질에 관한 의사결정을 할 때, 동치관계의 요구조건인 추이적(transitive) 특성이 항상 만족되는 것은 아니다. 순환수(cyclomatic number)가 거의 비슷한 프로그램에서, 하나는 "구조적인" 프로그램 범주에 속하고 또 다른 하나는 비구조적인 프로그램 범주에 속한다고 명확히 분류 할 수 있는가하는 점이다. 따라서, 본 연구에서는 동치관계보다는 허용적 관계를 만족하는 허용적 러프집합에 근거한 소프트웨어 분류 기준 제시하고자 한다. 분류기준을 생성하기 위한 실험 데이터 집합을 수집하고, 집합 내의 각 원소에 관한 허용적 클래스들을 생성한 후, 각 허용적 클래스들의 중심값을 클러스터링하여 분류기준을 생성한다. 생성된 분류기준을 또 다른 실험 집합에 적용하여 비교 분석하여 생성된 분류기준이 타당함을 보여준다.