• Journal of Computing Science and Engineering
• /
• 제5권2호
• /
• pp.150-160
• /
• 2011

Automatic text classification has a long history and many studies have been conducted in this field. In particular, many machine learning algorithms and information retrieval techniques have been applied to text classification tasks. Even though much technical progress has been made in text classification, there is still room for improvement in text classification. In this paper, we will discuss remaining issues in improving text classification. In this paper, three improvement issues are presented including automatic training data generation, noisy data treatment and term weighting and indexing, and four actual studies and their empirical results for those issues are introduced. First, the semi-supervised learning technique is applied to text classification to efficiently create training data. For effective noisy data treatment, a noisy data reduction method and a robust text classifier from noisy data are developed as a solution. Finally, the term weighting and indexing technique is revised by reflecting the importance of sentences into term weight calculation using summarization techniques.

• 정보관리학회지
• /
• 제5권2호
• /
• pp.99-126
• /
• 1988

본 연구는 서로 다른 주제를 갖는 장서내의 통계적 용어 특성에 따라 적합한 자동 색인 기법을 제시하는데 그 목적이 있으며 약학분야와 도서과.정보학분야를 대상으로 하여 두개의 자동 색인 기법을 비교. 평가하였다. 사용된 자동 색인 기법은 역문헌 빈도 가중 기 법과 문헌 분리가 가중 기법이며 총 장서 빈도와 문헌 빈도로 정의되는 용어 특성과 자동 색인 기법으로 할당된 가중치들 간의 관계를 분석하였다.

• 정보관리학회지
• /
• 제4권1호
• /
• pp.47-86
• /
• 1987

본 연구는 한글자동색인에 관한 연구로 한국전자통신연구소의 DOCUMENT Data Base로부터 299개 문헌의 제목과 초록을 무작위로 추출하여 단어분리를 시도하고, 분리된 단어군, 인식어를 제외한 단어군, 인식어와 불용어를 제외한 단어군, 그리고 인식어와 불용어를 제외하고 복합어를 구성하여 포함한 단어군 등 4개의 시험군을 설정한 후, 파오의 전환점 산출기과 스파크죤스의 역문헌 가중기법, 살톤의 문헌분리 가중기법을 적용하여 색인어를 선정하고 이를 비교 평가하여 한글문헌의 자동색인 방안을 모색하였다.

• 정보관리학회지
• /
• 제21권1호
• /
• pp.93-117
• /
• 2004

본 연구는 OPAC에서 계층 클러스터링을 응용하여 소장자료를 계층구조로 분류하여 열람하는데 사용될 수 있는 최적의 계층 클러스터링 모형을 찾기 위한 목적으로 수행되었다. 문헌정보학 분야 단행본과 학위논문으로 실험집단을 구축하여 다양한 색인기법(서명단어 자동색인과 통제어 통합색인)과 용어가중치 기법(절대빈도와 이진빈도), 유사도 계수(다이스, 자카드, 피어슨, 코싸인, 제곱 유클리드), 클러스터링 기법(집단간 평균연결, 집단내 평균연결, 완전연결)을 변수로 실험하였다. 연구결과 집단간 평균연결법과 제곱 유클리드 유사도를 제외하고 나머지 유사도 계수와 클러스터링 기법은 비교적 우수한 클러스터를 생성하였으나, 통제어 통합색인을 이진빈도로 가중치를 부여하여 완전연결법과 집단간 평균연결법으로 클러스터링 하였을 때 가장 좋은 클러스터가 생성되었다. 그러나 자카드 유사도 계수를 사용한 집단간 평균연결법이 십진구조와 더 유사하였다.

• 정보처리학회논문지D
• /
• 제8D권5호
• /
• pp.483-494
• /
• 2001

일반적인 하이퍼텍스트 검색 모델은 문서와 문서사이의 관계나 링크의 의미를 무시하고, 모든 문서를 독립적인 존재로 간주하여 검색한다. 그러나 하이퍼텍스트 검색 시스템에 있어 링크 정보를 이용하며 검색의 성능을 향상시킬 수 있다. 기존의 링크 기반 하이퍼텍스트 검색 모델은 문서의 색인 과정에서 링크 정보를 무시하고, 검색 결과 집합에 대하여 문서의 우선 순위를 제조정하는데 링크 정보를 활용한다. 이는 링크정보의 활용이 검색 결과 집합의 문서들에만 한정된다는 단점이 있다. 본 논문에서는 링크 정보를 문서의 색인 과정에서 활용한다. 색인 과정에서 링크 정보를 이용하여 문서 내 용어의 가중치와 문서 내 inLinks의 가중치를 정의하고, 이들의 이용하여 문서의 우선 순위를 위한 확장된 RSV 계산식을 제시한다. 실험 결과에서 링크 의미에 따른 검색 조회율과 정확도를 제시하고 기존 링크 기반 검색 모델과의 비교, 분석 결과를 제시한다.

• 정보처리학회논문지D
• /
• 제12D권3호
• /
• pp.439-446
• /
• 2005

보다 효과적인 색인어 추출 및 색인어 가중치 결정을 위하여 문서의 내용뿐만 아니라 구조를 이용하여 색인을 추출하는 연구가 이루어지고 있다. 이러한 연구들 대부분이 XML 태그의 중요도가 아닌, 문맥상의 단락에 대한 중요도를 계산하거나 HTML 문서 태그의 중요도를 결정하는 연구들이다. 이러한 기존 연구들은 대부분이 객관적인 실험을 통해서 중요도를 입증하기보다는 상식적인 관점에서 단순한 수치로 중요도를 결정하고 있다. 본 논문에서는 웹 문서 관리를 위한 표준으로 자리잡아가고 있는 XML 문서의 태그 정보를 이용한 자동색인을 위하여, 논문을 구성하는 주요 태그의 가중치를 계산하는 방법을 제안한다. 보다 객관적인 가중치 결정을 위하여 사용자의 질의에 바탕을 둔 사용자의 검색 행위를 반영한다. 그리고 기존 방법을 적용하여 계산된 색인어 가중치를 이용한 검색성능과 비교함으로써 본 논문에서 제안한 방법을 적용하여 계산된 색인어 가중치의 효과를 검증한다.