• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.481-483
• /
• 2002

본 논문에서는 데이터 결합 영역에서 문서값을 정규화 하는 기법과 결합함수에 따라 용어가중치 결합이 검색성능에 어떤 영향을 미치는가를 분석하였으며, 특히 용어가중치 결합이 실질적으로 효율적인가를 성능 향상률 측면과 검색시스템의 효율성 측면에서 검증하고, 성능이 향상된 용어가중치 결합의 특징을 분석하였다. 실헙결과 대부분의 장어가중치 결합은 문서값 정규화 기법과 실험집단에 관계없이 높은 성능 향상률을 보이지 않았다. 특히 단일가중치고 높은 검색성능을 보였던 상위 가중치 알고리즘들은 다른 가중치 알고리즘과 결합할 경우 두드러진 성능 향상률을 보이지 않았다. 검색시스템의 효율성 측면에서 용어가중치 결합을 평가한 결과 문헌 내 단어빈도를 최대단어 빈도로 정규화한 가중치 알고리즘이 코사인 정규화 기법을 적용한 가중치 알고리즘들과 결합될 때 5개 실험집안에서 최적 단일가중치 보다 2% 이상 높은 성능을 보였다. 이는 서로 다른 특성을 지니는 용어가중치 알고리즘들이 장단점을 보완하여 검색성능을 향상시킨 수 있다는 것을 의미한다. 그러나 용어가중치 결합의 효율성은 컬렉션과 가중치 알고리즘의 특성에 의존적이었으며, 비록 각 용어가중치 결합의 성능이 높게 나타날지라도 최적의 성능을 보인 달일가중치와 비교하면 그 성능 차이가 미미하거나 낮아서 대부분의 용어가중치 결합이 실질적으로 효과적이지 못하였다.

• Annual Conference on Human and Language Technology
• /
• 2002.10e
• /
• pp.223-227
• /
• 2002

자연언어 질의 문장으로부터 검색어로 사용될 질의어의 추출 및 질의어 가중치를 계산하기 위하여 질의 문장들의 유형을 분석하였으며, 질의어 구문의 특성에 따라 용어들의 가중치를 계산하는 방법을 제안하였다. 용어의 가중치를 부여할 때 띄어쓴 복합명사와 접속 관계 등에 의해 연결된 명사구는 질의어 가중치를 동등하게 적용할 필요가 있다. 질의 문장에서 가중치가 동등하게 적용되는 명사구를 인식하기 위한 목적으로 구현된 명사구 chunking을 수행한 후에 각 용어들에 대한 질의어 가중치를 계산한다. 질의어 가중치를 계산하기 위하여 용어의 유형, 질의 구문의 특성, 문서 유형을 지칭하는 용어, 조사 유형, 용어의 길이 등에 따라 가중치를 조절하는 방법을 사용한다. 용어유형에 의한 가중치 계산은 추출된 용어의 품사 정보와 전문 용어 사전, 부사성 명사 사전을 이용하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.510-512
• /
• 2003

본 논문에서는 문서의 자동 분류를 위한 용어 빈도 가중치 계산 방법으로 Box-Cox변환기법을 응용한 정규화 용어빈도 가중치를 정의하고, 이를 문서 분류에 적응하였다. 여기서 Box-Cox 변환기법이란 자료를 정규분포화 할 때 적용하는 통계적인 변환방법으로서, 본 논문에서는 이를 응용하여 새로운 용어빈도가중치 계산법을 제안한다. 문서에서 등장한 용어 빈도는 너무 많거나 적게 등장할 경우, 중요도가 떨어지게 되는데, 이는 용어의 중요도가 빈도에 따른 정규분포로 모델링 될 수 있다는 것을 의미한다. 또한 정규화 가중치 계산방법은 기존의 용어빈도 가중치 공식과 비교할 때, 용어마다 계산방법이 달라져, 로그나 루트와 같은 고정된 가중치 방법보다는 좀더 일반적인 방법이라 할 수 있다. 신문기사 8000건을 대상으로 4개의 그룹으로 나누어 실험 한 결과, 정규화 용어빈도가중치 계산방법이 모두 우위의 분류 정확도롤 가져, 본 논문에서 제안한 방법이 타당함을 알 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.236-236
• /
• 2021

최근 텍스트와 같은 비정형 데이터의 생성 속도가 급격하게 증가함에 따라, 이를 분석하기 위한 기술들의 필요성이 커지고 있다. 텍스트 마이닝은 자연어 처리기술을 사용하여 비정형 텍스트를 정형화하고, 문서에서 가치있는 정보를 획득할 수 있는 기법 중 하나이다. 텍스트 마이닝 기법은 일반적으로 각각의 분서별로 특정 용어의 사용 빈도를 나타내는 문서-용어 빈도행렬을 사용하여 용어의 중요도를 나타내고, 다양한 연구 분야에서 이를 활용하고 있다. 하지만, 문서-용어 빈도 행렬에서 나타내는 용어들의 빈도들은 문서들의 차별성과 그에 따른 용어들의 중요도를 나타내기 어렵기때문에, 용어 가중치를 적용하여 문서가 가지고 있는 특징을 분류하는 방법이 필수적이다. 다양한 용어 가중치를 적용하는 방법들이 개발되어 적용되고 있지만, 환경 분야에서는 용어 가중치 기법 적용에 따른 효율성 평가 연구가 미비한 상황이다. 또한, 환경 이슈 분석의 경우 단순히 문서들에 특징을 파악하고 주어진 문서들을 분류하기보다, 시간적 분포도에 따른 각 문서의 특징을 반영하는 것도 상대적으로 중요하다. 따라서, 본 연구에서는 텍스트 마이닝을 이용하여 2015-2020년의 서울지역 환경뉴스 데이터를 사용하여 환경 이슈 분석에 적합한 용어 가중치 기법들을 비교분석하였다. 용어 가중치 기법으로는 TF-IDF (Term frequency-inverse document frquency), BM25, TF-IGM (TF-inverse gravity moment), TF-IDF-ICSDF (TF-IDF-inverse classs space density frequency)를 적용하였다. 본 연구를 통해 환경문서 및 개체 분류에 대한 최적화된 용어 가중치 기법을 제시하고, 서울지역의 환경 이슈와 관련된 핵심어 추출정보를 제공하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.336-338
• /
• 2000

본 논문에서는 사용자의 적합 피드백을 기반으로 적합 문서들에서 발생하는 용어들과 초기 질의어간의 발생 빈도 유사도 및 퍼지 추론을 이용하여 용어의 가중치를 산정하는 방법에 대하여 제안한다. 피드백 문서들에서 발생하는 용어들 중에서 불용어를 제외한 모든 용어들을 질의로 확장될 수 있는 후보 용어들로 선택하고, 발생 빈도 유사성을 이용한 초기 질의어-후보 용어의 관련 정도, 용어의 IDF, DF 정보를 퍼지 추론에 적용하여 후보 용어의 초기 질의에 대한 최종적인 관련 정도를 산정 하였으며, 피드백 문서들에서의 가중치와 관련 정보를 결합하여 후보 용어들의 가중치를 산정 하였다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2002.08a
• /
• pp.241-246
• /
• 2002

전역적 질의확장 검색에서 단어간 공기기반 유사도를 사용할 경우에는 질의에 추가되는 용어에 부여하는 탐색가중치로 질의와의 유사도를 사용하는 것이 일반적이다. 그러나 과연 유사도가 탐색가중치로 최적인가는 의문의 여지가 있다. 추가용어와 질의 사이의 유사도가 가지는 특성을 살펴보고 고정가중치를 부여한 경우와 비교해보았다. 또한 실험집단이나 확장범위의 영향을 덜 받는 최적화된 추가용어 가중치를 찾기 위해 여러 가지 탐색가중치 공식을 실험하였다.

• Journal of KIISE:Software and Applications
• /
• v.27 no.9
• /
• pp.961-972
• /
• 2000

본 논문에서는 사용자의 적합 피드백을 기반으로 적합 문서들에서 발생하는 용어들과 초기 질의어간의 발생 빈도 유사도 및 퍼지 추론을 이용하여 용어의 가중치를 산정하는 방법에 대하여 제안한다. 피드백 문서들에서 발생하는 용어들 중에서 불용어를 제외한 모든 용어들을 질의어로 확장될 수 있는 후보 용어들로 선택하고, 발생 빈도 유사성을 이용한 초기 질의어-후보 용어의 관련 정도, 용어의 IDF, DF 정보를 퍼지 추론에 적용하여 후보 용어의 초기 질의어에 대한 최종적인 관련 정도를 산정 하였으며, 피드백 문서들에서의 가중치와 관련 정도를 결합하여 후보 용어들의 가중치를 산정 하였다. 본 논문에서는 성능을 평가하기 위하여 KT-set 1.0과 KT-set 2.0을 사용하였으며, 성능의 상대적인 평가를 위하여 Dec-Hi 방법, 용어 분포 유사도를 이용한 방법, 퍼지 추론을 이용한 방법들을 정확률-재현률을 사용하여 평가하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.196-198
• /
• 2001

문서의 내용을 대표하는 용어를 추출하기 위해 일반적으로 영어에서는 명사구를 색인하는 기법을 사용하지만 주제어 추출의 관점에서 영어의 명사구가 한국어의 복합명사에 해당하기 때문에 한국어에서는 복합명사 색인 기법을 중요시하고 있다. 본 논문에서는 한글 문서에서 추출된 용어의 가중치를 결정하기 위하여 경험적인 방법에 따라 가중치를 계산하는 방법을 제안한다. 구체적인 가중치 계산 방법으로 용어 자체의 특성에 의한 가중치를 부여한 후에, 복합명사의 경계를 인식하여 띄어쓴 복합명사의 가중치를 조절하고, 다시 용어의 조사 유형에 따라 가중치를 재계산하는 방법을 제안한다. 신문기사에 대한 실험결과에 의하면 제안한 방법이 단순 출현빈도에 의한 주제어 추출 기법보다 정확도가 더 높았다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2000.08a
• /
• pp.41-44
• /
• 2000

정보검색 시스템의 성능을 향상시키기 위해서 다양한 용어가중치 공식이 제안 되어왔다. 용어가중치는 질의와 문헌을 비교하는 검색의 경우뿐만 아니라 문헌과 문헌을 비교하는 자동분류에서도 성능에 영향을 미칠 수가 있다. 본 논문에서는 다양한 용어가중치 공식에 대해서 살펴보고, 문헌 자동분류 성능에 미치는 영향을 문헌 클러스터링 실험과 범주화 실험을 통해 확인해 보았다.

• Journal of KIISE:Databases
• /
• v.27 no.1
• /
• pp.90-100
• /
• 2000

We propose, in this paper, a new query expansion technique with term reweighting. All terms in the documents feedbacked from a user, excluding stopwords, are selected as candidate terms for query expansion and reweighted using the relevance degree which is calculated from the term-distribution similarity between a candidate term and each term in initial query. The term-distribution similarity of two terms is a measure on how similar their occurrence distributions in relevant documents are. The terms to be actually expanded are selected using the relevance degree and combined with initial query to construct an expanded query. We use KT-set 1.0 and KT-set 2.0 to evaluate performance and compare our method with two methods, one with no relevance feedback and the other with Dec-Hi method which is similar to our method. based on recall and precision.