• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.05a
• /
• pp.718-721
• /
• 2017

Natural language processing, which is the basis of text mining, differs depending on the type of language. Especially, Hangeul, which has relatively high freedom of expression compared to other languages, has various forms of words depending on the use of ending. The part that does not change in these various forms of words is called the stem. For effective text mining, it is essential to extract words and unify various types of words. Therefore, this paper proposes an extraction algorithm for Hangul word for effective text mining of Hangul document.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.405-411
• /
• 1993

한국어 동사의 굴절은 (1) 접사의 누적 (2) 어간과 접사의 변이형 (allomorphy) (3) 원격한 접사의 꼴이 어간에 민감한 점 등의 이유로 단순한 접사 추출(affix-stripping)에 의한 형태소 분석이 감당하기 어려운 부분을 갖고 있다. 따라서 형태소에 바탕을 둔 형태이론보다 더 세련된, 낱말에 바탕을 둔 형태이론이 요구되는데, 이 논문에서는 "낱말 패러다임 형태이론 (Word and Paradigm Morphology)"에서 실현규칙(rules of realization)이 언급하는 요소 중의 하나인 굴곡 부류(inflectional classes)가 어떻게 설정되어야 할 것인가를 다룬다. 특정한 형태 통사적 속성들(morpho-syntactic properties)이 실현될 때 (1) 주요 어간(primary stem)이 요구되느냐 아니면 부차 어간 (secondary stem)이 요구되느냐, 그리고 (2) 접사의 어떤 꼴이 요구되느냐에 바탕을 두고 한국어의 동사를 열 다섯개의 굴절 부류로 분류한다.

• Journal of Information Management
• /
• v.39 no.3
• /
• pp.163-177
• /
• 2008

In this paper, we analyzed the relationship between user query keywords that is used to search NDSL and technical terms extracted from NDSL journals. For the analysis, we extracted about 833,000 query keywords from NDSL search logs during nearly 17 months and approximately 41,000,000 technical terms from NDSL, INSPEC, FSTA journals. And we used only the English noun phrase in extracted those and then we did an experiment on analysis of equality, relationship analysis and frequency analysis.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.05a
• /
• pp.131-136
• /
• 2000

기존의 통계에 기반한 용어 자동 추출 기법(Automatic Term Recognition)은 비교적 좋은 성능의 결과를 보여왔다. 하지만 전문용어 사전 등의 정보를 이용하여 성능의 향상을 이룰 수 있는 여지는 여전히 남아있다. 본 논문에서는 이러한 근거에 기반하여 전문용어간의 계층 정보를 전문용어 사전을 통하여 구축하고 이를 이용하여 전문용어를 추출하는 방법을 제안하고자 한다. 본 논문이 제안하는 기법은 기존의 방법에 비해 좋은 성능을 나타내었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.457-459
• /
• 2002

뜻풀이에서 추출한 의미 정보를 이용만 통계시인 방법의 기존 동형이의어 분별 시스템에는 불필요한 의미 정보들을 많이 가지고 있었다. 그리고 동형이의어간의 의미정보가 서로 교차하는 부분이 많아 확률적인 결정에 오류를 발생시켰다. 본 논문에서는 뜻풀이에서 구문패턴을 분석하여 보다 정제된 의미 정보를 추출하였고, 구문패턴에 속하는 어휘들의 하위어를 사전에서 자동 추출하여 부족한 의미 정보를 보완하였다. 또한, 구문패턴으로 분별할 수 없는 일부 동형이의어들은 순환 뜻풀이 망(RDN)을 이용하여 동형이의어를 분별하였다. 이러한 방법으로 동형이의어 분별을 통해 기존 연구보다 8%의 정확률 향상을 가져왔다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.79-81
• /
• 2003

Kyonggi21Search시스템은 GIS와 웹을 통합한 지역정보 검색 시스템이다. 웹과 GIS를 연동하여 지리정보를 검색하기 위해 웹 문서에서 지역관련 색인어를 추출하고, 색인어간의 관련성을 계산한다. "Kyonggi21Search"시스템에서는 웹 문서에 많이 나타나는 일반적인 단어보다는, 많은 문서에 나타나지 않는 지리적 문화적인 단어들 간의 관련성을 찾는 것이 더 중요한데, 본 연구에서는 단어들 간의 관련성을 찾는데 연관규칙과 연관클러스터를 이용하여 연관도를 계산한다. 그리고 이런 단어들의 관련성을 찾는데는 연관 클러스터를 이용하는 것이 더 적합하다는 것을 보여준다. 한편 웹 문서와 색인어를 이용하여 만든 행렬은 희소행렬이라는 점을 이용하여 연관 클러스터 방법의 단점인 높은 계산량을 줄이는 최적화 방법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.513-515
• /
• 2003

본 논문에서는 코퍼스를 이용한 확률 의존문법 자동 생성 기술을 다룬다. 의존문법 생성을 위해 구성성분의 기능어들 간의 의존관계를 학습했던 기존 연구와는 달리. 한국어 구성성분은 내용어와 기능어의 결함 형태로 구성되고 임의 구성성룬 기능어와 임의 구성성분 내용어간의 의존관계가 의미가 있다는 사실을 반영한 의존문법 학습방법을 제안한다. KAIST의 트리 부착 코퍼스 31,086문장에서 추출한 30,600문장의 Tagged Corpus을 가지고 학습한 결과 초기문법을 64%까지 줄인 1.101 개의 의존문법을 획득했고. 실험문장 486문장을 Parsing한 결과 73.81%의 Parsing 정확도를 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.928-930
• /
• 2004

지금까지 기계번역과 교차언어 정보검색 등과 같은 자연언어응용에서 사용되는 번역지식을 자동으로 구축하는 연구가 활발히 진행되어 왔다. 번역지식을 자동으로 구축하는 연구는 대역사전에 등재되어 있지 않은 미등록어에 대한 대역정보를 문서에서 자동으로 획득하는 것을 목표로 한다. 최근에는 이러한 미등록어 중 음차표기 번역지식에 대한 연구가 활발히 진행되고 있다. 음차표기는 주로 영어 단어를 발음에 기반하여 비영어권의 언어로 표기하는 것을 의미한다. 음차표기된 단어들은 새로운 개념을 나타내는 신조어가 많기 때문에 사전에 등재되어 있지 않온 경우가 많다. 따라서 효과적인 번역지식 구축을 위해서는 이러한 음차표기 번역지식을 자동으로 획득하는 것은 매우 중요하다. 본 논문에서는 영-한 음차표기 대역쌍을 문서에서 자동으로 추출하는 알고리즘을 제안한다. 본 논문의 기법은 한국어 음차표기의 인식, 영-한 자동음차표기, 한국어 음차표기와 자동음차표기된 영어단어간의 음성적 유사도 비교를 통하여 음차표기 대역쌍을 추출한다. 본 논문의 기법은 약 93%의 정확률과 68%의 재현율을 나타내었다.

• Proceedings of the Korean Society for Language and Information Conference
• /
• 2008.06a
• /
• pp.166-171
• /
• 2008

본 연구는 기존에 잘 알려지고 널리 사용되고 있는 어휘 의미망이나 시소러스를 활용하기 어려운 과학 기술 분야, 특히 IT 분야에서 대용량 용어간 관계를 빠른 시간 내에 구축하여 검색 브라우징, 내비게이션 용도로 활용하는 것을 목표로 한다. 시소러스 구축 절차를 따르는 경우에 분야 전문가에 의한 정교한 작업과 고비용을 필요로 하여 충분한 구축 크기를 확보하는 것에 현실적인 어려움이 있다. 시소러스 자동 구축 방법론을 사용하는 경우에도 해당 용어들이 출현하는 방대한 말뭉치를 확보해야 하며 관계 구축 결과에 대한 직관적 이해가 쉽지 않다는 단점이 있다. 본 연구는 해외 학술 논문 말뭉치와 메타데이터에서 획득한 37만 여 주제어들을 이용하여 상 하위 관계, 관련어, 형제 관계를 추출하기 위해 조어적 기준에 근거한 규칙들을 이용한다. 이들 규칙을 이용하여 추출한 관계 수는 상 하위 관계 60여 만 개, 관련어 640여 만 개, 형제 관계 2,000여 만 개 등이다. 또한, 추출 결과 중 일부를 수작업으로 분석하여 단순한 추출 규칙에서 발생하는 오류 유형을 찾아내고 향후 과제에서 해결할 수 있는 방안에 대해 논하자고 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.402-405
• /
• 2012

문서와 문서간의 유사도들 측정하는 방법 은 크게 지문법 (fingerprint)을 이용한 방법과 서열 정렬(sequence alignment)알고리즘을 이용한 방법이 있다. 두 방법은 각각 속도와 정확도라는 장점을 가지고 있다. 다단계정렬(MLA, Multi-Level alignment))는 이러한 두 방법을 조합하여 탐색 속도와 정확도 사이의 비중을 사용자가 결정할 수 있도록 하기 위한 방법이다.[1] 다단계 정렬은 두 문서를 단위 블록(basis block)로 나누고 블록 간의 벡터를 비교하여 유사도를 측정하게 되는데, 본 연구에서는 초성 추출 및 어간 추출을 통해 단위 블록의 벡터를 빠른 시 간에 생성하고 비교하는 방법과 다단계 탐색을 통해 정확도를 유지하면서 빠르게 유사도를 측정하는 방식에 대해 설명한다. 실험결과 제안 방법을 통해 다단계 정렬 방법을 이용한 대용량 문서 비교의 속도가 2 배 이상 빨라짐을 보인다.