• Title/Summary/Keyword: 말뭉치 구축

Search Result 295, Processing Time 0.024 seconds

The Extraction of Korean Noun Phrases based on Dependency Patterns (의존관계 패턴에 기반한 한국어 명사구의 추출)

  • Seungshik Kang;Sangmo Lee;Minhaeng Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.615-617
    • /
    • 2023
  • 이 연구는 한국어 명사구를 말뭉치로부터 추출하는 방법의 하나로 의존관계 패턴에 기반한 접근방법을 제안하는 것을 목적으로 한다. 이 방법론을 활용한 경우에 명사구 추출의 정확성을 높일 수 있다. 이 논문에서는 한국어 법령 의존 말뭉치를 구축하는 단계부터 상위 명사구 목록을 생성하기 까지 거치는 5단계에 대해 상세하게 논의하는 한편, 의존구조 검색시스템을 통해 의존관계 패턴을 추출하는 절차에 대해 기술하고 이 작업을 수행하기 위한 검색식들의 특성들에 대해 검토한다.

  • PDF

Automatic Error Correction System for Erroneous SMS Strings (SMS 변형된 문자열의 자동 오류 교정 시스템)

  • Kang, Seung-Shik;Chang, Du-Seong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06a
    • /
    • pp.59-60
    • /
    • 2007
  • 휴대폰과 메신저 등 통신 환경에서 사용되는 표준어가 아닌 SMS의 변형된 어휘 및 띄어쓰기 오류를 자동으로 교정하여 형태소 분석 및 품사 태깅의 성능 저하 문제를 방지하는 문자열 오류의 교정 방법을 제안하였다. 통신 어휘들의 문자열 사전 구축 방법으로 통신어휘집을 기반으로 수동으로 구축하는 방법과 수작업으로 구축된 말뭉치로부터 자동으로 변형된 문자열을 추출하는 방법, 그리고 문맥을 고려하는 방법을 비교-분석하고 실험 및 성능 평가 결과를 제시하였다.

  • PDF

Ontology Construction and Its Application to Disambiguate Word Senses (온톨로지 구축 및 단어 의미 중의성 해소에의 활용)

  • Kang, Sin-Jae
    • The KIPS Transactions:PartB
    • /
    • v.11B no.4
    • /
    • pp.491-500
    • /
    • 2004
  • This paper presents an ontology construction method using various computational language resources, and an ontology-based word sense disambiguation method. In order to acquire a reasonably practical ontology the Kadokawa thesaurus is extended by inserting additional semantic relations into its hierarchy, which are classified as case relations and other semantic relations. To apply the ontology to disambiguate word senses, we apply the previously-secured dictionary information to select the correct senses of some ambiguous words with high precision, and then use the ontology to disambiguate the remaining ambiguous words. The mutual information between concepts in the ontology was calculated before using the ontology as knowledge for disambiguating word senses. If mutual information is regarded as a weight between ontology concepts, the ontology can be treated as a graph with weighted edges, and then we locate the weighted path from one concept to the other concept. In our practical machine translation system, our word sense disambiguation method achieved a 9% improvement over methods which do not use ontology for Korean translation.

분류사와 명사 의미 부류

  • 최민우;강범모
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2000.06a
    • /
    • pp.395-401
    • /
    • 2000
  • 국어에서는 어떠한 대상의 수량을 표현할 때 수사와 함께 분류사(classifier)를 사용한다. 따라서 분류사는 그 특성상 수량 표현 구문을 형성하는 대상 명사와 의미적으로 밀접한 관련을 지니게되는데, 단순히 명사를 셈하는 것 뿐 아니라 명사의 의미적 특성을 명세(specify)해 준다고 할 수 있다. 본 연구에서는 이러한 명사와 분류사의 연관성에 초점을 맞추어 분류사의 사용에 따른 명사의 범주화 및 계층 구조를 보이고, 컴퓨터 말뭉치 자료를 이용하여 그 관계를 좀더 명확히 밝히는 것을 목적으로 한다. 이러한 연구는 언어를 전산적으로 처리하는데 필수적인 전산어휘부(computational lexicon)의 구축에 필요한 기초 작업이 될 수 있다.

  • PDF

Rated Recall: Evaluation Method for Constructing Bilingual Lexicons (등급 재현율: 이중언어 사전 구축에 대한 평가 방법)

  • Seo, Hyeong-Won;Kwon, Hong-Seok;Kim, Jae-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2013.10a
    • /
    • pp.146-151
    • /
    • 2013
  • 이중언어 사전 구축 방법을 평가하는 방법에는 정확률, 재현율, MRR(Mean Reciprocal Rank) 등이 있다. 이들 방법들은 평가 집합에 있는 대역어를 정확하게 찾는 것에 초점을 맞추고 있다. 그러나 어떤 대역어가 얼마나 많이 사용되는지는 전혀 고려하지 않는다. 즉 자주 사용되는 대역어를 빨리 찾을 수 있는 방법이 좋은 방법이라고 말할 수 있다. 이와 같은 문제를 해결하기 위해서 본 논문에서는 이중언어 사전 구축의 새로운 평가 방법인 등급 재현율을 제안한다. 등급 재현율(rated recall)은 대역어가 학습 말뭉치에 나타난 정도를 반영하는 재현율이며, 자주 사용되는 대역어를 얼마나 정확하게 찾는지를 파악할 수 있는 좋은 측도이다. 본 논문에서는 문맥벡터와 중간언어를 이용한 이중언어 사전 구축 시스템의 성능을 평가하고 기존의 방법과 비교 분석하였다.

  • PDF

Researches on the Convergence of Linguistic Knowledge Acquisition Process (언어지식 획득 과정에서의 수렴성 보장에 관한 연구)

  • Lee, Hyun-A;Park, Jay-Duke;Park, Dong-In
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.416-420
    • /
    • 1997
  • 다양한 응용 목적의 대규모 실용적 언어지식 구축을 위해서는 한국어의 모든 언어현상을 수용할 수 있는 이상적인 언어지식(optimal linguistic knowledge) 획득을 목표로 연구해 나가야 한다. 본 연구에서 언어지식의 획득은 주어진 말뭉치의 분석을 통해 이루어진다. 주어진 말뭉치에서 새로운 언어현상이 발견되었을 경우, 기존의 언어지식은 새로운 언어현상을 수용할 뿐만 아니라 기존에 발견되었던 언어현상도 함께 수용할 수 있도록 바뀌어져야 한다. 이러한 변화의 원칙이 보장되어야만 언어지식의 양적 확장과 함께 질적 확장을 이룰 수 있다. 본 연구에서는 언어지식의 질적 확장을 언어지식의 수렴성이라고 정의하고 수렴성 보장을 위한 방법론을 연구한다. 수렴성 보장을 위해서는 먼저 언어지식 획득과정이 공정화, 자동화되어야 하고 언어지식이 변화할 때 수렴을 확인하는 과정이 필요하다. 수렴을 확인하기 위하여 구문구조 데이터베이스와 역사전(Inverted Dictionary)을 이용하는 방법을 제안한다. 지금까지는 언어지식의 양적 확장에만 치중해 왔으나 본 연구에서 제안된 방법으로 언어지식이 구축된다면 질적 확장도 함께 도모할 수 있을 것으로 기대된다.

  • PDF

Developing a Text Categorization System Based on Unsupervised Learning Using an Information Retrieval Technique (정보검색 기술을 이용한 비지도 학습 기반 문서 분류 시스템 개발)

  • Noh, Dae-Wook;Lee, Soo-Yong;Ra, Dong-Yul
    • Journal of KIISE:Software and Applications
    • /
    • v.34 no.2
    • /
    • pp.160-168
    • /
    • 2007
  • For developing a text classifier using supervised learning, a manually labeled corpus of large size is required. However, it takes a lot of time and human effort. Recently a research paradigm was proposed to use a raw corpus and a small amount of seed information instead of manually labeled corpus. In this paper we introduce an unsupervised learning method that makes it possible to achieve better performance than other related works. The characteristics of our approach is that average mutual information is used to learn representative words and their weights and then update of the weights is done using a technique inspired by the works in information retrieval. By iterating this teaming process it was shown that a high performance system can be developed.

A Study on the Construction of a Korean Concept Dictionary (한국어 개념사전의 구축에 관한 연구)

  • 김수정;김태수
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 1998.08a
    • /
    • pp.239-242
    • /
    • 1998
  • 개념 정보를 제공하는 어휘 데이터베이스로 WordNet, CYC, EDR등이 출현하였다. 본 연구는 WordNet의 개념 기술 방식에 따라 한국어 개념 사전을 구축하기 위한 것이다 우선 개념을 분류할 적절한 분류 체계를 설정하고, 연세 말뭉치에서 빈도수가 높은 상위 300개 명사를 추출하여 사전의 뜻풀이에 나타난 명사와 연관관계로 표시된 명사를 함께 제시함으로써 개념을 표현하였다. 이러한 한국어 개념 사전은 의미모호성을 해소하는데 기여할 수 있을 것이다.

  • PDF

Mining Korean-English Terminologies by Pattern Generation in Internet (패턴생성을 통한 인터넷 문서의 한글-영문용어 추출)

  • 강재호;김종성;류광렬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.148-150
    • /
    • 2003
  • 전문용어의 가짓수가 많고 생성빈도 또한 높은 분야에서 고품질의 정보검색과 기계번역 결과를 얻기 위해서는 상당 분량의 번역용어사전의 확보가 필수적이다. 이러한 분야에서 번역용어사전을 수작업으로 구축하는 것은 큰 부담이 된다. 본 논문에서는 이미 알고 있는 용어(원어)와 번역용어를 말뭉치에서 함께 표기한 부분을 찾아 패턴화하는 작업과, 생성된 패턴으로 추가의 용어-번역용어를 추출하는 작업을 반복하여 수행함으로써 번역용어사전을 자동으로 구축하는 방안을 제안한다. 인터넷 문서를 대상으로 본 제안방법을 적용해 본 결과 상당분량의 유효한 한글-영문용어들을 추출할 수 있었다.

  • PDF

Word Sense Disambiguation using Korean Word Space Model (한국어 단어 공간 모델을 이용한 단어 의미 중의성 해소)

  • Park, Yong-Min;Lee, Jae-Sung
    • The Journal of the Korea Contents Association
    • /
    • v.12 no.6
    • /
    • pp.41-47
    • /
    • 2012
  • Various Korean word sense disambiguation methods have been proposed using small scale of sense-tagged corpra and dictionary definitions to calculate entropy information, conditional probability, mutual information and etc. for each method. This paper proposes a method using Korean Word Space model which builds word vectors from a large scale of sense-tagged corpus and disambiguates word senses with the similarity calculation between the word vectors. Experiment with Sejong morph sense-tagged corpus showed 94% precision for 200 sentences(583 word types), which is much superior to the other known methods.