• Title/Summary/Keyword: 형태소 추출

Search Result 258, Processing Time 0.019 seconds

Morphological Analyzer of Yonsei Univ., morany: Morphological Analysis based on Large Lexical Database Extracted from Corpus (연세대 형태소 분석기 morany: 말뭉치로부터 추출한 대량의 어휘 데이터베이스에 기반한 형태소 분석)

  • Yoon, Jun-Tae;Lee, Chung-Hee;Kim, Seon-Ho;Song, Man-Suk
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10d
    • /
    • pp.92-98
    • /
    • 1999
  • 본 논문에서는 연세대학교 컴퓨터과학과에서 연구되어 온 형태소 분석 시스템에 대해 설명한다. 연세대학교 자연 언어 처리 시스템의 기본적인 바탕은 무엇보다도 대량의 말뭉치를 기반으로 하고 있다는 점이다. 예컨대, 형태소 분석 사전은 말뭉치 처리에 의해 재구성 되었으며, 3000만 어절로부터 추출되어 수작업에 의해 다듬어진 어휘 데이터베이스는 형태소 분석 결과의 상당 부분을 제한하여 일차적인 중의성 해결의 역할을 담당한다. 또한 복합어 분석 역시 말뭉치에서 얻어진 사전을 바탕으로 이루어진다. 품사 태깅은 bigram hmm에 기반하고 있으며 어휘 규칙 등에 의한 후처리가 보강되어 있다. 이렇게 구성된 형태소 분석기 및 품사 태거는 구문 분석기와 함께 연결되어 이용되고 있다.

  • PDF

Korean Noun Extraction Using Exclusive Segmental ion Information and Post-noun morpheme sequences (분석 배제 정보와 후절어를 이용한 한국어 명사추출)

  • Lee, Do-Gil;Ryu, Won-Ho;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.19-25
    • /
    • 2000
  • 명사 추출기는 정보검색, 문서분류, 문서요약, 정보추출 등의 분야에서 사용되고 있으며, 정확한 명사 추출과 빠른 색인 속도는 이들 시스템 성능과 밀접한 관계가 있다. 한국어에서 명사를 추출하기 위해서는 형태소 분석이 필요한데, 본 논문에서는 대량의 품사부착된 말뭉치로부터 추출한 분석배제 정보와 후절어를 이용함으로써 형태소 분석을 생략하거나 보다 단순한 처리에 의해 명사를 추출하는 방법을 제안한다. 또한 형태소 분석시 복잡한 음운 현상을 처리하기 위해 많은 음운 규칙을 적용하는 대신 음운 복원 정보를 사용하여 음운 현상을 처리하는 방법을 제안한다. 실험결과에 의하면, 제안된 방법에 의한 명사추출기는 비교적 높은 정확률과 재현율을 나타내며, 빠른 속도를 보였다.

  • PDF

A Predictive Morphological Analyzer, A Part-of-Speech Tagger Based on Joint Independence Model, and A Fast Noun Extractor (예측 기반 형태소 분석기와 결합 독립 모형 기반 품사 태거 및 고속 명사 추출기)

  • Lee, Sang-Zoo;Park, Bong-Rae;Kim, Jin-Dong;Ryu, Won-Ho;Lee, Do-Gil;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10d
    • /
    • pp.145-150
    • /
    • 1999
  • 본 논문에서는 한국어 자연어 정보처리 기술 표준화를 위한 형태소 분석기 및 품사 태거 평가 대회(MATEC99)에 참여한 고려대학교의 형태소 분석기, 품사 태거, 그리고 명사 추출기를 설명하고 평가 결과를 기술한다. 형태소 분석기는 입력된 어절을 우에서 좌로 분석하며 각 상태에 대한 예측 정보를 활용하여 불필요한 분석 후보에 대한 탐색을 수행하지 않도록 한다. 품사 태거로는 띄어쓰기를 고려한 형태소 품사 2-그램 확률과 띄어쓰기를 고려한 형태소 어휘-품사 3-그램 어휘 확률을 이용하는 결합 독립 모형을 사용한다. 고속 명사 추출기는 고속의 FST 사전과 한국어 특성을 반영한 휴리스틱을 이용한다.

  • PDF

Korean Noun Extraction Using Exclusive Segmentation Information and Post-noun morpheme sequences (분석 배제 정보와 후절어를 이용한 한국어 명사추출)

  • 이도길;류원호;임해창
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2000.06a
    • /
    • pp.19-25
    • /
    • 2000
  • 명사 추출기는 정보검색, 문서분류, 문서요약, 정보추출 등의 분야에서 사용되고 있으며, 정확한 명사 추출과 빠른 색인 속도는 이들 시스템 성능과 밀접한 관계가 있다. 한국어에서 명사를 추출하기 위해서는 형태소 분석이 필요한데, 본 논문에서는 대량의 품사부착된 말뭉치로부터 추출한 분석배제 정보와 후절어를 이용함으로써 형태소 분석을 생략하거나 보다 단순한 처리에 의해 명사를 추출하는 방법을 제안한다. 실험결과에 의하면, 제안된 방법에 의한 명사추출기는 비교적 높은 정확률과 재현율을 나타내며, 빠른 속도를 보였다.

  • PDF

Korean Morphological Analysis Sharing Partial Analyses (부분 분석 결과를 공유하는 한국어 형태소 분석)

  • 이상호
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • 1994.06c
    • /
    • pp.75-79
    • /
    • 1994
  • 한국어 어절의 모든 가능한 형태소 분석 결과는 형태소 격자 구조로 대응된다. 즉, 형태소 분석과정은 형태소 격자 구조를 만드는 과정과 동일하다고 말할 수 있다. 기존의 방법들은 여러개의 가능한 분석 결과에 중복되는 형태소들을 그대로 저장하여 자료 관리의 비효율성이 있었다. 본 논문에서 설명하는 형태소 분석기는 형태소 분석의 중간 결과를 공유하여, 자료의 중복 저장을 피했고, 모든 가능한 형태소 분석 결과를 형태소 격자 구조의 가능한 모든 경로로 대응하였다. 한편, 형태소 배열 규칙은 품사 태깅된 말뭉치로부터 자동으로 추출되었다. 또한, 사전도 품사 태깅된 말뭉치로부터 자동으로 구축되었으며, 굴절된 형태소는 등록되지 않는다. 그러나 불규칙 및 축약 현상에 관한 정보는 수동으로 추가되었다. 불규칙 및 축약 현상의 발생 가능 위치는 한글 자소 패턴에 의해서 찾아지고, 이들 현상의 처리는 절차적인 방법에 의해 해결되었다.

  • PDF

Morphological Analyzer using Longest Match Method for Syntactic Analysis (최장일치를 이용한 구문 분석용 형태소 분석기)

  • Song, Y.J.;Lee, K.Y.;Lee, Y.S.
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10d
    • /
    • pp.157-166
    • /
    • 1999
  • 형태소 분석 단계는 자연어 처리 과정의 첫 번째 단계로써 주어진 입력 어절들에 대한 형태소들의 조합을 추출하는 일을 한다. 형태소 분석 시스템의 기본적인 기능은 매우 중요하여 적용되는 형태소 분석 알고리즘에 따라 형태소 분석 시스템의 성능에 영향을 미친다. 그러나 형태소 분석 시스템, 구문 분석 시스템 및 의미 분석 시스템이 연계되어 하나의 자연어 처리 시스템이 구축되는 관점에서는 구문분석 시스템의 부담을 줄여 전체 시스템의 효율을 향상시키기 위하여 구문 분석 시스템의 입력에 적합한 형태소 분석 결과를 생성해주는 일 또한 형태소 분석 시스템의 중요한 역할이라 할 수 있다. 본 시스템은 최장일치법을 이용한 형태소 분석 방법으로 입력 어절에 대한 형태소 분석을 수행하는 동안 분석 후보의 개수를 줄이고 사전 탐색 시간을 줄여준다. 또한 구문분석 시스템의 입력에 적절한 형태소 분석 결과를 생성하여 전체 응용 시스템의 효율성을 향상시킨다.

  • PDF

Morphological Parafoveal Preview Benefit Effects in Reading Korean (우리글 읽기에서 형태소정보의 미리보기 효과)

  • Lee, Sangeun;Choo, Hyeree;Koh, Sungryong
    • Korean Journal of Cognitive Science
    • /
    • v.31 no.2
    • /
    • pp.25-54
    • /
    • 2020
  • While there is no evidence for parafoveal processing in alphabetic languages such as English and Finnish, there is some evidence that morphological information is processed in syllabic languages like Chinese. Korean writing system, Hangul, would be able to provide morphological preview benefit effects since it is an "alphabetic syllabary" which contains both alphabetic and syllabic features. This study explored morphological parafoveal preview benefit effects during reading Korean using irregular verbs, which have phonological and orthographical differences between fundamental and conjugated forms. In the Experiment, the target word was irregular conjugated form, and there were four preview conditions: identical (e.g. 구워), fundamental form (e.g. 굽다), orthographically related (e.g. 굼다), and unrelated control (e.g. 죨어). In the result of study, identical was shortest and morphological, orthographical, unrelated preview were followed. Moreover, measures of first-pass reading of morphological preview were significantly shorter than those of unrelated control preview. This results support the hypothesis of morphological preview benefit effects in Korean. The implications of the results are discussed.

Multi-channel CNN for Korean Sentiment Analysis (Multi-channel CNN을 이용한 한국어 감성분석)

  • Kim, Min;Byun, Jeunghyun;Lee, Chunghee;Lee, Yeonsoo
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.79-83
    • /
    • 2018
  • 본 논문은 한국어 문장의 형태소, 음절, 자소를 동시에 각자 다른 합성곱층을 통과시켜 문장의 감성을 분류하는 Multi-channel CNN을 제안한다. 오타를 포함하는 구어체 문장들의 경우에 형태소 기반 CNN으로 추출 할 수 없는 특징들을 음절이나 자소에서 추출 할 수 있다. 한국어 감성분석에 형태소 기반 CNN이 많이 쓰이지만, 본 논문의 Multi-channel CNN 모델은 형태소, 음절, 자소를 동시에 고려하여 더 정확하게 문장의 감성을 분류한다. 본 논문이 제안하는 모델이 형태소 기반 CNN보다 야구 댓글 데이터에서는 약 4.8%, 영화 리뷰 데이터에서는 약 1.3% 더 정확하게 문장의 감성을 분류하였다.

  • PDF

Noun Extractor based on a multi-purpose Korean morphological engine implemented with COM (COM 기반의 다목적 형태소 분석기를 이용한 명사 추출기)

  • Lee, Joong-Young;Shin, Byuoung-Hoon;Lee, Kong-Joo;Kim, Jee-Eun;Ahn, Sahng-Gyou
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10d
    • /
    • pp.167-172
    • /
    • 1999
  • 한국어 형태소 분석기는 한국어를 분석하여 여러 다른 응용프로그램에 적용할 수 있는 기본적인 도구이다. 형태소 분석기를 응용하여 맞춤법 검사기나 정보검색, 기계번역, 음성인식 등에 적용할 수 있다. 본 논문에서는 형태소 분석기를 이용하여 여러 응용프로그램에 다목적으로 적용할 수 있도록 COM(Component Object Model)으로 인터페이스를 설계하고, 일례로 명사를 추출하는 응용프로그램을 구현하였다.

  • PDF

Conceptual Clustering of Korean Concordances using Similarities between Morphemes (형태소 사이의 유사도를 이용한 용례의 의미별 분류)

  • Baek, Dae-Ho;Lee, Ho;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1996.10a
    • /
    • pp.235-240
    • /
    • 1996
  • 본 논문에서는 정보 검색에서 사용하는 계층적 클러스터링 기법을 이용하여 용례들을 중심어의 의미에 따라 분류하고자 한다. 분류에 필요한 용례 사이의 유사도는 형태소 사이의 유사도를 이용하여 계산한다. 형태소 사이의 유사도 계산에는 상호 정보, 상호 정보의 유사도, 벡터 유사도 등을 사용한다. 품사 태깅된 17만 코퍼스에서 명사 4개와 동사 4개를 중심어로 사용하여 추출된 용례에 대해서 각 방법의 정확도를 실험한 결과 상호 정보와 상호 정보 유사도를 더한 값을 형태소 사이의 유사도로 사용한 방법이 90.16%의 정확도를 보였다. 제안된 방법에서 사용하는 정보들은 의미 태깅되지 않은 코퍼스에서 추출할 수 있기 때문에, 정보의 획득이 쉬운 장점이 있다.

  • PDF