• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.41-47
• /
• 2000

한국어 형태소 분석에서 가장 중요한 부분 중 하나가 바로 용언구(서술어)를 분석하는 것이다. 형태소 분석 뿐만 아니라 구문 분석, 의미 분석 단계에서도 정확한 용언구 분석은 매우 중요한 작업 중의 하나이다. 또한, 용언구에는 [체언+지정사+어미] 패턴도 포함되므로, 정보검색기의 핵심 모듈인 명사 추출기(색인기)의 성능에도 용언구의 분석은 높은 비중을 차지한다. 본 논문에서는 용언구 분석의 정확성을 높이고, 견고하면서 속도도 향상시킬 수 있는 방법으로 새로운 어미 분류를 제안하고자 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.1
• /
• pp.24-29
• /
• 2022

Semantic role labeling task used in various natural language processing fields, such as information extraction and question answering systems, is the task of identifying the arugments for a given sentence and predicate. Predicate used as semantic role labeling input are extracted using lexical analysis results such as POS-tagging, but the problem is that predicate can't extract all linguistic patterns because predicate in korean language has various patterns, depending on the meaning of sentence. In this paper, we propose a korean predicate recognition method using neural network model with pre-trained embedding models and lexical features. The experiments compare the performance on the hyper parameters of models and with or without the use of embedding models and lexical features. As a result, we confirm that the performance of the proposed neural network model was 92.63%.

• Annual Conference on Human and Language Technology
• /
• 1995.10a
• /
• pp.112-116
• /
• 1995

본 논문에서는 한-일 대화체 기계번역 시스템을 위한 대화체 모델을 제시한다. 이 대화체 모델에서는 구문분석과 의미분석을 거치지 않고 형태소 분석만을 이용하여 대화체 모델을 구현하였다. 대화체모델은 담화문으로부터 목표를 추출하는 GOAL DETECTOR, 추출된 목표에 맞는 플랜을 제시하는 PROPOSER, 제시된 플랜의 적합성 여부를 결정하는 PROJECTOR, 플랜의 실행 후 결과를 시스템의 환경에 반영하는 EXECUTOR 및 영역에 대한 지식을 표현하는 영역지식(Domain Knowledge)으로 구성이 된다.

• Annual Conference on Human and Language Technology
• /
• 1999.10d
• /
• pp.106-116
• /
• 1999

한일기계번역시스템의 형태소 해석 프로그램의 중간버퍼를 표준안에 맞추어 명사추출 및 품사태킹을 시도해 보았다. 기존의 모델을 유지하면서 사전의 표제어를 보충하여 출력의 형태를 바꾸는 방법으로 표준안의 출력에 가깝게 출력을 함으로써 기존의 프로그램의 장점과 단점을 보완하는 것과, 표준안에 관한 문제제기가 본 연구의 목적이다. 특히 품사개념이 다른 사전에서 태킹 및 명사추출을 실시할 경우 표제어의 등록여부와 정확률의 인과관계는 높다고 판단된다. 그러므로 표준안의 품사기준은 그에 따른 시스템의 성패를 좌우한다.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.68-72
• /
• 1996

본 논문에서는 고유 명사 출현 패턴 정보와 부가 정보를 이용한 미등록 고유 명사의 색인 방법을 제안한다. 정보 검색 시스템에서 고유 명사의 처리는 정확하고 의미 있는 색인을 위해 매우 중요하다. 본 논문은 형태소 분석 결과에 고유 명사 출현 패턴과 패턴 부가 정보를 사용하여 인명, 기관명, 회사명 등의 고유 명사 추출의 정확도를 높이는 방법을 제시한다. 총 827개의 인명과 기관 및 회사명을 포함하고 있는 조선일보 경제면 기사 100개 7416 어절에 대하여 본 시스템으로 실험한 결과, 인명의 경우 89%의 정확률을 보였다. 본 논문에서 제시한 출현 패턴과 고유 명사의 부가 정보를 적용했을 때 단순한 형태소 분석 결과에 비하여 고유 명사 추출 오류가 크게 개선되었다.

• Journal of the Korea Society of Computer and Information
• /
• v.24 no.11
• /
• pp.41-49
• /
• 2019

We are to build an unsupervised machine learning-based language model which can estimate the amount of information that are in need to process words consisting of subword-level morphemes and syllables. We are then to investigate whether the reading times of words reflecting their morphemic and syllabic structures are predicted by an information-theoretic measure such as surprisal. Specifically, the proposed Morfessor-based unsupervised machine learning model is first to be trained on the large dataset of sentences on Sejong Corpus and is then to be applied to estimate the information-theoretic measure on each word in the test data of Korean words. The reading times of the words in the test data are to be recruited from Korean Lexicon Project (KLP) Database. A comparison between the information-theoretic measures of the words in point and the corresponding reading times by using a linear mixed effect model reveals a reliable correlation between surprisal and reading time. We conclude that surprisal is positively related to the processing effort (i.e. reading time), confirming the surprisal hypothesis.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.317-320
• /
• 2017

개체명 인식은 자연어 문장에서 장소, 제작물, 사람 등 분류를 통한 의미 부여가 가능한 단어를 파악하는 기술로서 의미 분석을 위한 핵심 기술이다. 현재 많은 개체명 분석 관련 연구들은 형태소 분석 결과에 의존적인 형태를 갖고 있어서, 형태소 분석 결과의 정확성이 개체명 분석 결과의 성능에 영향을 미치고 있다. 본 연구에서는 형태소 분석 과정을 거치지 않는 음절 기반의 개체명 분석 기술을 제안하여 형태소 분석의 정확도가 낮은 통신어, 신조어 분석 성능을 향상하였다. 또한, 자동화된 방법으로 음절 단위 개체명 말뭉치 및 개체명 사전을 구축하는 프로세스를 정의하여 개체명 분석의 정확도 향상 및 인지 범주의 확대를 도모하였다. 본 연구에서 제안한 개체명 인식 기술은 한국어 개체명 표준에 기반한 129가지의 개체명 분류가 가능하며, 이는 자연어 처리 기술이 필요한 산업계에서 상용화하는데 큰 기여를 할 것으로 판단된다.

• Annual Conference on Human and Language Technology
• /
• 1995.10a
• /
• pp.195-207
• /
• 1995

일본어는 한자, 히라가나, 가다가나 등 다양한 종류의 문자를 사용하며 이들의 혼용 비율이 매우 높아 띄어쓰기를 하지 않아도 문서의 가독성을 유지한다. ICOT 사전, EDR 사전, ATLAS I/JK사전 등 기존의 전자 사전에서 복합 자종의 표제어가 차지하는 비율(한자+히라가나의 표제어 제외)은 평균 8.8%로 그 수가 매우 작다. 따라서, 문장 내에서 자종의 변화는 단어를 구분하는 하나의 delimiter로 이용될 수 있다. 본 시스템에서는 형태소 분석의 전단계로 전처리기를 두어 자종정보(character type information)에 의한 fragment 분리 및 예외 단어, 정형표현 처리를 수행하며 각 fragment 의 형태소 분석 방법을 제시한다. 형태소 분석기는 전처리기의 처리 결과를 입력받아 각각의 fragment를 전처리기가 제시한 분석 방법에 따라 분석하여 입력 문장의 가능한 모든 분석을 추출한다. 이 방법은 불필요한 사전 탐색과 접속 체크 회수를 줄여 분석 성능을 향상시킨다.

• Annual Conference on Human and Language Technology
• /
• 1995.10a
• /
• pp.121-130
• /
• 1995

기계번역은 대상 언어를 해석하고 변환하여 목적언어의 대역어를 선정한 후, 목적언어를 생성하는 과정을 거친다. 이때, 대상언어의 분석 단위에 따라 대역어의 생성 단위 또는 깊이가 다르다. 그러므로, 특정한 시스템을 위한 생성기는 그 시스템의 해석 또는 변환단계에서 추출되는 대역어에 의존하게 되어 시스템 호환성을 상실한다. 따라서, 중복된 생성기의 개발을 피하기 위하여 번역시스템 특성에 국한되지 않고 독립적으로 이용될 수 있는 한국어 형태소생성기 개발이 필요하다. 본 논문에서는 한국어 해석에 사용되는 한국어 형태소 좌우인접정보를 이용하여 한국어형태소를 생성하는 시스템인 DaMaN을 소개한다. 세분류된 형태소의 활용과 접속, 조사의 변동, 띄어쓰기를 고려한 형태소 좌우접속 정보를 임의 조합 가능한 복합형태 (합성어)에도 적용할 수 있도록 확장하였다. 따라서, 대상언어의 분석단위에 제한 받지 않으므로 시스템 호환성이 있다.

• The Journal of the Acoustical Society of Korea
• /
• v.15 no.6
• /
• pp.90-98
• /
• 1996

In this paper we have proposed the sign language transformation system for deaf based on a morpheme analysis. The proposed system extracts phoneme components and connection informations of the input character sequence by using a morpheme analysis. And then the sign image obtained by component analysis is correctly and automatically generated through the sign image database. For the effective sign language transformation, the language description dictionary which consists of a morpheme analysis part for analysis of input character sequence and sign language description part for reference of sign language pattern is costructed. To avoid the duplicating sign language pattern, the pattern is classified a basic, a compound and a similar sign word. The computer simulation shows the usefulness of the proposed system.