• 제목/요약/키워드: 어휘구성

검색결과 373건 처리시간 0.025초

Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템 (Korean Machine Comprehension using Dual Bi-Directional Attention Flow)

  • 이현구;김학수;최정규;김이른
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.41-44
    • /
    • 2017
  • 기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.

  • PDF

Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템 (Korean Machine Comprehension using Dual Bi-Directional Attention Flow)

  • 이현구;김학수;최정규;김이른
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.41-44
    • /
    • 2017
  • 기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.

  • PDF

연세대 형태소 분석기 morany: 말뭉치로부터 추출한 대량의 어휘 데이터베이스에 기반한 형태소 분석 (Morphological Analyzer of Yonsei Univ., morany: Morphological Analysis based on Large Lexical Database Extracted from Corpus)

  • 윤준태;이충희;김선호;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회 및 제1회 형태소 분석기 및 품사태거 평가 워크숍
    • /
    • pp.92-98
    • /
    • 1999
  • 본 논문에서는 연세대학교 컴퓨터과학과에서 연구되어 온 형태소 분석 시스템에 대해 설명한다. 연세대학교 자연 언어 처리 시스템의 기본적인 바탕은 무엇보다도 대량의 말뭉치를 기반으로 하고 있다는 점이다. 예컨대, 형태소 분석 사전은 말뭉치 처리에 의해 재구성 되었으며, 3000만 어절로부터 추출되어 수작업에 의해 다듬어진 어휘 데이터베이스는 형태소 분석 결과의 상당 부분을 제한하여 일차적인 중의성 해결의 역할을 담당한다. 또한 복합어 분석 역시 말뭉치에서 얻어진 사전을 바탕으로 이루어진다. 품사 태깅은 bigram hmm에 기반하고 있으며 어휘 규칙 등에 의한 후처리가 보강되어 있다. 이렇게 구성된 형태소 분석기 및 품사 태거는 구문 분석기와 함께 연결되어 이용되고 있다.

  • PDF

적절한 동사 대역어 선택을 위한 한영 변환 사전 구성 (The Composition of Korean-English Transfer Dictionary for Proper Selection of Verb Translation)

  • 송정근
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.294-301
    • /
    • 2001
  • 기계번역이 인간의 언어 능력을 기계로 구현한다는 점에서 전산학적 성격이 강하다면, 변환 사전은 인간의 어휘부(lexicon) 정보를 그대로 기계에 표상한다는 점에서 언어학적 성격이 강하다. 여기서는 다양한 어휘부 정보 중에서 한영 기계번역에서 필요한 언어학적 정보를 추출하고 이러한 정보를 바탕으로 적절한 동사 대역어 선택을 위한 변환 사전의 모형을 만들어 보고자 하였다. 한영 기계번역에서 적절한 동사 대역어 선택의 어려움은 한국어 동형어 처리 문제와 한국어에서는 포착되지 않지만 영어로 번역하는 과정에서 발생하는 영어 표현의 특수성 때문에 기인한 것으로 볼 수 있다. 이 논문에서는 이러한 문제를 논항과 문법 형태소, 선택제약, 개별 어휘 등의 기초적인 언어학적 개념을 이용한 변환사전을 통해 해결한다. 또한 동사 대역어 선택에 영향을 미치는 이러한 개별적인 요인들은 실제 변환사전의 기술에 있어서는 복합적으로 적용됨을 동사 '먹다'의 기술을 통해 확인할 수 있다.

  • PDF

의미 정보를 이용한 한국어 복합명사 분석 (Analysis of Korean Compound Noun using Semantic Information)

  • 김수남;원상현;권혁철;주종철;이상기
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.195-197
    • /
    • 1998
  • 복합명사 분석은 조합이 자유롭고 제한이 없으므로 여러 가지 모호성을 발생시킨다. 이러한 모호성을 해결하는 기존 방법으로 사전을 이용하는 방법[2]과 통계적 정보를 이용하는 방법[3,4]이 있다. 본 논문에서는 하위 범주화된 어휘 정보를 가진 전자사전을 이용하여 복합명사를 분석한다. 그리고 어휘 정보만으로 처리했을 때 의미상으로 잘못된 분석이 발생할 수 있으므로 본 논문은 복합명사를 구성하는 어휘의 정보와 특정단어의 의미에 따른 복합명사 제약조건을 규칙베이스로 구축하여 분석에 이용한다. 또한 분석에 실패한 복합명사의 유형을 분석하여 각 유형에 따른 교정 방법도 제시한다. 실험 데이터는 부산일보, 교과서, 그리고 각종 문서에서 무작위로 추출한 27,945개의 복합명사를 사용하였다. 본 논문에서 제시한 의미적 제약조건을 이용하여 분석했을 때 복합명사로 잘못 쓴 어절의 검사율이 21% 향상되었다.

  • PDF

약속의 문법 : 서술명사의 통사.어휘적 기술과 사전 (Grammaire du nom $pr{\acute{e}}dicatif$ : $\underline{yaksok}$ et dictionnaire)

  • 홍지성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.361-366
    • /
    • 1992
  • 이 발표에서는 공시적 기술 위주의 대규모 언어사전으로서의 현대한국어 사전을 구상할 때 성찰이 요구되는 서술명사의 처리방안을 생각해 보고자 한다. 보통명사의 한 하류부류인 서술명사로 특징지어지는 명사 약속을 실례로, 그 통사 어휘적 기술을 시도하고, 그 결과를 활용하는, 언어학적으로 근거있는 명사의 사전항목 구성을 검토해 보는 것이다. 약속의 항목에 명시적으로 표시되어야 할 주요 어휘 통사적 속성을 제시하고 또 이들의 사전적 표상을 위한 몇 가지 실제적 제안을 소개하려고 한다.

  • PDF

형태소 분석 결과의 인코딩 기법과 어절 사전 구축 (Encoding of Morphological Analysis Result and Eojeol Dictionary Construction)

  • 강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.112-117
    • /
    • 2004
  • 형태소 분석에서 사용되는 사전은 형태소와 품사 정보를 수록하고 있다. 단어가 한 개의 형태소로 구성되는 굴절어는 대부분의 단어가 어휘형태소의 기본형과 일치되기 때문에 형태소 분석 알고리즘은 사전 탐색과 형태론적 변형을 통해 입력 단어와 어휘형태소를 일치시키는 과정으로 기술된다. 이에 비해, 교착어는 입력 어절이 형태소 사전의 어휘형태소와 일치하지 않기 때문에 어절 자체가 형태소 사전에 포함되지 않아서 굴절어에 비해 상대적으로 형태소 분석 알고리즘의 복잡도가 높고 분석 시간이 오래 걸리는 단점이 있다. 본 논문에서는 고빈도 어절에 대한 기분석 어절 사전을 구축하여 형태소 분석 속도를 개선하고, 사용자가 어절 사전에 새로운 어절을 추가하거나 어절 사전에 수록된 분석 결과를 수정할 수 있는 어절 사전에 의한 형태소 분석 방법을 제안한다. 구체적인 방법론으로써 형태소 분석 결과를 저장하는 기분석 어절 사전의 크기를 최소화하기 위해 분석 결과를 생성하는데 필요한 최소한의 정보만을 인코딩하는 방법을 사용한다.

  • PDF

감성공학적 디자인 요소변환 지원 시스템의 설계에 관한 연구 (A Study on the Human Sensibility Ergonomic Design Supporting System)

  • 한성배;양선모;정기원;김형범;박정호;이순요
    • 대한인간공학회:학술대회논문집
    • /
    • 대한인간공학회 1996년도 춘계학술대회논문집
    • /
    • pp.129-135
    • /
    • 1996
  • 본 논문은 제품을 설계하는데 있어서 고객의 감성을 구체적인 디자인 요소로 변환하는 감성공학적 디자인 요소변환 지원 시스템을 설계하는데 목적이 있다. 감성공학적 디자인 요소변환 지원 시스템은 감성 데이터 처리 서브시스템, 디자인 요소변환 서브시스템, 형상 데이터 처리 서브시스템 등 크게 세 가지의 서브시스템으로구성된다. 감성 데이터 처리 서브시스템은 고객의 제품에 대한 정성적 감성을 분석하여 디지인 요소와 상관성을 나타내기 위한 시스템으로서, 제품을 표현하는 감성어휘를 추출하고 이를 분석하여 디자인 요소로 변환할 수 있게 해주는 데이터베이스를 구축하는 것이다. 디자인 요소변 환 서브시스템은 고객이 원하는 제품의 이미지를 구체적인 디자인 요소와 연결하는 추론 시스템으로서 감성 데이터베이스에 저장되어 있는 어휘 중에서 고객이 선택한 감성어휘에 대해 퍼지 추론을 이용하 여 디자인 요소와의 연결관계를 형성하게 된다. 형상 데이터 처리 서브시스템은 제품의 아이템/카테고 리에 대한 형상을 데이터베이스로 가지고 있으며, 디자인 요소변환 서브시스템에의해선정된 제품정보와 데이터베이스를 연결하여고객이 원하는 제품이 구체적으로 어떠한 형상을 가지게 되는가를 보여주게 된다.

  • PDF

가변어휘 핵심어 검출 시스템의 구현 (Implementation of Vocabulary-Independent Keyword Spotting System)

  • 신영욱;송명규;김형순
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2000년도 학술발표대회 논문집 제19권 2호
    • /
    • pp.167-170
    • /
    • 2000
  • 본 논문에서는 triphone을 기본단위로 하는 HMM에 의해 핵심어 모델을 구성하고, 사용자가 임의로 핵심어를 추가 및 변경할 수 있도록 가변어휘 핵심어 검출기를 구현하였다. 비핵심어 모델링 방법으로 monophone clustering을 사용한 방법 및 GMM을 사용한 방법의 성능을 비교하였다. 또한 후처리 과정에서 가변어휘 인식구조에 적합한 anti-subword 모델을 사용하였으며 몇 가지 구현방식에 따른 후처리 성능을 검토하였다. 실험결과 비핵심어 모델로 monophone을 clustering하여 사용한 방법보다 GMM을 사용한 경우 약간의 인식성능 개선을 얻을 수 있었으며, 후처리 과정에서 Kullback distance를 이용한 anti-subword 모델링 방식이 다른 방식에 비해 우수한 결과를 나타냈다.

  • PDF

부사 정보를 이용한 한국어 구조 중의성 해소 (Korean Structural Disambiguation using Adverb Information)

  • 신승은;서영훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.110-115
    • /
    • 2000
  • 자연 언어 처리의 구문 분석에서는 중의성 있는 결과가 많이 생성된다. 이러한 중의성을 해소하는데 어휘정보가 유용하다는 것은 잘 알려져 있으며, 이러한 어휘정보와 이를 이용한 중의성 해소에 관한 연구가 많이 이루어지고 있다. 본 논문은 한국어의 구문 구조 분석 시 부사에 의해 발생되는 중의성을 해소하기 위해 수식어 사전을 이용하여 구문 분석에서의 구조 중의성을 해소하였다. 수식어 사전의 어휘정보와 대상 말뭉치를 통해 각각의 부사에 대한 문법을 구성하고, 이를 이용하여 한국어 구문구조 분석에서 부사에 의해 발생되는 중의성을 줄일 수 있다.

  • PDF