• 제목/요약/키워드: Korean Natural Language Processing

검색결과 513건 처리시간 0.027초

순차적 구문 분석 방법을 반영한 포인터 네트워크 기반의 한국어 의존 구문 분석기 (Korean Dependency Parsing Using Sequential Parsing Method Based on Pointer Network)

  • 한장훈;박영준;정영훈;이인권;한정욱;박서준;김주애;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.533-536
    • /
    • 2019
  • 의존 구문 분석은 문장 구성 성분 간의 의존 관계를 분석하는 태스크로, 자연어 이해의 대표적인 과제 중 하나이다. 본 논문에서는 한국어 의존 구문 분석의 성능 향상을 위해 Deep Bi-Affine Network와 Left to Right Dependency Parser를 적용하고, 새롭게 한국어의 언어적 특징을 반영한 Right to Left Dependency Parser 모델을 제안한다. 3개의 의존 구문 분석 모델에 단어 표현을 생성하는 방법으로 ELMo, BERT 임베딩 방법을 적용하고 여러 종류의 모델을 앙상블하여 세종 의존 구문 분석 데이터에 대해 UAS 94.50, LAS 92.46 성능을 얻을 수 있었다.

  • PDF

Deep Bi-affine Network와 스택 포인터 네트워크를 이용한 한국어 의존 구문 분석 시스템 (Korean Dependency Parsing Using Deep Bi-affine Network and Stack Pointer Network)

  • 안휘진;박찬민;서민영;이재하;손정연;김주애;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.689-691
    • /
    • 2018
  • 의존 구문 분석은 자연어 이해 영역의 대표적인 과제 중 하나이다. 본 논문에서는 한국어 의존 구분 분석의 성능 향상을 위해 Deep Bi-affine Network 와 스택 포인터 네트워크의 앙상블 모델을 제안한다. Bi-affine 모델은 그래프 기반 방식, 스택 포인터 네트워크의 경우 그래프 기반과 전이 기반의 장점을 모두 사용하는 모델로 서로 다른 모델의 앙상블을 통해 성능 향상을 기대할 수 있다. 두 모델 모두 한국어 어절의 특성을 고려한 자질을 사용하였으며 세종 의존 구문 분석 데이터에 대해 UAS 90.60 / LAS 88.26(Deep Bi-affine Network), UAS 92.17 / LAS 90.08(스택 포인터 네트워크) 성능을 얻었다. 두 모델에 대한 앙상블 기법 적용시 추가적인 성능 향상을 얻을 수 있었다.

  • PDF

CRF에 기반한 한국어 형태소 분할 및 품사 태깅 (CRFs for Korean Morpheme Segmentation and POS Tagging)

  • 나승훈;양성일;김창현;권오욱;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.12-15
    • /
    • 2012
  • 본 논문은 한국어 형태소 분할 및 품사 태깅을 위해 조건부 랜덤 필드 (CRF: conditional random field)에 기반한 방식을 제안한다. 제안 방법은 1) 형태소 분할 단계 2) 품사 태깅 단계 3) 복합형태소 분할 및 태깅 단계의 세 단계로 이루어진다. 처음 두 단계는 CRF방법에 기반을 두고, 세 번째 단계에서는 일반화된 HMM (lattice-HMM)을 활용한다. 제안 방법은 세종 말뭉치 코퍼스에서 5-fold cross-validation로 평가한 결과, 약 96%의 품사 태깅 성능을 보여주었다.

  • PDF

실용적인 영한 기계번역을 위한 전처리기의 설계 및 구현 (A Preprocessor for Practical English-to-Korean Machine Translation)

  • 여상화;정한민;채영숙;김태완;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.313-321
    • /
    • 1996
  • 본 논문에서는 실용적인 기계번역 시스템을 위하여 다양한 입력 형태에서 나타나는 여러 현상을 전처리하는 기법을 설명한다. 전처리기는 문장 분리, Title 및 나열문 인식, HTML Tag의 처리, 하이픈처리, 숫자 표현 처리, 대소문자의 정규화, 고유명사 인식, 복합단위 인식 등을 수행하여 형태소 분석기의 처리 부담을 줄인다.

  • PDF

SERI Test Suites '97 : 한국어 구문분석기 성능 평가용 문장 모음 (SERI Test Suites '97 : Test Sentences for Korean Syntactic Analyser)

  • 성원경;장명길;박재득;류법모;이현아;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.320-326
    • /
    • 1997
  • 자연어 정보처리 분야의 거듭된 발전은 다양한 언어처리 도구들의 출현을 가져왔다. 그러나 객관적인 성능 평가 기준의 부재로 인해, 개발된 도구들은 임의의 기준에 따라 평가될 수 밖에 없었다. 그 결과 성능 평가 결과는 평가자와 평가자가 제안한 기준에 따라 다를 수 밖에 없었고 따라서 평가 결과 자체 역시 설득력을 갖을 수가 없었다. 이와 같은 문제에 대한 해결책을 찾고자 하는 노력의 일환으로, 본 연구에서는 한국어처리 도구들 중 특히 구문분석기의 체계적이고도 객관적인 성능 평가를 목적으로 제작된 문장들과 관련 주석 정보들로 구성된 SERI Test Suites '97을 소개한다.

  • PDF

차량 정보 서비스용 한국어 대화 시스템 (Korean Dialogue System for Car Information Service)

  • 최승권;권오욱;황금하;노윤형;이기영;김영길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.281-284
    • /
    • 2013
  • 한국전자통신연구원(ETRI)에서는 2010 년부터 2015 년까지 5 년간에 걸쳐 모바일 플랫폼 기반 대화모델이 적용된 자연어 음성인터페이스 기술을 개발하고 있다. 2010 년에는 대화 시스템의 전반적인 모습을 설계하였고, 2011 년에는 대상 도메인으로 도시 관광용 영어 대화 시스템을, 2012 년에는 대상 도메인으로 차량공조, 응급조치 등과 같은 차량 정보 서비스용 한국어 대화 시스템을 개발하였다. 본 논문에서는 2012 년에 개발한 차량 정보 서비스용 한국어 대화 시스템을 기술하는 것을 목표로 한다. 차량 정보 서비스용 한국어 대화 시스템의 성능 평가는 운전 경험이 있는 평가자 20 명에 의해 이루어졌다. 평가자는 웹 평가 도구에 원격으로 접속하여 주어진 40 개의 차량 정보 관련 대화 미션을 태스크로 하여 차량 정보 서비스용 대화 시스템과 대화를 하였다. 평가는 태스크 성공률과 대화턴 성공률로 나누어 측정되었으며 태스크 성공률은 87.8%, 대화턴 성공률은 86.7%였다.

영한 대화체 자동번역을 위한 특화 방안 (Customization for English-Korean Spoken Language Machine Translation)

  • 이기영;노윤형;권오욱;최승권;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.50-55
    • /
    • 2009
  • 현재, 자동번역의 도메인은 응용 프로그램의 요구에 따라, 점차 문어체에서 대화체(spoken language)로 옮겨가고 있는 추세이다. 본 논문은 대화체가 지니는 특성을 자동번역 시스템을 구성하는 각 모듈별 및 지식 관점에서 분석하였다. 특성 분석을 기반으로 하여, 본 논문에서는 여행 영역을 대상으로 하는 대화체 자동번역시스템의 특화를 수행하였다. 대화체 자동번역을 위한 새로운 지식으로 구조화 번역메모리(Translation Memory)가 도입되었으며, 시스템을 구성하는 각 모듈별로 대화체 특화가 이루어졌다. 또한 기존의 문어체용 기구축 패턴 등이 정비되었으며, 고빈도 대화체 표현에 대한 신규 패턴이 도입되었다. 제안하는 방법의 검증을 위해 수동평가를 수행하였으며, 그 결과, 영한 대화체 자동번역에 있어서 번역률 향상이 있었다.

  • PDF

에서로/KE:한영 기계 번역 시스템 (FromTo/KE: A Korean-English Machine Translation)

  • 여상화;김영길;최승권;김태완;박동인;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.283-287
    • /
    • 1997
  • 본 논문에서는 당 연구소 주관으로 연구개발정보센터(KORDIC), 서울대와 공동으로 개발중인 한영 기계번역 시스템, '에서로/KE'의 prototype system을 설명한다. 에서로/KE는 KORDIC에서 한국어 형태소 분석기와 Tagger를 개발하고, 서울대에서 한국어 구문해석기와 한영 변환기를 개발하고, SERI에서 영어 구문 생성기와 영어 형태소 생성기를 개발한다. 한국어 Tagger는 HMM에 기반하여 제작되었으며 sample 200문장에 대해 98.9%의 정확률을 보인다. 한국어 구문 해석기는 의존 문법에 기반하여 CYK 알고리즘을 사용하여 제작되었으며 중의성 해결을 위해 29개의 최적 parse 선택 규칙이 구현되어 있다. 한영 변환기는 collocation과 idiom에 기반하여 한영 변환을 수행한다. 영어 구문 생성기는 Tree 변환 언어인 GWL(Grammar Writing Language)를 사용하여 작성되었으며, 영어 형태소 생성기는 최종적으로 자연스러운 영어 표층문을 생성한다. 에서로/KE는 현재 1차년도 Prototype system이 Unix 환경에서 구현되어 있으며, 현재 각 모듈별 성능 개선과 대량 사전 구축을 통해 상용화될 예정이다.

  • PDF

통계/의미 정보를 이용한 한국어 의존 파싱 (Korean Dependency Parsing Using Statistical/Semantic Information)

  • 장명길;류법모;박재득;박동인;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.313-319
    • /
    • 1997
  • 한국어 의존 파싱에서는 불필요한 의존관계의 과다한 생성과 이에 따른 다수의 구문분석 결과 생성에 대처하는 연구가 필요하다. 본 논문에서는 한국어 의존 파싱 과정에서 생기는 불 필요한 의존관계에 따른 다수의 후보 의존 트리들에 대하여 통계/의미 정보를 활용하여 최적 트리를 결정하는 구문 분석 방법을 제안한다. 본 논문의 구문 분석에서 사용하는 통계/의미 정보는 구문구조부착 말뭉치(Tree Tagged Corpus)를 이용하여 구축한 술어 하위범주화 정보 사전에서 얻었으며, 이러한 정보를 활용한 구문 분석은 한국어 구문 분석의 모호성 해소에 적용되어 한국어 구문 분석의 정확도를 높인다.

  • PDF

중한 이메일 자동번역시스템 (A Chinese-Korean E-Mail Translation System)

  • 김운;권오욱;오영순;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.225-230
    • /
    • 2009
  • 본 논문에서는 중국어의 이메일 특성을 이용한 중한 대화체 자동번역 방법에 대하여 기술한다. 본 논문에서는 중국어와 한국어와 같이 언어 간의 어순이 다르고 이메일과 같이 특정한 도메인의 언어적 자원도 제한적인 특성을 고려하여 중국어 이메일 특성을 이용한 규칙 기반의 번역 방법을 시도하였다. 이를 위해, 본 논문에서는 중국어의 굳어진 표현이 많고, 한글자 단어 많으며, 입력 오류 많고, 청유 및 경어가 많은 이메일 특성 분석을 통해 그에 대응되는 처리 방법을 제안하였다. 그리고, 그 방법의 타당성을 증명하기 위해 규칙기반의 중한 뉴스 자동번역 시스템과 비교 실험을 하였으며, 규칙기반과 통계적 방법의 타당성 실험을 위해 Gmail과도 비교 실험을 하였다. 두 가지 비교 실험 결과, 본 논문에서 접근한 방법이 모두 우수하였으며, 그 타당성을 증명하였다.

  • PDF