• 제목/요약/키워드: NLL

검색결과 51건 처리시간 0.023초

한국어 상호참조해결을 위한 BERT 기반 데이터 증강 기법 (BERT-based Data Augmentation Techniques for Korean Coreference Resolution)

  • 김기훈;이창기;류지희;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.249-253
    • /
    • 2020
  • 상호참조해결은 문서 내에 등장하는 모든 멘션 중에서 같은 의미를 갖는 대상(개체)들을 하나의 집합으로 묶어주는 자연어처리 태스크이다. 한국어 상호참조해결의 학습 데이터는 영어권에 비해 적은 양이다. 데이터 증강 기법은 부족한 학습 데이터를 증강하여 기계학습 기반 모델의 성능을 향상시킬 수 있는 방법 중 하나이며, 주로 규칙 기반 데이터 증강 기법이 연구되고 있다. 그러나 규칙 기반으로 데이터를 증강하게 될 경우 규칙 조건을 만족하지 못했을 때 데이터 증강이 힘들다는 문제점과 임의로 단어를 변경 혹은 삭제하는 과정에서 문맥에 영향을 주는 문제점이 발생할 수 있다. 따라서 본 논문에서는 BERT의 MLM(Masked Language Model)을 이용하여 기존 규칙기반 데이터 증강 기법의 문제점을 해결하고 한국어 상호참조해결 데이터를 증강하는 방법을 소개한다. 실험 결과, ETRI 질의응답 도메인 상호참조해결 데이터에서 CoNLL F1 1.39% (TEST) 성능 향상을 보였다.

  • PDF

BERT 기반 End-to-end 신경망을 이용한 한국어 상호참조해결 (Korean End-to-end Neural Coreference Resolution with BERT)

  • 김기훈;박천음;이창기;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.181-184
    • /
    • 2019
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 같은 개체(entity)를 의미하는 멘션을 찾아 그룹화하는 자연어처리 태스크이다. 한국어 상호참조해결에서는 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델과 포인터 네트워크 모델을 이용한 방법이 연구되었다. 구글에서 공개한 BERT 모델은 자연어처리 태스크에 적용되어 많은 성능 향상을 보였다. 본 논문에서는 한국어 상호참조해결을 위한 BERT 기반 end-to-end 신경망 모델을 제안하고, 한국어 데이터로 사전 학습된 KorBERT를 이용하고, 한국어의 구조적, 의미적 특징을 반영하기 위하여 의존구문분석 자질과 개체명 자질을 적용한다. 실험 결과, ETRI 질의응답 도메인 상호참조해결 데이터 셋에서 CoNLL F1 (DEV) 71.00%, (TEST) 69.01%의 성능을 보여 기존 연구들에 비하여 높은 성능을 보였다.

  • PDF

표층형을 이용한 BERT 기반 한국어 상호참조해결 (Korean Co-reference Resolution using BERT with Surfaceform)

  • 허철훈;김건태;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.67-70
    • /
    • 2019
  • 상호참조해결은 자연언어 문서 내에서 같은 개체를 나타내는 언급들을 연결하는 문제다. 대명사, 지시 관형사, 축약어, 동음이의어와 같은 언급들의 상호참조를 해결함으로써, 다양한 자연언어 처리 문제의 성능 향상에 기여할 수 있다. 본 논문에서는 현재 영어권 상호참조해결에서 좋은 성능을 내고 있는 BERT 기반 상호참조해결 모델에 한국어 데이터 셋를 적용시키고 표층형을 이용한 규칙을 추가했다. 본 논문의 모델과 기존의 모델들을 실험하여 성능을 비교하였다. 기존의 연구들과는 다르게 적은 특질로 정밀도 73.59%, 재현율 71.1%, CoNLL F1-score 72.31%의 성능을 보였다. 모델들의 결과를 분석하여 BERT 기반의 모델이 다양한 특질을 사용한 기존 딥러닝 모델에 비해 문맥적 요소를 잘 파악하는 것을 확인했다.

  • PDF

적대적 생성 신경망을 이용한 문법 오류 교정 (Grammatical Error Correction Using Generative Adversarial Network)

  • 권순철;유환조;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.488-491
    • /
    • 2019
  • 문법 오류 교정은 문법적으로 오류가 있는 문장을 입력 받아 오류를 교정하는 시스템이다. 문법 오류 교정을 위해서는 문법 오류를 제거하는 것과 더불어 자연스러운 문장을 생성하는 것이 중요하다. 이 연구는 적대적 생성 신경망(GAN)을 이용하여 정답 문장과 구분이 되지 않을 만큼 자연스러운 문장을 생성하는 것을 목적으로 한다. 실험 결과 GAN을 이용한 문법 오류 교정은 MaxMatch F0.5 score 기준으로 0.4942을 달성하여 Baseline의 0.4462보다 높은 성능을 기록했다.

  • PDF

동북아지역의 안보균형을 위한 적정수준 국방비 분석에 관한 연구 (The appropriate amount of Defense budget for stabilizing National security in Northeast Asia)

  • 이월형;김형재
    • 국제지역연구
    • /
    • 제20권1호
    • /
    • pp.277-295
    • /
    • 2016
  • 한반도의 안보환경은 매우 불안정하게 흘러가고 있다. 그 불안정의 요인에는 북한의 핵무기 개발과 실험, 특히 2016년 1월6일의 4차 핵실험과 연이은 2월7일의 장거리미사일(ICBM)발사 그리고 2월8일 NLL침범과 함께 개성공단의 폐쇄조치 등이다. 그리고 일본의 아베정권의 지나친 우경화와 영토권 분쟁, 드리고 중국의 남지나해에서 각국과의 섬 영토분쟁등과 같은 역내 갈등의 고조이다. 동북아 각국의 상호이해관계는 자국의 이익을 위하여 안전을 확보한 상태에서 대외교전과 경제전을 수행하는 것이다. 사실 우리의 입장에서 이것은 매우 중요한 국가의 이슈로 지금까지 진행해오는 중요한 문제이다. 하지만 어떠한 정책도 국민의 굶주림과 행복을 빼앗아가면서 시행하고 발전시켜서는 안된다. 그것은 민본에 어긋나는 행위이다. 국가이든 단체든 국가 이익의 최우선 목표가 국민행복, 국가안전이어야 한다. 그렇지 못하면 국가의 주권도 국가로서 존재가치도 상실하게 된다. 특히 주변국 상황을 볼 때 전례 없는 세계 경제위기에도 불구하고 주변국들은 국방비를 높은 수준으로 증액하고 있다. 이런 시기에 우리의 국방력이 현재수준에 머문다면 미래에는 군사력 격차가 더욱 심화될 것이다. 따라서 본 연구는 이러한 상황을 인식하여 동북아 안보환경의 급격한 변화 문제를 검토하고 향후 남북통일로 가기 위한 국가의 총역량 결집을 뒷받침해주는 국방비의 수준을 검토한 것이다.

디지털 보청기에서의 NAL-NL1 기반 한국형 비선형 fitting formula 연구 (A Study of Korean Non-linear Fitting Formula based on NAL-NL1 for Digital Hearing Aids)

  • 김혜미;이상민
    • 대한의용생체공학회:의공학회지
    • /
    • 제30권2호
    • /
    • pp.169-178
    • /
    • 2009
  • In this study, we suggest Korean nonlinear fitting formula (KNFF) to maximize speech intelligibility for digital hearing aids based on NAL-NL1 (NAL-nonlinear, version 1). KNFF was derived from the same procedure which is used for deriving NAL-NL1. KNFF consider the long-term average speech spectrum of Korean instead of English because the frequency characteristic of Korean is different from that of English. New insertion gains of KNFF were derived using the SII (speech intelligibility index) program provided by ANSI. In addition, the insertion gains were modified to maximize the intelligibility of high frequency words. To verify effect of the new fitting gain, we performed speech discrimination test (SDT) and preference test using the hearing loss simulator from NOISH. In the SDT, a word set as test material consists of 50 1-syllable word generally used in hearing clinic. As a result of the test, in case of moderate hearing loss with severe loss on high frequency, the SDT scores of KNFF was more improved about 3.2% than NAL-NLl and about 6% in case of the sever hearing loss. Finally we have obtained the result that it was the effective way to increase gain of mid-high frequency bands and to decrease gain of low frequency bands in order to maximize speech intelligibility of Korean.

핵무장 전.후 북한의 대남 군사전략 비교 (Comparison of North Korea's Military Strategy before and after Nuclear Arming)

  • 남만권
    • 안보군사학연구
    • /
    • 통권5호
    • /
    • pp.173-202
    • /
    • 2007
  • After successful nuclear tests Pakistan launched a more severe surprise attack toward India than before. It is highly possible that North Korea will adopt this Pakistan military strategy if it is armed with nuclear weapons. The North Korean forces armed, with nuclear bombs could make double its war capability through strengthening aggressive force structure and come into effect on blocking reinforcement of the US forces at the initial phase of war time. Therefore we may regard that Pyongyang's nuclear arming is a major one of various factors which increase possibility of waging a conventional warfare or a nuclear war. North Korea's high self-confidence after nuclear arming will heighten tension on the Korean Peninsula via aggressive military threat or terror toward South Korea, and endeavor to accomplish its political purpose via low-intensity conflicts. For instance, nuclear arming of the Pyongyang regime enforces the North Korean forces to invade the Northern Limit Line(NLL), provoke naval battles at the West Sea, and occupy one or two among the Five Islands at the West Sea. In that case, the South Korean forces will be faced with a serious dilemma. In order to recapture the islands, Seoul should be ready for escalating a war. However it is hard to imagine that South Korea fights with North Korea armed with nuclear weapons. This paper concludes that the Pyongyang regime after nuclear arming strongly tends to occupy superiority of military strategy and wage military provocations on the Korean Peninsula.

  • PDF

온라인 학습을 이용한 한국어 의존구문분석 (Korean Dependency Parsing Using Online Learning)

  • 이용훈;이종혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.299-304
    • /
    • 2010
  • 본 논문에서는 온라인 학습을 이용한 한국어 의존구문분석 방법을 제안한다. CoNLL-X에서 1위를 차지한 그래프 기반 의존구문분석 방법을 한국어에 맞게 변형하고, 한국어의 교착어적 특성을 고려해 한국어에 적합한 자질 집합을 제시하였다. 특히 의존트리의 에지(edge)를 단어와 단어간의 의존관계가 아닌 부분트리(partial tree)와 부분트리의 의존관계로 바라보기 위해 부분트리가 공유하고 있는 기능어 정보를 추가 자질로 사용하였다. 또한 한국어의 지배소 후위(head-final) 언어 특성과 투사성(projectivity)을 이용하여 Eisner(1996) 알고리즘을 사용하지 않고도 O($n^3$)의 CYK알고리즘을 사용할 수 있었고, 이를 이용해 최적의 전역해(global optimum)를 찾을 수 있었다. 각 자질을 위한 최적의 가중치 벡터는 온라인 학습방법 중 하나인 Collins(2002)의 averaged perceptron 알고리즘을 사용함으로써 빠르게 모델을 학습할 수 있었다. 제안 모델을 국어정보베이스(KIBS) 말뭉치에 적용한 결과 어절 단위 정확률 88.42%의 높은 성능을 얻을 수 있었다.

  • PDF

대화 데이터를 위한 멘션 탐지 및 상호참조해결 파이프라인 모델 (Mention Detection and Coreference Resolution Pipeline Model for Dialogue Data)

  • 김담린;김홍진;박성식;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.264-269
    • /
    • 2021
  • 상호참조해결은 주어진 문서에서 상호참조해결의 대상이 될 수 있는 멘션을 추출하고, 같은 개체를 의미하는 멘션 쌍 또는 집합을 찾는 자연어처리 작업이다. 하나의 멘션 내에 멘션이 될 수 있는 다른 단어를 포함하는 중첩 멘션은 순차적 레이블링으로 해결할 수 없는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 멘션의 시작 단어의 위치를 여는 괄호('('), 마지막 위치를 닫는 괄호(')')로 태깅하고 이 괄호들을 예측하는 멘션 탐지 모델과 멘션 탐지 모델에서 예측된 멘션을 바탕으로 포인터 네트워크를 이용하여 같은 개체를 나타내는 멘션을 군집화하는 상호참조해결 모델을 제안한다. 실험 결과, 4개의 영어 대화 데이터셋에서 멘션 탐지 모델은 F1-score (Light) 94.17%, (AMI) 90.86%, (Persuasion) 92.93%, (Switchboard) 91.04%의 성능을 보이고, 상호참조해결 모델에서는 CoNLL F1 (Light) 69.1%, (AMI) 57.6%, (Persuasion) 71.0%, (Switchboard) 65.7%의 성능을 보인다.

  • PDF

KoBERT와 KR-BERT의 은닉층별 통사 및 의미 처리 성능 평가 (How are they layerwisely 'surprised', KoBERT and KR-BERT?)

  • 최선주;박명관;김유희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.340-345
    • /
    • 2021
  • 최근 많은 연구들이 BERT를 활용하여, 주어진 문맥에서 언어학/문법적으로 적절하지 않은 단어를 인지하고 찾아내는 성과를 보고하였다. 하지만 일반적으로 딥러닝 관점에서 NLL기법(Negative log-likelihood)은 주어진 문맥에서 언어 변칙에 대한 정확한 성격을 규명하기에는 어려움이 있다고 지적되고 있다. 이러한 한계를 해결하기 위하여, Li et al.(2021)은 트랜스포머 언어모델의 은닉층별 밀도 추정(density estimation)을 통한 가우시안 확률 분포를 활용하는 가우시안 혼합 모델(Gaussian Mixture Model)을 적용하였다. 그들은 트랜스포머 언어모델이 언어 변칙 예문들의 종류에 따라 상이한 메커니즘을 사용하여 처리한다는 점을 보고하였다. 이 선행 연구를 받아들여 본 연구에서는 한국어 기반 언어모델인 KoBERT나 KR-BERT도 과연 한국어의 상이한 유형의 언어 변칙 예문들을 다른 방식으로 처리할 수 있는지를 규명하고자 한다. 이를 위해, 본 연구에서는 한국어 형태통사적 그리고 의미적 변칙 예문들을 구성하였고, 이 예문들을 바탕으로 한국어 기반 모델들의 성능을 놀라움-갭(surprisal gap) 점수를 계산하여 평가하였다. 본 논문에서는 한국어 기반 모델들도 의미적 변칙 예문을 처리할 때보다 형태통사적 변칙 예문을 처리할 때 상대적으로 보다 더 높은 놀라움-갭 점수를 보여주고 있음을 발견하였다. 즉, 상이한 종류의 언어 변칙 예문들을 처리하기 위하여 다른 메커니즘을 활용하고 있음을 보였다.

  • PDF