• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.682-684
• /
• 2018

구문 분석은 문장을 구성하는 단어들 간의 관계를 알아내 문장의 구조를 분석하는 작업이다. 구문 분석은 구구조 분석과 의존 구문 분석으로 나누어지는데 한국어처럼 어순이 자유로운 언어는 의존 구문 분석이 적합하다. 최근 구문 분석은 심층 신경망을 적용한 방식이 중점적으로 연구되고 있으며, 포인터 네트워크를 사용하는 모델이 가장 좋은 성능을 보였다. 그러나 포인터 네트워크만으로 구문적인 정보를 학습하기에는 한계가 있다. 본 논문에서는 멀티헤드 어텐션을 함께 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.152-156
• /
• 2016

멘션(mention)은 명사 또는 명사구를 중심어로 가지며, 수식어를 포함하여 어떤 의미를 정의하는 구(chunk)를 구성한다. 문장 내에서 멘션을 추출하는 것을 멘션탐지라 한다. 멘션들 중에서 서로 같은 의미의 멘션들을 찾아내는 것을 상호참조해결이라 한다. 포인터 네트워크는 RNN encoder-decoder 모델을 기반으로, 주어진 입력 열에 대응되는 위치를 출력 결과로 갖는 모델이다. 본 논문에서는 멘션탐지에 포인터 네트워크를 이용할 것을 제안한다. 멘션탐지에 포인터 네트워크를 적용하면 기존의 sequence labeling 문제로는 해결할 수 없었던 중첩된 멘션탐지 문제를 해결할 수 있다. 실험 결과, 본 논문에서 제안한 멘션탐지의 성능이 규칙기반 보다 8%이상 높은 F1 80.75%를 보였으며, 이를 이용한 상호참조해결 성능이 CoNLL F1 52.69%로 규칙기반 멘션탐지를 이용한 상호참조해결에 비하여 2.29% 더 좋은 성능을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.13-18
• /
• 2018

구문 분석은 문장의 구조를 이해하며 의미의 중의성을 해결하는 것이다. 일반적으로 한국어는 어순 배열의 자유도가 높고 문장 성분의 생략이 빈번한 특성이 있기 때문에 의존 구문 분석이 주된 연구 대상이 되어 왔다. 스택-포인터 네트워크 모델은 의존 구문 파서에 맞게 포인터 네트워크 모델을 확장한 것이다. 스택-포인터 네트워크는 각 단어에서 의존소를 찾는 하향식 방식의 모델로 기존 모델의 장점을 유지하면서 각 단계에서 파생된 트리 정보도 사용한다. 본 연구에서는 스택-포인터 네트워크 모델을 한국어에 적용해보고 이와 함께 어절 정보를 반영하는 방법을 제안한다. 모델의 실험 결과는 세종 구문 구조를 중심어 후위(head-final)를 엄격히 준수하여 의존 구문 구조로 변환한 것을 기준으로 UAS 92.65%의 정확도를 얻었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.152-156
• /
• 2016

멘션(mention)은 명사 또는 명사구를 중심어로 가지며, 수식어를 포함하여 어떤 의미를 정의하는 구(chunk)를 구성한다. 문장 내에서 멘션을 추출하는 것을 멘션탐지라 한다. 멘션들 중에서 서로 같은 의미의 멘션들을 찾아내는 것을 상호참조해결이라 한다. 포인터 네트워크는 RNN encoder-decoder 모델을 기반으로, 주어진 입력 열에 대응되는 위치를 출력 결과로 갖는 모델이다. 본 논문에서는 멘션탐지에 포인터 네트워크를 이용할 것을 제안한다. 멘션탐지에 포인터 네트워크를 적용하면 기존의 sequence labeling 문제로는 해결할 수 없었던 중첩된 멘션탐지 문제를 해결할 수 있다. 실험 결과, 본 논문에서 제안한 멘션탐지의 성능이 규칙기반 보다 8%이상 높은 F1 80.75%를 보였으며, 이를 이용한 상호참조해결 성능이 CoNLL F1 52.69%로 규칙기반 멘션탐지를 이용한 상호참조해결에 비하여 2.29% 더 좋은 성능을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.274-277
• /
• 2021

의존 구문 분석은 문장 내 의존소와 지배소 사이의 관계를 예측하여 문장 구조를 분석하는 자연어처리 태스크이다. 최근의 딥러닝 기반 의존 구문 분석 연구는 주로 포인터 네트워크를 사용하는 방법으로 연구되고 있다. 포인터 네트워크는 내부적으로 사용하는 attention 기법에 따라 성능이 달라질 수 있다. 따라서 본 논문에서는 포인터 네트워크 모델에 적용되는 attention 기법들을 비교 분석하고, 한국어 의존 구문 분석 모델에 가장 효과적인 attention 기법을 선별한다. KLUE 데이터 셋을 사용한 실험 결과, UAS는 biaffine attention을 사용할 때 95.14%로 가장 높은 성능을 보였으며, LAS는 multi-head attention을 사용했을 때 92.85%로 가장 높은 성능을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.424-426
• /
• 2019

정답 후보군 탐지 모델은 최근 활발히 진행되고 있는 질의-응답 데이터 수집 연구의 선행이 되는 연구로 특정 질문에 대한 정답을 주어진 단락에서 추출하는 작업을 말한다. 제안 모델은 포인터 네트워크 디코더를 통하여 기존의 순차 레이블링 모델에서 처리할 수 없었던 정답이 겹치는 문제에 대해서 해결할 수 있게 되었다. 그리고 독립된 두 개의 포인터 네트워크 디코더를 사용함으로써, 단일 포인터 네트워크로 처리할 수 없었던 정답의 탐지가 가능하게 되었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권9호
• /
• pp.542-549
• /
• 2017

Sequence-to-sequence 모델과 이와 유사한 포인터 네트워크는 입력이 여러 문장으로 이루어 지거나 입력 문장의 길이가 길어지면 성능이 저하되는 문제가 있다. 이러한 문제를 해결하기 위해 본 논문에서는 여러 문장으로 이루어진 입력열을 단어 레벨과 문장 레벨로 인코딩을 수행하고, 디코딩에서 단어 레벨과 문장 레벨 정보를 모두 이용하는 계층적 포인터 네트워크 모델을 제안하고, 이를 이용하여 모든 멘션(mention)에 대한 상호참조해결을 수행하는 계층적 포인터 네트워크 기반 상호참조해결을 제안한다. 실험 결과, 본 논문에서 제안한 모델이 정확률 87.07%, 재현율 65.39%, CoNLL F1 74.61%의 성능을 보였으며, 기존 규칙기반 모델 대비 24.01%의 성능 향상을 보였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제24권3호
• /
• pp.113-121
• /
• 2018

포지션 인코딩은 문장 내 등장하는 단어의 위치에 따라 가중치를 적용하는 방법이다. 포인터 네트워크는 입력열에 대응되는 위치를 출력하는 딥 러닝 모델이며, 상호참조해결에 적용될 수 있다. 그러나 포인터 네트워크는 입력열의 길이가 긴 경우에 성능이 저하되는 문제가 있다. 이러한 문제를 해결하기 위하여 본 논문에서는 포지션 인코딩과 동적 포지션 인코딩을 포인터 네트워크에 적용할 것을 제안하고, Encoder RNN의 레이어를 더 깊게 쌓아 높은 수준으로 추상화할 것을 제안하며, 이를 이용한 상호참조해결 모델을 제안한다. 실험 결과, 본 논문에서 제안한 포지션 인코딩 기반 스택 포인터 네트워크 모델이 기존의 포인터 네트워크 모델보다 6.01% 향상된 CoNLL F1 71.78%의 성능을 보였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권12호
• /
• pp.625-631
• /
• 2016

포인터 네트워크는 어텐션 메커니즘(Attention mechanism)을 기반으로 입력열에 대응되는 위치를 결과 리스트로 출력하는 모델이다. 포인터 네트워크를 수행할 때 입력열의 크기를 N이라고 하면, 각 입력에 대한 어텐션(attention)을 계산하기 때문에 시간복잡도는 $O(N^2)$이 되어 디코딩 시간이 길어진다. 이에 따라, 본 논문에서는 포인터 네트워크의 디코딩 시간을 줄이기 위하여 디코딩 시에 필요한 입력 정보만을 확인하는 스킵 포인팅 모델 기반 포인터 네트워크를 제안한다. 본 논문에서 제안한 방법을 이용하여 대명사 상호참조해결에 대한 실험을 수행한 결과, 일반 포인터 네트워크에 비하여 문장당 처리 시간이 약 1.15배 빠른 속도와, MUC F1 값이 약 2.17% 향상된 83.60%의 성능을 보였다.

• 정보과학회 논문지
• /
• 제44권8호
• /
• pp.822-831
• /
• 2017

본 논문에서는 멀티 태스크 학습 기반 포인터 네트워크를 이용한 한국어 의존 구문 분석 모델을 제안한다. 멀티 태스크 학습은 두 개 이상의 문제를 동시에 학습시켜 성능을 향상시키는 방법으로, 본 논문에서는 이 방법에 기반한 포인터 네트워크를 이용하여 어절 간의 의존 관계와 의존 레이블 정보를 동시에 구하여 의존 구문 분석을 수행한다. 어절 기반의 의존 구문 분석에서 형태소 기반의 멀티 태스크 학습 기반 포인터 네트워크를 수행하기 위하여 입력 기준 5가지를 정의하고, 성능 향상을 위하여 fine-tuning 방법을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 의존 구문 분석 연구들 보다 좋은 UAS 91.79%, LAS 89.48%의 성능을 보였다.