• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.619-623
• /
• 2022

대화생성은 대규모 학습 데이터로부터 사전 학습된 언어모델을 활용한 도전적인 다운스트림 태스크 중 하나이다. 대화에서 특정한 지식에 대한 맥락이 보존된 응답 문장을 생성하기 위한 기술의 일환으로써 지식 기반 대화생성이 연구되고 있으며, 현업에서는 사업목표에 따른 대화 서비스를 제공하는 목적으로 이러한 기술을 적용할 수 있다. 본 논문에서는, 각각의 서비스 도메인에 특화된 모델을 적절히 활용 가능하도록 전체 데이터를 도메인별로 구분하여 학습한 다수의 대화생성 모델을 구축한다. 또한, 특정 도메인의 데이터로 학습된 모델이 나머지 도메인에서 어떤 수준의 대화생성이 가능한지 비교 분석함으로써 개별 학습된 모델들이 도메인의 특성에 따라 서로 다른 영향력이나 연관성을 나타낼 가능성을 확인한다. 이러한 실험적인 분석 결과를 바탕으로 현업의 서비스에서 개별 도메인에 특화된 모델이 적절히 활용하는 것이 유용함을 확인하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.43-44
• /
• 2022

기존 자연어 처리 모델은 문맥 단위 단어 임베딩을 처리하지 못하는 한계점을 가지고 있는 한편 최근 BERT 기반 사전학습 모델들은 문장 단위 임베딩이 가능하고 사전학습을 통해 학습 효율이 비약적으로 개선되었다는 특징이 있다. 본 논문에서는 사전학습 언어 모델들을 이용하여 음식점, 배달전문점 등 음식 업종에서 발생한 고객 발화 의도를 분류하고 모델별 성능을 비교하여 최적의 모델을 제안하고자 한다. 연구결과, 사전학습 모델의 한국어 코퍼스와 Vocab 사이즈가 클수록 고객의 발화 의도를 잘 예측하였다. 한편, 본 연구에서 발화자의 의도를 크게 문의와 요청으로 구분하여 진행하였는데, 문의와 요청의 큰 차이점인 '물음표'를 제거한 후 성능을 비교해본 결과, 물음표가 존재할 때 발화자 의도 예측에 좋은 성능을 보였다. 이를 통해 음식 업종에서 발화자의 의도를 예측하는 시스템을 개발하고 챗봇 시스템 등에 활용한다면, 발화자의 의도에 적합한 서비스를 정확하게 적시에 제공할 수 있을 것으로 기대한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.290-292
• /
• 2021

최근 인코더-디코더 구조의 자연어 처리모델이 활발하게 연구가 이루어지고 있다. 인코더-디코더기반의 언어모델은 특히 본문의 내용을 새로운 문장으로 요약하는 추상(Abstractive) 요약 분야에서 널리 사용된다. 그러나 기존의 언어모델은 단일 문서 및 문장을 전제로 설계되었기 때문에 기존의 언어모델에 다중 문장을 요약을 적용하기 어렵고 주제가 다양한 여러 문장을 요약하면 요약의 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 다중 문장으로 대표적이고 상품 리뷰를 워드 임베딩의 유사도를 기준으로 클러스터를 구성하여 관련성이 높은 문장 별로 인공 신경망 기반 언어모델을 통해 요약을 수행한다. 제안하는 모델의 성능을 평가하기 위해 전체 문장과 요약 문장의 유사도를 측정하여 요약문이 원문의 정보를 얼마나 포함하는지 실험한다. 실험 결과 기존의 RNN 기반의 요약 모델보다 뛰어난 성능의 요약을 수행했다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.60-63
• /
• 2020

기계 독해는 입력 받은 질문과 문단의 관계를 파악하여 알맞은 정답을 예측하는 자연어처리 태스크로 양질의 많은 데이터 셋을 필요로 한다. 기계 독해 학습 데이터 구축은 어려운 작업으로, 문서에서 등장하는 정답과 정답을 도출할 수 있는 질문을 수작업으로 만들어야 한다. 이러한 문제를 해결하기 위하여, 본 논문에서는 정답이 속한 문서로부터 질문을 자동으로 생성해주는 BERT 기반의 Sequence-to-sequence 모델을 이용한 한국어 질문 생성 모델을 제안한다. 또한 정답이 속한 문서와 질문의 언어가 같고 정답이 속한 문장의 주변 단어가 질문에 등장할 확률이 크다는 특성에 따라 BERT 기반의 Sequence-to-sequence 모델에 복사 메카니즘을 추가한다. 실험 결과, BERT + Transformer 디코더 모델의 성능이 기존 모델과 BERT + GRU 디코더 모델보다 좋았다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.473-476
• /
• 2020

개체명 인식에 적용된 대부분의 신경망 모델들에서 CRFs와 결합을 통해 성능 향상을 하였다. 그러나 최근 대용량 데이터로 사전 학습한 모델을 활용하는 경우, 기 학습된 많은 유의미한 파라미터들로 인해 CRFs의 영향력이 비교적 작아졌다. 따라서 본 논문에서는 한국어 대용량 말뭉치로 사전 학습한 ELECTRA 모델에서의 CRFs 가 개체명 인식에 미치는 영향을 확인해보고자 한다. 모델의 입력 단위로 음절 단위와 Wordpiece 단위로 사전 학습된 두 가지의 모델을 사용하여 미세 조정을 통해 개체명 인식을 학습하였다. 실험을 통해서 두 모델에 대하여 각각 CRFs 층의 유무에 따른 성능을 비교해 보았다. 그 결과로 ELECTRA 기반으로 사전 학습된 모델에서 CRFs를 통한 F1-점수 향상을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.257-260
• /
• 2020

사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.54-59
• /
• 2020

사실 불일치 교정은 기계 요약 시스템이 요약한 결과를 실제 사실과 일치하도록 만드는 작업이다. 실제 요약 생성연구에서 가장 공통적인 문제점은 요약을 생성할 때 잘못된 사실을 생성하는 것이다. 이는 요약 모델이 실제 서비스로 상용화 하는데 큰 걸림돌이 되는 부분 중 하나이다. 본 논문에서는 원문으로부터 개체명을 가져와 사실과 일치하는 문장으로 고치는 방법을 제안한다. 이를 위해서 언어 모델이 개체명에 대한 문맥적 표현을 잘 생성할 수 있도록 학습시킨다. 그리고 학습된 모델을 이용하여 원문과 요약문에 등장한 개체명들의 문맥적 표현 비교를 통해 적절한 단어로 교체함으로써 요약문의 사실 불일치를 해소한다. 제안 모델을 평가하기 위해 추상 요약 데이터를 이용해 학습데이터를 만들어 학습하고, 실제 시나리오에서 적용가능성을 검증하기 위해 모델이 요약한 요약문을 이용해 실험을 수행했다. 실험 결과, 자동 평가와 사람 평가에서 제안 모델이 비교 모델보다 높은 성능을 보여주었다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.543-545
• /
• 2019

본 논문은 최신 한국어 의존 구문 분석 모델(Korean dependency parsing model)들과 다양한 앙상블 모델(ensemble model)들을 결합하여 그 성능을 분석한다. 단어 표현은 미리 학습된 워드 임베딩 모델(word embedding model)과 ELMo(Embedding from Language Model), Bert(Bidirectional Encoder Representations from Transformer) 그리고 다양한 추가 자질들을 사용한다. 또한 사용된 의존 구문 분석 모델로는 Stack Pointer Network Model, Deep Biaffine Attention Parser와 Left to Right Pointer Parser를 이용한다. 최종적으로 각 모델의 분석 결과를 앙상블 모델인 Bagging 기법과 XGBoost(Extreme Gradient Boosting) 이용하여 최적의 모델을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.59-60
• /
• 2022

갈수록 개인화되어 가는 추천시스템은 다양한 모델에 의해 그 성능이 향상되고 있으며 최근 추세는 다른 분야와 마찬가지로 딥러닝 기반 모델을 적용하여 추천 품질을 향상하고 있다. 그러나 대다수의 추천시스템은 하나의 도메인에서 개별적으로 사용될 뿐, 유사도메인이나 상이한 도메인이나 모두 다른 도메인에서의 사용자 성향이나 아이템 유사성을 거의 또는 전혀 고려하지 않고 있다. 이는 추천결과의 sparsity와 cold-start 문제를 더 악화시키는 원인이 된다. 본 논문은 다양한 딥러닝 모델 적용 추천 모델 중 오토인코더 모델을 지역특화 협업에 적용한 모델을 간략하게 소개하고 해당 모델을 상이한 도메인 간의 적용하기 위한 첫 단계로 손실함수 부분에 대해 개념적으로 설명하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.513-515
• /
• 2023

본 논문에서는 그리드 탐색과 트랜스포머를 사용한 그룹 행동 인식 모델을 제안한다. 추출된 여러 사람의 스켈레톤 정보를 차분 벡터, 변위 벡터, 관계 벡터로 변환하고 사람별로 묶어 이를 TimeDistributed 함수에 넣고 풀링을 한다. 이를 트랜스포머 모델의 입력으로 넣고 그룹 행동 인식 분류를 출력하였다. 논문에서 3가지 벡터를 입력으로 하여 합치고 트랜스포머 계층을 거친 모델과 3가지 벡터를 입력으로 하고 계층적으로 트랜스포머 모델을 거쳐 행동 인식 분류를 출력하는 두 가지 모델을 제안한다. 3가지 벡터를 합친 모델에서 클래스 분류 정확도는 CAD 데이터 세트 96.6%, Volleyball 데이터 세트 91.4%, 계층적 트랜스포머 모델은 CAD 데이터 세트 96.8%, Volleyball 데이터 세트 91.1%를 얻었다