• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.361-365
• /
• 2023

오픈 도메인 질의응답 (ODQA, Open-Domain Question Answering)은 주어진 질문에 대한 답을 찾는 작업으로 일반적으로 질문과 관련 있는 지식을 검색 모델(Retrieval)을 통해 찾는 단계와, 찾은 지식에서 문서의 정답을 독해 모델(Reader)을 이용하여 찾는 단계로 구성되어 있다. 본 논문은 기존의 DPR(Dense Passage Retrieval)을 이용한 복수의 검색 모델(Retrieval)만을 계층적으로 사용하여 독해 모델(Reader)을 사용하지 않고 정답 문장을 찾는 방법과 정답 문장을 찾는 데 특화된 검색 모델 학습을 위한 유효한 성능 향상을 보이는 Hard Negative Sampling 기법을 제안한다. 해당 제안기법을 적용한 결과, 동일 조건에서 학습된 검색 - 독해(Retrieval-Reader) 구조의 베이스라인 모델보다 EM에서 12%, F1에서 10%의 성능 향상을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.141-145
• /
• 2022

다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

• 응용통계연구
• /
• 제35권2호
• /
• pp.311-325
• /
• 2022

0의 값을 과도하게 포함하는 가산자료는 다양한 연구 분야에서 흔히 나타난다. 영과잉 모형은 영과잉 가산자료를 분석하기 위해 가장 일반적으로 사용되는 모형이다. 영과잉 모형에 대한 전통적인 베이지안 추론은 조건부 사후분포의 형태가 폐쇄형 분포로 나타나지 않아 모형 적합 과정이 용이하지 않다는 한계점이 존재했다. 그러나 최근 Pillow와 Scott (2012)과 Polson 등 (2013)이 제안한 폴랴-감마 자료확대전략으로 인해, 로지스틱 회귀모형과 음이항 회귀모형에서 깁스 샘플링을 통한 추론이 가능해지면서, 영과잉 모형에 대한 베이지안 추론이 용이해졌다. 본 논문에서는 베이지안 추론에 기반한 영과잉 음이항 회귀모형을 Min과 Agresti(2005)에서 분석된 약학 연구 자료에 적용해본다. 분석에 사용된 자료는 경시적 영과잉 가산자료로 복잡한 자료 구조를 가지고 있다. 모형 적합 과정에서는 깁스 샘플링을 통한 추론을 수행하기 위해 폴랴-감마 자료확대전략을 사용한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.348-353
• /
• 2022

최근 신경망 기반의 언어모델이 발전함에 따라 대부분의 검색 모델에서는 Bi-encoder를 기반으로한 Dense retrieval 모델에 대한 연구가 진행되고 있다. 특히 DPR은 BM25를 통해 정답 문서와 유사한 정보를 가진 하드 네거티브를 사용하여 대조학습을 통해 성능을 더욱 끌어올린다. 그러나 BM25로 검색된 하드 네거티브는 term-base의 유사도를 통해 뽑히기 때문에, 의미적으로 비슷한 내용을 갖는 하드 네거티브의 역할을 제대로 수행하지 못하고 대조학습의 효율성을 낮출 가능성이 있다. 따라서 DRP의 대조학습에서 하드 네거티브의 역할을 본질적으로 수행할 수 있는 문서를 샘플링 하는 방법을 제시하고, 이때 얻은 하드 네거티브의 집합을 주기적으로 업데이트 하여 효과적으로 대조학습을 진행하는 방법을 제안한다. 지식 기반 대화 데이터셋인 MultiDoc2Dial을 통해 평가를 수행하였으며, 실험 결과 기존 방식보다 더 높은 성능을 나타낸다.