• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.501-506
• /
• 2020

질의 난이도 분석 문제는 자연어 질의문을 답변할 때 어려움의 정도를 측정하는 문제이다. 질의 난이도 분석 문제는 문서 독해, 의학 시험, 비디오 질의 등과 같은 다양한 데이터셋에서 연구되어 왔다. 본 논문에서는 질의문과 질의문에 응답하기 위한 정보들 간의 관계를 파악하는 것으로 질의 난이도 분석 문제를 접근하여 이를 BERT와 Dual Multi-head Attention을 사용하여 모델링 하였다. 본 논문에서 제안하는 모델의 우수성을 증명하기 위하여 최근 자연언어이해 부분에서 높은 성능을 보여주는 기 학습 언어 모델과 이전 연구의 질의 난이도 분석 모델과의 성능을 비교하였고, 제안 모델은 대표적인 비디오 질의 응답 데이터셋인 DramaQA의 Memory Complexity에서 99.76%, Logical Complexity에서는 89.47%의 정확도로 가장 높은 질의 난이도 분석 성능을 보여주었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.816-818
• /
• 2015

본 논문에서는 질의유형을 통한 검색기반 질의응답 시스템을 구현하기 위한 설계방법을 제안한다. 이를 위해 위키피디아 문서의 링크 데이터를 이용하여 색인 대상문서와 데이터베이스를 구축하는 색인 모델과 2-포아송 모델을 이용하여 얻은 문서들을 색인 데이터베이스를 통해 필터링하여 정답 후보문장을 추출하는 검색모델, 키워드 패턴 매칭 기반 질의유형 분류 모델을 설계하였다.

• 정보과학회 논문지
• /
• 제43권10호
• /
• pp.1085-1093
• /
• 2016

커뮤니티 기반 질의 응답 시스템은 사용자 질의에 대한 정답을 인터넷 커뮤니티에 사용자들이 게시했던 문서 중에서 선택하여 제공하는 시스템이다. 기존 방법들은 질의 분석의 성능 향상을 위하여 목적 영역에 적합한 규칙을 구축하거나 일부 처리 과정에 기계 학습을 적용하였다. 하지만 기존 방법들은 적용 영역을 확장하거나 수정하는 경우 많은 비용이 소요되며 경우에 따라서는 시스템이 특정 영역에 과적합되는 경우가 발생한다. 본 논문에서는 커뮤니티 기반 질의-응답 시스템의 효과적인 처리를 위해서 시스템의 각 과정에 적합한 기계 학습 방법을 적용하여 전체 과정을 자동화하는 다중 기계학습 방법을 제안한다. 제안 시스템은 사용자 질의를 분석하는 부분과 정답 문서를 선택하는 부분으로 나눌 수 있다. 질의 분석 과정은 질의의 초점 구문을 분석하는 질의 핵심부 추출기와 질의의 주제를 분류하는 질의 유형 분류기로 구성하였으며, 전자는 조건부 무작위장을 사용하고 후자는 지지 벡터 기계를 사용한다. 정답 문서 선택에서는 유사도 측정에서 사용하는 가중치를 인공 신경망으로 학습한다. 또한 인터넷에 커뮤니티에 게시된 데이터는 형태소 분석 결과를 신뢰할 수 없는 경우가 많이 발생한다. 따라서 음절 자질을 사용하여 질의를 분석 단계에서 형태소 분석의 영향을 최소화하는 방법을 제안한다. 제안하는 시스템은 Mean Average Precision 기준으로 0.765, R-Precision 기준으로 0.872의 성능을 보여 기존 시스템보다 성능이 우수하다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.97-102
• /
• 2019

KorQuAD 2.0은 총 100,000+ 쌍으로 구성된 한국어 질의응답 데이터셋이다. 기존 질의응답 표준 데이터인 KorQuAD 1.0과의 차이점은 크게 세가지가 있는데 첫 번째는 주어지는 지문이 한두 문단이 아닌 위키백과 한 페이지 전체라는 점이다. 두 번째로 지문에 표와 리스트도 포함되어 있기 때문에 HTML tag로 구조화된 문서에 대한 이해가 필요하다. 마지막으로 답변이 단어 혹은 구의 단위뿐 아니라 문단, 표, 리스트 전체를 포괄하는 긴 영역이 될 수 있다. Baseline 모델로 구글이 오픈소스로 공개한 BERT Multilingual을 활용하여 실험한 결과 F1 스코어 46.0%의 성능을 확인하였다. 이는 사람의 F1 점수 85.7%에 비해 매우 낮은 점수로, 본 데이터가 도전적인 과제임을 알 수 있다. 본 데이터의 공개를 통해 평문에 국한되어 있던 질의응답의 대상을 다양한 길이와 형식을 가진 real world task로 확장하고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.87-92
• /
• 2019

본 논문에서는 기계 독해를 이용한 웹 기반 오픈 도메인 한국어 질의응답 시스템에 대하여 서술한다. 하나의 사용자 질의에 대하여, 본 논문에서 제안된 시스템은 기 존재하는 검색 엔진을 이용하여 실시간으로 최대 1,500 개의 문서를 기계 독해 방식으로 분석하고, 각 문서별로 얻어진 답을 종합함으로써 최종 답변을 도출한다. 실험 결과, 제안된 시스템은 평균적으로 2초 이내의 실행 시간을 보였으며, 사람과 비교하여 86%의 성능을 나타내었다. 본 논문에서 제안된 시스템의 데모는 http://nlp-api.kakao.com에서 확인 가능하다.

• 컴퓨터교육학회논문지
• /
• 제6권4호
• /
• pp.23-30
• /
• 2003

본 논문은 문서 단위 보다 작은 단락 단위의 검색 시스템을 사용하는 효율적인 질의 응답 시스템 개발을 위하여 문서 검색에서 성능이 검증된 Okapi 시스템의 BM25 알고리즘을 응용한 단락 검색 시스템을 제안하고, 단락 검색 시스템의 성능을 분석하고자 한다. 100만 건의 문서로 구성된 TREC Q&A track 테스트 컬렉션을 색인에 사용하고 TREC Q&A track 질의 집합 중 1~100번까지의 질의를 사용하여 실험한 결과 재현율이 100%가 되기 위해서는 문서 검색은 약 12만 문장을 검색해야 하는 반면, 단락 검색에서는 문서 검색의 약 1/70인 1700문장만으로도 100%의 재현율을 얻을 수 있음을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.263-269
• /
• 2018

본 논문에서는 실생활에서 쓰이는 다양한 구조를 갖는 문서에 대해서도 자연어 질의응답이 가능한 모델을 만들고자, 그 첫걸음으로 표에 대해 자연어 질의응답이 가능한 End-to-End 인공신경망 모델 TabQA를 제안한다. TabQA는 기존 연구들과는 달리 표의 형식에 구애받지 않고 여러 가지 형태의 표를 처리할 수 있으며, 다양한 정보의 인코딩으로 풍부해진 셀의 feature를 통해, 표의 row와 column 객체를 직관적이고도 효과적으로 추상화한다. 우리는 본 연구의 결과를 검증하기 위해 다채로운 어휘를 가지는 표 데이터에 대한 질의응답 쌍을 자체적으로 생성하였으며, 이에 대해 단일 모델 EM 스코어 96.0%에 이르는 결과를 얻었다. 이로써 우리는 추후 더 넓은 범위의 양식이 있는 데이터에 대해서도 자연어로 질의응답 할 수 있는 가능성을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.405-409
• /
• 2021

자연어 추론은 전제가 주어졌을때 특정 가설이 전제에 기반해 합당한지 검증하는 자연어 처리의 하위 과제이다. 우리는 질의응답 시스템이 도출한 정답 및 근거 문서를 자연어 추론 모델로 검증할 수 있다는 점에 착안하여, HotpotQA 질의응답 데이터셋을 자연어 추론 데이터 형식으로 변환한뒤 자연어 추론 모델을 학습하여 여러 질의응답 시스템이 생성한 결과물을 재순위화하고자 하였다. 그 결과로, 자연어 추론 모델에 의해 재순위화된 결과물은 기존 단일 질의응답 시스템의 결과물보다 대체로 향상된 성능을 보여주었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
• /
• pp.33-37
• /
• 2011

본 논문에서는 실시간 검색어를 이용한 주제어 기반의 질의응답 시스템을 제안한다. 제안 시스템은 주제어로 사용자의 질의 범위를 제한함으로써 질의과정에서 발생할 수 있는 오류의 감소를 기대할 수 있다. 제안 시스템은 주제어 기반의 질의응답을 수행하기 위해 검색대상문서 색인, 질의유형결정, 검색결과의 순위화 과정을 거친다. 제안한 방법으로 기준시스템에 비해 P@5에서 질의유형별 평균 69%의 성능향상을 얻었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.1-3
• /
• 2006

본 논문에서는 기네스 기록과 같은 기록정보 즉, 기록적 가치가 있는 문장에 대한 질의가 들어왔을 경우기록 부사와 정답 유형을 이용하여 정답을 추출하는 시스템에 대해 기술한다. 기록정보는 역사적이고 사실적인 내용으로, 기록부사틀 포함하는 문장을 말한다. 기록부사는 기록정보 내에서 쓰이며 어떤 사실의 기록에 대해 뜻을 명확하게 나타내어주는 한 요소이고, 이것은 해당문장이 기록문장임을 나타내준다. 이는 질의-응답 시스템에서 정답 추출의 중요한 단서로 사용될 수 있다. 질의-응답 시스템은 크게 질의를 분석하는 부분과 정답 문서를 찾는 부분으로 나뉘며, 질의 분석을 통하여 기록부사로 지역정보 그리고 정답유형을 결정한 후 이를 이용하여 후보 문서를 검색, 추출하고 정의문 규칙과 개체명 태깅에 의하여 정답을 추출하게 된다.