• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.31-35
• /
• 2023

최근에는 질의응답(Question Answering, QA) 분야에서 거대 언어 모델(Large Language Models, LLMs)의 파라미터에 내재된 지식을 활용하는 방식이 활발히 연구되고 있다. Open Domain QA(ODQA) 분야에서는 기존에 정보 검색기(retriever)-독해기(reader) 파이프라인이 주로 사용되었으나, 최근에는 거대 언어 모델이 독해 뿐만 아니라 정보 검색기의 역할까지 대신하고 있다. 본 논문에서는 거대 언어 모델의 내재된 지식을 사용해서 질의 응답에 활용하는 방법을 제안한다. 질문에 대해 답변을 하기 전에 질문과 관련된 구절을 생성하고, 이를 바탕으로 질문에 대한 답변을 생성하는 방식이다. 이 방법은 Closed-Book QA 분야에서 기존 프롬프팅 방법 대비 우수한 성능을 보여주며, 이를 통해 대형 언어 모델에 내재된 지식을 활용하여 질의 응답 능력을 향상시킬 수 있음을 입증한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.105-108
• /
• 2010

쌍방향으로 질문과 답변을 하는 커뮤니티 기반의 지식검색서비스에서는 질의를 통해 원하는 답변을 얻을 수 있지만, 수많은 사용자들이 참여함에 따라 방대한 문서 속에서 검증된 문서를 찾아내는 것은 점점 더 어려워지고 있다. 지식검색서비스에서 기존 연구는 사용자들이 생성한 데이터 즉 추천수, 조회수 등의 비텍스트 정보를 이용하거나 답변의 길이, 자료첨부, 연결어 등의 텍스트 정보 이용하여 전문가를 식별하거나 문서의 품질을 평가하고, 이를 검색에 반영하여 검색성능을 향상시키는 데 활용했다. 그러나 비텍스트 정보는 질의/응답의 초기에 사용자들에 의해 충분한 정보를 확보할 수 없는 단점이 제기 되며, 텍스트 정보는 전체의 문서를 답변의 길이, 자료 첨부등과 같은 일부요인으로 판단해야하기 때문에 품질평가의 한계가 있다고 볼 수 있겠다. 본 논문에서는 이러한 비텍스트 정보와 텍스트 정보의 문제점을 개선하기 위한 품질평가 알고리즘을 제안한다. 제안된 알고리즘을 통한 품질지수는 텍스트/비텍스트 정보와 소셜 네트워크 사용자 중앙성을 고려하여 질문에 적합하고 신뢰성 있는 답변을 랭킹화 함으로써 지식검색문서를 분별하는 지표가 되며, 이는 지식검색서비스의 성능향상에 기여를 할 수 있을 것으로 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.618-621
• /
• 2023

최근 거대언어모델(LLM)이 기계 번역 및 기계 독해를 포함한 다양한 문제들에서 높은 성능을 보이고 있다. 특히 프롬프트 기반의 대규모 언어 모델은 사고사슬 방식으로 적절한 프롬프팅을 통해 원하는 형식의 답변을 생성할 수 있으며 자연어 추론 단계에서도 높은 정확도를 보여주고 있다. 그러나 근본적으로 LLM의 매개변수에 질문에 관련된 지식이 없거나 최신 정보로 업데이트 되지 않은 경우 추론이 어렵다. 이를 해결하기 위해, 본 연구는 검색문서와 생성모델의 상호작용을 통해 답변하는 한국어 질의응답 모델을 제안한다. 검색이 어려운 경우 생성형 모델을 통해 질문과 관련된 문장을 생성하며, 이는 다시 검색모델과 추론 과정에서 활용된다. 추가로 "판단불가"라는 프롬프팅을 통해 모델이 답변할 수 없는 경우를 스스로 판단하게 한다. 본 연구결과에서 GPT3를 활용한 사고사슬 모델이 63.4의 F1 점수를 보여주며 생성형 모델과 검색모델의 융합이 적절한 프롬프팅을 통해 오픈-도메인 질의응답에서 성능의 향상을 보여준다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.366-371
• /
• 2023

신경망 기반의 검색 모델이 활발히 연구됨에 따라 효과적인 대조학습을 위한 다양한 네거티브 샘플링 방법이 제안되고 있다. 대표적으로, ANN전략은 하드 네거티브 샘플링 방법으로 질문에 대해 검색된 후보 문서들 중에서 정답 문서를 제외한 상위 후보 문서를 네거티브로 사용하여 검색 모델의 성능을 효과적으로 개선시킨다. 하지만 질문에 부착된 정답 문서를 통해 후보 문서를 네거티브로 구분하기 때문에 실제로 정답을 유추할 수 있는 후보 문서임에도 불구하고 네거티브로 분류되어 대조학습을 진행할 수 있다는 문제점이 있다. 이러한 가짜 네거티브 문제(False Negative Problem)는 학습과정에서 검색 모델을 혼란스럽게 하며 성능을 감소시킨다. 본 논문에서는 False Negative Problem를 분석하고 이를 완화시키기 위해 가짜 네거티브 분류기(False Negative Classifier)를 소개한다. 실험은 오픈 도메인 질의 응답 데이터셋인 Natural Question에서 진행되었으며 실제 False Negative를 확인하고 이를 판별하여 기존 성능보다 더 높은 성능을 얻을 수 있음을 보여준다.

• Annual Conference on Human and Language Technology
• /
• 2015.10a
• /
• pp.46-49
• /
• 2015

본 논문에서는 가추적 추론에 기만한 질의응답 기술을 활용하여 O/X 퀴즈 질문에 대한 질의응답을 수행하는 기술에 대해서 소개한다. O/X 퀴즈를 기존의 질의응답 기술에 적용하기 위해서는 O/X 퀴즈 문장을 단답형 질문으로 재생성해야 한다. 질문재생성에서는 단답형 질문으로 변환하기 위해 특정 어휘(또는 개체나 구)를 <지시대명사>나 <지시관형사+명사>로 대체한다. 이때 대체된 어휘는 정답후보로 인식된다. 단답형질문과 정답후보의 쌍으로 구성된 정답가설은 근거검색과 유사도에 기반한 신뢰도 값 계산을 통해, O/X를 결정하게 된다. 실험을 통해, 신뢰도 임계값이 0.45일 때 정확률이 69.17%를 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.726-727
• /
• 2012

본 논문에서는 스마트 디바이스기반의 실시간 지식공유 시스템 설계를 제안한다. 스마트 디바이스기반의 실시간 지식공유 시스템은 사용자의 스마트 디바이스에 저장되어있는 지인들을 연결하여 실시간으로 질문과 답변을 할 수 있는 기능을 제공하고 사용자 질문에 대한 웹 검색 결과를 제공한다. 또한 사용자간의 질문, 답변 결과를 서버에 저장하여 축적시키고 추천 기능을 제공하여 다른 사용자가 유사한 질문을 할 경우 축적된 질문과 답변을 제공한다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 1998.08a
• /
• pp.19-22
• /
• 1998

지역정보시스템의 구축의 일환으로 관광과 기행문을 담고 있는 정보시스템을 고찰하였다. 관광정보는 문답식과 질문식의 두가지 검색방법이 마련되었고, 기행문에는 작성요령과 예문들을 제공하는 전문검색시스템이 고안되었다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.131-134
• /
• 2022

자연어처리 분야 중 질의응답 태스크는 전통적으로 많은 연구가 이뤄지고 있는 분야이며, 최근 밀집 벡터를 사용한 리트리버(Dense Retriever)가 성공함에 따라 위키피디아와 같은 방대한 정보를 활용하여 답변하는 오픈 도메인 QA(Open-domain Question Answering) 연구가 활발하게 진행되고 있다. 대표적인 검색 모델인 DPR(Dense Passage Retriever)은 바이 인코더(Bi-encoder) 구조의 리트리버로서, BERT 모델 기반의 질의 인코더(Query Encoder) 및 문단 인코더(Passage Encoder)를 통해 임베딩한 벡터 간의 유사도를 비교하여 문서를 검색한다. 하지만, BERT와 같이 엔티티(Entity) 정보에 대해 추가적인 학습을 하지 않은 언어모델을 기반으로 한 리트리버는 엔티티 정보가 중요한 질문에 대한 답변 성능이 저조하다. 본 논문에서는 엔티티 중심의 질문에 대한 답변 성능 향상을 위해, 엔티티를 잘 이해할 수 있는 LUKE 모델 기반의 리트리버를 제안한다. KorQuAD 1.0 데이터셋을 활용하여 한국어 리트리버의 학습 데이터셋을 구축하고, 모델별 리트리버의 검색 성능을 비교하여 제안하는 방법의 성능 향상을 입증한다.

• Journal of the Korean Society for Library and Information Science
• /
• v.24
• /
• pp.333-369
• /
• 1993

정보검색 시스템을 대하는 대부분의 이용자의 대답은 '이용하기에 어렵다'라는 것이다. 기계적인 정보검색을 기본 철학으로 하는 기존의 matching paradigm은 정보 곡체를 여기 저기 내용을 옮길 수 있는 물건으로 간주한다. 그리고 기존의 정보시스템은 이용자가 시스템을 구성한 사람의 의도 (즉, indexing, cataloguing rule)를 완전히 이해한다면, 즉 완전하게 질문식(query)을 작성한다면, 효과적인 검색을 할 수 있는 그런 시스템이다. 그러나 어느 이용자가 그 복잡한 시스템을 이해하고 정보검색을 할 수 있겠는가? 한마디로 시스템을 설계한 사람의 의도로 이용자가 적응해서 검색을 한다는 것은 아주 힘든 일이다. 그러나 우리가 이용자에 대한 인식을 다시 한다면 보다 나은 시스템을 만들 수 있다고 본다. 우리 인간은 아주 창조적이어서 자기가 처한 상황에서 이치에 맞게끔 자기 나름대로의 행동을 할 수 있다(sense-making approach). 이 사실을 인식한다면, 왜 이용자들의 행동양식에 시스템 설계자가 적응을 못하는 것인가? 하고 의문을 던질 수 있다. 앞으로의 시스템이 이용자들의 자연스러운 행동 패턴에 맞게 끔 설계된다면 기존의 시스템과 함께 쉽게 이용할 수 있는 편리한 시스템이 설계될 수 있을 것이다. 그러므로 도서관 및 정보학 연구에 있어서 기존의 분류. 목록에 대한 연구와 이용자체에 대한연구(예를 들면, 몇 시에 이용자가 많은가? 어떤 종류의 책을 어떤 계충에서 많이 보는가? 도서 및 잡지가 어떻게 양적으로 성장해 왔는가? 등등의 use study)와 함께 여기서 제시한 제3의 요소인 이용자의 인식(cognition)을 시스템설계에 반드시 도입을 해야만 한다고 본다(user-centric approach). 즉 이용자를 중간 중간에서 도울 수 있는 facilitator가 많이 제공되어야 한다. 이용자의 다양한 패턴의 정보요구(information needs)에 부응할 수 있고, 질문식(query)을 잘 만들 수 없는 이용자를 도울 수 있고(ASK hypothesis: Anomolous State of Knowledge), 어떤 질문식 없이도 자유스럽게 Browsing할 수 있는(예를 들면 hypertext) 시스템을 설계하기 위해서는 눈에 보이는 이용자의 행동패턴(external behavior)도 중요하지만 우리 눈에는 보이지 않는 이용자의 심리상태를 이해한다면 훨씬 나은 시스템을 만들 수 있다. 이용자가 '왜?' '어떤 상황에서,' '어떤 목적으로,' '어떻게,' 정보를 검색하는지에 대해서 새로운 관심을 들려서 이용자들이 얼마나 우리 시스템 설계자들의 의도에 미치지 못한다는 사실을 인식 해야한다. 이 분야의 연구를 위해서는 새로운 paradigm이 필수적으로 필요하다고 본다. 단지 'user-study'만으로는 부족하며 새로운 시각으로 이용자를 연구해야 한다. 가령 새롭게 설치된 computer-assisted system에서 이용자들이 어떻게, 그리핀 어떤 분야에서 왜 그렇게 오류 (error)를 범하는지 분석한다면 앞으로의 computer 시스템 선계에 큰 도움을 줄 수 있을 것으로 믿는다. 실제로 많은 방법이 개발되고 있다. 그러면 시스템 설계자가 가졌던 이용자들이 이러 이러한 방식으로 정보검색을 할 것이라는 예측과(즉, conceptual model) 실제 이용자들이 정보검색을 할 때 일어나는 행동패턴 사이에는(즉, mental model) 상당한 차이점이 있다는 것을 알게 될 것이다. 이 차이점을 줄이는 것이 시스템 설계자의 의무라고 생각한다. 결론적으로, Computer에 대한 새로운 지식과 함께 이용자들의 인식을 연구할 수 있는, 철학적이고 방법론적인 연구를 계속하나가면서, 이용자들의 행동패턴을 어떻게 시스템 설계에 적용할 수 있는 지를 연구해야 한다. 중요하게 인식해야할 사실은 구 Paradigm을 완전히 무시하라는 것은 아니고 단지 이용자에 대한 새로운 인식을 추가하자는 것이다. 그것이 진정한 User Study가 될 수 있는 길이라고 생각하며, 컴퓨터와 이용자 사이의 '원활한 의사교환'이 필수불가결 한 지금 우리 학문이 가야 할 한 연구분야이다. (Human Interaction with Computers)

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.538-545
• /
• 2001

본 연구에서는 오픈 도메인에서 동작할 수 있는 질의 응답 시스템(Open-domain Question Answer ing System)을 구현하고 영어권 TREC에 참가한 결과를 기술하였다. 정답 유형을 18개의 상위 노드를 갖는 계층구조로 분류하였고, 질문 처리에서는 LSP(Lexico-Semantic Pattern)으로 표현된 문법을 사용하여 질문의 정답 유형을 결정하고, lemma 형태와 WordNet 의미, stem 형태의 3가지 유형의 키워드로 구성된 질의를 생성한다. 이 질의를 바탕으로, 패시지 선택에서는 문서검색 엔진에 의해 검색된 문서들을 문장단위로 나눠 정수를 계산하고, 어휘체인(Lexical Chain)을 고려하여 인접한 문장을 결합하여 패시지를 구성하고 순위를 결정한다. 상위 랭크의 패시지를 대상으로, 정답 처리에서는 질문의 정답 유형에 따라 품사와 어휘, 의미 정보로 기술된 LSP 매칭과 AAO (Abbreviation-Appositive-Definition) 처리를 통해 정답을 추출하고 정수를 계산하여 순위를 결정한다. 구현된 시스템의 성능을 평가하기 위해 TREC10 QA Track의 main task의 질문들 중, 200개의 질문에 대해 TRIC 방식으로 자체 평가를 한 결과, MRR(Mean Reciprocal Rank)은 0.341로 TREC9의 상위 시스템들과 견줄 만한 성능을 보였다.