• Title/Summary/Keyword: 검색 기반 답변 시스템

Search Result 32, Processing Time 0.024 seconds

Dense Retrieval using Pretrained RoBERTa with Augmented Query (증강된 질문을 이용한 RoBERTa 기반 Dense Passage Retrieval)

  • Jun-Bum Park;Beomseok Hong;Wonseok Choi;Youngsub Han;Byoung-Ki Jeon;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.141-145
    • /
    • 2022
  • 다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

  • PDF

Retrieval-based Chat Model using Index-Term Normalization and Answer Filtering (색인어 정규화 및 응답 필터링을 이용한 검색기반 채팅 모델)

  • Lee, Hyeon-gu;Kim, Minkyoung;Kim, Jintae;Kim, Harksoo;Lee, Yeonsoo;Choi, Maengsik
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.197-200
    • /
    • 2017
  • 채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

  • PDF

Retrieval-based Chat Model using Index-Term Normalization and Answer Filtering (색인어 정규화 및 응답 필터링을 이용한 검색기반 채팅 모델)

  • Lee, Hyeon-gu;Kim, Minkyoung;Kim, Jintae;Kim, Harksoo;Lee, Yeonsoo;Choi, Maengsik
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.197-200
    • /
    • 2017
  • 채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

  • PDF

Zero-shot Dialogue System Grounded in Multiple Documents (Zero-shot 기반 다중 문서 그라운딩된 대화 시스템)

  • Jun-Bum Park;Beomseok Hong;Wonseok Choi;Youngsub Han;Byoung-Ki Jeon;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.399-403
    • /
    • 2023
  • 본 논문에서는 다중 문서 기반의 대화 시스템을 통한 효율적인 정보 검색과 응답 생성에 중점을 둡니다. 대규모 데이터 집합에서 정확한 문서를 선택하는 데 필요한 검색의 중요성을 강조하며, 현재 검색 방법의 한계와 문제점을 지적합니다. 또한 더 자연스러운 답변을 생성하기 위해 대규모 언어 모델을 사용하게 되면서 fine-tuning 시에 발생하는 제약과 낭비를 모델의 제로샷 생성 능력을 활용하여 개선하려는 방안을 제안하며, 모델의 크기와 자원의 효율성에 대한 고려사항을 논의합니다. 우리의 접근 방식은 대규모 언어 모델을 프롬프트와 함께 다중 문서로 학습 없이 정보를 검색하고 응답을 생성하는 방향으로 접근하여 대화 시스템의 효율성과 유용성을 향상시킬 수 있음을 제시합니다.

  • PDF

Automatic Information Sharing System Based on Mobile Agent in Semantic Web (시멘틱 웹 환경에서의 이동 에이전트 기반 자동 정보 공유 시스템)

  • 노경신;유영훈;조근식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.112-114
    • /
    • 2003
  • 현재의 웹은 동일한 답변을 요구하는 중복된 질문들과 은톨로지의 부재로 인해 심각한 자원 낭비의 문제를 안고 있다. 이러한 문제를 해결하기 위하여 이동 에이전트를 이용한 정보 공유 시스템이 대안으로 제시되었으나, 서버 수의 급증에 따른 자료 처리시간 증가와 사용자의 의도라는 전설 다른 달변을 가져오는 등의 문제를 여전히 안고 있다. 따라서 본 논문에서는 이물 해결하기 위해 RDF와 ROFS 기반의 은톨로지를 활용한 시스템을 제안한다. 본 논문에서 제안하는 시스템은 잔바 기반의 이동 에이전트와 RDF, RDFS 기반의 은톨로지로 구성된다. 분산 이형 환경에서 독립적으로 운영되던 질의 응답 게시판을 검색할 때, 이동 에이전트는 코드의 이동으로 네트워크의 부하를 방지하고 구조화된 온톨로지는 질문에 대한 도메인을 확인함으로써 효율적인 이동 에이전트의 라우팅을 제공한다. 본 논문에서 제안한 시스템을 전자상거래에서 빈번하게 발생하는 상품에 대한 소비자들간의 질의 응답 게시판에 적용하여 시멘틱 웹 환경에서 도메인 추론을 통한 에이전트 라우팅과 가중치를 부설하지 않은 클래스의 속성 비교를 이용한 검색 방법이 시간의 단축과 네트워크 부하의 감소, 그리고 기존 시스템의 가장 큰 문제점이었던 정확도(precision)와 재현율(recall)을 개선하는데 효과적이고 타당하다는 것을 보여준다.

  • PDF

Natural Language based Video Retrieval System with Event Analysis of Multi-camera Image Sequence in Office Environment (사무실 환경 내 다중카메라 영상의 이벤트분석을 통한 자연어 기반 동영상 검색시스템)

  • Lim, Soo-Jung;Hong, Jin-Hyuk;Cho, Sung-Bae
    • 한국HCI학회:학술대회논문집
    • /
    • 2008.02a
    • /
    • pp.384-389
    • /
    • 2008
  • Recently, the necessity of systems which effectively store and retrieve video data has increased. Conventional video retrieval systems retrieve data using menus or text based keywords. Due to the lack of information, many video clips are simultaneously searched, and the user must have a certain level of knowledge to utilize the system. In this paper, we suggest a natural language based conversational video retrieval system that reflects users' intentions and includes more information than keyword based queries. This system can also retrieve from events or people to their movements. First, an event database is constructed based on meta-data which are generated by domain analysis for collected video in an office environment. Then, a script database is also constructed based on the query pre-processing and analysis. From that, a method to retrieve a video through a matching technique between natural language queries and answers is suggested and validated through performance and process evaluation for 10 users The natural language based retrieval system has shown its better efficiency in performance and user satisfaction than the menu based retrieval system.

  • PDF

A Study on Smart Knowledge Sharing System with Friends (지인 기반의 스마트 지식공유 시스템에 관한 연구)

  • Yoon, Won-Beom;Park, Kinam;Lim, Heui-Seok
    • Journal of Digital Convergence
    • /
    • v.11 no.2
    • /
    • pp.279-285
    • /
    • 2013
  • The development of information networks and computer technology has become a foundation to open up a sea of information and knowledge. The recent popularization of smart devices has been used as a tool to easily obtain the desired information and knowledge. In this paper, a knowledge-sharing system using information and social networks based on smart devices is proposed. The proposed system consists of functions of an Internet information search for user queries, accumulated knowledge, and social network response from acquaintances. An evaluation for user satisfaction was conducted to analyze the efficacy of the proposed system. According to the experiment, the knowledge-sharing system using smart device information results in significant satisfaction compared to the general information search engines.

A Conversational Agent based on Structured Pattern Matching (구조적 패턴매칭에 기반한 대화형 에이전트)

  • 이승익;조성배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.409-411
    • /
    • 2001
  • 인터넷 사이트의 정보량이 증가함에 따라 사용자에게 필요한 정보를 검색할 수 있는 도구를제공해야 할 필요성이 증대되고 있다. 아직까지는 대부분의 사이트에서 키워드에 기반한 단순한 검색기법을 주로 사용하는데, 이 방식은 사용자의 의도를 제대로 표현하기 어렵기 때문에 검색결과가 지나치게 많거나 의도하지 않은 결과를 얻기 쉽고, 사용자가 자연스럽게 정보를 검색할 수 없는 문제가 있다. 이 논문에서는 자연어를 통하여 사용자에게 보다 정확하고 친절하게 적절한 정보를 제공해주는 대화형 에이전트를 제안한다. 이 시스템은 기존의 자연어처리 기법의 한계를 극복하기 위하여 질의-답변간의 융통성 있는 패턴매칭 기법을 사용하며, 효과적인 매칭을 위하여 포섭구조에 기반한 질의분류를 선행하는 구조적 패턴매칭 방식 사용한다. 간단한 웹 페이지를 소개하는 문제에 적용한 결과, 그 가능성 및 개선점을 파악할 수 있었다.

  • PDF

Pointer-Generator Networks for Community Question Answering Summarization (Pointer-Generator Networks를 이용한 cQA 시스템 질문 요약)

  • kim, Won-Woo;Kim, Seon-Hoon;Jang, Heon-Seok;Kang, In-Ho;Park, Kwang-Hyun
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.126-131
    • /
    • 2018
  • cQA(Community-based Question Answering) 시스템은 사용자들이 질문을 남기고 답변을 작성하는 시스템이다. cQA는 사용자의 편의를 위해 기존의 축적된 질문을 검색하거나 카테고리로 분류하는 기능을 제공한다. 질문의 길이가 길 경우 검색이나 카테고리 분류의 정확도가 떨어지는 한계가 있는데, 이를 극복하기 위해 cQA 질문을 요약하는 모델을 구축할 필요가 있다. 하지만 이러한 모델을 구축하려면 대량의 요약 데이터를 확보해야 하는 어려움이 존재한다. 본 논문에서는 이러한 어려움을 극복하기 위해 cQA의 질문 제목, 본문으로 데이터를 확보하고 필터링을 통해 요약 데이터 셋을 만들었다. 또한 본문의 대표 단어를 이용하여 추상 요약을 하기 위해 딥러닝 기반의 Pointer-generator model을 사용하였다. 실험 결과, 기존의 추출 요약 방식보다 딥러닝 기반의 추상 요약 방식의 성능이 더 좋았으며 Pointer-generator model이 보다 좋은 성능을 보였다.

  • PDF

Text Corpus-based Question Answering System (문서 말뭉치 기반 질의응답 시스템)

  • Kim, Han-Joon;Kim, Min-Kyoung;Chang, Jae-Young
    • Journal of Digital Contents Society
    • /
    • v.11 no.3
    • /
    • pp.375-383
    • /
    • 2010
  • In developing question-answering (QA) systems, it is hard to analyze natural language questions syntactically and semantically and to find exact answers to given query questions. In order to avoid these difficulties, we propose a new style of question-answering system that automatically generate natural language queries and can allow to search queries fit for given keywords. The key idea behind generating natural queries is that after significant sentences within text documents are applied to the named entity recognition technique, we can generate a natural query (interrogative sentence) for each named entity (such as person, location, and time). The natural query is divided into two types: simple type and sentence structure type. With the large database of question-answer pairs, the system can easily obtain natural queries and their corresponding answers for given keywords. The most important issue is how to generate meaningful queries which can present unambiguous answers. To this end, we propose two principles to decide which declarative sentences can be the sources of natural queries and a pattern-based method for generating meaningful queries from the selected sentences.