• 제목/요약/키워드: 한국어 질의 응답

검색결과 209건 처리시간 0.023초

기계 독해를 이용한 웹 기반 오픈 도메인 한국어 질의응답 (Web-Scale Open Domain Korean Question Answering with Machine Reading Comprehension)

  • 최동현;김응균;신동렬
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.87-92
    • /
    • 2019
  • 본 논문에서는 기계 독해를 이용한 웹 기반 오픈 도메인 한국어 질의응답 시스템에 대하여 서술한다. 하나의 사용자 질의에 대하여, 본 논문에서 제안된 시스템은 기 존재하는 검색 엔진을 이용하여 실시간으로 최대 1,500 개의 문서를 기계 독해 방식으로 분석하고, 각 문서별로 얻어진 답을 종합함으로써 최종 답변을 도출한다. 실험 결과, 제안된 시스템은 평균적으로 2초 이내의 실행 시간을 보였으며, 사람과 비교하여 86%의 성능을 나타내었다. 본 논문에서 제안된 시스템의 데모는 http://nlp-api.kakao.com에서 확인 가능하다.

  • PDF

한국어 다중추론 질의응답을 위한 Dense Retrieval 사전학습 (Pretraining Dense retrieval for Multi-hop question answering of Korean)

  • 강동찬;나승훈;김태형;최윤수;장두성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.588-591
    • /
    • 2021
  • 다중추론 질의응답 태스크는 하나의 문서만 필요한 기존의 단일추론 질의응답(Single-hop QA)을 넘어서 복잡한 추론을 요구하는 질문에 응답하는 것이 목표이다. IRQA에서는 검색 모델의 역할이 중요한 반면, 주목받고 있는 Dense Retrieval 모델 기반의 다중추론 질의응답 검색 모델은 찾기 어렵다. 본 논문에서는 검색분야에서 좋은 성능 보이고 있는 Dense Retrieval 모델의 다중추론을 위한 사전학습 방법을 제안하고 관련 한국어 데이터 셋에서 이전 방법과의 성능을 비교 측정하여 학습 방법의 유효성을 검증하고 있다. 이를 통해 지식 베이스, 엔터티 링킹, 개체명 인식모듈을 비롯한 다른 서브모듈을 사용하지 않고도 다중추론 Dense Retrieval 모델을 학습시킬 수 있음을 보였다.

  • PDF

다국어 기반의 질의응답시스템을 활용한 지능형 케릭터 시스템 (An Intelligent Character System Using Multi-Language Based Question Answering System)

  • 박홍원;이기주;이수진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.215-220
    • /
    • 2002
  • 질의응답시스템을 지능형 케릭터 시스템에 활용하기 위해서는 불특정한 주제에 대해 불특정 다수의 사용자와 대화할 수 있는 정교한 대화 모델이 필요하다. 이러한 대화 모델은 사용자의 질의문장을 인식하고 질의의도를 파악한 후 케릭터의 특정지식으로 접근하여 해당 지식을 사용자의 요구에 맞는 응답문의 형태로 생성해 내는 과정이 필수적으로 포함되어야 한다. 본 논문에서는 논의의 대상이 되는 질의응답시스템이 다국어 기반이라는 점을 고려하여 질의응답시스템을 지능형 케릭터에 활용하는 과정에서 케릭터의 지식구조 설계는 물론이고 질의문장 분석과 응답 문 생성의 방법론에 있어서도 한국어, 영어, 일본어, 중국어 각각의 언어적 특질을 반영함으로써 형태적, 통사적 차이로 인한 애로점을 최소화할 수 있도록 하였다.

  • PDF

한국어 질의응답시스템에서 개체인식에 기반한 대답 추출 (Answer Extraction based on Named Entity in Korean Question Answering System)

  • 이경순;김재호;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.184-189
    • /
    • 2000
  • 본 논문에서는 한국어 질의응답시스템에서 개체인식에 기반하여 대답을 추출하는 방법을 제안한다. 질의에 대해 문서검색을 통해 검색된 상위 문서를 대상으로 하여 대답이 들어 있을 가능성이 높은 단락을 추출한다. 질의 유형 분석을 통해 대답 유형을 파악한다 단락에 나타나는 어휘들에 대해서 대답유형에 속하는지에 대한 개체인식을 통해서 대답을 추출한다. 질의응답 시스템의 평가를 위한 테스트컬렉션을 이용한 성능평가에서는 순위5까지의 대답추출에서 역순위 평균값이 개체추출에 대해서는 0.322, 50바이트 대답추출에서는 0.449, 250바이트 대답추출에서는 0.559이다. 상위 5이내에 정답을 포함할 비율은 개체추출에서는48.90%, 50바이트 대답추출에서는 62.20%, 250바이트 대답추출에서는 68.90%을 성능을 보였다.

  • PDF

자연언어에 의한 질의응답 시스템의 설계 (Design of Q/A System By Natural Language Processing)

  • 김영길;강석훈;우요섭;김한우;최병욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.469-477
    • /
    • 1992
  • 본 논문에서는 자연언어 처리를 기반으로 한 질의응답 시스템을 설계하며 그 대상을 호텔 예약 시스템으로 한다. 시스템은 크게 언어 해석부, 문맥 처리부, 화제 처리부 및 한국어 생성부로 구성한다. 언어 처리부에서는 단일화 문법을 적용하여 사용자가 입력한 질의문을 해석하며 그 해석결과로부터 이 후 질의응답에 사용되는 정보들인 술어, 각 명사구들의 의존 관계치 및 의미 제약치를 얻어 낸다. 문맥처리를 수행하여 생략문 등에 의해 결핍된 정보들을 추출함으로서 정보의 손실을 보완한다. 이 정보들을 이용하여 사용자와 시스템간의 자연스러운 대화를 진행하기 위한 화제처리를 수행하며, 최종적으로 화제 처리부에서 파악한 화자의 의도를 기초로 사용자가 요구한 정보를 제공하고 계속된 대화진행을 위해 적절한 한국어를 생성해 주는 한국어 생성부를 거치게 된다. 본 논문에서는 호텔 예약이라는 정해진 영역하에서 자연언어처리에 의해 추출한 술어, 각 명사구들의 의존관계치 및 의미제약치 정보들을 이용하여 문맥처리와 화제처리를 수행함으로서 더욱 효율적인 질의응답 시스템을 구현할 수 있음을 보인다.

  • PDF

단락에 대한 이산 추론을 요구하는 한국어 기계 독해 (Reading Comprehension requiring Discrete Reasoning Over Paragraphs for Korean)

  • 김경민;서재형;이수민;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.439-443
    • /
    • 2021
  • 기계 독해는 단락과 질의가 주어졌을 때 단락 내 정답을 찾는 자연어 처리 태스크이다. 최근 벤치마킹 데이터셋에서 사전학습 언어모델을 기반으로 빠른 발전을 보이며 특정 데이터셋에서 인간의 성능을 뛰어넘는 성과를 거두고 있다. 그러나 이는 단락 내 범위(span)에서 추출된 정보에 관한 것으로, 실제 연산을 요구하는 질의에 대한 응답에는 한계가 있다. 본 논문에서는 기존 범위 내에서 응답이 가능할 뿐만이 아니라, 연산에 관한 이산 추론을 요구하는 단락 및 질의에 대해서도 응답이 가능한 기계 독해 모델의 효과성을 검증하고자 한다. 이를 위해 영어 DROP (Discrete Reasoning Over the content of Paragraphs, DROP) 데이터셋으로부터 1,794개의 질의응답 쌍을 Google Translator API v2를 사용하여 한국어로 번역 및 정제하여 KoDROP (Korean DROP, KoDROP) 데이터셋을 구축하였다. 단락 및 질의를 참조하여 연산을 수행하기 위한 의미 태그를 한국어 KoBERT 및 KoELECTRA에 접목하여, 숫자 인식이 가능한 KoNABERT, KoNAELECTRA 모델을 생성하였다. 실험 결과, KoDROP 데이터셋은 기존 기계 독해 데이터셋과 비교하여 단락에 대한 더욱 포괄적인 이해와 연산 정보를 요구하였으며, 가장 높은 성능을 기록한 KoNAELECTRA는 KoBERT과 비교하여 F1, EM에서 모두 19.20의 월등한 성능 향상을 보였다.

  • PDF

한국어 질의응답시스템에서 구문정보에 기반한 질의분석 (Question Analysis based Syntactic Information in Korean Question Answering System)

  • 신승은;서영훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.931-933
    • /
    • 2004
  • 본 논문에서는 한국어 질의응답시스템에서 정확한 정답추출을 위한 구문 정보에 기반한 질의분석을 제안한다. 질의분석은 세부 정답 유형 결정, 세분화된 키워드 추출을 통해 정확한 정답추출을 목적으로 한다. 술어 유형 정보를 이용하여 대분류 수준의 정답 유형으로 질의분석을 수행하고. 구문 구조 정보를 이용하여 중요 키워드와 일반 키워드를 추출한다 마지막으로 정답 유형 자질 명사를 이용하여 세부 정답 유형을 결정한다. 실험을 통해 세부 정답 유형 결정에서 정확률 59%, 세분화된 키워드 추출에서 정확을 66%를 보였다.

  • PDF

검색 증강 LLM을 통한 한국어 질의응답 (Korean QA with Retrieval Augmented LLM)

  • 서민택;나승훈;임준호;김태형;류휘정;장두성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.690-693
    • /
    • 2023
  • 언어 모델의 파라미터 수의 지속적인 증가로 100B 단위의 거대 언어모델 LLM(Large Language Model)을 구성 할 정도로 언어 모델의 크기는 증가 해 왔다. 이런 모델의 크기와 함께 성장한 다양한 Task의 작업 성능의 향상과 함께, 발전에는 환각(Hallucination) 및 윤리적 문제도 함께 떠오르고 있다. 이러한 문제 중 특히 환각 문제는 모델이 존재하지도 않는 정보를 실제 정보마냥 생성한다. 이러한 잘못된 정보 생성은 훌륭한 성능의 LLM에 신뢰성 문제를 야기한다. 환각 문제는 정보 검색을 통하여 입력 혹은 내부 표상을 증강하면 증상이 완화 되고 추가적으로 성능이 향상된다. 본 논문에서는 한국어 질의 응답에서 검색 증강을 통하여 모델의 개선점을 확인한다.

  • PDF

구문 관계 정보를 이용한 한국어 질의-응답 시스템 (Korean Question-Answering System using Syntactic-Relation Information)

  • 신승은;이대연;서영훈
    • 한국콘텐츠학회논문지
    • /
    • 제4권2호
    • /
    • pp.36-42
    • /
    • 2004
  • 본 논문은 대규모 지식베이스와 언어 자원의 부족 문제를 해결하기 위한 동사의 구문 관계 정보를 이용한 한국어 질의-응답 시스템에 대해 기술한다. 구문 관계 정보는 동사의 원형, 사용 패턴, 각 문장 성분들의 의미 속성, 유의 동사 등의 정보를 담고 있다. 문장 및 구에 대한 구문분석은 구문관계 정보에 나타난 동사에 의존적인 문장 성분들의 의미속성과 동사의 일반적인 사용 패턴을 활용한다. 또한 정답후보 문장들의 구문분석을 위해 구문 관계 정보를 사용하고, 질의문의 격 슬롯(case slot)으로부터 정답을 찾기 위해 구문관계 정보를 사용한다. 실험에서 동사의 구문 관계 정보의 이용이 대규모 지식베이스와 언어 자원의 부족 문제를 해결하기 위해 한국어 질의-응답 시스템에 효율적으로 활용될 수 있음을 보였다.

  • PDF

백과사전 질의응답 시스템을 위한 어휘개념망 구축 (Constructing Korean Lexical Concept Network for Encyclopedia Question-Answering System)

  • 최미란;오효정;장명길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.99-105
    • /
    • 2004
  • 백과사전 질의응답 시스템은 사용자의 자연어 질문과 검색 대상 문서인 백과사전 내용의 의미를 파악하기 위한 고정밀 자연어 처리 기술이 요구된다. 이러한 고정밀 자연어 처리 기술을 위한 중요한 언어자원을 제공하기 위하여 한국어 명사와 동사로 구성되는 대규모 어휘개념망을 구축하였다. 한국어 어휘개념망은 명사와 동사의 상하위 관계를 주요 계층구조로 하여 다양한 한국어 어휘 기초 자료를 바탕으로 구축되었다. 구축된 규모는 일반명사 약 6만 어휘와 동사 약 2만 어휘를 포함한다. 이 논문에서는 어휘개념망을 구축하기 위한 방법과 과정을 소개하고 지금까지 구축된 어휘개념망의 특성에 대해 기술하며, 백과사전 질의응답 시스템에서 어떻게 활용되는지 시스템 구성요소의 예를 들어서 설명한다. 또한 현재 구축된 어휘개념망의 성능 평가를 위해 일반 코퍼스에 대한 커버리지 측정 결과를 기술한다.

  • PDF