• Title/Summary/Keyword: 자연어 질의

Search Result 186, Processing Time 0.03 seconds

Quest ion and Answer ing System of Educational Administration Using Natural Language Processing (자연어처리를 이용한 교육행정의 질의응답시스템)

  • Lee Mi-Na;Youn Sung-Dae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.805-807
    • /
    • 2005
  • 정보통신 기술의 발달로 일반기업체 뿐만 아니라 공공기관 등 행정업무가 필요한 곳에서는 대부분 웹사이트를 통해 사용자에게 원하는 정보를 제공해 주고 있다. 그러므로 대부분의 상업용 사이트들은 사용자에게 보다 편리하게 정보를 제공해 주기 위하여 다양한 정보검색의 접근 방법을 사용하고 있다. 그러나 현재 교육행정의 업무처리 분야에서 정보제공은 웹사이트의 단순 키워드검색을 통하여 사용자가 직접 정보를 찾는 방식으로 이루어지고 있다. 본 논문에서는 자연어처리를 사용한 교육행정의 질의응답시스템을 제안한다. 사용자 질의의 의도를 분석하여 기본사전과 매칭한 후에 추출된 사용자 질의정보를 통해 자동으로 정답 데이터뷰를 생성하여 사용자 의도에 알맞는 정확한 정답을 제공하도록 하였다. 또한 동적인 FAQ 관리기능인 히스토리를 통해서 한번 질의한 정답을 신속히 제공하도록 하였다. 제안한 시스템의 효용성을 검증하기 위해 교육행정정보를 제공하는 간단한 질의응답시스템을 구현하여 적용해본 결과 일반 키워드 검색에서보다 정확하게 정답을 제공해 주는 것을 확인할 수 있었다.

  • PDF

Deep Prompt Tuning based Machine Comprehension on Korean Question Answering (Deep Prompt Tuning 기반 한국어 질의응답 기계 독해)

  • Juhyeong Kim;Sang-Woo Kang
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.269-274
    • /
    • 2023
  • 질의응답 (Question Answering)은 주어진 질문을 이해하여 그에 맞는 답변을 생성하는 자연어 처리 분야의 핵심적인 기계 독해 작업이다. 현재 대다수의 자연어 이해 작업은 사전학습 언어 모델에 미세 조정 (finetuning)하는 방식으로 학습되고, 질의응답 역시 이러한 방법으로 진행된다. 하지만 미세 조정을 통한 전이학습은 사전학습 모델의 크기가 커질수록 전이학습이 잘 이루어지지 않는다는 단점이 있다. 게다가 많은 양의 파라미터를 갱신한 후 새로운 가중치들을 저장하여야 한다는 용량의 부담이 존재한다. 본 연구는 최근 대두되는 deep prompt tuning 방법론을 한국어 추출형 질의응답에 적용하여, 미세 조정에 비해 학습시간을 단축시키고 적은 양의 파라미터를 활용하여 성능을 개선했다. 또한 한국어 추출형 질의응답에 최적의 prompt 길이를 최적화하였으며 오류 분석을 통한 정성적인 평가로 deep prompt tuning이 모델 예측에 미치는 영향을 조사하였다.

  • PDF

Domain Question Answering System (도메인 질의응답 시스템)

  • Yoon, Seunghyun;Rhim, Eunhee;Kim, Deokho
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.2
    • /
    • pp.144-147
    • /
    • 2015
  • Question Answering (QA) services can provide exact answers to user questions written in natural language form. This research focuses on how to build a QA system for a specific domain area. Online and offline QA system architecture of targeted domain such as domain detection, question analysis, reasoning, information retrieval, filtering, answer extraction, re-ranking, and answer generation, as well as data preparation are presented herein. Test results with an official Frequently Asked Question (FAQ) set showed 68% accuracy of the top 1 and 77% accuracy of the top 5. The contribution of each part such as question analysis system, document search engine, knowledge graph engine and re-ranking module for achieving the final answer are also presented.

유한패턴매칭을 이용한 자연어 질의응답 시스템

  • 이승우;이근배
    • Communications of the Korean Institute of Information Scientists and Engineers
    • /
    • v.22 no.4
    • /
    • pp.21-27
    • /
    • 2004
  • 질의응답(QA)은 주어진 질의에 대해, 적합한 문서가 아니라 정답 그 자체를 찾아주는 것이 목표이며, 진정한 의미에서의 정보검색(IR)에 한걸음 더 나아가려는 노력이다. 예를 들어, "타지마할은 어디에 있나\ulcorner"라는 질의에 대해 "인도의 아그라"라는 정확한 응답을 제시하는 것이 질의응답 시스템이 하고자 하는 바이다.의응답 시스템이 하고자 하는 바이다.

Boolean Query Formulation From Korean Natural Language Queries using Syntactic Analysis (구문분석에 기반한 한글 자연어 질의로부터의 불리언 질의 생성)

  • Park, Mi-Hwa;Won, Hyeong-Seok;Lee, Geun-Bae
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.10
    • /
    • pp.1219-1229
    • /
    • 1999
  • 일반적으로 AND, OR, NOT과 같은 연산자를 사용하는 불리언 질의는 사용자의 검색의도를 정확하게 표현할 수 있기 때문에 검색 전문가들은 불리언 질의를 사용하여 높은 검색성능을 얻는다고 알려져 있지만, 일반 사용자는 자신이 원하는 정보를 불리언 형태로 표현하는데 익숙하지 않다. 본 논문에서는 검색성능의 향상과 사용자 편의성을 동시에 만족하기 위하여 사용자의 자연어 질의를 확장 불리언 질의로 자동 변환하는 방법론을 제안한다. 먼저 자연어 질의를 범주문법에 기반한 구문분석을 수행하여 구문트리를 생성하고 연산자 및 키워드 정보를 추출하여 구문트리를 간략화한다. 다음으로 간략화된 구문트리로부터 명사구를 합성하고 키워드들에 대한 가중치를 부여한 후 불리언 질의를 생성하여 검색을 수행한다. 또한 구문분석의 오류로 인한 검색성능 저하를 최소화하기 위하여 상위 N개 구문트리에 대해 각각 불리언 질의를 생성하여 검색하는 N-BEST average 방법을 제안하였다. 정보검색 실험용 데이타 모음인 KTSET2.0으로 실험한 결과 제안된 방법은 수동으로 추출한 불리언 질의보다 8% 더 우수한 성능을 보였고, 기존의 벡터공간 모델에 기반한 자연어질의 시스템에 비해 23% 성능향상을 보였다. Abstract There have been a considerable evidence that trained users can achieve a good search effectiveness through a boolean query because a structural boolean query containing operators such as AND, OR, and NOT can make a more accurate representation of user's information need. However, it is not easy for ordinary users to construct a boolean query using appropriate boolean operators. In this paper, we propose a boolean query formulation method that automatically transforms a user's natural language query into a extended boolean query for both effectiveness and user convenience. First, a user's natural language query is syntactically analyzed using KCCG(Korean Combinatory Categorial Grammar) parser and resulting syntactic trees are structurally simplified using a tree-simplifying mechanism in order to catch the logical relationships between keywords. Next, in a simplified tree, plausible noun phrases are identified and added into the same tree as new additional keywords. Finally, a simplified syntactic tree is automatically converted into a boolean query using some mapping rules and linguistic heuristics. We also propose an N-BEST average method that uses top N syntactic trees to compensate for bad effects of single incorrect top syntactic tree. In experiments using KTSET2.0, we showed that a proposed method outperformed a traditional vector space model by 23%, and surprisingly manually constructed boolean queries by 8%.

DBpedia Web Search Application using Google Cloud Natural Language API (구글 클라우드 자연어 API를 이용한 DBpedia 웹 검색 애플리케이션)

  • Lee, Suhyoung;Kim, Taeyoung;Park, Sunjae;Lee, Yongju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.509-511
    • /
    • 2018
  • 본 논문은 링크드 오픈 데이터(Linked Open Data)의 일종인 DBpedia 개체를 자연어 기반으로 검색하는 애플리케이션 개발에 관한 논문이다. Google Cloud Natural Language API를 이용하여 자연어 입력을 분석하고, 이를 바탕으로 RDF(Resource Description Framework) 검색 언어인 스파클(Sparql) 질의 문장을 작성하여 결과를 웹 형식으로 반환해준다. 이를 통해 비문가도 손쉽게 링크드 오픈 데이터에 접근할 수 있는 기회를 제공하며 다양한 응용 가능성을 가진다.

Natural Language Queries for Music Information Retrieval (음악정보 검색에서 이용자 자연어 질의의 정확성 연구)

  • Lee, Jin-Ha
    • Journal of the Korean Society for information Management
    • /
    • v.25 no.4
    • /
    • pp.149-164
    • /
    • 2008
  • Our limited understanding of real-life music information queries is an impediment to developing music information retrieval (MIR) systems that meet the needs of real users. This study aims to contribute to developing a theorized understanding of how people seek music information by an empirical investigation of real-life queries, in particular, focusing on the accuracy of user-provided information and users' uncertainty expressions. This study found that much of users' information is inaccurate; users made various syntactic and semantic errors in providing this information. Despite these inaccuracies and uncertainties, many queries were successful in eliciting correct answers. A theory from pragmatics is suggested as a partial explanation for the unexpected success of inaccurate queries.

Denoising Response Generation for Learning Korean Conversational Model (한국어 대화 모델 학습을 위한 디노이징 응답 생성)

  • Kim, Tae-Hyeong;Noh, Yunseok;Park, Seong-Bae;Park, Se-Yeong
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.29-34
    • /
    • 2017
  • 챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

  • PDF

Denoising Response Generation for Learning Korean Conversational Model (한국어 대화 모델 학습을 위한 디노이징 응답 생성)

  • Kim, Tae-Hyeong;Noh, Yunseok;Park, Seong-Bae;Park, Se-Yeong
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.29-34
    • /
    • 2017
  • 챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

  • PDF

The Pragmatics of Automatic Query Expansion Based on Search Results of Natural Language Queries (탐색결과에 근거한 자연어질의 자동확장 및 응용에 관한 연구 고찰)

  • 노정순
    • Journal of the Korean Society for information Management
    • /
    • v.16 no.2
    • /
    • pp.49-80
    • /
    • 1999
  • This study analyses the researches on automatic query modification, expansion and combination based on search results of natural language queries and gives a conceptual framework for the factors affecting the effectiveness of the relevance feedback. The operating and experimental systems based on the vector space model, the binary independence model and the inference net model are reviewed, and it is found that the effectiveness of query expansion is affected by conceptual models, algorithms for weighting terms and documents and selecting query terms to be added, size of relevant and non-relevant documents to be used and size of terms to be added in relevance feedback, query length, type and size of DBs, etc.

  • PDF