• ETRI Journal
• /
• 제46권1호
• /
• pp.11-21
• /
• 2024

We focus on open-domain question-answering tasks that involve a chain-of-reasoning, which are primarily implemented using large language models. With an emphasis on cost-effectiveness, we designed EffiChainQA, an architecture centered on the use of small language models. We employed a retrieval-based language model to address the limitations of large language models, such as the hallucination issue and the lack of updated knowledge. To enhance reasoning capabilities, we introduced a question decomposer that leverages a generative language model and serves as a key component in the chain-of-reasoning process. To generate training data for our question decomposer, we leveraged ChatGPT, which is known for its data augmentation ability. Comprehensive experiments were conducted using the HotpotQA dataset. Our method outperformed several established approaches, including the Chain-of-Thoughts approach, which is based on large language models. Moreover, our results are on par with those of state-of-the-art Retrieve-then-Read methods that utilize large language models.

• International Journal of Computer Science & Network Security
• /
• 제21권11호
• /
• pp.199-206
• /
• 2021

Rhetorical relations between two text fragments are essential information and support natural language processing applications such as Question - Answering (QA) system and automatic text summarization to produce an effective outcome. Question - Answering (QA) system facilitates users to retrieve a meaningful response. There is a demand for rhetorical relation based datasets to develop such a system to interpret and respond to user requests. There are a limited number of datasets for developing an Arabic QA system. Thus, there is a lack of an effective QA system in the Arabic language. Recent research works reveal that unsupervised learning can support the QA system to reply to users queries. In this study, researchers intend to develop a rhetorical relation based dataset for implementing unsupervised learning applications. A web crawler is developed to crawl Arabic content from the web. A discourse-annotated corpus is generated using the rhetorical structural theory. A Naïve Bayes based QA system is developed to evaluate the performance of datasets. The outcome shows that the performance of the QA system is improved with proposed dataset and able to answer user queries with an appropriate response. In addition, the results on fine-grained and coarse-grained relations reveal that the dataset is highly reliable.

• International Journal of Computer Science & Network Security
• /
• 제22권6호
• /
• pp.346-356
• /
• 2022

The jurisprudential legal rules govern the way Muslims react and interact to daily life. This creates a huge stream of questions, that require highly qualified and well-educated individuals, called Muftis. With Muslims representing almost 25% of the planet population, and the scarcity of qualified Muftis, this creates a demand supply problem calling for Automation solutions. This motivates the application of Artificial Intelligence (AI) to solve this problem, which requires a well-designed Question-Answering (QA) system to solve it. In this work, we propose a QA system, based on retrieval augmented generative transformer model for jurisprudential legal question. The main idea in the proposed architecture is the leverage of both state-of-the art transformer models, and the existing knowledge base of legal sources and question-answers. With the sensitivity of the domain in mind, due to its importance in Muslims daily lives, our design balances between exploitation of knowledge bases, and exploration provided by the generative transformer models. We collect a custom data set of 850,000 entries, that includes the question, answer, and category of the question. Our evaluation methodology is based on both quantitative and qualitative methods. We use metrics like BERTScore and METEOR to evaluate the precision and recall of the system. We also provide many qualitative results that show the quality of the generated answers, and how relevant they are to the asked questions.

• 인지과학
• /
• 제2권2호
• /
• pp.309-339
• /
• 1990

인간이 서로 통신하는 가장 일반적인 방법은 자연어로 말하거나 글로 나타내는 방법이다.그러나 현재 기술로는 컴퓨터를 사용하려면 인위적인 프로그램밍 언어를 별도로 습득하여만 한다.만약 컴퓨터가 사람들이 말하거나 또는 글로 나타낸 자연어들을 이해할 수 있다면 사람들은 월씬 더 쉽고 자연스럽게 컴퓨터를 사용하게 될 것이다. 그러나 여기서의 문제점은 인간이 사용하는 언어가 많은 경우에 애매 모호하다는 것이다.예를 들어 '키큰'혹은 '젊은'과 같은 주관적 느낌을 표현하는 단어를 기존의 컴퓨터 시스템에서는 처리할 수없어,오히려 '25세이상'과 같이 정확한 조건을 명시해야만 원하는 정보를 얻을수 있다.본 연구에서는 이와 같은 fuzzy 정보를 포함하는 문장을 처리할수 있는 지식 기반형 자연어 질의 응답 시스템 개발을 목표로 블랙보드 개념을 도입하고 있다.이러한 시스템을 개발하려는 목표는 임의의 데이타베이스 시스템 및 음성 이해 시스템을 연결사용이 가능한 portable질의 응답 시스템을 개발하려는데 있다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권11호
• /
• pp.795-802
• /
• 2002

본 논문은 2-패스 점수 부여 방법에 기초한 정답 후보 색인기를 이용하여 고속, 고정밀의 질의 응답을 실현하는 한국어 질의 응답 시스템을 제안한다. 제안한 정답 후보 색인기의 색인 과정은 다음과 같다. 먼저, 대상 문서에 포함된 모든 정답 후보들을 추출한다. 그리고, 2-패스 점수 부여 방법을 이용하여 각 정답 후보와 밀접하게 연관된 주변 내용어들에게 점수를 부여한다. 마지막으로 데이터베이스에 각 정답과 점수가 부여된 내용어들을 역파일 형태로 저장한다. 사용자의 질의에 포함된 의도(질의 유형)을 파악하기 위해서는 수동으로 구축된 lexico-syntactic 패턴을 이용한다. 이러한 색인 방법과 질의 처리 방법을 이용하여, 제안된 질의 응답 시스템은 빠른 응답 시간을 보장하고 정확률을 향상시킨다.

• 한국멀티미디어학회논문지
• /
• 제25권11호
• /
• pp.1643-1652
• /
• 2022

Most of the existing machine reading research has used Recurrent Neural Network (RNN) and Convolutional Neural Network (CNN) algorithms as networks. Among them, RNN was slow in training, and Question Answering Network (QANet) was announced to improve training speed. QANet is a model composed of CNN and self-attention. CNN extracts semantic and syntactic information well from the local corpus, but there is a limit to extracting the corresponding information from the global corpus. Graph Convolutional Networks (GCN) extracts semantic and syntactic information relatively well from the global corpus. In this paper, to take advantage of this strength of GCN, we propose I-QANet, which changed the CNN of QANet to GCN. The proposed model performed 1.2 times faster than the baseline in the Stanford Question Answering Dataset (SQuAD) dataset and showed 0.2% higher performance in Exact Match (EM) and 0.7% higher in F1. Furthermore, in the Korean Question Answering Dataset (KorQuAD) dataset consisting only of Korean, the learning time was 1.1 times faster than the baseline, and the EM and F1 performance were also 0.9% and 0.7% higher, respectively.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.116-121
• /
• 2017

cQA(Community-based Question Answering) 시스템은 온라인 커뮤니티를 통해 사용자들이 질문을 남기고 답변을 작성할 수 있도록 만들어진 시스템이다. 신규 질문이 인입되면, 기존에 축적된 cQA 저장소에서 해당 질문과 가장 유사한 질문을 검색하고, 그 질문에 대한 답변을 신규 질문에 대한 답변으로 대체할 수 있다. 하지만, 키워드 매칭을 사용하는 전통적인 검색 방식으로는 문장에 내재된 의미들을 이용할 수 없다는 한계가 있다. 이를 극복하기 위해서는 의미적으로 동일한 문장들로 학습이 되어야 하지만, 이러한 데이터를 대량으로 확보하기에는 어려움이 있다. 본 논문에서는 질문이 제목과 내용으로 분리되어 있는 대량의 cQA 셋에서, 질문 제목과 내용을 의미 벡터 공간으로 사상하고 두 벡터의 상대적 거리가 가깝게 되도록 학습함으로써 의사(pseudo) 유사 의미의 성질을 내재화 하였다. 또한, 질문 제목과 내용의 의미 벡터 표현(representation)을 위하여, semi-training word embedding과 CNN(Convolutional Neural Network)을 이용한 딥러닝 기법을 제안하였다. 유사 질문 검색 실험 결과, 제안 모델을 이용한 검색이 키워드 매칭 기반 검색보다 좋은 성능을 보였다.

• 한국산업정보학회논문지
• /
• 제12권1호
• /
• pp.1-8
• /
• 2007

QA(질의응답) 시스템은 질의에서 요구하는 정답 유형 및 질의에 사용된 용어를 적용하여 보다 정확한 답을 추출하고자 한다. 그러나 질의에 사용된 용어들이 문서에 그대로 사용되지 않고 같은 의미의 다른 어휘로 출현하기도 하며, 혹은 다른 문법적 정보를 가진 카테고리로 등장하여 정답 추출에 어려움이 따른다. 따라서 본 논문은 질의에서 사용된 의미적으로 더 가까운 단어들로 구성되는 심층적 질의 카테고리의 질의 패턴을 이용한 질의 확장 방법론을 제안한다. 제안한 방법은 질의 유형에 따른 개념 리스트를 우선 구축하고, 학습 알고리즘에 의해 각 질의 카테고리에 대한 개념 리스트를 구축한다. 실험의 결과로서 제안한 방법의 성능이 향상되었음을 입증하였다.

• ETRI Journal
• /
• 제41권6호
• /
• pp.771-781
• /
• 2019

We propose the VS³-NET model to solve the task of question answering questions with machine-reading comprehension that searches for an appropriate answer in a given context. VS³-NET is a model that trains latent variables for each question using variational inferences based on a model of a simple recurrent unit-based sentences and self-matching networks. The types of questions vary, and the answers depend on the type of question. To perform efficient inference and learning, we introduce neural question-type models to approximate the prior and posterior distributions of the latent variables, and we use these approximated distributions to optimize a reparameterized variational lower bound. The context given in machine-reading comprehension usually comprises several sentences, leading to performance degradation caused by context length. Therefore, we model a hierarchical structure using sentence encoding, in which as the context becomes longer, the performance degrades. Experimental results show that the proposed VS³-NET model has an exact-match score of 76.8% and an F1 score of 84.5% on the SQuAD test set.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권5_6호
• /
• pp.466-475
• /
• 2003

고성능의 질의응답 시스템을 구현하기 위해서는 사용자의 질의 의도를 파악할 수 있는 질의 유형 분류기가 필요하다. 본 논문에서는 지지 벡터 기계(support vector machine, SVM)를 이용한 질의유형 분류기를 제안한다. 본 논문에서 제안하는 질의 유형 분류기의 분류 과정은 다음과 같다. 우선, 사용자 질의에 포함된 어휘, 품사, 의미표지와 같은 다양한 정보를 이용하여 사용자 질의로부터 자질들을 추출한다. 다량의 자질들 중에서 유용한 것들만을 선택하기 위해서 카이 제곱 통계량을 이용한다. 추출된 자질들은 벡터 공간 모델로 표현되고, 문서 범주화 기법 중 하나인 지지 벡터 기계는 이 정보들을 이용하여 질의 유형을 분류한다. 본 논문에서 제안하는 시스템은 질의 유형 분류 문제에 자동 문서 범주화 기법을 도입하여 86.4%의 높은 분류 정확도를 보였다. 또한 질의 유형 분류기를 통계적 방법으로 구축함으로써 lexico-syntactic 패턴과 같은 규칙을 기술하는 수작업을 배제할 수 있으며, 응용 영역의 변화에 대해서도 안정적인 처리와 빠른 이식성을 보장한다.