• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.176-181
• /
• 2022

일반 상식 추론 능력은 가장 사람다운 능력 중 하나로써, 인공지능 모델이 쉽게 모사하기 어려운 영역이다. 딥러닝 기반의 언어 모델은 여전히 일반 상식에 기반한 추론을 필요로 하는 분야에서 부족한 성능을 보인다. 특히, 한국어에서는 일반 상식 추론과 관련한 연구가 상당히 부족한 상황이다. 이러한 문제 완화를 위해 최근 생성 기반의 일반 상식 추론을 위한 한국어 데이터셋인 Korean CommonGen [1]이 발표되었다. 그러나, 해당 데이터셋의 평가 지표는 어휘 단계의 유사성과 중첩에 의존하는 한계를 지니며, 생성한 문장이 일반 상식에 부합한 문장인지 측정하기 어렵다. 따라서 본 논문은 한국어 일반 상식 추론 및 생성 능력에 대한 평가 지표를 개선하기 위해 문장 성분의 의미역과 자모의 형태 변화를 바탕으로 생성 결과를 평가하는 SRLev, 사람의 평가 결과를 학습한 BIH, 그리고 두 평가 지표의 장점을 결합한 SRLev-BIH를 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.162-167
• /
• 2023

본 논문은 거대언어모델에 대한 한국어 상식추론 기반의 새로운 평가 방식을 제안한다. 제안하는 평가 방식은 한국어의 일반 상식을 기초로 삼으며, 이는 거대언어모델이 주어진 정보를 얼마나 잘 이해하고, 그에 부합하는 결과물을 생성할 수 있는지를 판단하기 위함이다. 기존의 한국어 상식추론 능력 평가로 사용하던 Korean-CommonGEN에서 언어 모델은 이미 높은 수준의 성능을 보이며, GPT-3와 같은 거대언어모델은 사람의 상한선을 넘어선 성능을 기록한다. 따라서, 기존의 평가 방식으로는 거대언어모델의 발전된 상식추론 능력을 정교하게 평가하기 어렵다. 더 나아가, 상식 추론 능력을 평가하는 과정에서 사회적 편견이나 환각 현상을 충분히 고려하지 못하고 있다. 본 연구의 평가 방법은 거대언어모델이 야기하는 문제점을 반영하여, 다가오는 거대언어모델 시대에 한국어 자연어 처리 연구가 지속적으로 발전할 수 있도록 하는 상식추론 벤치마크 구성 방식을 새롭게 제시한다.

• Korean Journal of Cognitive Science
• /
• v.16 no.3
• /
• pp.213-224
• /
• 2005

To develop a cognitive system with the flexibility and breadth of human reasoning, it's very important to construct a large scale knowledge base which includes commonsense knowledge as well as expert knowledge. This paper introduces a cognitive system which provides a commonsense reasoning for everyday physical phenomena using qualitative reasoning. It is difficult to apply previous qualitative reasoning to commonsense reasoning since it provides reasoning based on abstract concepts which are apart from everyday real world concepts. Our research provides commonsense reasoning based on sketches and real world concepts by integrating qualitative reasoning and general large scale Cyc knowledge base. Our system has been implemented and tested on various examples.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.71-75
• /
• 2020

오픈북 질의응답 문제는 올바른 정답을 고르기 위해 사람들끼리 공유하고 있는 상식정보가 필요한 질의로 이루어져있다. 기계가 사람과 달리 상식 정보를 이용하여 결론을 도출하는 상식 추론을 하기 위해서는 적절한 상식 정보를 논리적으로 사용하여야 한다. 본 연구에서는 적절한 상식정보의 선택과 논리적 추론을 위하여, 질의에 대한 Abstract Meaning Representation (AMR) 그래프를 이용하여 적절한 상식 정보를 선택하고 그의 해석을 용이하게 만들었다. 본 연구에서 제안한 상식 그래프 경로 학습 모델은 오픈북 질의응답 문제에서 대표적 언어모델인 BERT의 성능보다 약 7%p 높은 55.02%의 정확도를 달성하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.55-60
• /
• 2021

최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.3
• /
• pp.91-100
• /
• 2020

Unlike the existing Visual Question Answering(VQA) problems, the new Visual Commonsense Reasoning(VCR) problems require deep common sense reasoning for answering questions: recognizing specific relationship between two objects in the image, presenting the rationale of the answer. In this paper, we propose a novel deep neural network model, KG_VCR, for VCR problems. In addition to make use of visual relations and contextual information between objects extracted from input data (images, natural language questions, and response lists), the KG_VCR also utilizes commonsense knowledge embedding extracted from an external knowledge base called ConceptNet. Specifically the proposed model employs a Graph Convolutional Neural Network(GCN) module to obtain commonsense knowledge embedding from the retrieved ConceptNet knowledge graph. By conducting a series of experiments with the VCR benchmark dataset, we show that the proposed KG_VCR model outperforms both the state of the art(SOTA) VQA model and the R2C VCR model.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.994-997
• /
• 2019

영상 기반 상식 추론(VCR) 문제는 기존의 영상 기반 질문-응답(VQA) 문제들과는 달리, 영상에 포함된 사물들 간의 관계 파악과 답변 근거 제시 등 별도의 상식 추론이 요구되는 새로운 지능 문제이다. 본 논문에서는 입력 데이터(영상, 자연어 질문, 응답 리스트)에서 사물들 간의 관계와 맥락 정보를 추출해내는 모듈들 외에, 별도로 ConceptNet과 같은 외부 지식 베이스로부터 관련 상식들을 직접 가져다 GCN 기반의 지식 그래프 임베딩 과정을 거쳐 추가적으로 활용할 수 있는 모듈들을 포함한 새로운 심층 신경망 모델인 KG_VCR을 제안한다. 제안 모델인 KG_VCR의 세부 설계사항들을 소개하고, VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해 제안 모델의 성능을 입증한다.

• Korean Journal of Cognitive Science
• /
• v.15 no.4
• /
• pp.15-20
• /
• 2004

To develop a cognitive system with the flexibility and breadth of human, it's very important to construct a large scale knowledge base which include commonsense knowledge as well as expert knowledge. Efficient knowledge representation and reasoning techniques will play a key role for this. This paper introduce a cognitive system which is based on Cyc knowledge base and augmented with our work on qualitative and spatial representation and reasoning. Our system has been implemented and tested on various examples.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.153-159
• /
• 2022

본 논문에서는 인공지능이 생성하는 일상 대화의 품질 향상을 위해 상식 추론을 정의하고 설문을 통해 정량적, 정성적 분석을 진행하였다. 정량적 평가에서는 주어진 문장이 에게 학습시키기에 적합한가'라는 수용성 판단을 요청한 질문에서 40대 이상의 연령이 20, 30대와 유의미한 차이를 보였다. 정성적 평가에서는 '보편적 사실 여부'를 AI 발화 기준의 주요한 지표로 보았다. 이어서 '챗봇' 대화의 품질에 대한 설문을 실시했다. 이를 통해 일상 대화를 사용한 챗봇의 대화 품질을 높이기 위해서는 먼저, 질문의 요구에 적절한 정보와 공감을 제공해야 하고 두 번째로 공감의 정도가 챗봇의 특성에 맞는 응답이어야 하며 세 번째로 대화의 차례에 따라 담화의 규칙을 지키면서 대화가 진행되어야 한다는 결론을 얻을 수 있었다. 이 세 가지 요건이 통합적으로 적용된 담화 설계를 통해 완전히 인공지능스러운 대화가 가능할 것으로 여겨진다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.319-323
• /
• 2023

일반 상식 기반의 지식 그래프는 대규모 코퍼스에 포함되어 있는 일반 상식을 수집하고 구조화하는 지식의 표현 방법이다. 일반 상식 기반의 지식 그래프는 코퍼스 내에 포함되어 있는 다양한 일반 상식의 형태와 관계를 모델링하며, 주로 질의응답 시스템, 상식 추론 등의 자연어처리 하위 작업에 활용할 수 있다. 가장 잘 알려진 일반 상식 기반의 지식 그래프로는 ConceptNet [1], ATOMIC [2]이 있다. 하지만 한국어 기반의 일반 상식 기반의 지식 그래프에 대한 연구가 존재했지만, 자연어처리 태스크에 활용하기에는 충분하지 않다. 본 연구에서는 대규모 언어 모델과 프롬프트의 활용을 통해 한국어 일반 상식 기반의 지식 그래프를 효과적으로 구축하는 방법론을 제시한다. 또한, 제안하는 방법론으로 구축한 지식 그래프와 기존의 한국어 상식 그래프의 품질을 양적, 질적으로 검증한다.