• Title/Summary/Keyword: 지식기반공학

Search Result 556, Processing Time 0.032 seconds

Improvement of Knowledge Retriever Performance of Open-domain Knowledge-Grounded Korean Dialogue through BM25-based Hard Negative Knowledge Retrieval (BM25 기반 고난도 부정 지식 검색을 통한 오픈 도메인 지식 기반 한국어 대화의 지식 검색 모듈 성능 향상)

  • Seona Moon;San Kim;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.125-130
    • /
    • 2022
  • 최근 자연어처리 연구로 지식 기반 대화에서 대화 내용에 자유로운 주제와 다양한 지식을 포함하는 연구가 활발히 이루어지고 있다. 지식 기반 대화는 대화 내용이 주어질 때 특정 지식 정보를 포함하여 이어질 응답을 생성한다. 이때 대화에 필요한 지식이 검색 가능하여 선택에 제약이 없는 오픈 도메인(Open-domain) 지식 기반 대화가 가능하도록 한다. 오픈 도메인 지식 기반 대화의 성능 향상을 위해서는 대화에 이어지는 자연스러운 답변을 연속적으로 생성하는 응답 생성 모델의 성능 뿐만 아니라, 내용에 어울리는 응답이 생성될 수 있도록 적합한 지식을 선택하는 지식 검색 모델의 성능 향상도 매우 중요하다. 본 논문에서는 오픈 도메인 지식 기반 한국어 대화에서 지식 검색 성능을 높이기 위해 밀집 벡터 기반 검색 방식과 주제어(Keyword) 기반의 검색 방식을 함께 사용하는 것을 제안하였다. 먼저 밀집 벡터 기반의 검색 모델을 학습하고 학습된 모델로부터 고난도 부정(Hard negative) 지식 후보를 생성하고 주제어 기반 검색 방식으로 고난도 부정 지식 후보를 생성하여 각각 밀집 벡터 기반의 검색 모델을 학습하였다. 성능을 측정하기 위해 전체 지식 중에서 하나의 지식을 검색했을 때 정답 지식인 경우를 계산하였고 고난도 부정 지식 후보로 학습한 주제어 기반 검색 모델의 성능이 6.175%로 가장 높은 것을 확인하였다.

  • PDF

지식기반(Knowledge Base)으로서의 온톨로지 (Ontology)와 시멘틱 웹(Semantic Web)

  • 신효필
    • Korea Information Processing Society Review
    • /
    • v.11 no.2
    • /
    • pp.64-75
    • /
    • 2004
  • 90년대부터 인공지능(Artificial Intelligence)의 지식공학(knowledge engineering) 분야에서 온톨로지(Ontology)가 지식의 공유(sharing)와 재사용(reuse)관점에서 활발하게 사용되기 시작했다. 현재 온톨로지는 이런 지식공학 외에 에이전트에 기반한 소프트웨어 공학이나 전자상거래 등 여러 분야에 널리 퍼져 사용되고 있다. 그러나 그 적용범위의 다양함과 실체의 불분명함으로 인해 그 사용이 혼란스러운 것도 사실이다.(중략)

  • PDF

$\mathcal{K}o$-ATOMIC: Korean Commonsense Knowledge Graph ($\mathcal{K}o$-ATOMIC: 일반 상식 기반의 한국어 지식 그래프)

  • Jaewook Lee;Jaehyung Seo;Seungjun Lee;Chanjun Park;Aiyanyo Imatitikua Danielle;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.412-417
    • /
    • 2022
  • 일반 상식 기반의 지식 그래프는 대규모 코퍼스에 포함되어 있는 일반 상식을 그래프로 표현하여, 자연어 처리의 하위 작업들에 적용할 수 있도록 하는 구조화된 지식 표현 방법이다. 현재 가장 잘 알려진 일반 상식 기반의 지식 그래프로는 ATOMIC [1]이 있다. 하지만 한국어를 주요 언어로 하는 일반 상식 기반의 지식 그래프에 대한 연구는 아직 활발하지 않다. 따라서 본 연구에서는 기존에 존재하는 영어 기반의 지식 그래프와 일반 상식 기반의 한국어 데이터셋을 활용해서 한국어 일반 상식 기반 지식 그래프를 구축하는 방법론을 제시한다. 또한, 제작한 지식 그래프를 평가하여 구축하는 방법론에 대한 타당성을 검증한다.

  • PDF

KEE: Knowledge Engineering Tool for Domain Experts (KEE: 도메인 전문가를 위한 자동지식공학 툴 개발에 관한 연구)

  • 강병호;김길곤
    • Proceedings of the Korea Database Society Conference
    • /
    • 1999.06a
    • /
    • pp.137-143
    • /
    • 1999
  • 전문가시스템은 지식베이스를 이용하여 지식을 추론하는 추론엔진과 해당분야의 전문지식이 쌓여있는 지식베이스로 구성되어진다. 전문가시스템연구에 있어서 지식베이스에 저장되는 지식획득과정의 규명이 가장 핵심적인 연구분야라고 할 수 있다. 전문지식은 일반적으로 지식공학자들이 전문가로부터 전문지식을 획득하여 구현하는 것이 가장 일반적인 방법으로서 많은 전문가시스템 개발방법 이론들은 지식획득과정에서 지식공학자들의 역할을 필수적인 것으로 이해하고 있다. 그러나 지식획득에 관한 광범위한 해결책은 여전히 제시되고 있지 못하며, 이러한 문제점은 전문가시스템의 상용화에 가장 큰 어려움으로 지적되고 있다. 최근에는 이러한 지식획득병목현상을 해결하기 위하여 상황인식론과 같은 지식에 대한 새로운 해석을 기반으로한 지식획득 방법 이론들이 소개되고 있다. Multiple Classification Ripple Down Rules이론은 1995년 소개된 이론으로서 지식의 획득과정을 지식의 유지보수라는 소프트웨어 공학적 개념에서 접근하고 있다. 지식의 획득과정에서 완전무결한 지식의 모델 찾기를 지양하고 지식이란 단계적 확장개념에서 진화한다고 이해한다. 즉 지식베이스의 구축 단계를 개발과 완료가 불가능하다는 관점에서 지식베이스는 끊임없이 유지보수가 필요한 대상으로 이해하고 이러한 유지보수를 가능하게 하는 방법론을 제시한다 MCRDR에서 가장 핵심적인 부분은 지식공학자의 역할을 최소화하고 시스템 내부에서 지식의 관리와 획득을 수행하여 전문가로 하여금 직접적인 지식 입력이 가능하도록 하는 부분이다. MCRDR이론의 경우 여러가지 연구실험을 통하여 실용성이 입증되었고 의료분야에서 상용화 시스템 개발 툴로서 사용되어져 왔다. 그러나 MCRDR이론이 적용된 전문가시스템 들의 경우 MCRDR이론을 기본으로한 개발 툴로서 개발된 시스템들이 아니고 해당분야에서 MCRDR이론을 적용한 엔진을 직접 설계 구현하여 온 것이 사실이다. KEE(Knowledge Engineer for Experts) 시스템은 최근 개발된 MCRDR기반 전문가시스템 개발 툴로서 본 논문에서는 이러한 분야별 전문가시스템 개발을 지양하고 MCRDR이론을 기반으로 한 범용성 있는 전문가시스템 개발 툴의 개발에 관한 연구를 소개한다.

  • PDF

KEE-Knowledge Engineering Tool for Domain Experts (KEE-도메인 전문가를 위한 자동지식공학 툴 개발에 관한 연구)

  • 강병호;김길곤
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 1999.03a
    • /
    • pp.137-143
    • /
    • 1999
  • 전문가시스템은 지식베이스를 이용하여 지식을 추론하는 추론엔진과 해당분야의 전문지식이 쌓여있는 지식베이스로 구성되어진다. 전문가시스템연구에 있어서 지식베이스에 저장되는 지식획득과 정의 규명이 가장 핵심적인 연구분야하고 할 수 있다. 전문지식은 일반적으로 지식공학자들이 전문가로부터 전문지식을 획득하여 구현하는 것이 가장 일반적인 방법으로서 많은 전문가시스템 개발방법 이론들은 지식획득과정에서 지식공학자들의 역할을 필수적인 것으로 이해하고 있다. 그러나 지식획득에 관한 광범위한 해결책은 여전히 제시되고 있지 못하며, 이러한 문제점은 전문가 시스템의 상용화에 가장 큰 어려움으로 지적되고 있다. 최근에는 이러한 지식획득병목현상을 해결하기 위하여 상황인식론과 같은 지식에 대한 새로운 해석을 기반으로한 지식획득 방법 이론들이 소개되고 있다. Multiple Classification Ripple Down Rules 이론은 1995년 소개된 이론으로서 지식의 획득과정을 지식의 유지보수라는 소프트웨어 공학적 개념에서 접근하고 있다. 지식의 획득과정에서 완전무결한 지식의 모델 찾기를 지양하고 지식이란 단계적 확장개념에서 진화한다고 이해한다. 즉 지식베이스의 구축 단계를 개발과 완료가 불가능하다는 관점에서 지식베이스 끊임없이 유지보수가 필요한 대상으로 이해하고 이러한 유지보수를 가능하게 하는 방법론을 제시한다. MCRDR에서 가장 핵심적인 부분은 지식공학자의 역할을 최소화하고 시스템 내부에서 지식의 관리와 획득을 수행하여 연구실험을 통하여 실용성이 입증되었고 의료분야에서 상용화 시스템 개발 툴로서 사용되어져 왔다. 그러나 MCRDR 이론이 적용된 전문가시스템들의 경우 MCRDR이론을 기본으로한 개발 툴로서 개발된 시스템들이 아니고 해당분야에서 MCRDR이론을 적용한 엔진을 직접 설계 구현하여 온 것이 사실이다. KEE(Knowledge Engineer for Experts) 시스템은 최근 개발된 MCRDR기반 전문가시스템 개발 툴로서 본 논문에서는 이러한 분야별 전문가시스템 개발을 지양하고 MCRDR 이론을 기반으로 한 범용성 있는 전문가시스템 개발 툴의 개발에 관한 연구를 소개한다.

  • PDF

Question Analysis for Knowledge based Question/Answering (지식기반 질의응답을 위한 질문분석 방법)

  • Heo, Jeong;Hwang, Yi-Gyu;Choi, Mi-Ran;Jang, Myung-Gil
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.308-314
    • /
    • 2004
  • AnyQuestion 1.0은 (주)두산의 '두산세계대백과 엔싸이버'의 인물분야만을 대상으로 한 질의응답형 정보검색 시스템이다. 본 시스템에서는 지식기반 질의응답, Logical Form 기반 질의응답, 단락 기반 질의응답을 통합한 3단계 정답 추출 방법을 제안하고 있다. 지식기반 질의응답은 본문의 구조화된 정보와 비구조화 된 정보로부터 정보추출 기술을 이용하여 구축한 지식베이스에 대한 질의응답을 목적으로 한다. "사용자의 질문에 대한 정답을 지식베이스에서 제시할 수 있는가?"와 "지식베이스에서 어떤 정보를 정답으로 제시해야 하는가?"는 3단계 정답 추출 방법에서는 상당히 중요하다 이를 위해서 질문 분석에서는 수동으로 구축한 지식베이스 속성 자질 정보와 다양한 규칙을 기반으로 질문 분석을 수행하였고, 이를 이용하여 지식기반 질의응답을 하였다. 실험결과, 지식기반 질의응답 할당 재현율은 65.4%, 지식기반 질의응답의 정확률은 81.25%였다. 백과사전 인물분야에 대한 지식기반 질의응답은 기존의 데이터베이스 분야에서 연구되어온 자연어 DB인터페이스를 활용한 질의응답으로 속도가 빠르며, 상대적으로 높은 정확률을 보였다.

  • PDF

Design and Implementation of Virtualization Based Distributed Game Server for Mobile Social Network Game (모바일 소셜 네크워크 게임을 위한 가상화 기반 분산 게임서버의 설계 및 구현)

  • Lee, Wonjin;Lee, Taekkyun;Kim, Kangseok;Hong, Manpyo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.117-120
    • /
    • 2013
  • 스마트폰의 보급으로 모바일 소셜 네트워크 게임(SNG: Social Network Game)을 즐기는 사용자들이 증가하고 있다. 그러나, SNG의 특성에 맞는 자원 활용률을 고려한 효율적인 게임서버에 대한 연구는 매우 부족한 실정이다. 본 논문은 가상화 기반으로 SNG게임서버를 설계 및 구현한다. 또한 가상화 기반 분산 게임서버의 CPU 사용률과 Memory 사용량을 분석하여 게임서버의 자원 활용률을 보인다. 이를 토대로 SNG게임서버 환경구축의 기반지식을 제공한다.

OK-KGD:Open-domain Korean Knowledge Grounded Dialogue Dataset (OK-KGD:오픈 도메인 한국어 지식 기반 대화 데이터셋 구축)

  • Seona Moon;San Kim;Jinyea Jang;Minyoung Jeung;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.342-345
    • /
    • 2023
  • 최근 자연어처리 연구 중 오픈 도메인 지식 기반 대화는 많은 관심을 받고 있다. 연구를 위해서는 오픈 도메인 환경을 갖추고 적절한 지식을 사용한 대화 데이터셋이 필요하다. 지금까지 오픈 도메인 환경을 갖춘 한국어 지식 기반 대화 데이터셋은 존재하지 않아 한국어가 아닌 데이터셋을 한국어로 기계번역하여 연구에 사용하였다. 이를 사용할 경우 두 가지 단점이 존재한다. 먼저 사용된 지식이 한국 문화에 익숙하지 않아 한국인이 쉽게 알 수 없는 대화 내용이 담겨있다. 그리고 번역체가 남아있어 대화가 자연스럽지 않다. 그래서 본 논문에서는 자연스러운 대화체와 대화 내용을 담기 위해 새로운 오픈 도메인 한국어 지식 기반 대화 데이터셋을 구축하였다. 오픈 도메인 환경 구축을 위해 위키백과와 나무위키의 지식을 사용하였고 사용자와 시스템의 발화로 이루어진 1,773개의 대화 세트를 구축하였다. 시스템 발화는 크게 지식을 사용한 발화, 사용자 질문에 대한 답을 주지 못한 발화, 그리고 지식이 포함되지 않은 발화 3가지로 구성된다. 이렇게 구축한 데이터셋을 통해 KE-T5와 Long-KE-T5를 사용하여 간단한 실험을 진행하였다.

  • PDF

Attentive Knowledge Selection Model for Knowledge-Grounded Multi-turn Dialogue System (지식 기반 다중 대화 시스템을 위한 주의 집중 지식 선택 모델)

  • Lee, Dohaeng;Jang, Youngjin;Huang, Jin-Xia;Kwon, Oh-Woog;Kim, Harksoo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.361-364
    • /
    • 2021
  • 지식 기반 다중 대화 시스템은 지식 정보를 포함한 응답을 생성하는 대화 시스템이다. 이 시스템은 응답 생성에 필요한 지식 정보를 찾아내는 지식 선택 작업과 찾아낸 지식 정보를 바탕으로 문맥을 고려한 응답을 생성하는 응답 생성 작업으로 구성된다. 본 논문에서는 지식 선택 작업을 기계독해 프레임워크에 적용하여 해결하는 방법을 제안한다. 지식 선택 작업은 여러 개의 발화로 이루어진 대화 기록을 바탕으로 지식 문서 내에 존재하는 지식을 찾아내는 작업이다. 본 논문에서는 대화 기록 모델링 계층을 활용해 마지막 발화와 관련 있는 대화 기록을 찾아내고, 주의 집중 풀링 계층을 활용해 긴 길이의 지식을 효과적으로 추출하는 방법을 제안한다. 실험 결과, 목적지향 지식 문서 기반 대화 데이터 셋인 Doc2dial 데이터의 지식 선택 작업에서 F1 점수 기준 76.52%, EM 점수 기준 66.21%의 성능을 기록해 비교 모델 보다 높은 성능을 기록하는 것을 확인할 수 있었다.

  • PDF

Development of a Component-Based Chamois Data Cleansing Tool Suits (컴포넌트 기반 샤모아 데이터 정제 도구 개발)

  • 김은희;최병주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.310-312
    • /
    • 2003
  • 샤모아 지식공학 시스템(Chamois Knowledge Engineering System)은 대용량의 데이터 소스로부터 의미 있는 지식을 추출하는 시스템이다. 이러한 지식공학 시스템에서 데이터 소스의 품질을 보장하는 일은 매우 중요하다. 본 논문에서는 샤모아 지식공학 시스템에서의 데이터 정제관련 컴포넌트의 구조 및 동작에 대해 기술한다. 또한 이들 컴포넌트들이 동작할 수 있는 컴포넌트 프레임웍의 기능 및 동작에 대해 기술한다. 구현한 데이터 정제 관련 컴포넌트는 컴포넌트 기반의 시스템에서 데이터의 정제를 통해 신뢰성 있는 데이터를 제공하고, 이를 통해 개발하고자 하는 시스템의 품질을 향상 시킬 수 있다.

  • PDF