• Title/Summary/Keyword: 지식공학

Search Result 1,299, Processing Time 0.026 seconds

OK-KGD:Open-domain Korean Knowledge Grounded Dialogue Dataset (OK-KGD:오픈 도메인 한국어 지식 기반 대화 데이터셋 구축)

  • Seona Moon;San Kim;Jinyea Jang;Minyoung Jeung;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.342-345
    • /
    • 2023
  • 최근 자연어처리 연구 중 오픈 도메인 지식 기반 대화는 많은 관심을 받고 있다. 연구를 위해서는 오픈 도메인 환경을 갖추고 적절한 지식을 사용한 대화 데이터셋이 필요하다. 지금까지 오픈 도메인 환경을 갖춘 한국어 지식 기반 대화 데이터셋은 존재하지 않아 한국어가 아닌 데이터셋을 한국어로 기계번역하여 연구에 사용하였다. 이를 사용할 경우 두 가지 단점이 존재한다. 먼저 사용된 지식이 한국 문화에 익숙하지 않아 한국인이 쉽게 알 수 없는 대화 내용이 담겨있다. 그리고 번역체가 남아있어 대화가 자연스럽지 않다. 그래서 본 논문에서는 자연스러운 대화체와 대화 내용을 담기 위해 새로운 오픈 도메인 한국어 지식 기반 대화 데이터셋을 구축하였다. 오픈 도메인 환경 구축을 위해 위키백과와 나무위키의 지식을 사용하였고 사용자와 시스템의 발화로 이루어진 1,773개의 대화 세트를 구축하였다. 시스템 발화는 크게 지식을 사용한 발화, 사용자 질문에 대한 답을 주지 못한 발화, 그리고 지식이 포함되지 않은 발화 3가지로 구성된다. 이렇게 구축한 데이터셋을 통해 KE-T5와 Long-KE-T5를 사용하여 간단한 실험을 진행하였다.

  • PDF

Extended Knowledge Graph using Relation Modeling between Heterogeneous Data for Personalized Recommender Systems (이종 데이터 간 관계 모델링을 통한 개인화 추천 시스템의 지식 그래프 확장 기법)

  • SeungJoo Lee;Seokho Ahn;Euijong Lee;Young-Duk Seo
    • Smart Media Journal
    • /
    • v.12 no.4
    • /
    • pp.27-40
    • /
    • 2023
  • Many researchers have investigated ways to enhance recommender systems by integrating heterogeneous data to address the data sparsity problem. However, only a few studies have successfully integrated heterogeneous data using knowledge graph. Additionally, most of the knowledge graphs built in these studies only incorporate explicit relationships between entities and lack additional information. Therefore, we propose a method for expanding knowledge graphs by using deep learning to model latent relationships between heterogeneous data from multiple knowledge bases. Our extended knowledge graph enhances the quality of entity features and ultimately increases the accuracy of predicted user preferences. Experiments using real music data demonstrate that the expanded knowledge graph leads to an increase in recommendation accuracy when compared to the original knowledge graph.

Part-of-Speech Tagging Using Complemental Characteristics of Linguistic Knowledge and Stochastic Information (언어 지식과 통계 정보의 보완적 특성을 이용한 품사 태깅)

  • Lim, Heui-Seok;Kim, Jin-Dong;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1997.10a
    • /
    • pp.102-108
    • /
    • 1997
  • 기존의 품사 태깅 방법에서 독립적으로 사용해온 언어 지식과 통계 정보는 품사 태깅의 정확도와 처리 범위의 향상을 위해서 상호 보완적인 특성을 갖는다. 이에 본 논문은 언어 지식과 통계 정보의 보완적 특성을 이용한 규칙 우선 직렬 품사 태깅 방법을 제안한다. 제안된 방법은 언어 지식에 의한 품사 태깅 결과를 선호함으로써 규칙 기반 품사 태깅의 정확도를 유지하며, 언어 지식에 의해서 모호성이 해소되지 않은 어절에 통계 정보에 의한 품사 태깅 결과를 할당함으로써 통계 기반 품사 태깅의 처리 범위를 유지한다. 또한, 수정 언어 지식에 의해 태깅 결과의 오류를 보정함으로써 품사 태깅의 정확도를 향상시킨다. 약 2만 어절 크기의 외부 평가 코퍼스에 대해 수행된 실험 결과, 규칙 우선 직렬 품사 태깅 시스템은 통계 정보만을 이용한 품사 태깅의 정확도보다 32.70% 향상된 95.43%의 정확도를 보였다.

  • PDF

Knowledge-Based Question Answering System for Aquisition of Concept Word (개념어의 습득을 위한 지식기반 질의응답 시스템)

  • Lee, Jae-Hong;Choe, Ho-Seop;Ock, Cheol-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2003.10d
    • /
    • pp.95-100
    • /
    • 2003
  • 본 논문에서는 현실 세계가 가지고 있는 지식이 어느 정도 체계적으로 정제되어 있는 국어사전, 백과사전 등을 중심으로, Hybrid Method를 이용한 통계(Statistics)기반 지식베이스와 어휘분류(Lexicon Classification)기반 지식베이스를 효율적으로 구축하여 질의응답시스템에 활용한다. 또한 특정한 문서를 보여주는 일반적인 질의응답시스템과는 달리, 이러한 지식베이스를 이용하여 사용자에게 정확한 개념어(정답어)를 습득하게끔 해주고, 사용자의 인지 체계 속에 어렴풋이 내포되어 있는 개념적 지식을 더욱더 표면적으로 확장해 나갈 수 있는 질의응답시스템을 구축하는 방안을 제시한다.

  • PDF

Development of the Knowledge-Base Module for the STAFS Expert System Using Rule Derivation Methodology (규칙추출 방법론을 이용한 STAFS 전문가시스템의 지식베이스 모듈 개발)

  • 김화수
    • Journal of Intelligence and Information Systems
    • /
    • v.7 no.2
    • /
    • pp.65-81
    • /
    • 2001
  • This paper presets the process of knowledge aquisition by partitioning the phase of analysis & design for knowledge-base module construction of Expert System into five steps to derive rule systematically. Also, this paper presents the process and the task that knowledge engineer must do work each step. The knowledge-base module of STAFS expert system was constructed by considering the destruction rate and the commander\`s intention using the proposed rule derivation methodology.

  • PDF

Multiple Classification Ripple Down Rules (복수결론을 유도하는 지식획득이론)

  • 강병호;박덕진
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10c
    • /
    • pp.9-11
    • /
    • 1998
  • Ripple Down Rules(RDR)이론은 지식베이스시스템을 지식공학구축기술 또는 지식공학자의 도움 없이 특수분야전문가에 의해 효율적으로 유지보수, 구축되어진다. 특히 시스템의 운용 중 지식베이스의 수정을 효율적으로 처리할 수 있다. 본 논문은 단일결론을 생성하는 RDR이론의 확장인 복수(複數)결론(multiple classification)을 유도하는 MCRDR이론에 대하여 설명한다. MCRDR은 복잡한 복수결론을 허락하면서 RDR이론의 최대 장점인 지식베이스의 간편한 유지보수 기증을 유지한다. MCRDR의 KA과정, 기초케이스 문제해결방법, 그리고 복수결론 추론문제에 대하여 논할 것이다. MCRDR시스템의 우수성을 모의전문가를 이용한 시스템 수축과 실험으로 증명해 보일 것이다. 이 실험을 통하여 복수결론을 지원하는 MCRDR이론이 단일결론을 지원하는 RDR이론을 통하여 효율적으로 증명하고, 또한 기존의 기계학습방법과의 차이점도 보여줄 것이다.

  • PDF

A Study on the Education System for People Who Don't Have Their Own Letters, SOUL (문자 없는 나라를 위한 문자 교육 시스템(소울)에 관한 연구)

  • Ham, Hye-Ryeong;Noh, Yong-Deok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.377-380
    • /
    • 2010
  • 지식기반 사회에서 교육은 장기적인 발전을 위한 필수 요소이다. 교육을 위해서는 말하기, 듣기, 쓰기, 읽기 능력이 필요하다. 이 중 하나라도 충족하지 못한다면 제대로 된 교육을 받을 수 없다. 하지만 전 세계에 존재하는 약 6900여종의 언어 중 6600여종의 언어는 표기할 수 있는 고유 문자가 없다. 읽기 능력과 쓰기 능력을 기르기 위한 최소 조건조차 마련되어 있지 않은 것이다. 그래서 말은 있지만 문자는 없는 국가에 말을 표기할 수 있는 문자를 보급하여 지식기반 발전의 기반을 마련해 주는 소울(SOUL) 시스템을 제안한다. 소울(SOUL)은 두 가지 기능을 가지고 있다. 문자 교육 기능과, 지식 공유 공간 기능이다. 문자 교육 기능에서는 각 문자가 내는 소리와 조합방법, 그리고 각 문자의 표기법, 표기 순서 등을 익힘으로써 문자를 쉽게 익힐 수 있도록 하였다. SOUL은 말을 표기할 문자로 비교적 익히기 쉬운 언문인 한글을 채택하였다. 그리고 지식 공유 공간 기능에서는 문자를 익힌 사용자가 마치 위키피디아처럼 지식을 기록하고 공유할 수 있어 지식을 축적하도록 도와주도록 설계하였다. 여기서는 소울(SOUL) 시스템의 구조 및 구현을 보인다.

Multi-Session Open Domain Knowledge-based dialog collection Tool (멀티-세션 오픈 도메인 지식기반 대화 수집 툴)

  • Tae-Yong Kim;San Kim;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.491-496
    • /
    • 2022
  • 최근 멀티-세션 데이터로 장기간 페르소나와 대화 일관성을 유지하며 인터넷에서 대화와 관련된 지식을 활용하는 대화모델 연구가 활발히 진행되고 있다. 하지만 이를 위한 한국어 멀티-세션 오픈 도메인 지식 기반 대화 데이터는 공개되지 않아 한국어 대화모델 연구에 어려움이 있다. 따라서 본 논문에서는 한국어 멀티-세션 오픈 도메인 지식 기반 데이터의 필요성을 시사하고, 데이터 수집을 위한 툴을 제안한다. 제안하는 수집 툴은 양질의 데이터 수집을 위해 작업자들이 사용하기 편하도록 UI/UX를 구성하였으며, 대화 생성 시 텍스트뿐만 아니라 정보가 밀집된 테이블도 대화에 활용할 지식으로 참조할 수 있도록 구현하였다. 제안하는 수집 툴은 웹 랜덤채팅 시스템에 기반을 두어 작업자가 여러 다른 작업자와 같은 확률로 매칭되게 구현되었으며, 일정 확률로 기존 대화로부터 대화를 시작하도록 함으로써 멀티-세션 대화 수집이 가능하도록 하였다.

  • PDF

Automatic knowledgebase extraction based smishing SMS detection (자동 지식베이스 추출 기반 스미싱 SMS 탐지)

  • Baek, Seong-Bin;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.564-567
    • /
    • 2021
  • 스미싱은 SMS 문자를 통해 피해자를 현혹시켜 개인정보나 금전 등을 갈취하는 범죄이다. 발전하는 스미싱 범죄 수법에 대응하기 위해선 새로운 스미싱 범죄 사례에서 데이터를 추출하고, 추출한 데이터를 기존 시스템에 통합하여 빠르게 대응할 수 있어야 한다. 본 연구에서는 빠른 스미싱 대응을 위해 전처리를 하지 않은 SMS 문자 텍스트에서 지식베이스를 자동으로 추출하고 저장하는 자동 지식베이스 추출 모듈을 제안하며, 추출 시스템 지식베이스를 바탕으로 입력된 SMS가 스미싱인지 판별하는 스미싱 SMS 탐지 모듈을 통합한 자동 지식베이스 추출 기반 스미싱 SMS 탐지 시스템을 제시한다. 제시된 스미싱 SMS 탐지 모델은 UCI SMS Spam Collection Dataset을 기준으로 90.9 (F1 score)의 성능을 보여주었다.

  • PDF

Knowledge-Grounded Dialogue Generation Using Prompts Combined with Expertise and Dialog Policy Prediction (전문 지식 및 대화 정책 예측이 결합된 프롬프트를 활용한 지식 기반 대화 생성)

  • Eojin Joo;Chae-Gyun Lim;DoKyung Lee;JunYoung Youn;Joo-Won Sung;Ho-Jin Choi
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.409-414
    • /
    • 2023
  • 최근 지식 기반 대화 생성에 많은 연구자가 초점을 맞추고 있다. 특히, 특정 도메인에서의 작업 지향형 대화 시스템을 구축하는 것은 다양한 도전 과제가 있으며, 이 중 하나는 거대 언어 모델이 입력과 관련된 지식을 활용하여 응답을 생성하는 데 있다. 하지만 현재 거대 언어 모델은 작업 지향형 대화에서 단순히 정보를 열거하는 방식으로 응답을 생성하는 경향이 있다. 이 논문에서는 전문 지식과 대화 정책 예측 모델을 결합한 프롬프트를 제시하고 작업 지향형 대화에서 사용자의 최근 입력에 대한 정보 제공 및 일상 대화를 지원하는 가능성을 탐구한다. 이러한 새로운 접근법은 모델 파인튜닝에 비해 비용 측면에서 효율적이며, 향후 대화 생성 분야에서 발전 가능성을 제시한다.

  • PDF