• 제목/요약/키워드: 지식베이스 추출

검색결과 156건 처리시간 0.046초

지식베이스 확장을 위한 멀티소스 비정형 문서에서의 정보 추출 시스템의 개발 (Development of Information Extraction System from Multi Source Unstructured Documents for Knowledge Base Expansion)

  • 최현승;김민태;김우주;신동욱;이용훈
    • 지능정보연구
    • /
    • 제24권4호
    • /
    • pp.111-136
    • /
    • 2018
  • 지식베이스를 구축하는 작업은 도메인 전문가가 온톨로지 스키마를 이해한 뒤, 직접 지식을 정제하는 수작업이 요구되는 만큼 비용이 많이 드는 활동이다. 이에, 도메인 전문가 없이 다양한 웹 환경으로부터 질의에 대한 답변 정보를 추출하기 위한 자동화된 시스템의 연구개발의 필요성이 제기되고 있다. 기존의 정보 추출 관련 연구들은 웹에 존재하는 다양한 형태의 문서 중 학습데이터와 상이한 형태의 문서에서는 정보를 효과적으로 추출하기 어렵다는 한계점이 존재한다. 또한, 기계 독해와 관련된 연구들은 문서에 정답이 있는 경우를 가정하고 질의에 대한 답변정보를 추출하는 경우로서, 문서의 정답포함 여부를 보장할 수 없는 실제 웹의 비정형 문서로부터의 정보추출에서는 낮은 성능을 보인다는 한계점이 존재한다. 본 연구에서는 지식베이스 확장을 위하여 웹에 존재하는 멀티소스 비정형 문서로부터 질의에 대한 정보를 추출하기 위한 시스템의 개발 방법론을 제안하고자 한다. 본 연구에서 제안한 방법론은 "주어(Subject)-서술어(Predicate)"로 구분된 질의에 대하여 위키피디아, 네이버 백과사전, 네이버 뉴스 3개 웹 소스로부터 수집된 비정형 문서로부터 관련 정보를 추출하며, 제안된 방법론을 적용한 시스템의 성능평가를 위하여, Wu and Weld(2007)의 모델을 베이스라인 모델로 선정하여 성능을 비교분석 하였다. 연구결과 제안된 모델이 베이스라인 모델에 비해, 위키피디아, 네이버 백과사전, 네이버 뉴스 등 다양한 형태의 문서에서 정보를 효과적으로 추출하는 강건한 모델임을 입증하였다. 본 연구의 결과는 현업 지식베이스 관리자에게 지식베이스 확장을 위한 웹에서 질의에 대한 답변정보를 추출하기 위한 시스템 개발의 지침서로서 실무적인 시사점을 제공함과 동시에, 추후 다양한 형태의 질의응답 시스템 및 정보추출 연구로의 확장에 기여할 수 있을 것으로 기대한다.

한국어 문장으로부터 개념단위의 추출과 지식베이스의 구축 (The Conceptual Unit Extraction and Knowledge Base Construction from Korean Sentence)

  • 한광록;이주근
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1989년도 한글날기념 학술대회 발표논문집
    • /
    • pp.247-251
    • /
    • 1989
  • 본 논문은 한국어를 대상으로 하는 자연언어 처리 시스템을 개발하는데 있어서 기초가 되는 지식베이스의 구축에 대하여 논한다. 한국어의 일반문에서 단문을 분리해 내기 위하여 형태소 해석의 결과로부터 도출한 구 단위를 한-일 기계번역 시스템의 구문, 의미 해석기(VCPN) 을 적용하여 절단위로 결합한다. 그리고 이들 단위절에 대하여 대명사의 조응관계, 생략에의 재생을 위한 추론, 부정어, 시제일치 등을 처리하여 논리적 지식베이스를 구성하는 방법을 제안한다. 본 논문은 입력문장에 제한을 두지 않고 단문으로부터 장문에 이르기까지 광범위한 일반문을 대상으로 하여 Horn Clause 이론을 확장한다.

  • PDF

딥러닝과 정보검색을 결합한 질의응답 시스템 (Question Answering System that Combines Deep Learning and Information Retrieval)

  • 이현구;김학수
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.134-138
    • /
    • 2016
  • 정보의 양이 빠르게 증가함으로 인해 필요한 정보만을 효율적으로 얻기 위한 질의응답 시스템의 중요도가 늘어나고 있다. 그 중에서도 질의 문장에서 주어와 관계를 추출하여 정답을 찾는 지식베이스 기반 질의응답 시스템이 활발히 연구되고 있다. 그러나 기존 지식베이스 기반 질의응답 시스템은 하나의 질의 문장만을 사용하므로 정보가 부족한 단점이 있다. 본 논문에서는 이러한 단점을 해결하고자 정보검색을 통해 질의와 유사한 문장을 찾고 Recurrent Neural Encoder-Decoder에 검색된 문장과 질의를 함께 활용하여 주어와 관계를 찾는 모델을 제안한다. bAbI SimpleQuestions v2 데이터를 이용한 실험에서 제안 모델은 질의만 사용하여 주어와 관계를 찾는 모델보다 좋은 성능(정확도 주어:33.2%, 관계:56.4%)을 보였다.

  • PDF

딥러닝과 정보검색을 결합한 질의응답 시스템 (Question Answering System that Combines Deep Learning and Information Retrieval)

  • 이현구;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.134-138
    • /
    • 2016
  • 정보의 양이 빠르게 증가함으로 인해 필요한 정보만을 효율적으로 얻기 위한 질의응답 시스템의 중요도가 늘어나고 있다. 그 중에서도 질의 문장에서 주어와 관계를 추출하여 정답을 찾는 지식베이스 기반 질의응답 시스템이 활발히 연구되고 있다. 그러나 기존 지식베이스 기반 질의응답 시스템은 하나의 질의 문장만을 사용하므로 정보가 부족한 단점이 있다. 본 논문에서는 이러한 단점을 해결하고자 정보검색을 통해 질의와 유사한 문장을 찾고 Recurrent Neural Encoder-Decoder에 검색된 문장과 질의를 함께 활용하여 주어와 관계를 찾는 모델을 제안한다. bAbI SimpleQuestions v2 데이터를 이용한 실험에서 제안 모델은 질의만 사용하여 주어와 관계를 찾는 모델보다 좋은 성능(정확도 주어:33.2%, 관계:56.4%)을 보였다.

  • PDF

전자상거래 머천트 시스템에서의 원투원 마케팅을 위한 데이터마이닝 시스템의 설계 및 구현 (Design and Implementation of A Data Mining System for One-to-One Marketing in EC Merchant Systems)

  • 김종달;홍정희;김성민;남도원;이동하;김성훈;이전영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.117-119
    • /
    • 1999
  • 전자상거래에서 판매 실적을 높이기 위한 효과적인 방법의 하나는 사용자에 따라 개별화된 정보의 제공, 즉 원투원 마케팅의 개념을 도입하는 것이다. 이를 위해서는 사용자의 구매 성향이나 사용자의 특성에 대한 지식베이스가 있어야 한다. 이러한 지식베이스로 데이터마이닝 기법중의 하나인 연관규칙을 도입하였다. 본 논문에서는 연관규칙을 기본 연산으로 하는 데이터마이닝 시스템의 설계와 구현을 기술하였다. 사용자와 제품간의 연관규칙을 추출하여 동적으로 제공되는 웹 문서를 생성하는데 필요한 지식베이스를 구축하였다. 또한 구축된 데이터마이닝 시스템은 연관규칙 탐사 엔진과 개념 계층 관리기로 구성되어 있으며, 대용량의 데이터를 다루기 위해 기존의 방법과는 다른 파일을 기반으로 한 빈번항목집합 인덱싱 기법을 제시하였다.

  • PDF

효과적인 지식창출을 위한 인터넷 상의 지식채굴과정: 주식시장에의 응용 (Knowledge Discovery Process In Internet For Effective Knowledge Creation: Application To Stock Market)

  • 김경재;홍태호;한인구
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1999년도 춘계공동학술대회: 지식경영과 지식공학
    • /
    • pp.105-113
    • /
    • 1999
  • 최근 데이터와 데이터베이스의 폭발적 증가에 따라 무한한 데이터 속에서 정보나 지식을 찾고자하는 지식채굴과정 (knowledge discovery process)에 대한 관심이 높아지고 있다. 특히 기업 내외부 데이터베이스 뿐만 아니라 데이터웨어하우스 (data warehouse)를 기반으로 하는 OLAP환경에서의 데이터와 인터넷을 통한 웹 (web)에서의 정보 등 정보원의 다양화와 첨단화에 따라 다양한 환경 하에서의 지식채굴과정이 요구되고 있다. 본 연구에서는 인터넷 상의 지식을 효과적으로 채굴하기 위한 지식채굴과정을 제안한다. 제안된 지식채굴과정은 명시지 (explicit knowledge)외에 암묵지 (tacit knowledge)를 지식채굴과정에 반영하기 위해 선행지식베이스 (prior knowledge base)와 선행지식관리시스템 (prior knowledge management system)을 이용한다. 선행지식관리시스템은 퍼지인식도(fuzzy cognitive map)를 이용하여 선행지식베이스를 구축하여 이를 통해 웹에서 찾고자 하는 유용한 정보를 정의하고 추출된 정보를 지식변환시스템 (knowledge transformation system)을 통해 통합적인 추론과정에 사용할 수 있는 형태로 변환한다. 제안된 연구모형의 유용성을 검증하기 위하여 재무자료에 선행지식을 제외한 자료와 선행지식을 포함한 자료를 사례기반추론 (case-based reasoning)을 이용하여 실험한 결과, 제안된 지식채굴과정이 유용한 것으로 나타났다.

  • PDF

규칙베이스 기반의 일반화를 확장한 공간 데이터 마이닝 시스템 (A Spatial Data Mining System Extending Generalization based on Rulebase)

  • 최성민;김응모
    • 한국정보처리학회논문지
    • /
    • 제5권11호
    • /
    • pp.2786-2796
    • /
    • 1998
  • 대용량의 공간(spatial) 데이터베이스에서 사용자에게 관심있고 일반화된 지식을 추출하는 것은 지형 정보 시스템이나 지식 베이스 시스템의 개발에 중요한 기법중의 하나이다. 본 논문은 공간 데이터 마이닝에 널리 사용되는 일반화(generalization) 방법을 확장한 공간 데이터 마이닝 모듈에 공간 데이터를 추론할 수 있도록 구축된 규칙베이스(rulebase)를 통합한 공간데이터 마이닝 시스템을 제안한다. 이를 위한 전위기로서 공간 데이터 우선(spatial data dominated)과 비공간 데이터 우선(nonspatial data dominated) 마이닝을 병합한 방식과 다중 주제도(multiple thematic map)가 주어졌을 때의 공간 지식을 추출해 낼 수 있는 방식을 제안한다. 또한 후위기로서 공간 객체들간의 위상 관계(topological relationship)를 추론하기 위한 공간 규칙 베이스를 구축한다.

  • PDF

인간의 생득적 능력에 기반한 이미지의 의미정보 추출방법 (A Concept Extraction Method for Image Based on Human's Natural Abilities)

  • 박형근;이일병
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.307-310
    • /
    • 2011
  • 최근 멀티미디어 데이터의 급속한 증가는 그를 대상으로 하는 다양한 컴퓨팅 기술의 발전을 가져왔다. 이러한 기술이 인간과의 상호 작용에서 그 양적 범위와 질적 깊이를 더해감에 따라, 멀티미디어 데이터 특히 그 중 가장 대표적이라 할 수 있는 이미지 데이터를 의미적으로 이해할 수 있는 방법의 필요성이 대두되고 있다. 이미지의 의미를 이해하기 위해 저수준(low level)의 시각 정보만을 이용하는 경우 인간과의 상호 작용에서 의미 격차(conceptual gap) 문제가 발생할 수 있다. 이미지 객체의 시각 정보들을 가공해서 온톨로지(ontology)와 같은 형태의 지식 베이스(knowledge base)와 연동하여 보다 고수준의 의미를 부여하는 경우에는 해당 도메인을 벗어난 새로운 환경에 대해 적응력과 강인함이 떨어진다. 이러한 문제를 근본적으로 해결하기 위해서는 지식 베이스가 없는 상태에서 이미지 데이터의 형태로 주어진 대상 객체로부터 의미를 부여할 수 있는 정보들을 추출해, 구조적으로 지식 베이스를 형성해 나가고 이를 토대로 대상 이미지 객체의 의미를 이해할 수 있는 시스템이 필요하다. 본 논문에서는 발달 심리학 이론들을 바탕으로 시각과 관련된 인간의 생득적 능력을 찾고, 이를 기반으로 우선 주어진 이미지 객체로부터 의미 정보를 효과적으로 추출할 수 있는 방법을 제안한다.

자동 초록을 위한 지식 기반 시스템 설계에 관한 연구 (A Study on the Knowledge-Based System for Automaic Abstracting)

  • 최인숙
    • 정보관리학회지
    • /
    • 제6권1호
    • /
    • pp.93-117
    • /
    • 1989
  • 본 연구에서는 자연언어 텍스트 분석을 통해 초록을 생성하기 위하여 특정 주제분 야의 지식에 입각하여 운영되는 지식 기반 시스템을 설계하였다. 주제 영역은 상표법 관계 대법원 판결서를 대상으로 하였으며 지식 베이스는 판결서의 내용을 담을 수 있는 틀과 상 표법 조문 지식, 상품 구분 지식을 프레임과 의미 네트워크로 표현하여 구성하였다. 초록을 생성하는 과정은 (1) 텍스트를 이해하기 위하여 필요한 주제분야지식을 미리 체계적으로 조 직하여 지식 베이스를 구성하고 주요 정보가 들어갈 자리를 괄호로 둔 채 그 정보들을 연결 하는 일반적인 내용만 기술한 예비 초록을 각 경우별로 준비한 다음 (2) 이러한 지식에 입 각하여 입력 테스트를 분석하고 초록에 필요한 주요 정보를 추출하며 (3) 입력 테스트에 해 당하는 예비 초록을 호출하여 그의 괄호 안에 필요한 정보를 채워 초록을 완성하는 3 단계 로 구성된다.

  • PDF