• Title/Summary/Keyword: 자연어 생성

Search Result 323, Processing Time 0.03 seconds

Extracting and Utilizing is-a Relation Patterns for Question Answering System (자연어 질의응답 시스템을 위한 is-a 관계 패턴의 구축과 활용)

  • Shim, Bo-Jun;Ko, Yung-Joong;Kim, Hark-Soo;Seo, Jung-Yun
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.181-188
    • /
    • 2004
  • 대다수의 개방영역 자연어 질의응답 시스템은 답을 선택할 수 있는 개념영역을 미리 정의하고 있기 때문에 시스템이 준비하지 못한 범주의 개념을 묻는 질의문에 대해서는 올바른 응답을 생성하지 못하거나 예외 처리 방식으로 응답을 생성해 낸다. 본 논문에서는 전형적인 범주에 속하지 않는 명사 개념에 관한 질의문에 대해 범용적으로 대응할 수 있는 개방영역 자연어 질의응답 시스템을 제안한다. 제안하는 시스템은 상위 개념 명사구(Hypernym)에 포함되는 하위 개념의 명사구(Hyponym)들을 추출할 수 있는 일반적인 패턴들을 그 신뢰도와 함께 가지고 있다. 따라서 질의문이 임의의 명사구 개념을 요청할 때 정답의 후보들을 동적으로 생성되는 가상의 is-a 의미관계 사전으로부터 신뢰 순위로 정렬하여 추출해 낼 수가 있다. 제안하는 시스템은 "What 명사구 동사구" 형태의 질의문들 중에서 개체명 인식기나 시소러스를 이용하여 정답 후보를 손쉽게 생성할 수 있는 질의문을 배제한 실험용 질의문 집합을 이용한 실험에서 42%의 재현율을 보였다.

  • PDF

A study on Korean multi-turn response generation using generative and retrieval model (생성 모델과 검색 모델을 이용한 한국어 멀티턴 응답 생성 연구)

  • Lee, Hodong;Lee, Jongmin;Seo, Jaehyung;Jang, Yoonna;Lim, Heuiseok
    • Journal of the Korea Convergence Society
    • /
    • v.13 no.1
    • /
    • pp.13-21
    • /
    • 2022
  • Recent deep learning-based research shows excellent performance in most natural language processing (NLP) fields with pre-trained language models. In particular, the auto-encoder-based language model proves its excellent performance and usefulness in various fields of Korean language understanding. However, the decoder-based Korean generative model even suffers from generating simple sentences. Also, there is few detailed research and data for the field of conversation where generative models are most commonly utilized. Therefore, this paper constructs multi-turn dialogue data for a Korean generative model. In addition, we compare and analyze the performance by improving the dialogue ability of the generative model through transfer learning. In addition, we propose a method of supplementing the insufficient dialogue generation ability of the model by extracting recommended response candidates from external knowledge information through a retrival model.

Natural Language Parsing through Evolutionary Computation (진화연산을 이용한 자연어 파싱)

  • 김동민;박성배;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.419-421
    • /
    • 2003
  • 본 논문에서는 진화 연산 기법을 이용한 자연어 구운 분석 기법을 제시한다 기존의 확률 문맥 무관문법(PCFG)에 관한 연구는 차트 파싱 방법을 구문 분석을 위한 기법으로 가정하고 있다. 하지만, 차트 파싱은 문장의 길이가 늘어날수록 복잡도가 크게 증가하는 문제를 안고 있다. 따라서, 차트 파서의 대안으로서 진화 연산 기법을 사용하여 이 문제를 해결하였다. 진화 연산의 적합도 함수로는 생성된 파스트리의 확률을 사용하였다. 작은 규모의 자연어 문제에 적용한 결과, 진화 연산이 파싱 문제를 성공적으로 해결할 수 있음을 확인할 수 있었다.

  • PDF

Building Composite Web Services from Natural Language Requests (자연어 입력으로부터 복합 웹 서비스의 자동 생성)

  • Lim, Jong-Hyun;Lee, Kyong-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.98-103
    • /
    • 2007
  • 복합 웹 서비스에 대한 요청이 증가하고 있지만 유비쿼터스 환경에서 일반 사용자들이 쉽게 복합 웹 서비스를 사용할 수 있는 환경은 마련되지 않고 있다. 본 논문에서는 자연어 기반의 사용자 친화적인 인터페이스를 개발하여 이를 통해 웹 서비스나 해당 서비스 도메인 영역에 대해 지식이 전혀 없는 일반 사용자가 쉽게 자신의 요구사항을 표현하고, 사용자의 표현을 효율적으로 분석하여 복합 웹 서비스를 자동 구성하는 시스템을 제안한다. 특히 복수 문장으로 구성된 복잡한 자연어 요청으로부터 정교한 수준의 추상 워크플로우를 추출하는 방법을 제안한다.

  • PDF

Ensemble-based Counterfeit Detection Algorithm (앙상블 기반의 위조 탐지 알고리즘)

  • Ilkin Taghiyev;Youngbok-Cho
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.01a
    • /
    • pp.101-102
    • /
    • 2023
  • 본 연구에서는 인터넷 상에서 발생되는 부정행위를 탐지할수 있는 신뢰 모델을 생성하고 개인의 프라이버시를 보장할수 있는 모델을 제시하였다. 인터넷 상에 게시판에 올려진 부정해위를 탐지하기 위해 앙상블 접근 방식 기반의 분류 모델을 제시하고 자동화된 도구를 제안하였다. 본 연구는 데이터에 대한 탐색적 데이터 분석을 수행하고 얻은 통찰력을 사용해 자연어처리 가반 텍스트를 기반으로 앙상블 기반의 위조 탐지 알고리즘을 제안하였다. 제안 알고리즘의 정확도는 99%로 자연어 처리에 높은 탐지율을 보였다.

  • PDF

Korean Text Generation and Sentiment Analysis Using Model Combined VAE and CNN (VAE와 CNN이 결합된 모델을 이용한 한국어 문장 생성과 감성 분석)

  • Kim, Geon-Yeong;Lee, Chang-Ki
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.430-433
    • /
    • 2018
  • 딥러닝 모델의 성능 향상을 위해 적은 데이터를 증가시킬 수 있는 연구들이 필요하다. 이미지의 경우 회전, 이동, 반전등의 연산으로 쉽게 데이터를 증가시킬 수 있지만 자연어는 그렇지 않다. 그러나 최근 딥러닝 생성 모델의 발전으로 기존 자연어 데이터를 생성 모델을 통해 양을 늘려 실험하는 연구들이 많이 시도되었다. 본 논문에서는 문장 데이터 생성을 위한 VAE, 문장 분류를 위한 CNN이 결합된 모델을 한국어 영화평 데이터에 적용하여 기존 모델보다 0.146% 높은 86.736%의 정확도를 기록하였다.

  • PDF

The Implementation of a Korean Generation System Using Semantic-Head-Driven Method (의미 중심어 주도 방식을 이용한 한국어 생성 시스템의 구현)

  • Lee, Sang-Ho;Seo, Jung-Yun
    • Annual Conference on Human and Language Technology
    • /
    • 1994.11a
    • /
    • pp.434-438
    • /
    • 1994
  • 자연어 생성 시스템은 기계 변역이나 대화 시스템 등 여러 시스템의 인터페이스로 중요한 역할을 한다. 자연어 생성 시스템을 효율적으로 구축하고, 확장을 용이하게 하기 위해서는 해당언어의 생성에 필요한 정보를 효과적으로 표현할 수 있는 규칙 표현법이 필요하다. 본 논문은 한국어 생성에서 사용하는 격틀과 격틀 이외의 여러 정보를 표현할 수 있는 표현법을 제안하였다. 그리고 제안한 규칙을 수행하기 위해서 Shieber의 semantic-head-driven-generation방식[4]을 변형한 엔진을 구현하였다.

  • PDF

Various Paraphrase Generation Using Sentence Similarity (문장 유사도를 이용한 다양한 표현의 패러프레이즈 생성)

  • Park, Da-Sol;Chang, Du-Seong;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.576-581
    • /
    • 2021
  • 패러프레이즈란 어떤 문장을 같은 의미를 가지는 다른 단어들을 사용하여 표현한 것들을 의미한다. 이는 정보 검색, 다중 문서 요약, 질의응답 등 여러 자연어 처리 분야에서 중요한 역할을 한다. 특히, 양질의 패러프레이즈 코퍼스를 얻는 것은 많은 시간 및 비용이 소요된다. 이러한 문제점을 해소하기 위해 본 논문에서는 문장 유사도를 이용한 패러프레이즈 쌍을 구축하고, 또 구축한 패러프레이즈 쌍을 이용하여 기계 학습을 통해 새로운 패러프레이즈을 생성한다. 제안 방식으로 생성된 패러프레이즈 쌍은 기존의 구축되어 있는 코퍼스 내 나타나는 표현들로만 구성된 페러프레이즈 쌍이라는 단점이 존재한다. 이러한 단점을 해소하기 위해 기계 학습을 이용한 실험을 진행하여 새로운 표현에 대한 후보군을 추출하는 방법을 적용하여 새로운 표현이라고 볼 수 있는 후보군들을 추출하여 기존의 코퍼스 내 새로운 표현들이 생성된 것을 확인할 수 있었다.

  • PDF

A Study on the Specification of an Automatic Programming System using Natural Language Sentence (자연어 문장을 이용한 자동 프로그래밍 시스템의 명세서에 관한 연구)

  • Kim, Tae-Yong;Hwang, In-Hwan;Lee, Jung-Hyun
    • Annual Conference on Human and Language Technology
    • /
    • 1994.11a
    • /
    • pp.479-482
    • /
    • 1994
  • 자동 프로그램이란 인간이 프로그램 언어를 습득하는데 드는 노력과 시간을 감소시키고 프로그램하는 과정의 일부나 전부를 컴퓨터가 대신하도록 하여 프로그램 환경을 개선하고 유지, 보수의 비용을 줄이는데 그 목적이 있으며, 자동 프로그램 4대 구성 요소중 프로그램 명세서를 초고급언어나 예제에 의한 방법 또는 트레이스(Trace)로 기술하는 것이 일반적이다. 그러나 이 방법은 전문가가 아니면 이해하기 어렵고, 불량이 많은 작성하기 어려운 문제점이 있다. 본 논문에서는 이런 단점을 개선하기 위해서 일반 사용자가 접하기 쉽고, 이해하기 용이한 자연어 문장으로 명세서를 작성한다. 그러나 자연어에는 많은 애매성이 존재하는데 이것을 방지하기 위해 사용자에게 미리 자연어 프로그램 틀을 제시한다. 자연어 문장으로 작성된 명세서는 형태소 분석과 구문 분석에 의해 처리되며, 구문 분석시 복합문과 내포문은 단문으로 분리한 다음, 동사를 중심으로한 격 프레임(case frame)를 만들며, 이것을 바탕으로 중간언어를 생성하는 방법을 제안한다.

  • PDF

DBpedia Ontology Population Coverage Enhancement with FrameNet (프레임넷을 통한 디비피디아 온톨로지 인스턴스 생성의 커버리지 개선)

  • Hahm, Younggyun;Seo, Jiwoo;Hwang, Dosam;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.32-37
    • /
    • 2014
  • 비구조 텍스트로부터 지식을 추출하여 온톨로지 기반 지식베이스를 구축하는 연구가 최근 국내외로 다양하게 진행되고 있다. 이러한 목적을 달성하기 위해서는 자연어 텍스트에서 나타난 지식요소들의 다양한 속성들을 표현할 수 있는 온톨로지를 필요로 한다. 디비피디아 역시 위키피디아의 지식들을 표현하기 위하여 디비피디아 온톨로지를 사용한다. 그러나 디비피디아 온톨로지는 위키피디아의 인포박스에 기반한 온톨로지로서, 요약된 정보를 설명하기에는 적합할 수 있으나 자연어 텍스트로 표현된 다양한 지식표현을 충분히 커버하는 것은 보증되지 않는다. 본 논문에서는 자연어 텍스트로 쓰여진 지식을 디비피디아 온톨로지가 충분히 표현할 수 있는지를 검토하고, 또한 그 불완전성을 프레임넷이 어느정도까지 보완할 수 있는지를 살핀다. 이를 통해 한국어 텍스트로부터 지식베이스를 자동구축하는 온톨로지 인스턴스 자동생성 연구의 방향으로서 디비피디아 온톨로지와 프레임넷의 효용성을 전망한다.

  • PDF