• 제목/요약/키워드: 자연어 이해

검색결과 177건 처리시간 0.027초

XML 문서 검색을 위한 한국어 질의 처리 시스템 (Korean Query Processing System for XML Document Retrieval)

  • 박춘용;이현영;윤보현;강현규;이용석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.161-163
    • /
    • 2000
  • 인터넷 문서의 표준 사양인 XML 문서가 늘어나면서 XML 문서를 효과적으로 관리고 검색하기 위한 시스템이 개발되고 있다. 그러나 정형화된 질의언어를 사용한 XML 문서의 검색 방법은 질의언어의 구조를 이해하고 사용법을 숙지해야 하는 어려움이 있어 일반 사용자에게는 적합하지 않다. 따라서 사용자가 쉽게 사용할 수 있으면서도 정확한 결과를 가지는 시스템이 요구된다. 본 논문에서는 XML 문서를 검색하기 위해 자연어로 질의를 입력하면 이를 XML 구조 검색을 위한 XQL 언어로 자동 변환해 주는 시스템을 제안한다. 제안한 시스템은 자연어를 이용하기 때문에 사용하기가 쉽고 XML 문서 구조가 변경되어도 쉽게 확장할 수 있는 장점을 가진다.

  • PDF

IBM Watson 작동방식에 대한 이해 및 사례 소개

  • 김천순
    • 방송과미디어
    • /
    • 제22권1호
    • /
    • pp.1-9
    • /
    • 2017
  • IBM Watson은 새로운 컴퓨팅 시대인 코그니티브 시스템으로의 첫 걸음으로 상징된다. Watson은 현 프로그램 컴퓨팅의 시대 기반 위에 구축되었으나, 매우 중요한 방식에서 차이가 있다. ${\bullet}$ 오늘날 전세계 데이터의 80%를 차지하고 있는 복잡한 비정형 데이터에 대한 이해를 돕는 자연어 처리(Natural Language Processing) ${\bullet}$ 관련된 증거만을 기반으로 응답에 가중치를 부여하고 평가하기 위한 고도의 분석 기법을 적용한 가설 생성 및 평가 방식 ${\bullet}$ 반복을 통해 좀더 똑똑해 질 수 있도록 결과를 기반으로 학습을 개선할 수 있도록 돕는 동적 학습 방식이 각각이 Watson에만 특별한 것은 아니지만, Watson은 각 역량의 조합을 통해 강력한 솔루션을 제공하고 있다. IBM Watson과 같은 코그니티브 시스템은 조직이 생각하고, 행동하고, 운영되는 방식을 혁신시킬 수 있다. 이 글에서는 어떻게 IBM Watson이 시작되었으며, 직접적이고 신뢰할 수 있는 답변을 제공하기 위해 자연어 처리와 동적 학습 및 가설 생성/평가를 어떻게 조합하는지, 나아가 어떤 분야에서 적용되고 있는지 그 사례를 소개하고자 한다.

Deep Prompt Tuning 기반 한국어 질의응답 기계 독해 (Deep Prompt Tuning based Machine Comprehension on Korean Question Answering)

  • 김주형;강상우
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.269-274
    • /
    • 2023
  • 질의응답 (Question Answering)은 주어진 질문을 이해하여 그에 맞는 답변을 생성하는 자연어 처리 분야의 핵심적인 기계 독해 작업이다. 현재 대다수의 자연어 이해 작업은 사전학습 언어 모델에 미세 조정 (finetuning)하는 방식으로 학습되고, 질의응답 역시 이러한 방법으로 진행된다. 하지만 미세 조정을 통한 전이학습은 사전학습 모델의 크기가 커질수록 전이학습이 잘 이루어지지 않는다는 단점이 있다. 게다가 많은 양의 파라미터를 갱신한 후 새로운 가중치들을 저장하여야 한다는 용량의 부담이 존재한다. 본 연구는 최근 대두되는 deep prompt tuning 방법론을 한국어 추출형 질의응답에 적용하여, 미세 조정에 비해 학습시간을 단축시키고 적은 양의 파라미터를 활용하여 성능을 개선했다. 또한 한국어 추출형 질의응답에 최적의 prompt 길이를 최적화하였으며 오류 분석을 통한 정성적인 평가로 deep prompt tuning이 모델 예측에 미치는 영향을 조사하였다.

  • PDF

자연어 처리 기반의 음악 추천 챗봇 (Chatbot for Music Recommendation Based on Natural Language Processing)

  • 신상수;장두혁;김병일;김영종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.573-575
    • /
    • 2019
  • 현존하는 음악 추천형 챗봇들은 사용자의 의도가 아닌 챗봇 임의의 분류기준을 가지고 음악을 추천해왔다. 하지만 이러한 음악 추천은 공급자의 의도에 제한되어있는 단면적인 추천이 될 가능성이 높다. 이를 개선하고자 본 논문에서는 자연어를 처리하는 기법(NLP)의 처리를 통해 추출한 단어를 자연어 이해 기법(NLU)으로 특정 감성어 데이터를 마이닝하는 방법을 채용한다. 이를 통해 추출된 감성어를 원하는 쿼리에 따라 매핑된 음악데이터만을 추출한다. 이를 통해 닫힌 대화 구조에서의 사용자 의도 해석의 한계를 극복한다.

쌍 선형 그래프 신경망을 이용한 지식 그래프 기반 질문 응답 (Question Answering over Knowledge Graphs Using Bilinear Graph Neural Network)

  • 이상의;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.563-566
    • /
    • 2020
  • 지식 그래프 기반의 질문 응답 문제는 자연어 질문에 대한 이해뿐만 아니라, 기반이 되는 지식 그래프상에서 올바른 답변을 찾기 위한 효과적인 추론 능력을 요구한다. 본 논문에서는 다중 홉 추론을 요구하는 복잡한 자연어 질문에 대해 연관 지식 그래프 위에서 답변 추론을 효과적으로 수행할 수 있는 심층 신경망 모델을 제안한다. 제안 모델에서는 지식 그래프상의 추론 과정에서 추른 경로를 명확히 하기 위한 노드의 양방향 특정 전파와 이웃 노드들 간의 맥락 정보까지 각 노드의 특정값에 반영할 수 있는, 표현력이 풍부한 쌍 선형 그래프 신경망 (BGNN)을 이용한다. 본 논문에서는 오픈 도메인의 지식 베이스 Freebase와 자연어 질문 응답 데이터 집합 WebQuestionsSP를 이용한 실험들을 통해, 제안 모델의 효과와 우수성을 확인하였다.

한국어 ELECTRA 모델을 이용한 자연어처리 다운스트림 태스크 (Korean ELECTRA for Natural Language Processing Downstream Tasks)

  • 황태선;김정욱;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-260
    • /
    • 2020
  • 사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

  • PDF

자연어 처리 기반 챗봇이 포함된 E-스포츠 애플리케이션 개발 (Development of E-Sports Application including Natural Language Processing-based Chatbot)

  • 이수정;하예성;정경훈;서진태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.501-502
    • /
    • 2023
  • 본 논문은 자연어 처리(Natural Language Processing, NLP) 기술과 Flutter 언어를 활용하여 E-스포츠(E-Sports) 애플리케이션을 개발하는 방법을 제안한다. E-스포츠는 전 세계적으로 급속히 성장하는 산업이며, 많은 팬과 선수들이 참여하고 있다. 그러나 E-스포츠 관련 정보를 찾고 이해하기 위해서는 다양한 데이터를 직접 검색하고 분석해야 하는 어려움이 있다. 이러한 어려움을 극복하기 위해 자연어 처리 기술을 활용한 챗봇이 접목된 E-스포츠 애플리케이션을 개발하여 사용자가 효율적으로 관련 정보를 얻을 수 있도록 한다.

  • PDF

BERT 모델과 지식 그래프를 활용한 지능형 챗봇 (An Intelligent Chatbot Utilizing BERT Model and Knowledge Graph)

  • 유소엽;정옥란
    • 한국전자거래학회지
    • /
    • 제24권3호
    • /
    • pp.87-98
    • /
    • 2019
  • 인공지능이 활발하게 연구되면서 이미지, 영상, 자연어 처리와 같은 다양한 분야에 적용되고 있다. 특히 자연어 처리 분야는 사람이 말하고 쓰는 언어들을 컴퓨터가 이해할 수 있도록 하기 위한 연구들이 진행되고 있고 인공지능 기술에서 매우 중요한 영역 중 하나로 여겨진다. 자연어 처리에서 컴퓨터에게 사람의 상식을 이해할 수 있도록 학습시키고 사람의 상식을 기반으로 결과를 생성하도록 하는 것은 복잡하지만 중요한 기술이다. 단어들의 관계를 이용해 연결한 지식 그래프는 컴퓨터에게 쉽게 상식을 학습시킬 수 있다는 장점이 있다. 하지만 기존에 고안된 지식 그래프들은 특정 언어나 분야에만 집중해 구성되어 있거나 신조어 등에는 대응하지 못하는 한계점을 갖고 있다. 본 논문에서는 실시간으로 데이터를 수집 및 분석하여 자동으로 확장 가능한 지식 그래프를 구축하고, 이를 기반 데이터로 활용하는 챗봇 시스템을 제안하고자 한다. 특히 자동 확장 그래프에 BERT 기반의 관계 추출 모델을 적용시켜 성능을 향상시키고자 한다. 자동 확장 지식 그래프를 이용해 상식이 학습되어 있는 챗봇을 구축하여 지식 그래프의 활용 가능성과 성능을 검증한다.

음악정보 검색에서 이용자 자연어 질의의 정확성 연구 (Natural Language Queries for Music Information Retrieval)

  • 이진하
    • 정보관리학회지
    • /
    • 제25권4호
    • /
    • pp.149-164
    • /
    • 2008
  • 실제 이용자들의 필요성을 충족하는 음악정보 검색 시스템을 개발하는데 있어서 실생활의 음악 정보질의에 대한 부족한 이해가 장애가 되고 있다. 이 연구는 실생활 질의의 경험적 분석을 통해 이용자들이 어떻게 음악 정보를 찾는지에 대한 이론적인 이해를 돕고자 한다. 그 중에서도 미래의 음악정보 검색 시스템의 디자인, 특히 잠재적인 접근점을 선택하는데 있어서 결정적인 정보를 제공하는 역할을 하게 될 실생활의 음악정보 질의 내에서 이용자들이 제공한 정보의 정확성을 검토하고 있다. 이 연구는 이용자의 정보 중 상당 부분이 부정확한 정보임을 보여주며, 이런 부정확성과 불확실성에도 불구하고 다수의 질의가 성공적임을 알려준다. 또한 어용론의 이론으로써 부정확한 질의의 예기치 않은 성공에 대한 부분적 설명을 하였다.

지능적 정보처리를 위한 퍼지추론기관의 구축 (Development of Fuzzy Inference Mechanism for Intelligent Data and Information Processing)

  • 송영배
    • Spatial Information Research
    • /
    • 제7권2호
    • /
    • pp.191-207
    • /
    • 1999
  • 공간과 관련된 의사결정문제 해결에 필요한 취득가능한 자료나 정보는 불완전하거나 부정확하며, 많은 부분 자연산어(natural language)로 기술되어 있다. 이 같은 정보들을 컴퓨터를 이용하여 처리하기 위해서는 결국 컴퓨터로 하여금 인간이 사용하는 자연어를 이해할 수 있도록 애매한 특성의 언어값(Linguistic value)을 정량적으로 기술할 필요가 있다. 이를 위해 퍼지집합(fuzzy set) 이론을 퍼지논리(fuzzy logic)가 대표적인 방법론으로 이용되고 있다. 본 논문에서는 부정확하거나 불명확한 자료 및 정보를 기반으로 의사결정문제를 지능적으로 처리하기위해 사용자가 가장 이해하기 쉬운 자연어로 『언어모델』을 구축하고, 평가사안이나 의사결정문제가 불명확하게 서술될 경우 컴퓨터를 이용한 구조화 및 추론을 통한 문제해결이 가능하도록 퍼지추론기관구축을 위한 일련의 논리적 개념과 구축과정을 연구하였다.

  • PDF