• 제목/요약/키워드: 그래프 기반 언어모델

검색결과 60건 처리시간 0.026초

Dual Decomposition을 이용한 전이기반 및 그래프 기반 의존 파서 통합 모델 (Integrating Transition-based and Graph-based Dependency Parsers using Dual Decomposition)

  • 민진우;나승훈;신종훈;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.25-29
    • /
    • 2019
  • 딥러닝을 이용한 한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식으로 나뉘어 연구되어 왔다. 전이 기반 방식은 입력 버퍼와 스택으로부터 자질을 추출하여 모델을 통해 액션을 결정하고 액션에 따라 파스트리를 생성해 나가는 상향식(Botton-Up)의 지역적 모델이고 그래프 기반 방식은 문장 내의 모든 단어에 대해 지배소, 의존소가 될 수 있는 점수를 딥러닝 모델을 통해 점수화하여 트리를 생성하는 전역적 모델이다. 본 논문에서는 Dual Decomposition을 이용하여 하이브리드 방식으로 전이 기반 파서와 그래프 기반 파서를 결합하는 방법을 제안하고 BERT 언어 모델을 반영하여 세종 데이터 셋에서 UAS 94.47%, LAS 92.58% 그리고 SPMRL '14 데이터 셋에서 UAS 94.74%, UAS 94.20%의 성능을 보여 기존 그래프 기반 파서의 성능을 더욱 개선하였다.

  • PDF

채팅 메신저 사용자 검증을 위한 그래프 랜덤 워크 분석 (Graph Random Walk Analysis for Chat Messenger User Verification)

  • 이다영;조환규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.79-84
    • /
    • 2021
  • 메신저 사용의 증가와 함께 관련 범죄와 사고가 증가하고 있어 메시지 사용자 검증의 필요성이 대두되고 있다. 본 연구에서는 그래프 기반의 인스턴트 메세지 분석 모델을 제안하여 채팅 사용자를 검증하고자 한다. 사용자 검증은 주어진 두 개의 텍스트의 작성자가 같은지 여부를 판단하는 문제다. 제안 모델에서는 사용자의 이전 대화를 토대로 n-gram 전이 그래프를 구축하고, 작성자를 알 수 없는 메세지를 이용해 전이 그래프를 순회한 랜덤워크의 특성을 추출한다. 사용자의 과거 채팅 습관과 미지의 텍스트에 나타난 특징 사이의 관계를 분석한 모델은 10,000개의 채팅 대화에서 86%의 정확도, 정밀도, 재현율로 사용자를 검증할 수 있었다. 전통적인 통계 기반 모델들이 명시적 feature를 정의하고, 방대한 데이터를 이용해 통계 수치로 접근하는데 반해, 제안 모델은 그래프 기반의 문제로 치환함으로써 제한된 데이터 분량에도 안정적인 성능을 내는 자동화된 분석 기법을 제안했다.

  • PDF

Text to SPARQL을 위한 지식 증강 프롬프팅 연구 (Study on Knowledge Augmented Prompting for Text to SPARQL)

  • 이연진;남정재;김우영;김우주
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.185-189
    • /
    • 2023
  • Text to SPARQL은 지식 그래프 기반 질의응답의 한 형태로 자연어 질문을 지식 그래프 검색 쿼리로 변환하는 태스크이다. SPARQL 쿼리는 지식 그래프의 정보를 기반으로 작성되어야 하기 때문에 기존 언어 모델을 통한 코드 생성방법으로는 잘 동작하지 않는다. 이에 우리는 거대 언어 모델을 활용하여 Text to SPARQL를 해결하기 위해 프롬프트에 지식 그래프의 정보를 증강시켜주는 방법론을 제안한다. 이에 더하여 다국어 정보 활용에 대한 영향을 검증하기 위해 한국어, 영어 각각의 레이블을 교차적으로 실험하였다. 추가로 한국어 Text to SPARQL 실험을 위하여 대표적인 Text to SPARQL 벤치마크 데이터셋 QALD-10을 한국어로 번역하여 공개하였다. 위 데이터를 이용해 지식 증강 프롬프팅의 효과를 실험적으로 입증하였다.

  • PDF

Ko-ATOMIC 2.0: 한국어 상식 지식 그래프 구축 (Ko-ATOMIC 2.0: Constructing Commonsense Knowledge Graph in Korean)

  • 이재욱;서재형;정다현;박찬준;;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.319-323
    • /
    • 2023
  • 일반 상식 기반의 지식 그래프는 대규모 코퍼스에 포함되어 있는 일반 상식을 수집하고 구조화하는 지식의 표현 방법이다. 일반 상식 기반의 지식 그래프는 코퍼스 내에 포함되어 있는 다양한 일반 상식의 형태와 관계를 모델링하며, 주로 질의응답 시스템, 상식 추론 등의 자연어처리 하위 작업에 활용할 수 있다. 가장 잘 알려진 일반 상식 기반의 지식 그래프로는 ConceptNet [1], ATOMIC [2]이 있다. 하지만 한국어 기반의 일반 상식 기반의 지식 그래프에 대한 연구가 존재했지만, 자연어처리 태스크에 활용하기에는 충분하지 않다. 본 연구에서는 대규모 언어 모델과 프롬프트의 활용을 통해 한국어 일반 상식 기반의 지식 그래프를 효과적으로 구축하는 방법론을 제시한다. 또한, 제안하는 방법론으로 구축한 지식 그래프와 기존의 한국어 상식 그래프의 품질을 양적, 질적으로 검증한다.

  • PDF

비정형 요구사항으로부터 원인-결과 그래프 자동 발생을 위한 문장 의미 모델(Sentence Semantic Model) 설계 (Design of Sentence Semantic Model for Cause-Effect Graph Automatic Generation from Natural Language Oriented Informal Requirement Specifications)

  • 장우성;정세준;김영철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.215-219
    • /
    • 2020
  • 현재 한글 언어학 영역에서는 많은 언어 분석 연구가 수행되었다. 또한 소프트웨어공학의 요구공학 영역에서는 명료한 요구사항 정의와 분석이 필요하고, 비정형화된 요구사항 명세서로부터 테스트 케이스 추출이 매우 중요한 이슈이다. 즉, 자연어 기반의 요구사항 명세서로부터 원인-결과 그래프(Cause-Effect Graph)를 통한 의사 결정 테이블(Decision Table) 기반 테스트케이스(Test Case)를 자동 생성하는 방법이 거의 없다. 이런 문제를 해결하기 위해 '한글 언어 의미 분석 기법'을 '요구공학 영역'에 적용하는 방법이 필요하다. 본 논문은 비정형화된 요구사항으로부터 테스트케이스 생성하는 과정의 중간 단계인 요구사항에서 문장 의미 모델(Sentence Semantic Model)을 자동 생성하는 방법을 제안 한다. 이는 요구사항으로부터 생성된 원인-결과 그래프의 정확성을 검증할 수 있다.

  • PDF

한국어 지식 그래프-투-텍스트 생성을 위한 데이터셋 자동 구축 (A Synthetic Dataset for Korean Knowledge Graph-to-Text Generation)

  • 정다현;이승윤;이승준;서재형;어수경;박찬준;허윤아;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.219-224
    • /
    • 2022
  • 최근 딥러닝이 상식 정보를 추론하지 못하거나, 해석 불가능하다는 한계점을 보완하기 위해 지식 그래프를 기반으로 자연어 텍스트를 생성하는 연구가 중요하게 수행되고 있다. 그러나 이를 위해서 대량의 지식 그래프와 이에 대응되는 문장쌍이 요구되는데, 이를 구축하는 데는 시간과 비용이 많이 소요되는 한계점이 존재한다. 또한 하나의 그래프에 다수의 문장을 생성할 수 있기에 구축자 별로 품질 차이가 발생하게 되고, 데이터 균등성에 문제가 발생하게 된다. 이에 본 논문은 공개된 지식 그래프인 디비피디아를 활용하여 전문가의 도움 없이 자동으로 데이터를 쉽고 빠르게 구축하는 방법론을 제안한다. 이를 기반으로 KoBART와 mBART, mT5와 같은 한국어를 포함한 대용량 언어모델을 활용하여 문장 생성 실험을 진행하였다. 실험 결과 mBART를 활용하여 미세 조정 학습을 진행한 모델이 좋은 성능을 보였고, 자연스러운 문장을 생성하는데 효과적임을 확인하였다.

  • PDF

XH-DQN: 사실 검증을 위한 그래프 Transformer와 DQN 결합 모델 (XH-DQN: Fact verification using a combined model of graph transformer and DQN)

  • 서민택;나승훈;신동욱;김선훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.227-232
    • /
    • 2021
  • 사실 검증(Fact verification) 문제는 문서 검색(Document retrieval), 증거 선택(Evidence selection), 증거 검증(Claim verification) 3가지 단계로 구성되어있다. 사실 검증 모델들의 주요 관심사인 증거 검증 단계에서 많은 모델이 제안되는 가운데 증거 선택 단계에 집중하여 강화 학습을 통해 해결한 모델이 제안되었다. 그래프 기반의 모델과 강화 학습 기반의 사실 검증 모델을 소개하고 각 모델을 한국어 사실 검증에 적용해본다. 또한, 두 모델을 같이 사용하여 각 모델의 장점을 가지는 부분을 병렬적으로 결합한 모델의 성능과 증거의 구성 단위에 따른 성능도 비교한다.

  • PDF

태스크 기반 대화 시스템 구축 도구 (Workbench for building Task based Dialog System)

  • 박은진;권오욱;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.209-211
    • /
    • 2012
  • 본 논문의 대화시스템 구축도구는 태스크 기반 대화 시스템을 구축하는데 필요한 대화 시나리오 지식과 이를 처리하는 태스크 그래프, 슬롯 체계, 대화 라이브러리 등을 생성하고 관리할 수 있는 웹기반 대화 시스템 구축 도구이다. 이 도구는 태스크 그래프를 시각적으로 대화 모델 설계자에게 표시하고, 대화 모델 설계자는 시각적으로 표시된 태스크 그래프를 보며 태스크의 흐름을 한눈에 파악하고 대화 시스템의 시나리오 흐름을 생성하고 편집할 수 있도록 한 것이 특징이다. 또한 대화 모델 설계자와 시나리오 태깅 작업자들 모두는 자신이 구축한 지식이나 대화 태스크를 시스템에 직접 반영하고 실시간으로 대화 시스템에 적용해 봄으로써 대화 시스템의 이해를 높이고 고품질의 대화 시스템을 구축할 수 있다.

  • PDF

그래프 데이터베이스의 양적 분석을 위한 질의 언어 (A Query Language for Quantitative Analysis on Graph Databases)

  • 박성찬;이상구
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.77-80
    • /
    • 2011
  • 그래프는 전산학의 주요 주제 중 하나이며 World Wide Web과 Social Network의 중요성이 커지면서 더욱 주목을 받고 있다. 그래프와 관련하여 그래프 데이터베이스에 대한 질의 모델에 관한 연구도 중요하게 다투어져 왔다. 하지만 이들 연구는 패턴 매칭을 통한 질의를 주로 다루었다. 하지만 그래프 데이터를 추천이나 검색 등의 응용하기 위해서는 PageRank 등 그래프 내의 연결 구조를 양으로 분석해내는 작업이 요구된다. 또한 SimRank 및 Random Walk with Restart 등 다양한 양적 분석 측도가 제안되고 있다. 이에 따라 본 연구에서는 Random Walk를 기반으로 하는 그래프에 대한 유연한 양적 분석을 지원하는 질의 언어를 제시한다. 또한 기존의 양적 분석 측도들이 본 질의 모델을 통하여 어떻게 표현되는지를 통하여 본 질의 모델의 유용성 및 확장성을 보인다.

재난안전 사회관심 분석을 위한 언어모델 활용 정보 네트워크 구축 (A Language Model based Knowledge Network for Analyzing Disaster Safety related Social Interest)

  • 최동진;한소희;김경준;배은솔
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2022년 정기학술대회 논문집
    • /
    • pp.145-147
    • /
    • 2022
  • 본 논문은 대규모 텍스트 데이터에서 이슈를 발굴할 때 사용되는 기존의 정보 네트워크 또는 지식 그래프 구축 방법의 한계점을 지적하고, 문장 단위로 정보 네트워크를 구축하는 새로운 방법에 대해서 제안한다. 먼저 문장을 구성하는 단어와 캐릭터수의 분포를 측정하며 의성어와 같은 노이즈를 제거하기 위한 역치값을 설정하였다. 다음으로 BERT 기반 언어모델을 이용하여 모든 문장을 벡터화하고, 코사인 유사도를 이용하여 두 문장벡터에 대한 유사성을 측정하였다. 오분류된 유사도 결과를 최소화하기 위하여 명사형 단어의 의미적 연관성을 비교하는 알고리즘을 개발하였다. 제안된 유사문장 비교 알고리즘의 결과를 검토해 보면, 두 문장은 서술되는 형태가 다르지만 동일한 주제와 내용을 다루고 있는 것을 확인할 수 있었다. 본 논문에서 제안하는 방법은 단어 단위 지식 그래프 해석의 어려움을 극복할 수 있는 새로운 방법이다. 향후 이슈 및 트랜드 분석과 같은 미래연구 분야에 적용하면, 데이터 기반으로 특정 주제에 대한 사회적 관심을 수렴하고, 수요를 반영한 정책적 제언을 도출하는데 기여할 수 있을 것이다

  • PDF