• Title/Summary/Keyword: Textual Entailment

Search Result 3, Processing Time 0.019 seconds

Effective Passage Reranking with Textual Entailment Feedback (Textual Entailment Feedback 기반 효율적인 문서 재순위화기)

  • Seong-Uk Nam;Donghoon Han;Eunhwan Park;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.377-381
    • /
    • 2023
  • 재순위화기 연구는 주로 파이프라인 과정 설계, 데이터 증강, 학습 함수 개선, 혹은 대규모 언어 모델의 지식 활용 등에 집중되어있다. 이러한 연구들은 좋은 성능 상승을 이끌어주었지만 실제 적용이 힘들 뿐만 아니라 학습 비용이 크게 발생한다는 한계점을 가지고 있다. 더 나아가 주어진 데이터 집합만을 활용해서는 보다 더 세부적인 학습 신호를 주기 어렵다는 단점 또한 존재한다. 최근 자연어처리 분야의 연구에서는 피드백을 인위적으로 생성하여 반영하여 모델 성능 상승을 이끄는 연구가 제안되었다. 본 연구는, 이러한 연구를 바탕으로 질의와 문서 간의 함의 관계 점수를 피드백으로 사용 및 재순위화기 모델로의 반영을 제안한다. 재순위화기 모델에 대해 피드백을 반영하는것은 그렇지 않은 모델 대비하여 성능 상승을 이끌며 피드백 반영이 더 좋은 표상 도출에 도움이 됨을 확인할 수 있다.

  • PDF

A Study on Methodology on Building NLI Benchmark Dataset in korean (한국어 추론 벤치마크 데이터 구축을 위한 방법론 연구)

  • Han, Jiyoon;Kim, Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.292-297
    • /
    • 2020
  • 자연어 추론 모델은 전제와 가설 사이의 의미 관계를 함의와 모순, 중립 세 가지로 판별한다. 영어에서는 RTE(recognizing textual entailment) 데이터셋과 다양한 NLI(Natural Language Inference) 데이터셋이 이러한 모델을 개발하고 평가하기 위한 벤치마크로 공개되어 있다. 본 연구는 국외의 텍스트 추론 데이터 주석 가이드라인 및 함의 데이터를 언어학적으로 분석한 결과와 함의 및 모순 관계에 대한 의미론적 연구의 토대 위에서 한국어 자연어 추론 벤치마크 데이터 구축 방법론을 탐구한다. 함의 및 모순 관계를 주석하기 위하여 각각의 의미 관계와 관련된 언어 현상을 정의하고 가설을 생성하는 방안에 대하여 제시하며 이를 바탕으로 실제 구축될 데이터의 형식과 주석 프로세스에 대해서도 논의한다.

  • PDF

Analysis of Sentential Paraphrase Patterns and Errors through Predicate-Argument Tuple-based Approximate Alignment (술어-논항 튜플 기반 근사 정렬을 이용한 문장 단위 바꿔쓰기표현 유형 및 오류 분석)

  • Choi, Sung-Pil;Song, Sa-Kwang;Myaeng, Sung-Hyon
    • The KIPS Transactions:PartB
    • /
    • v.19B no.2
    • /
    • pp.135-148
    • /
    • 2012
  • This paper proposes a model for recognizing sentential paraphrases through Predicate-Argument Tuple (PAT)-based approximate alignment between two texts. We cast the paraphrase recognition problem as a binary classification by defining and applying various alignment features which could effectively express the semantic relatedness between two sentences. Experiment confirmed the potential of our approach and error analysis revealed various paraphrase patterns not being solved by our system, which can help us devise methods for further performance improvement.