Acknowledgement
이 성과는 2023 년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. NRF-2020R1C1C1010162)
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2023.11a
- /
- Pages.23-26
- /
- 2023
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Explicit Feature Extraction(EFE) Reasoner: A model for Understanding the Relationship between Numbers by Size
숫자의 대소관계 파악을 위한 Explicit Feature Extraction(EFE) Reasoner 모델
- Jisu An (Graduate School of Convergence Science and Technology, Seoul National University) ;
- Taywon Min (Dept. of Statistics, Seoul National University) ;
- Gahgene Gweon (Graduate School of Convergence Science and Technology, Seoul National University)
- Published : 2023.11.02
Abstract
본 논문에서는 서술형 수학 문제 풀이 모델의 숫자 대소관계 파악을 위한 명시적 자질추출방식 Explicit Feature Extraction(EFE) Reasoner 모델을 제안한다. 서술형 수학 문제는 자연현상이나 일상에서 벌어지는 사건을 수학적으로 기술한 문제이다. 서술형 수학 문제 풀이를 위해서는 인공지능 모델이 문장에 함축된 논리를 파악하여 수식 또는 답을 도출해야 한다. 때문에 서술형 수학 문제 데이터셋은 인공지능 모델의 언어 이해 및 추론 능력을 평가하는 지표로 활용되고 있다. 기존 연구에서는 문제를 이해할 때 숫자의 대소관계를 파악하지 않고 문제에 등장하는 변수의 논리적인 관계만을 사용하여 수식을 도출한다는 한계점이 존재했다. 본 논문에서는 자연어 이해계열 모델 중 SVAMP 데이터셋에서 가장 높은 성능을 내고 있는 Deductive-Reasoner 모델에 숫자의 대소관계를 파악할 수 있는 방법론인 EFE 를 적용했을 때 RoBERTa-base 에서 1.1%, RoBERTa-large 에서 2.8%의 성능 향상을 얻었다. 이 결과를 통해 자연어 이해 모델이 숫자의 대소관계를 이해하는 것이 정답률 향상에 기여할 수 있음을 확인한다.
Keywords