Acknowledgement
이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기술기획평가원의 지원을 받아 수행된 연구 (No. 2020-0-00368, 뉴럴-심볼릭(neural-symbolic) 모델의 지식 학습 및 추론 기술 개발). 과학기술정보통신부 및 정보통신기술기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행되었음 (IITP-2022-2018-0-01405).
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2022.10a
- /
- Pages.313-319
- /
- 2022
- /
- 2005-3053(pISSN)
DART: Data Augmentation using Retrieval Technique
DART: 검색 모델 기술을 사용한 데이터 증강 방법론 연구
- Seungjun Lee (Korea University) ;
- Jaehyung Seo (Korea University) ;
- Jungseob Lee (Korea University) ;
- Myunghoon Kang (Korea University) ;
- Hyeonseok Moon (Korea University) ;
- Chanjun Park (Korea University) ;
- Dahyun Jung (Hankuk University of Foreign Studies) ;
- Jaewook Lee (Korea University) ;
- Kinam Park (Human-inspired AI Research) ;
- Heuiseok Lim (Korea University)
- 이승준 (고려대학교 컴퓨터학과) ;
- 서재형 (고려대학교 컴퓨터학과) ;
- 이정섭 (고려대학교 컴퓨터학과) ;
- 강명훈 (고려대학교 컴퓨터학과) ;
- 문현석 (고려대학교 컴퓨터학과) ;
- 박찬준 (고려대학교 컴퓨터학과) ;
- 정다현 (한국외국어대학교 언어인지과학과) ;
- 이재욱 (고려대학교 컴퓨터학과) ;
- 박기남 (Human-inspired AI 연구소) ;
- 임희석 (고려대학교 컴퓨터학과)
- Published : 2022.10.18
Abstract
최근 BERT와 같은 트랜스포머 (Transformer) 기반의 모델이 natural language understanding (NLU)와 같은 여러 자연어 처리 태스크에서 좋은 성능을 보인다. 이러한 모델은 여전히 대용량의 학습을 요구한다. 일반적으로, 데이터 증강 기법은 low-resource 환경을 개선하는 데 도움을 준다. 최근 생성 모델을 활용해 합성 데이터를 생성해 데이터를 증강하는 시도가 이루어졌다. 이러한 방법은 원본 문장과 의미론적 유사성을 훼손하지 않으면서 어휘와 구조적 다양성을 높이는 것을 목표로 한다. 본 논문은 task-oriented 한 어휘와 구조를 고려한 데이터 증강 방법을 제안한다. 이를 위해 검색 모델과 사전 학습된 생성 모델을 활용한다. 검색 모델을 사용해 학습 데이터셋의 입력 문장과 유사한 문장 쌍을 검색 (retrieval) 한다. 검색된 유사한 문장 쌍을 사용하여 생성 모델을 학습해 합성 데이터를 생성한다. 본 논문의 방법론은 low-resource 환경에서 베이스라인 성능을 최대 4% 이상 향상할 수 있었으며, 기존의 데이터 증강 방법론보다 높은 성능 향상을 보인다.