• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
• /
• pp.237-241
• /
• 2009

본 논문에서는 도메인별 병렬 말뭉치를 이용하여 해당 도메인에 특화된 한영 대역쌍을 Moses Toolkit을 이용하여 자동 추출하였다. 이렇게 추출된 대역쌍은 도메인 특화 자동 번역 시스템의 번역 사전으로 사용하기에는 많은 오류가 포함되어 있기 때문에, 본 논문에서는 이를 효율적으로 제거할 수 있는 식을 제안하였다. 본 논문에서 제안한 식으로 오류를 제거한 결과, 임계값 0.5를 기준으로 추출된 한영 대역쌍이 1,098개였고, 이는 실험에 사용한 기업 분야 병렬 말뭉치 42,200문장 중에서 29,292문장(69.4%)에 영향을 주었다. 자동으로 추출한 도메인 특화 번역 지식을 기존 자동 번역 시스템의 번역 지식에 적용한 결과 BLEU가 0.0054 향상되었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.843-845
• /
• 2024

도메인 적응 사전 훈련(Domain-Adaptive Pre-training, DAPT)을 활용한 한국어 문서 요약 연구에서는 특정 도메인의 문서에 대한 이해도와 요약 성능을 향상시키기 위해 DAPT 기법을 적용했다. 이 연구는 사전 훈련된 언어 모델이 일반적인 언어 이해 능력을 넘어 특정 도메인에 최적화된 성능을 발휘할 수 있도록 도메인 특화 데이터셋을 사용하여 추가적인 사전 훈련을 진행한다. 구체적으로, 의료, 법률, 기술 등 다양한 도메인에서 수집한 한국어 텍스트 데이터를 이용하여 모델을 미세 조정하며, 이를 통해 얻은 모델은 도메인에 특화된 용어와 문맥을 효과적으로 처리할 수 있음을 보여준다. 성능 평가에서는 기존 사전 훈련 모델과 DAPT를 적용한 모델을 비교하여 DAPT의 효과를 검증했다. 연구 결과, DAPT를 적용한 모델은 도메인 특화 문서 요약 작업에서 성능 향상을 보였으며, 이는 실제 도메인별 활용에서도 유용할 것으로 기대된다.

• 지능정보연구
• /
• 제28권4호
• /
• pp.251-273
• /
• 2022

최근 텍스트 분석을 딥러닝에 적용한 연구가 꾸준히 이어지고 있으며, 특히 대용량의 데이터 셋을 학습한 사전학습 언어모델을 통해 단어의 의미를 파악하여 요약, 감정 분류 등의 태스크를 수행하려는 연구가 활발히 이루어지고 있다. 하지만 기존 사전학습 언어모델이 특정 도메인을 잘 이해하지 못한다는 한계를 나타냄에 따라, 최근 특정 도메인에 특화된 언어모델을 만들고자 하는 방향으로 연구의 흐름이 옮겨가고 있는 추세이다. 도메인 특화 추가 사전학습 언어모델은 특정 도메인의 지식을 모델이 더 잘 이해할 수 있게 하여, 해당 분야의 다양한 태스크에서 성능 향상을 가져왔다. 하지만 도메인 특화 추가 사전학습은 해당 도메인의 말뭉치 데이터를 확보하기 위해 많은 비용이 소요될 뿐 아니라, 고성능 컴퓨팅 자원과 개발 인력 등의 측면에서도 많은 비용과 시간이 투입되어야 한다는 부담이 있다. 아울러 일부 도메인에서 추가 사전학습 후의 성능 개선이 미미하다는 사례가 보고됨에 따라, 성능 개선 여부가 확실하지 않은 상태에서 도메인 특화 추가 사전학습 모델의 개발에 막대한 비용을 투입해야 하는지 여부에 대해 판단이 어려운 상황이다. 이러한 상황에도 불구하고 최근 각 도메인의 성능 개선 자체에 초점을 둔 추가 사전학습 연구는 다양한 분야에서 수행되고 있지만, 추가 사전학습을 통한 성능 개선에 영향을 미치는 도메인의 특성을 규명하기 위한 연구는 거의 이루어지지 않고 있다. 본 논문에서는 이러한 한계를 극복하기 위해, 실제로 추가 사전학습을 수행하기 전에 추가 사전학습을 통한 해당 도메인의 성능 개선 정도를 선제적으로 확인할 수 있는 방안을 제시한다. 구체적으로 3개의 도메인을 분석 대상 도메인으로 선정한 후, 각 도메인에서의 추가 사전학습을 통한 분류 정확도 상승 폭을 측정한다. 또한 각 도메인에서 사용된 주요 단어들의 정규화된 빈도를 기반으로 해당 도메인의 특수성을 측정하는 지표를 새롭게 개발하여 제시한다. 사전학습 언어모델과 3개 도메인의 도메인 특화 사전학습 언어모델을 사용한 분류 태스크 실험을 통해, 도메인 특수성 지표가 높을수록 추가 사전학습을 통한 성능 개선 폭이 높음을 확인하였다.

• 한국산업정보학회논문지
• /
• 제29권3호
• /
• pp.79-87
• /
• 2024

최근 텍스트분류, 감성분석, 질의응답 등의 자연어 처리를 위해서 사전학습언어모델(Pre-trained Language Model, PLM)의 중요성은 날로 강조되고 있다. 한국어 PLM은 범용적인 도메인의 자연어 처리에서 높은 성능을 보이나 금융, 제조, 법률, 의료 등의 특화된 도메인에서는 성능이 미약하다. 본 연구는 금융도메인 뿐만 아니라 범용도메인에서도 우수한 성능을 보이는 금융특화 언어모델의 구축을 위해 언어모델의 학습과정과 미세조정 방법을 제안하는 것이 주요 목표이다. 금융도메인 특화언어모델을 구축하는 과정은 (1) 금융데이터 수집 및 전처리, (2) PLM 또는 파운데이션 모델 등 모델 아키텍처 선정, (3) 도메인 데이터 학습과 인스트럭션 튜닝, (4) 모델 검증 및 평가, (5) 모델 배포 및 활용 등으로 구성된다. 이를 통해 금융도메인의 특성을 살린 사전학습 데이터 구축방안과 효율적인 LLM 훈련방법인 적응학습과 인스트럭션 튜닝기법을 제안하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.602-604
• /
• 2021

최근 자연어 처리 분야에서 사전 학습된 언어 모델은 다양한 응용 태스크에 적용되어 성능을 향상시켰다. 하지만 일반적인 말뭉치로 사전 학습된 언어 모델의 경우 중공업 분야처럼 전문적인 분야의 응용 태스크에서 좋은 성능을 나타내지 못한다. 때문에 본 논문에서는 이러한 문제점을 해결하기 위해 중공업 말뭉치를 이용한 RoBERTa 기반의 중공업 분야에 특화된 언어 모델 HeavyRoBERTa를 제안하고 이를 통해 중공업 말뭉치 상에서 Perplexity와 zero-shot 유의어 추출 태스크에서 성능을 개선시켰다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.143-148
• /
• 2023

본 논문에서는 금융 도메인 특화 사전학습 언어모델인 KF-DeBERTa(Korean Finance DeBERTa)를 제안한다. KF-DeBERTa는 대규모의 금융 말뭉치를 기반으로 학습하였으며, Transformer 아키텍처와 DeBERTa의 특징을 기반으로 구성되었다. 범용 및 금융 도메인에 대한 평가에서 KF-DeBERTa는 기존 언어모델들에 비해 상당히 높은 성능을 보였다. 특히, 금융 도메인에서의 성능은 매우 두드러졌으며, 범용 도메인에서도 다른 모델들을 상회하는 성능을 나타냈다. KF-DeBERTa는 모델 크기 대비 높은 성능 효율성을 보여주었고, 앞으로 금융 도메인에서의 활용도가 기대된다.

• 지능정보연구
• /
• 제28권2호
• /
• pp.191-206
• /
• 2022

대량의 말뭉치를 비지도 방식으로 학습하여 자연어 지식을 획득할 수 있는 사전학습 언어모델(Pre-trained Language Model)은 최근 자연어 처리 모델 개발에 있어 매우 일반적인 요소이다. 하지만, 여타 기계학습 방식의 성격과 동일하게 사전학습 언어모델 또한 학습 단계에 사용된 자연어 말뭉치의 특성으로부터 영향을 받으며, 이후 사전학습 언어모델이 실제 활용되는 응용단계 태스크(Downstream task)가 적용되는 도메인에 따라 최종 모델 성능에서 큰 차이를 보인다. 이와 같은 이유로, 법률, 의료 등 다양한 분야에서 사전학습 언어모델을 최적화된 방식으로 활용하기 위해 각 도메인에 특화된 사전학습 언어모델을 학습시킬 수 있는 방법론에 관한 연구가 매우 중요한 방향으로 대두되고 있다. 본 연구에서는 금융(Finance) 도메인에서 다양한 자연어 처리 기반 서비스 개발에 활용될 수 있는 금융 특화 사전학습 언어모델의 학습 과정 및 그 응용 방식에 대해 논한다. 금융 도메인 지식을 보유한 언어모델의 사전학습을 위해 경제 뉴스, 금융 상품 설명서 등으로 구성된 금융 특화 말뭉치가 사용되었으며, 학습된 언어 모델의 금융 지식을 정량적으로 평가하기 위해 토픽 분류, 감성 분류, 질의 응답의 세 종류 자연어 처리 데이터셋에서의 모델 성능을 측정하였다. 금융 도메인 말뭉치를 기반으로 사전 학습된 KB-BERT는 KoELECTRA, KLUE-RoBERTa 등 State-of-the-art 한국어 사전학습 언어 모델과 비교하여 일반적인 언어 지식을 요구하는 범용 벤치마크 데이터셋에서 견줄 만한 성능을 보였으며, 문제 해결에 있어 금융 관련 지식을 요구하는 금융 특화 데이터셋에서는 비교대상 모델을 뛰어넘는 성능을 보였다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2010년도 추계학술발표논문집 2부
• /
• pp.874-877
• /
• 2010

본 연구는 공공서비스의 지역특화발전특구를 위한 사전연구로서, 지역특화사업의 공공서비스 특구지정을 위한 논리적인 근거를 뒷받침하기 위하여 기존의 지식체계와 지역특구의 규제특례 실태 등을 분석해서 보령머드사업을 위한 정책 방향을 제시하는 데, 연구의 주목적을 두고 있다. 연구결과, 국가균형발전전략 패러다임의 변화 속에서 공공서비스로서의 보령머드사업은 공공성과 기업성, 지역성이 조화되는 지방공기업이나 공익사업 형태로 경영수익사업을 영위하는 것이 바람직하다. 또한 지역특화산업으로서의 지역성에 기반을 둔 산업단지 조성 등 인프라의 구축과 특색이 있는 지방화 및 세계화의 대응에 기여할 수 있는 보령머드특구 계획 수립을 제안하고 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.369-373
• /
• 2022

기존의 관계 추출 태스크에서의 많은 연구들은 사전학습 언어모델을 파인튜닝하여 뛰어난 성능을 달성해왔다. 하지만, 파인튜닝은 사전학습 시의 학습 기법과의 간극으로 인해 일반화 능력을 저해한다. 본 연구는 다운스트림 태스크를 사전학습의 Masked Language Modeling (MLM) 기법을 통해 해결하는 프롬프트 기반의 학습 기법을 활용하여, 특정 한국어 도메인에서의 관계 추출을 위한 프롬프트 기반 파인튜닝 방법론을 제안한다. 실험의 경우, 도메인의 특성이 뚜렷한 전통문화유산 말뭉치를 대상으로 실험을 진행하여 본 방법론의 도메인 적응력을 보이며, 메타 정보 즉, 개체 유형 및 관계 유형의 의미론적 정보를 일종의 지식 정보로 활용하여 프롬프트 기반 지식 주입의 효과성을 검증한다. 프롬프트에의 메타 정보의 주입과 함께 프롬프트 기반으로 파인튜닝된 모델은 오직 MLM 기법만을 이용하여 태스크를 수행하여 기존 파인튜닝 방법론 대비 파라미터 수가 적음에도, 성능 면에서 대부분 소폭 상승하는 경향을 보여줌으로써 그 효과성 및 효율성을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.619-623
• /
• 2022

대화생성은 대규모 학습 데이터로부터 사전 학습된 언어모델을 활용한 도전적인 다운스트림 태스크 중 하나이다. 대화에서 특정한 지식에 대한 맥락이 보존된 응답 문장을 생성하기 위한 기술의 일환으로써 지식 기반 대화생성이 연구되고 있으며, 현업에서는 사업목표에 따른 대화 서비스를 제공하는 목적으로 이러한 기술을 적용할 수 있다. 본 논문에서는, 각각의 서비스 도메인에 특화된 모델을 적절히 활용 가능하도록 전체 데이터를 도메인별로 구분하여 학습한 다수의 대화생성 모델을 구축한다. 또한, 특정 도메인의 데이터로 학습된 모델이 나머지 도메인에서 어떤 수준의 대화생성이 가능한지 비교 분석함으로써 개별 학습된 모델들이 도메인의 특성에 따라 서로 다른 영향력이나 연관성을 나타낼 가능성을 확인한다. 이러한 실험적인 분석 결과를 바탕으로 현업의 서비스에서 개별 도메인에 특화된 모델이 적절히 활용하는 것이 유용함을 확인하고자 한다.