• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.67-70
• /
• 2019

상호참조해결은 자연언어 문서 내에서 같은 개체를 나타내는 언급들을 연결하는 문제다. 대명사, 지시 관형사, 축약어, 동음이의어와 같은 언급들의 상호참조를 해결함으로써, 다양한 자연언어 처리 문제의 성능 향상에 기여할 수 있다. 본 논문에서는 현재 영어권 상호참조해결에서 좋은 성능을 내고 있는 BERT 기반 상호참조해결 모델에 한국어 데이터 셋를 적용시키고 표층형을 이용한 규칙을 추가했다. 본 논문의 모델과 기존의 모델들을 실험하여 성능을 비교하였다. 기존의 연구들과는 다르게 적은 특질로 정밀도 73.59%, 재현율 71.1%, CoNLL F1-score 72.31%의 성능을 보였다. 모델들의 결과를 분석하여 BERT 기반의 모델이 다양한 특질을 사용한 기존 딥러닝 모델에 비해 문맥적 요소를 잘 파악하는 것을 확인했다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.98-102
• /
• 2020

의존 구문 분석은 입력된 문장 내의 어절 간의 의존 관계를 예측하기 위한 자연어처리 태스크이다. 최근에는 BERT와 같은 사전학습 모델기반의 의존 구문 분석 모델이 높은 성능을 보이고 있다. 본 논문에서는 추가적인 성능 개선을 위해 ALBERT, ELECTRA 언어 모델을 형태소 분석과 BPE를 적용해 학습한 후, 인코딩 과정에 사용하였다. 또한 의존소 어절과 지배소 어절의 특징을 specific하게 추상화 하기 위해 두 개의 트랜스포머 인코더 스택을 추가한 의존 구문 분석 모델을 제안한다. 실험결과 제안한 모델이 세종 코퍼스에 대해 UAS 94.77 LAS 94.06의 성능을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.7-8
• /
• 2022

본 연구에서는 한국어 SNS 대화에서 나타나는 문장들의 감성을 분석하고자 신경망 모델을 활용하여 시스템을 구축하였다. 현재 해외 SNS 감성분석에 대한 연구는 많이 진행된 상황이지만, 한국어 범용 대화에 대해 적절한 모델이 무엇인지는 연구가 부족한 실정이었다. 따라서 한국어 대화에 적합한 모델을 채택해 보다 정확한 감성분석을 수행하였다. 이를 위해 한국어 SNS 대화 데이터에 대해 신경망 모델을 적용하여, 82% 성공률로 기존 모델 72% 성공률보다 훨씬 더 우수한 성능을 보였다. 또한 본 연구의 결과는 악플 추적 등 실용적인 분야에도 기여할 수 있다고 사료된다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.119-124
• /
• 2023

자원이 풍부한 언어를 사용하여 훈련된 모델을 만들고 해당 모델을 사용해 자원이 부족한 언어에 대해 전이 학습하는 방법인 교차언어 전송(Cross-Lingual Transfer)은 다국어 모델을 사용하여 특정한 언어에 맞는 모델을 만들 때 사용되는 일반적이고 효율적인 방법이다. 교차언어 전송의 성능은 서비스하는 언어와 전송 모델을 만들기 위한 훈련 데이터 언어에 따라 성능이 매우 다르므로 어떤 언어를 사용하여 학습할지 결정하는 단계는 효율적인 언어 서비스를 위해 매우 중요하다. 본 연구에서는 교차언어 전송을 위한 원천언어를 찾을 수 있는 특성이 무엇인지 회귀분석을 통해 탐구한다. 또한 교차언어전송에 용이한 원천 학습 언어를 찾는 기존의 방법론들 간의 비교를 통해 더 나은 방법을 도출해내고 한국어의 경우에 일반적으로 더 나은 원천 학습 언어를 찾을 수 있는 방법론을 도출한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.289-294
• /
• 2023

대형 언어 모델(Large Language Model)은 방대한 데이터와 파라미터를 기반으로 문맥 이해에서 높은 성능을 달성하였지만, Human Alignment를 위한 문장 생성 제어 연구는 아직 활발한 도전 과제로 남아있다. 본 논문에서는 Instruction Tuning을 통한 문장 생성 제어 실험을 진행한다. 자연어 처리 도구를 사용하여 단일 혹은 다중 제약 조건을 포함하는 Instruction 데이터 셋을 자동으로 구축하고 한국어 언어 모델인 Polyglot-Ko 모델에 fine-tuning 하여 모델 생성이 제약 조건을 만족하는지 검증하였다. 실험 결과 4개의 제약 조건에 대해 평균 0.88의 accuracy를 보이며 효과적인 문장 생성 제어가 가능함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.600-602
• /
• 2023

사전 학습된 언어 모델은 최근 다양한 도메인 및 응용태스크에 활용되고 있다. 하지만 언어 모델을 활용한 문장 난이도 측정 태스크에 대해서는 연구가 수행된 바 없다. 이에 본 논문에서는 교과서 데이터를 활용해 문장 난이도 데이터 셋을 구축하고, 일반 말뭉치로 훈련된 BERT 모델과 교과서 텍스트를 활용해 적응 학습한 BERT 모델을 문장 난이도 측정 태스크에 대해 미세 조정하여 성능을 비교했다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.395-398
• /
• 2023

표 질의응답이란, 주어진 표에서 질의문에 대한 답변을 자동으로 추출하거나 생성하는 기술을 말한다. 최근 언어모델을 사용한 연구들은 정답을 유도할 수 있는 명령문인 프롬프트를 활용하여 더 높은 성능을 보이고 있다. 본 연구에서는 표 질의응답의 성능을 향상시키기 위해, 프롬프트를 효과적으로 사용할 수 있는 모델을 제안한다. 이와 함께, 다양한 형태의 프롬프트를 사용하여 모델을 평가한다. 실험 결과, 기본 모델에 단순 질의문만 입력으로 사용했을 때의 성능 F1 67.5%에 비해, 다양한 프롬프트를 입력으로 사용한 경우 1.6%p 향상된 F1 69.1%을 보였다. 또한, 다양한 프롬프트와 함께 제안 모델을 사용했을 때에는 기본 모델보다 2.2%p 높은 F1 69.7%을 달성했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.219-222
• /
• 2008

3차원 인체 스캐너로부터 얻어진 인체형상데이터는 여러 인체에 대한 3차원 평균 모델을 만들어 내는 등의 통계적 분석이나 자세 변경을 위해 필요한 내부 골격 구조와 골격과 피부조직 사이의 관계 등을 계산해 내기 어렵다. 또, 이러한 통계적 분석을 위해서는 각 모델 간의 상응 관계가 확립되어야 하지만 스캐너로부터 얻어진 인체 형상 데이터들은 측정 환경이나 대상에 따라 각각이 서로 상이한 기하학적 구조로 이루어져 있다. 본 논문에서는 템플릿 모델을 3차원 인체데이터에 맞도록 변형함으로써 다수의 인체 형상에 대하여 토폴로지를 일치시키도록 한다. 3차원 인체 데이터에 대해 템플릿 모델이 가장 근사한 형상이 되도록 하는 변형을 자동으로 찾아내기 위해서 표면 위에 정의된 특징점들을 사용한다. 또한, 기존에 찾아둔 특징점군 및 변형정보 데이터가 충분히 많다면 새로운 변형을 계산하는 데 유용하게 사용될 수 있음을 보인다. 이렇게 상응 관계가 확립된 모델들은 삼차원 벡터 공간의 점들의 집합으로 표현 및 통계적 분석이 가능하게 된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.780-783
• /
• 2024

본 논문에서는 지속적으로 최적화된 인공지능 모델을 적용하기 위한 방안으로 연합 학습(Federated Learning)을 활용한 접근법을 제시한다. 최근 다양한 산업 분야에서 인공지능 활용에 대한 필요성이 증가하고 있다. 금융과 같은 일부 산업은 강력한 보안, 높은 정확도, 규제 준수, 실시간 대응이 요구됨과 동시에 정적 시스템 환경 특성으로 적용된 인공지능 모델의 최적화가 어렵다. 이러한 환경적 한계 해결을 위하여, 연합 학습을 통한 모델의 최적화 방안을 제안한다. 연합 학습은 데이터 프라이버시를 유지하면서 모델의 지속적 최적화를 제공이 가능한 강력한 아키텍처이다. 그러나 연합 학습은 클라이언트와 중앙 서버의 반복적인 통신과 학습으로, 불필요한 자원에 대한 소요가 요구된다. 이러한 연합 학습의 단점 극복을 위하여, 주요도 높은 클라이언트의 선정 및 클라이언트와 중앙 서버의 조기 중단(early stopping) 전략을 통한 지속적, 효율적 최적화가 가능한 연합 학습 모델의 운영 전략을 제시한다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.100-100
• /
• 2023

단기 강우 예측에는 주로 물리과정 기반 수치예보모델(NWPs, Numerical Prediction Models) 과 레이더 기반 확률론적 방법이 사용되어 왔으며, 최근에는 머신러닝을 이용한 레이더 기반 강우예측 모델이 단기 강우 예측에 뛰어난 성능을 보이는 것을 확인하여 관련 연구가 활발히 진행되고 있다. 하지만 머신러닝 기반 모델은 예측 선행시간 증가 시 성능이 크게 저하되며, 또한 대기의 물리적 과정을 고려하지 않는 Black-box 모델이라는 한계점이 존재한다. 본 연구에서는 이러한 한계를 극복하기 위해 머신러닝 기반 blending 기법을 통해 물리과정 기반 수치예보모델인 Weather Research and Forecasting (WRF)와 최신 머신러닝 기법 (cGAN, conditional Generative Adversarial Network) 기반 모델을 결합한 Hybrid 강우예측모델을 개발하고자 하였다. cGAN 기반 모델 개발을 위해 1시간 단위 1km 공간해상도의 레이더 반사도, WRF 모델로부터 산출된 기상 자료(온도, 풍속 등), 유역관련 정보(DEM, 토지피복 등)를 입력 자료로 사용하여 모델을 학습하였으며, 모델을 통해 물리 정보 및 머신러닝 기반 강우 예측을 생성하였다. 이렇게 생성된cGAN 기반 모델 결과와 WRF 예측 결과를 결합하는 머신러닝 기반 blending 기법을 통해Hybrid 강우예측 결과를 최종적으로 도출하였다. 본 연구에서는 Hybrid 강우예측 모델의 성능을 평가하기 위해 수도권 및 안동댐 유역에서 발생한 호우 사례를 기반으로 최대 선행시간 6시간까지 모델 예측 결과를 분석하였다. 이를 통해 물리과정 기반 모델과 머신러닝 기반 모델을 결합하는 Hybrid 기법을 적용하여 높은 정확도와 신뢰도를 가지는 고해상도 강수 예측 자료를 생성할 수 있음을 확인하였다.