• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.588-591
• /
• 2022

최근 자연어 이해 및 생성에 있어서 사전학습 기반의 언어 모델이 널리 사용되고 있다. BERT, roBERTa 등의 모델이 있으며, 마스크 언어 모델링을 주요 과제로 하여 사전 학습을 한다. 하지만 MLM은 문법적인 정보를 활용하지 못하는 단점이 있다. 단 순히 무작위로 마스크를 씌우고 맞추기 때문이다. 따라서 본 연구에서는 입력 문장의 문법적 정보를 활용하는 방법을 소개하고, 이를 기반으로 사후 학습을 하여 그 효과를 확인해 본다. 공개된 사전학습 모델과 사후학습 모델을 한국어를 위한 벤치마크 데이터셋 KLUE에 대하여 조정학습하고 그 결과를 살펴본다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.41-46
• /
• 2022

본 논문에서는 중요도를 반영한 긴 회의록 요약 모델을 제안한다. 제안한 모델은 먼저 회의록을 일정 크기로 구분한 후 구분된 텍스트에 대해 중간 요약문을 생성하고 각 요약문의 중요도를 계산한다. 다음으로 생성된 중간 요약문과 중요도를 함께 사용하여 최종 요약문을 생성한다. 제안 방법은 최종 요약문을 생성할 때 중간 요약문을 다르게 반영하므로 중요한 중간 요약문에서는 핵심 내용을 중점적으로 생성하도록 한다. 실험에서 제안한 요약 모델은 BART기반 요약 모델과, 중요도를 고려하지 않는 요약 모델(SUMM^N)보다 핵심 내용을 포함한 요약문을 생성하였고, 평가 데이터에 대해 ROUGE-1 기준 1.37, 0.29 향상된 성능을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.163-164
• /
• 2021

본 논문에서는 날씨와 상관관계를 갖는 교통사고에 대한 예측을 진행하는 Web Site 개발을 제안한다. 날씨에 영향을 받는 교통사고에 대한 일일 사망자 수, 교통사고 발생률의 각각의 예측값을 딥러닝 모델을 이용한다. 위의 모델을 작성하기 위하여 본 논문에서는 Anaconda 기반의 Jupyter Notebook에서 Python Tensorflow 모델을 작성하여 테스트하고, 만들어진 모델을 웹 사이트에서 불러오기 위해 Python 기반 Flask Web Framework를 통하여 웹 사이트를 개발한다. 개발된 웹 사이트는 사용자들은 Web Site에 날씨 정보를 입력하여 교통사고 발생률을 예측하고 볼 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.410-413
• /
• 2021

본 논문에서는 분류 모델의 주류로 사용되고 있는 Encoder 기반 사전학습 모델(BERT, ALBERT, ELECTRA)의 내부 Encoder Layer가 하부 Layer에서는 Syntactic한 분석을 진행하고 상부 Layer로 갈수록 Semantic 한 분석을 진행하는 점, Layer가 구성됨에 따라 Semantic 정보가 Syntactic 정보를 개선해 나간다 점에 기반한 기존 연구 결과를 바탕으로 Encoder Layer를 구성함에 따라 어떻게 성능이 변화하는지 측정한다. 그리고 의도 분류를 위한 학습 데이터 셋도 분류하고자 하는 성격에 따라 Syntactic한 구성과 Semantic한 구성을 보인다는 점에 착안하여 ALBERT 및 ELECTRA를 이용한 의도 분류 모델을 구축하고 각 데이터 셋에 맞는 최적의 Encoder Layer 구성을 가지는 모델을 비교한 결과, 두 데이터 셋 간에 다른 Layer 구성을 보이는 점과 기존 모델보다 성능이 향상됨을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.203-206
• /
• 2019

상용화 서비스를 위한 기계독해 시스템은 출력되는 응답의 정확도가 낮으면 사용자 만족도가 급격히 감소하는 문제가 있다. 응답의 정확도를 높이기 위해서는 모델의 성능을 향상시키거나 신뢰도를 파악하여 확실한 정답만 출력하고 판단하기 모호한 정답은 출력하지 않는 것이 좋다. 또한 현재 주어진 문맥에서 해결할 수 없는 질의의 경우 정답이 없음을 알려줘야 한다. 하지만 모델의 성능을 향상시키기 위해서는 모델이 매우 복잡해져 높은 성능의 하드웨어가 필요하며 추가 데이터가 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 정답을 찾을 수 있는 질의로만 구성된 말뭉치에서 부정 데이터를 생성하고 신뢰 점수를 계산 할 수 있는 신뢰 노드를 추가하여 정확도를 향상시키는 모델을 제안한다. 실험 결과 응답 재현율은 떨어지지만 신뢰 점수 임계값에 비례하여 정확률이 향상되는 것을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.301-305
• /
• 2023

최근 등장한 Large Language Models (LLM)은 자연어 처리 분야에서 눈에 띄는 성과를 보여주었지만, 주로 영어 중심의 연구로 진행되어 그 한계를 가지고 있다. 본 연구는 사전 학습된 LLM의 언어별 지식 전이 가능성을 한국어를 중심으로 탐구하였다. 이를 위해 한국어와 영어로 구성된 코드 스위칭 코퍼스를 구축하였으며, 기본 모델인 LLAMA-2와 코드 스위칭 코퍼스를 추가 학습한 모델 간의 성능 비교를 수행하였다. 결과적으로, 제안하는 방법론으로 학습한 모델은 두 언어 간의 희미론적 정보가 효과적으로 전이됐으며, 두 언어 간의 지식 정보 연계가 가능했다. 이 연구는 다양한 언어와 문화를 반영하는 다국어 LLM 연구와, 소수 언어를 포함한 AI 기술의 확산 및 민주화에 기여할 수 있을 것으로 기대된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.79-80
• /
• 2023

동기식 분산 딥러닝 기법은 그래디언트 계산 작업을 다수의 워커가 나누어 병렬 처리함으로써 모델 학습 과정을 효율적으로 단축시킨다. 배치 사이즈는 이터레이션 단위로 처리하는 데이터 개수를 의미하며, 학습 속도 및 학습 모델의 품질에 영향을 미치는 중요한 요소이다. 멀티 GPU 환경에서 작동하는 분산 학습의 경우, 가용 GPU 메모리 용량이 커짐에 따라 선택 가능한 배치 사이즈의 상한이 증가한다. 하지만 배치 사이즈가 학습 속도 및 학습 모델 품질에 미치는 영향은 GPU 활용률, 총 에포크 수, 모델 파라미터 개수 등 다양한 변수에 영향을 받으므로 최적값을 찾기 쉽지 않다. 본 연구는 동기식 분산 딥러닝 환경에서 실험을 통해 최적의 배치 사이즈 선택에 영향을 미치는 주요 요인을 분석한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.1155-1156
• /
• 2023

본 논문은 다수의 저정밀 GPS(Global Positioning System) 센서를 활용하여, 보다 정밀하고 정확한 GPS 좌표 보정 모델을 설계하고자 한다. 제안 모델에서는 다수의 저정밀 센서에서 GPS 좌표를 수합한 뒤, 최소자승법과 선형칼만필터로 값을 보정한다. 본 논문에서는 Horizontal Accuracy 가 2m 인 저정밀 GPS 센서를 활용하여 제안 모델을 설계하였으며, 저정밀 센서와 제안 모델 비교 실험에서 제안 모델의 46% 정밀도 향상을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.645-648
• /
• 2007

IT 에 대한 비즈니스 의존성이 증가하면서, 안정된 IT 서비스의 제공과 비용 효과적인 운영의 중요성이 강조되고 있다. ITIL 에서는 효율적이고 신속한 변경 처리를 위해 Service Support 영역에서 변경 관리 프로세스를 제시하고 있다. 하지만 고비용을 요하는 CAB 의 소집 여부 등 의사 결정이 변경 관리자의 자의적인 판단에 의존함으로써, 다른 비즈니스 및 안정된 IT 서비스 제공의 위험요소로 작용하고 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 요청된 변경 사안이 신중한 검토가 필요한 지 여부를 객관적으로 판단할 수 있도록, 판별분석기법을 적용한 변경 모델 결정 방법을 제안한다. 제안된 모델의 유효성을 검증하기 위해, 실제 운영에 적용된 변경 관리 모델과 제안된 모델을 이용했을 때의 결과를 비교하고 그 결과를 제시하였다. 제안된 방법은 동일한 사안에 대하여 일관성 있는 결정을 도출할 수 있어 프로세스 품질개선에 기여할 수 있으며, 궁극적으로 안정된 IT 서비스 제공에 기여하여 기업성과를 개선할 수 있을 것이다.

• The Journal of the Korea Contents Association
• /
• v.11 no.12
• /
• pp.586-596
• /
• 2011

In the IT industry, processing units of IT applications are getting smaller and high efficient. Furthermore, the realization of various smart functions is highly feasible now due to advances in sensing technology. The service infrastructures on high efficient and compact mobile devices are applied to various areas. These also could be possessed by users and is built into the devices. Currently, studies on the UX(User Experience) field to attempt an analysis and prediction of user's information are continuing with reference to the UI(User Interface). However, research on the common framework of classification and storing the user-information, and standardization of form has not been attempted yet. In this study, we proposed the AUX(Associative user Experience) model and process structure to store various empirical data by users. The AUX model expressed a diversity of user's empirical data using extended E-TCPN model. And also, we expressed the data structure using XML with reference to the application of AUX model. This expressed model and separation of process structure guarantee its specialty, productivity and flexibility through the humanistic characteristics of users and the independence of technical process structure. The AUX model maps out the AUX information process architecture and expressed the process with the improved MPP algorithm, to analyze of its performance. The simulation of movements applying to MPP traffic allocation of VOD is used to analyze of its performance. The playback deviation of MPP Graphic Allocation Algorism where the AUX model was applied was improved by 10.41% more than the one where it was not applied. As a result of that, playback performance has improved due to the conversion of AUX with accessing media, content of users and dynamic traffic allocation such as MPI and CPI.