• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.320-325
• /
• 2021

BERT는 사전 학습 단계에서 다음 문장 예측 문제와 마스킹된 단어에 대한 예측 문제를 학습하여 여러 자연어 다운스트림 태스크에서 높은 성능을 보였다. 본 연구에서는 BERT의 사전 학습 문제 중 다음 문장 예측 문제에 대해 주목했다. 다음 문장 예측 문제는 자연어 추론 문제와 질의 응답 문제와 같이 임의의 두 문장 사이의 관계를 모델링하는 문제들에 성능 향상을 위해 사용되었다. 하지만 BERT의 다음 문장 예측 문제는 두 문장을 특수 토큰으로 분리하여 단일 문자열 형태로 모델에 입력으로 주어지는 cross-encoding 방식만을 학습하기 때문에 문장을 각각 인코딩하는 bi-encoding 방식의 다운스트림 태스크를 고려하지 않은 점에서 아쉬움이 있다. 본 논문에서는 기존 BERT의 다음 문장 예측 문제를 확장하여 bi-encoding 방식의 다음 문장 예측 문제를 추가적으로 사전 학습하여 단일 문장 분류 문제와 문장 임베딩을 활용하는 문제에서 성능을 향상 시키는 Bi-Cross 사전 학습 기법을 소개한다. Bi-Cross 학습 기법은 영화 리뷰 감성 분류 데이터 셋인 NSMC 데이터 셋에 대해 학습 데이터의 0.1%만 사용하는 학습 환경에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 5점 가량의 성능 향상이 있었다. 또한 KorSTS의 bi-encoding 방식의 문장 임베딩 성능 평가에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 1.5점의 성능 향상을 보였다.

• The Journal of the Acoustical Society of Korea
• /
• v.19 no.6
• /
• pp.62-70
• /
• 2000

In usual language models(LMs), the probability has been estimated by selecting highly frequent words from a large text side database. However, in case of adopting LMs in a specific task, it is unnecessary to using the general method; constructing it from a large size tent, considering the various kinds of cost. In this paper, we propose a construction method of LMs using a small size text database in order to be used in specific tasks. The proposed method is efficient in increasing the low frequent words by applying same sentences iteratively, for it will robust the occurrence probability of words as well. We carried out continuous speech recognition(CSR) experiments on 200 sentences uttered by 3 speakers using LMs by iterative teaming(IL) in a air flight reservation task. The results indicated that the performance of CSR, using an IL applied LMs, shows an 20.4% increased recognition accuracy compared to those without it. This system, using the IL method, also shows an average of 13.4% higher recognition accuracy than the previous one, which uses context-free grammar(CFG), implying the effectiveness of it.

• Venture DIGEST
• /
• s.130
• /
• pp.34-35
• /
• 2009

LG디스플레이의 생산기술 전문가와 협력사의 기술자들이 태스크포스팀을 만들고 LG디스플레이의 생산기술 노하우를 협력사의 생산라인에 적용한다. 단편적 지원이 아닌 제품을 잘 생산하는 기술을 전수해서 협력사가 생산성과 품질, 원가경쟁력을 갖추도록 한다. 이들 협력사들이 최고의 경쟁력을 갖추면 그것이 곧 LG디스플레이의 경쟁력이다. LG디스플레이가 2007년부터 시작한 "고기 잘 잡는 법" 방식의 협력사 상생 모델 실험이 성과를 나타내면서 협력사의 수익성 향상, LG디스플레이의 시장경쟁력 강화로 이어져 성공적인 '동반성장' 상생 모델로 평가 받고 있다.

• Database Research
• /
• v.34 no.3
• /
• pp.137-147
• /
• 2018

A key to a well-performing human activity recognition (HAR) system through machine learning technique is the availability of a substantial amount of labeled data. Collecting sufficient labeled data is an expensive and time-consuming task. To build a HAR system in a new environment (i.e., the target domain) with very limited labeled data, it is unfavorable to naively exploit the data or trained classifier model from the existing environment (i.e., the source domain) as it is due to the domain difference. While traditional machine learning approaches are unable to address such distribution mismatch, transfer learning approach leverages the utilization of knowledge from existing well-established source domains that help to build an accurate classifier in the target domain. In this work, we propose a transfer learning approach to create an accurate HAR classifier with very limited data through the multitask neural network. The classifier loss function minimization for source and target domain are treated as two different tasks. The knowledge transfer is performed by simultaneously minimizing the loss function of both tasks using a single neural network model. Furthermore, we utilize the unlabeled data in an unsupervised manner to help the model training. The experiment result shows that the proposed work consistently outperforms existing approaches.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.281-284
• /
• 2013

한국전자통신연구원(ETRI)에서는 2010 년부터 2015 년까지 5 년간에 걸쳐 모바일 플랫폼 기반 대화모델이 적용된 자연어 음성인터페이스 기술을 개발하고 있다. 2010 년에는 대화 시스템의 전반적인 모습을 설계하였고, 2011 년에는 대상 도메인으로 도시 관광용 영어 대화 시스템을, 2012 년에는 대상 도메인으로 차량공조, 응급조치 등과 같은 차량 정보 서비스용 한국어 대화 시스템을 개발하였다. 본 논문에서는 2012 년에 개발한 차량 정보 서비스용 한국어 대화 시스템을 기술하는 것을 목표로 한다. 차량 정보 서비스용 한국어 대화 시스템의 성능 평가는 운전 경험이 있는 평가자 20 명에 의해 이루어졌다. 평가자는 웹 평가 도구에 원격으로 접속하여 주어진 40 개의 차량 정보 관련 대화 미션을 태스크로 하여 차량 정보 서비스용 대화 시스템과 대화를 하였다. 평가는 태스크 성공률과 대화턴 성공률로 나누어 측정되었으며 태스크 성공률은 87.8%, 대화턴 성공률은 86.7%였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.441-445
• /
• 2020

토큰화(Tokenization)는 사람이 작성한 자연어 문장을 기계가 잘 이해할 수 있도록 최소 단위인 토큰으로 분리하는 작업을 말하여, 이러한 토큰화는 자연어처리 전반적인 태스크들의 전처리에 필수적으로 사용되고 있다. 최근 자연어처리 분야에서 높은 성능을 보이며, 다양한 딥러닝 모델에 많이 활용되고 있는 SentencePiece 토큰화는 여러 단어에서 공통적으로 출현하는 부분단어들을 기준으로, BPE 알고리즘을 이용하여 문장을 압축 표현하는 토큰화 방법이다. 본 논문에서는 한국어 기반 특허 문헌의 초록 자연어 데이터를 기반으로 SentencePiece를 비롯한 여러 토큰화 방법에 대하여 소개하며, 해당 방법을 응용한 기계번역 (Neural Machine Translation) 태스크를 수행하고, 토큰화 방법별 비교 평가를 통해 특허 분야 자연어 데이터에 최적화된 토큰화 방법을 제안한다. 그리고 본 논문에서 제안한 방법을 사용하여 특허 초록 한-영 기계번역 태스크에서 성능이 향상됨을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.144-146
• /
• 2022

차량 환경에서 발생하는 계산 집약적인 태스크가 증가하면서 모바일 엣지 컴퓨팅(MEC, Mobile Edge Computing)의 필요성이 높아지고 있다. 하지만 지상에 존재하는 MEC 서버는 출퇴근 시간과 같이 태스크가 일시적으로 급증하는 상황에 유동적으로 대처할 수 없으며, 이러한 상황을 대비하기 위해 지상 MEC 서버를 추가로 설치하는 것은 자원의 낭비를 불러온다. 최근 이 문제를 해결하기 위해 UAV(Unmanned Aerial Vehicle)기반 MEC 서버를 추가로 사용해 엣지 서비스를 제공하는 연구가 진행되고 있다. 그러나 UAV MEC 서버는 지상 MEC 서버와 달리 한정적인 배터리 용량으로 인해 서버 간 로드밸런싱을 통해 에너지 사용량을 최소화 하는 것이 필요하다. 본 논문에서는 UAV MEC 서버의 에너지 사용량을 고려한 마이그레이션 기법을 제안한다. 또한 GRU(Gated Recurrent Unit) 모델을 활용한 트래픽 예측을 바탕으로 한 마이그레이션을 통해 지연시간을 최소화할 수 있도록 한다. 제안 시스템의 성능을 평가하기 위해 MEC의 마이그레이션 시점을 결정하는 기준점와 차량의 밀도에 따라 실험을 진행하고, 서버의 로드 편차, UAV MEC 서버의 에너지 사용량 그리고 평균 지연 시간 측면에서 성능을 분석한다.

• The Transactions of the Korea Information Processing Society
• /
• v.13 no.3
• /
• pp.148-155
• /
• 2024

Despite the increasing importance of irony and sarcasm detection in the field of natural language processing, research on the Korean language is relatively scarce compared to other languages. This study aims to experiment with various models for irony detection in Korean text. The study conducted irony detection experiments using KoBERT, a BERT-based model, and ChatGPT. For KoBERT, two methods of additional training on sentiment data were applied (Transfer Learning and MultiTask Learning). Additionally, for ChatGPT, the Few-Shot Learning technique was applied by increasing the number of example sentences entered as prompts. The results of the experiments showed that the Transfer Learning and MultiTask Learning models, which were trained with additional sentiment data, outperformed the baseline model without additional sentiment data. On the other hand, ChatGPT exhibited significantly lower performance compared to KoBERT, and increasing the number of example sentences did not lead to a noticeable improvement in performance. In conclusion, this study suggests that a model based on KoBERT is more suitable for irony detection than ChatGPT, and it highlights the potential contribution of additional training on sentiment data to improve irony detection performance.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.931-933
• /
• 2020

자연어 처리는 인공지능의 핵심기술 중 하나이다. 그 중 오픈 도메인 챗봇 구현은 NLP 에서 어려운 태스크로 꼽힌다. 명확한 목표, FAQ 가 존재하는 기능형 챗봇과 달리 오픈 도메인 챗봇은 연속적 대화, 방대한 양의 상식 등 구현에 어려움이 많았다. 짧은 질문과 대답으로 이루어진 데이터로 학습한 모델을 대화 데이터로 학습시켜 좀더 자연스러운 챗봇을 구현해보고자 한다.

• The Journal of Society for e-Business Studies
• /
• v.12 no.4
• /
• pp.145-163
• /
• 2007

Service-Oriented Architecture is a style of information systems that enables the creation of applications that are built by combining loosely coupled and interoperable services. A service is an implementation of business functionality with proper granularity and invoked with well-defined interface. In service modeling, when the granularity of a service is finer, the reusability and flexibility of the service is lower. For solving this problem concerns with the service granularity, it is critical to identify and define coarse-grained services from the domain analysis model. In this paper, we define the process to identify services from the Use Case model elicited from domain analysis. A task tree is derived from Use Cases and their descriptions, and Use Cases are reconstructed by the composition and decomposition of the task tree. Reconstructed Use Cases are defined and specified as services. Because our method is based on the widely used UML Use Case models, it can be helpful to minimize time and cost for developing services in various platforms and domains.