• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.363-365
• /
• 2023

본 논문에서는 어텐션(Attention) 메커니즘을 이미지 처리에 적용한 연구가 진행되면서 등장한 비전 트랜스포머 (Vision Transformer, ViT)의 한계를 극복하기 위해 ViT 기반의 딥 클러스터링(Deep Clustering) 기법을 제안한다. ViT는 완전히 트랜스포머(Transformer)만을 사용하여 입력 이미지의 패치(patch)들을 벡터로 변환하여 학습하는 모델로, 합성곱 신경망(Convolutional Neural Network, CNN)을 사용하지 않으므로 입력 이미지의 크기에 대한 제한이 없으며 높은 성능을 보인다. 그러나 작은 데이터셋에서는 학습이 어렵다는 단점이 있다. 제안하는 딥 클러스터링 기법은 처음에는 입력 이미지를 임베딩 모델에 통과시켜 임베딩 벡터를 추출하여 클러스터링을 수행한 뒤, 클러스터링 결과를 임베딩 벡터에 반영하도록 업데이트하여 클러스터링을 개선하고, 이를 반복하는 방식이다. 이를 통해 ViT 모델의 일반적인 패턴 파악 능력을 개선하고 더욱 정확한 클러스터링 결과를 얻을 수 있다는 것을 실험을 통해 확인하였다.

• Journal of KIISE
• /
• v.45 no.2
• /
• pp.134-140
• /
• 2018

A chat system is a computer program that understands user's miscellaneous utterances and generates appropriate responses. Sometimes a chat system needs to answer users' simple information-seeking questions. However, previous generative chat systems do not consider how to embed knowledge entities (i.e., subjects and objects in triple knowledge), essential elements for question-answering. The previous chat models have a disadvantage that they generate same responses although knowledge entities in users' utterances are changed. To alleviate this problem, we propose a knowledge entity embedding method for improving question-answering accuracies of a generative chat system. The proposed method uses a Siamese recurrent neural network for embedding knowledge entities and their synonyms. For experiments, we implemented a sequence-to-sequence model in which subjects and predicates are encoded and objects are decoded. The proposed embedding method showed 12.48% higher accuracies than the conventional embedding method based on a convolutional neural network.

• Journal of Science Education
• /
• v.46 no.1
• /
• pp.17-29
• /
• 2022

The purpose of this study is to look qualitatively into how efficiently and reasonably a computer can learn themes related to the Nature of Science (NOS). In this regard, a corpus has been constructed focusing on literature (920 abstracts) related to NOS, and factors of the optimized Word2Vec (CBOW, Skip-gram) were confirmed. According to the four dimensions (Inquiry, Thinking, Knowledge and STS) of NOS, the comparative evaluation on the word-level word embedding was conducted. As a result of the study, according to the previous studies and the pre-evaluation on performance, the CBOW model was determined to be 200 for the dimension, five for the number of threads, ten for the minimum frequency, 100 for the number of repetition and one for the context range. And the Skip-gram model was determined to be 200 for the number of dimension, five for the number of threads, ten for the minimum frequency, 200 for the number of repetition and three for the context range. The Skip-gram had better performance in the dimension of Inquiry in terms of types of words with high similarity by model, which was checked by applying it to the four dimensions of NOS. In the dimensions of Thinking and Knowledge, there was no difference in the embedding performance of both models, but in case of words with high similarity for each model, they are sharing the name of a reciprocal domain so it seems that it is required to apply other models additionally in order to learn properly. It was evaluated that the dimension of STS also had the embedding performance that was not sufficient to look into comprehensive STS elements, while listing words related to solution of problems excessively. It is expected that overall implications on models available for science education and utilization of artificial intelligence could be given by making a computer learn themes related to NOS through this study.

• KIPS Transactions on Software and Data Engineering
• /
• v.10 no.11
• /
• pp.535-540
• /
• 2021

Multi-document refers to a document consisting of various topics, not a single topic, and a typical example is online reviews. There have been several attempts to summarize online reviews because of their vast amounts of information. However, collective summarization of reviews through existing summary models creates a problem of losing the various topics that make up the reviews. Therefore, in this paper, we present method to summarize the review with minimal loss of the topic. The proposed method classify reviews through processes such as preprocessing, importance evaluation, embedding substitution using BERT, and embedding clustering. Furthermore, the classified sentences generate the final summary using the trained Transformer summary model. The performance evaluation of the proposed model was compared by evaluating the existing summary model, seq2seq model, and the cosine similarity with the ROUGE score, and performed a high performance summary compared to the existing summary model.

• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.2
• /
• pp.61-68
• /
• 2020

E-sports has grown steadily in recent years and has become a popular sport in the world. In this paper, we propose a win-loss prediction model of League of Legends at the start of the game. In League of Legends, the combination of a champion statistics of the team that is made through each player's selection affects the win-loss of the game. The proposed model is a deep learning model based on Bidirectional LSTM embedding which considers a combination of champion statistics for each team without any domain knowledge. Compared with other prediction models, the highest prediction accuracy of 58.07% was evaluated in the proposed model considering a combination of champion statistics for each team.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.160-163
• /
• 2022

감성 분석(sentiment analysis)은 자연어 문장에 나타나는 감정 상태나 주관적인 의견을 분석하는 작업이다. 최근에는 자연어 처리(Natural Language Processing) 작업에서 딥러닝 기반의 모델이 좋은 성능을 보여주고 있다. 하지만, 모델의 복잡한 구조 때문에 모델이 어떠한 근거(rationale)로 판단하였는지 해석하기 어려운 문제가 있다. 모델이 좋은 성능을 보여도 예측에 관한 판단 근거가 없으면 결과를 해석하기 어렵고, 모델에 대한 신뢰가 떨어진다. 본 논문에서는 한국어 감성 분석 작업에 대해 사후 해석 모델을 이용하여 모델의 예측 결과에 대한 근거를 추출하고, 추출한 근거 정보를 이용한 근거 임베딩을 사용하여 근거 정보를 통합하는 방법이 감성 분석 모델의 성능을 개선함을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.541-545
• /
• 2018

본 논문에서는 Sent2Vec을 이용한 문장 임베딩으로 구현한 유사 문장 판별 시스템을 제안한다. 또한 한국어 특성에 맞게 모델을 개선하여 성능을 향상시키는 방법을 소개한다. 고성능 라이브러리 구현과 제품화 가능한 수준의 완성도 높은 구현을 보였으며, 자체 구축한 평가셋으로 한국어 특성을 반영한 모델에 대한 P@1 평가 결과 Word2Vec CBOW에 비해 9.25%, Sent2Vec에 비해 1.93% 더 높은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.559-562
• /
• 2020

본 논문에서는 한국어 입력 텍스트의 의미를 반영하는 색상 팔레트를 생성하는 방법을 제안한다. 기존 영문 모델에서 한국어의 특수성을 고려하여 입력 방법과 형태소 분석, 임베딩 등 여러 조건을 달리한 접근을 시도하고 최종적으로 두개의 모델을 선정하여 평가를 진행한다. 정량적 평가인 단일 팔레트 다양성 평가와 정성적 평가인 사용자 평가를 진행하였으며 결과 기존 영문 버전보다 다양성이 높았고 사용자가 실제 팔레트 보다 생성된 팔레트를 선호하는 비율도 향상되었다. 이번 연구로 한국어 임베딩을 활용하여 팔레트를 생성하였을 때 보다 다양한 색상과 의미적으로도 적합한 색상을 선정함을 확인할 수 있었다.

• Information Systems Review
• /
• v.25 no.1
• /
• pp.93-110
• /
• 2023

Recently, attempts have been made to convert unstructured text into vectors and to analyze vast amounts of natural language for various purposes. In particular, the demand for analyzing texts in specialized domains is rapidly increasing. Therefore, studies are being conducted to analyze specialized and general-purpose documents simultaneously. To analyze specific terms with general terms, it is necessary to align the embedding space of the specific terms with the embedding space of the general terms. So far, attempts have been made to align the embedding of specific terms into the embedding space of general terms through a transformation matrix or mapping function. However, the linear transformation based on the transformation matrix showed a limitation in that it only works well in a local range. To overcome this limitation, various types of nonlinear vector alignment methods have been recently proposed. We propose a vector alignment model that matches the embedding space of specific terms to the embedding space of general terms through end-to-end learning that simultaneously learns the autoencoder and regression model. As a result of experiments with R&D documents in the "Healthcare" field, we confirmed the proposed methodology showed superior performance in terms of accuracy compared to the traditional model.