• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.274-279
• /
• 2020

대화 시스템은 사용자의 입력 발화에 대해 적절하고 의미 있는 응답을 생성하는 시스템으로 seq2seq 구조를 갖는 대화 모델이 주로 연구되고 있다. 그러나 seq2seq 기반 대화 모델은 입력 발화와 관련성이 떨어지는 응답을 생성하거나 모든 입력 발화와 어울리지만 무미건조한 응답을 생성하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 입력 발화에서 고려해야 하는 키워드를 찾고 그 키워드를 반영하는 응답을 생성하는 모델을 제안한다. 제안 모델은 주어진 입력 발화에서 self-attention을 사용해 각 토큰에 대한 키워드 점수를 구한다. 키워드 점수가 가장 높은 토큰을 대화의 주제 또는 핵심 내용을 포함하는 키워드로 정의하고 응답 생성 과정에서 키워드와 관련된 응답을 생성하도록 한다. 본 논문에서 제안한 대화 모델의 실험 결과 문법과 입력 발화와 생성한 응답의 관련성 측면에서 성능이 향상되었음을 알 수 있었다. 특히 관련성 점수는 본 논문에서 제안한 모델이 비교 모델보다 약 0.25점 상승했다. 실험 결과를 통해 본 논문이 제안한 모델의 우수성을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.55-60
• /
• 2021

최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.552-557
• /
• 2023

거대 언어 모델의 성능이 비약적으로 높아지며 인간과의 직접적인 상호 작용 과정이 가능해지고, 이에 따라 윤리 검증의 필요성이 대두되고 있다. 본 연구에서는 인간이 지닌 여러 가치관 중에 정치에 초점을 둔다. 거대 언어 모델의 정치 성향이 사용자의 입력에 따라 변할 수 있는지와 하위 작업에 끼치는 영향에 대해 알아보고자 두 개의 실험을 설계하였고 이에 대한 결과를 분석하였다. 실험에는 거대 언어 모델의 정치 성향을 입력 대조군으로, 세가지 다른 입력 (탈옥 기법, 정치 페르소나, 탈옥 페르소나)을 입력 실험군으로 규정하였다. 실험 결과, 거대 언어 모델의 정치 성향은 탈옥 기법에서 가장 큰 폭으로 변화하였고, 정치 페르소나와 탈옥 페르소나에서는 변화가 크지 않아, 거대 언어 모델에 내재된 정치 성향의 영향에서 크게 벗어나지 못함을 확인하였다. 또한, 하위 작업에서의 실험을 통해 변화된 정치 성향은 하위 작업의 성능 개선을 가져올 수 있으며, 각 실험군에 따라 하위 작업에서 다른 방식의 양상을 보임을 확인하였다. 이는 실제 모델이 사용될 때 개인화된 응답보다는 모델이 선호하는 응답을 받게 되며, 거대 언어 모델의 정치 성향이 사용자에게 여과없이 노출될 수 있음을 시사한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.711-715
• /
• 2023

본 연구는 대부분의 언어 모델이 사용하고 있는 서브워드 토큰화 과정을 거치지 않고, 바이트 단위의 인코딩을 그대로 다룰 수 있는 토큰-프리 사전학습 언어모델에 대한 것이다. 토큰-프리 언어모델은 명시적인 미등록어 토큰이 존재하지 않고, 전 처리 과정이 단순하며 다양한 언어 및 표현 체계에 대응할 수 있는 장점이 있다. 하지만 관련 연구가 미흡, 서브워드 모델에 대비해 학습이 어렵고 낮은 성능이 보고되어 왔다. 본 연구에서는 한국어를 중심으로 토큰-프리 언어 이해-생성 모델을 사전 학습 후, 서브워드 기반 모델과 비교하여 가능성을 살펴본다. 또한, 토큰 프리 언어모델에서 지적되는 과도한 연산량을 감소시킬 수 있는 그래디언트 기반 서브워드 토크나이저를 적용, 처리 속도를 학습 2.7배, 추론 1.46배 개선하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.627-632
• /
• 2023

대규모 언어 모델은 높은 연산 능력과 방대한 양의 데이터를 기반으로 탁월한 성능을 보이며 자연어처리 분야의 주목을 받고있다. 이러한 모델들은 다양한 언어와 도메인의 텍스트를 처리하는 능력을 갖추게 되었지만, 전체 학습 데이터 중에서 한국어 데이터의 비중은 여전히 미미하다. 결과적으로 이는 대규모 언어 모델이 영어와 같은 주요 언어들에 비해 한국어에 대한 이해와 처리 능력이 상대적으로 부족함을 의미한다. 본 논문은 이러한 문제점을 중심으로, 대규모 언어 모델의 한국어 처리 능력을 향상시키는 방법을 제안한다. 특히, Cross-lingual transfer learning 기법을 활용하여 모델이 다양한 언어에 대한 지식을 한국어로 전이시켜 성능을 향상시키는 방안을 탐구하였다. 이를 통해 모델은 기존의 다양한 언어에 대한 손실을 최소화 하면서도 한국어에 대한 처리 능력을 상당히 향상시켰다. 실험 결과, 해당 기법을 적용한 모델은 기존 모델 대비 nsmc데이터에서 2배 이상의 성능 향상을 보이며, 특히 복잡한 한국어 구조와 문맥 이해에서 큰 발전을 보였다. 이러한 연구는 대규모 언어 모델을 활용한 한국어 적용 향상에 기여할 것으로 기대 된다.

• Journal of the Korean Society for Library and Information Science
• /
• v.42 no.3
• /
• pp.233-257
• /
• 2008

The integration, openness, participation, and technology are essential elements of digital information resources in order to establish an unified and cooperative network of various digital knowledge-information abroad. This study analyzes policies, technologies and administrative aspects of international cooperative networks such as WDL, IPL, TEL. Based on the analysis, a number of collection standards for international cooperation are drawn. Analyzed standards are divided into four different aspects and applied to produce detailed appraisal standards for digital knowledge-information. In conclusion, in order to map out strategies and policies for developing an international cooperative network, the study proposes a number of principles and models for making an appraisal of collections.

• Journal of the Korean Society for information Management
• /
• v.40 no.2
• /
• pp.243-262
• /
• 2023

In the rapidly developing information technology environment, information management organizations need to effectively evaluate their digital maturity and clarify the direction of improvement to effectively respond to rapidly changing environments. This study derived weights for the digital curation maturity model developed by KISTI from the perspective of digital transformation to facilitate effective evaluation and direction setting of information management organizations. Relative importance was derived as a weight in the major and middle categories of the model through the AHP technique. Summarizing the results, when the major categories of the entire model are measured on the basis of 100 points, technology is 27 points, data is 24 points, strategy is 19 points, organization (manpower) is 16 points, and (social) influence is calculated as 14 points. In addition, weights for each subcategory were presented for each major classification based on a perfect score of 100 points. It is expected that a more objective and reasonable evaluation will be possible by applying the weights for each area derived from this study to the digital transformation maturity evaluation model.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.01a
• /
• pp.271-272
• /
• 2014

현재 디지털 시스템 설계가 필요한 모든 유한 상태머신을 설계에는 필수적 밀리 모델이나 무어 모델이 들어간다. 그러나 각각의 기기와 기능에 따라서 밀리 모델과 무어 모델 중 어느 모델이 디지털 논리회로 설계에 효율적인지 판단이 모호한 상황이다. 이를 위해 본 논문에서는 유한 상태머신의 하나인 벤딩머신을 대상으로 밀리 모델과 무어 모델을 사용하여 설계한 후, 설계의 복잡도와 구현 게이트 수를 구하여 각 모델의 효율성에 대해 비교 분석하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.23-26
• /
• 2022

딥 러닝 모델은 블랙 박스 (Black Box) 모델로 예측에 대한 근거를 제시하지 못해 신뢰성이 떨어지는 단점이 존재한다. 이를 해결하기 위해 딥 러닝 모델에 설명력을 부여하는 설명 가능한 인공지능 (XAI) 분야 연구가 활발하게 이루어지고 있다. 본 논문에서는 모델 예측을 프로토타입을 통해 설명하는 딥 러닝 모델을 제시한다. 즉, "주어진 이미지는 티셔츠인데, 그 이유는 티셔츠를 대표하는 모양의 프로토타입과 닮았기 때문이다."의 형태로 딥 러닝 모델을 설명한다. 해당 모델은 Encoder, Prototype Layer, Classifier로 구성되어 있다. Encoder는 Feature를 추출하는 데 활용하고 Classifier를 통해 분류 작업을 수행한다. 모델이 제시하는 분류 결과를 설명하기 위해 Prototype Layer에서 가장 유사한 프로토타입을 찾아 설명을 제시한다. 실험 결과 프로토타입 생성 기반 설명 모델은 기존 이미지 분류 모델과 유사한 예측 정확도를 보였고, 예측에 대한 설명력까지 확보하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.7
• /
• pp.29-37
• /
• 2023

Due to climate change, interest in crop production and distribution is increasing, and attempts are being made to use bigdata and AI to predict production volume and control shipments and distribution stages. Prediction of agricultural product imports not only affects prices, but also controls shipments of farms and distributions of distribution companies, so it is important information for establishing marketing strategies. In this paper, we create an artificial intelligence prediction model that predicts the future import volume based on the wholesale market melon import volume data disclosed by the agricultural statistics information system and evaluate its accuracy. We create prediction models using three models: the Neural Prophet technique, the Ensembled Neural Prophet model, and the GRU model. As a result of evaluating the performance of the model by comparing two major indicators, MAE and RMSE, the Ensembled Neural Prophet model predicted the most accurately, and the GRU model also showed similar performance to the ensemble model. The model developed in this study is published on the web and used in the field for 1 year and 6 months, and is used to predict melon production in the near future and to establish marketing and distribution strategies.