• Journal of Intelligence and Information Systems
• /
• v.28 no.2
• /
• pp.191-206
• /
• 2022

Recently, it is a de-facto approach to utilize a pre-trained language model(PLM) to achieve the state-of-the-art performance for various natural language tasks(called downstream tasks) such as sentiment analysis and question answering. However, similar to any other machine learning method, PLM tends to depend on the data distribution seen during the training phase and shows worse performance on the unseen (Out-of-Distribution) domain. Due to the aforementioned reason, there have been many efforts to develop domain-specified PLM for various fields such as medical and legal industries. In this paper, we discuss the training of a finance domain-specified PLM for the Korean language and its applications. Our finance domain-specified PLM, KB-BERT, is trained on a carefully curated financial corpus that includes domain-specific documents such as financial reports. We provide extensive performance evaluation results on three natural language tasks, topic classification, sentiment analysis, and question answering. Compared to the state-of-the-art Korean PLM models such as KoELECTRA and KLUE-RoBERTa, KB-BERT shows comparable performance on general datasets based on common corpora like Wikipedia and news articles. Moreover, KB-BERT outperforms compared models on finance domain datasets that require finance-specific knowledge to solve given problems.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.1220-1223
• /
• 2023

폐기물을 처리하는데 있어 배출과 수거에 대한 프로세스 자동화를 위해 폐기물 객체 유사도 판별이 요구된다. 이를 위해 본 연구에서는 폐기물 데이터셋에서 SIFT(Scale-Invariant Feature Transform)와 HSV(Hue, Saturation, Value)기반으로 두 이미지의 공통된 특징을 추출해 융합하고, 기계학습을 통해 이미지 객체 간의 유사도를 측정하는 모델을 제안한다. 실험을 위해 수집된 폐기물 데이터셋 81,072 장을 활용하여 이미지를 학습시키고, 전통적인 임계치 기반 유사도 측정과 본 논문에서 제시하는 유사도 측정을 비교하여 성능을 확인하였다. 임계치 기반 측정에서 SIFT 와 HSV 는 각각 0.82, 0.89(Acc)가 측정되었고, 본 논문에서 제시한 특징 추출 방법을 사용한 기계학습의 성능은 DT(Decision Tree)와 SVM(Support Vector Machine) 모두 0.93 (Acc)로 4%의 정확도가 향상되었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.604-606
• /
• 2024

컴퓨터 비전 응용은 우리 생활에서 중요한 역할을 한다. 현재, 대규모 모델의 등장으로 딥 러닝의 훈련 및 운행 비용이 급격히 상승하고 있다. 자원이 제한된 환경에서는 일부 AI 프로그램을 실행할 수 없게 되므로, 경량화 연구가 필요하다. YOLOv8 은 현재 주요 목표 검출 모델 중 하나이며, 본 논문은 다중 스케일 Ghost 컨볼루션 모듈을 사용하여 구축된 새로운 YOLOv8-pose-msg 키포인트 검출 모델을 제안한다. 다양한 사양에서 새 모델의 매개변수 양은 최소 34% 감소할 수 있으며, 최대 59%까지 감소할 수 있다. 종합적인 검출 성능은 비교적 대규모 데이터셋에서 원래의 수준을 유지할 수 있으며, 소규모 데이터셋에서의 키포인트 검출은 30% 이상 증가할 수 있다. 동시에 최대 25%의 훈련 및 추론 시간을 절약할 수 있다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.21 no.10
• /
• pp.8-15
• /
• 2020

A forecasting method using deep learning does not have consistent results due to the differences in the characteristics of the dataset, even though they have the same forecasting models and parameters. For example, the forecasting model X optimized with dataset A would not produce the optimized result with another dataset B. The forecasting model with the characteristics of the dataset needs to be optimized to increase the accuracy of the forecasting model. Therefore, this paper proposes novel optimization steps for outlier removal, dataset classification, and a CNN-LSTM-based hyperparameter tuning process to forecast the daily power usage of a university campus based on the hourly interval. The proposing model produces high forecasting accuracy with a 2% of MAPE with a single power input variable. The proposing model can be used in EMS to suggest improved strategies to users and consequently to improve the power efficiency.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.1
• /
• pp.27-38
• /
• 2023

In this paper, we propose a conversational AI agent based on continual learning that can continuously learn and grow with new data over time. A continual learning-based conversational AI agent consists of three main components: Task manager, User attribute extraction, and Auto-growing knowledge graph. When a task manager finds new data during a conversation with a user, it creates a new task with previously learned knowledge. The user attribute extraction model extracts the user's characteristics from the new task, and the auto-growing knowledge graph continuously learns the new external knowledge. Unlike the existing conversational AI agents that learned based on a limited dataset, our proposed method enables conversations based on continuous user attribute learning and knowledge learning. A conversational AI agent with continual learning technology can respond personally as conversations with users accumulate. And it can respond to new knowledge continuously. This paper validate the possibility of our proposed method through experiments on performance changes in dialogue generation models over time.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.29 no.5
• /
• pp.1019-1026
• /
• 2019

Due to limitations of existing methods for detecting newly introduced malware, the importance of the development of artificial intelligence vaccines arises. Existing artificial intelligence vaccines have a disadvantage that the accuracy of the detection rate is low because those vaccines do not scan all parts of the file. In this paper, we suggest an enhanced method for detecting malware which is composed of unique OP Code features in the malware files. Specifically, we tested the method with text datasets trained on Random Forest algorithm and with image datasets trained on the Inception V3 model. As a result, the highest accuracy of the detection rate was about 80%.

• The Journal of the Convergence on Culture Technology
• /
• v.10 no.1
• /
• pp.403-409
• /
• 2024

In this paper, the guidelines for the design of an Artificial Intelligence(AI) based Integrated Process Safety Management(PSM) system to enhance workplace safety using data from process safety reports submitted by hazardous and risky facility operators in accordance with the Occupational Safety and Health Act is proposed. The system composed of the proposed guidelines is to be implemented separately by individual facility operators and specialized process safety management agencies for single or multiple workplaces. It is structured with key components and stages, including data collection and preprocessing, expansion and segmentation, labeling, and the construction of training datasets. It enables the collection of process operation data and change approval data from various processes, allowing potential fault prediction and maintenance planning through the analysis of all data generated in workplace operations, thereby supporting decision-making during process operation. Moreover, it offers utility and effectiveness in time and cost savings, detection and prediction of various risk factors, including human errors, and continuous model improvement through the use of accurate and reliable training data and specialized datasets. Through this approach, it becomes possible to enhance workplace safety and prevent accidents.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.658-661
• /
• 2024

퍼블릭 클라우드 시장이 성장하면서 퍼블릭 클라우드에서 호스팅하는 컴퓨팅 자원으로 구축된 거대하고 복잡한 IT 시스템이 점차 많아지고 있다. 이러한 시스템의 증가는 서비스 장애 발생 확률을 높이므로, 장애 관리 및 선제 감지를 위한 퍼블릭 클라우드 자원의 이상 감지 연구에 대한 수요 또한 증가하고 있다. 그러나 연구에 활용할 수 있는 벤치마크 데이터셋이 없다는 점과, 실제 자원에서 추출할 수 있는 데이터는 레이블링이 되어 있지 않은 불균형 데이터라는 점 때문에 관련 연구가 부족한 상황이다. 이러한 문제를 해결하고자 본 논문은 비지도 방식의 표현 학습 기반 딥러닝 모델을 활용한 이상 감지 시스템을 제안한다. 시스템의 이상 감지 성능을 유지하고자 일정 주기마다 다수의 딥러닝 모델을 재학습하고 비교하여 최적의 모델로 업데이트 하는 방식을 고안하였다. 해당 시스템의 평가에는 실제 퍼블릭 클라우드 자원에서 발생한 메트릭 데이터가 활용됐으며, 그 결과 준수한 이상 감지 성능을 보인다는 것을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.385-390
• /
• 2022

관계추출은 문서 혹은 문장에서 자동으로 엔티티들간의 관계를 추출하는 기술로, 비정형 데이터를 정형데이터로 변환하기에 자연어 처리 중에서도 중요한 분야중 하나이다. 그 중에서도 대화 관계추출은 기존의 문장 단위의 관계추출과는 다르게 긴 길이에 비해 적은 정보의 양, 빈번하게 등장하는 지시대명사 등의 특징을 가지고 있어 주어와 목적어 사이의 관계를 예측하기에 어려움이 있었다. 본 연구에서는 이러한 어려움을 극복하기 위해 대화의 특성을 고려한 대화 그래프를 구축하고 이를 이용한 모델을 제안한다. 제안하는 모델은 상호참조 정보와 문맥정보를 더 반영한 그래프를 통해 산발적으로 퍼져있는 정보를 효율적으로 수집하고, 지시대명사로 인해 어려워진 중요 발화 파악 능력을 증진시켰다. 또한 이를 실험적으로 보이기 위하여 대화 관계추출 데이터셋에 실험해본 결과, 기존 베이스라인 보다 약 10 % 이상의 높은 F1점수를 달성하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.903-906
• /
• 2021

인공지능 기술 발전으로, 의료영상 분야에서도 딥러닝 기반 질병 진단 연구가 활발히 진행되고 있다. 딥러닝 모델 개발 시, 학습 데이터 품질은 모델의 성능과 신뢰성에 매우 큰 영향을 미친다. 그러나 의료 분야의 경우 도메인 지식에 대한 진입 장벽이 높아 개발자가 학습에 사용되는 의료영상 데이터의 품질을 평가하기 어렵다. 이로 인해, 많은 의료영상 분야에서는 각 분야의 특성(질병의 종류, 관찰 아나토미 등)에 따른 영상 품질 평가 방법을 제시해왔다. 그러나 기존의 방법은 특정 질병에 초점이 맞춰져, 일반화된 품질 평가 기준을 제시하고 있지 않다. 따라서 본 논문에서는 대부분의 흉부 질환을 진단하기 위한 흉부 X선 영상의 품질을 평가할 수 있는 기준을 제안한다. 우선, 흉부 X선 영상을 대상으로 관찰된 영역인 심장, 횡격막, 견갑골, 폐 등을 분할하여, 3D 히스토그램을 기반으로 각 영역별 통계적인 정밀 품질 평가 기준을 제안한다. 본 연구에서는 JSRT, Chest 14의 오픈 데이터셋을 활용하여 적용 실험을 수행하였으며, 민감도는 97.6%, 특이도는 92.8%의 우수한 성능을 확인하였다.