• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.382-387
• /
• 2023

현재 GPT-4와 같은 거대한 언어 모델이 기계 번역, 요약 및 대화와 같은 다양한 작업에서 압도적인 성능을 보이고 있다. 그러나 이러한 거대 언어 모델은 학습 및 적용에 상당한 계산 리소스와 도메인 특화 미세 조정이 어려운 등 몇 가지 문제를 가지고 있다. In-Context learning은 데이터셋에서 추출한 컨택스트의 정보만으로 효과적으로 작동할 수 있는 효율성을 제공하여 앞선 문제를 일부 해결했지만, 컨텍스트의 샷 개수와 순서에 민감한 문제가 존재한다. 이러한 도전 과제를 해결하기 위해, 우리는 Super In-Context Learning (SuperICL)을 활용한 새로운 방법론을 제안한다. 기존의 SuperICL은 적용한 플러그인 모델의 출력 정보를 이용하여 문맥을 새로 구성하고 이를 활용하여 거대 언어 모델이 더욱 잘 분류할 수 있도록 한다. Super In-Context Learning for Generation은 다양한 자연어 생성 작업에 효과적으로 최적화하는 방법을 제공한다. 실험을 통해 플러그인 모델을 교체하여 다양한 작업에 적응하는 가능성을 확인하고, 자연어 생성 작업에서 우수한 성능을 보여준다. BLEU 및 ROUGE 메트릭을 포함한 평가 결과에서도 성능 향상을 보여주며, 선호도 평가를 통해 모델의 효과성을 확인했다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.654-658
• /
• 2023

관계 추출은 질의응답이나 대화 시스템의 기반이 되는 지식을 구추하기 위한 작업으로, 정보 추출의 기초가 되는 기술이기도 하다. 최근 실세계 지식의 희소한 형태를 구현한 문서간 관계 추출 데이터셋이 제안되어, 여러 문서를 통해 분산되어 언급된 두 개체 사이의 관계 추론을 수행 및 평가할 수 있게 되었다. 이 작업에서 추론의 대상이 되는 개체쌍은 한 문서 안에 동시에 언급되지 않기 때문에 여러 문서에 언급된 중간 개체를 통하여 직/간접적으로 추론해야 하나, 원시 텍스트에서 이러한 정보를 수집하는 작업은 쉽지 않다. 따라서, 본 연구에서는 개체의 동시발생빈도에 기반하여 중간 개체의 중요도를 정량화하고, 이 중요도에 기반화여 중요한 문맥을 식별하는 방법론을 제안한다. 제안하는 방법론은 기존의 두 문서로 구성된 추론 경로를 식별된 중간 개체를 활용하여 확장하여, 관계 추론 모델의 수정 없이 추가된 문맥만을 활용하여 문서간 관계 추출 시스템의 성능을 개선할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.461-464
• /
• 2023

최근 GPT-3 와 LLaMa 같은 생성형 거대 언어모델을 활용한 서비스가 공개되었고, 실제로 많은 사람들이 사용하고 있다. 해당 모델들은 사용자들의 다양한 질문에 대해 유창한 답변을 한다는 이유로 주목받고 있다. 하지만 LLMs 의 답변에는 종종 Inconsistent content 와 non-factual statement 가 존재하며, 이는 사용자들로 하여금 잘못된 정보의 전파 등의 문제를 야기할 수 있다. 이에 논문에서는 동일한 질문에 대한 LLM 의 답변 샘플과 외부 지식을 활용한 Hallucination Detection 방법을 제안한다. 제안한 방법은 동일한 질문에 대한 LLM 의 답변들을 이용해 일관성 점수(Consistency score)를 계산한다. 거기에 외부 지식을 이용한 사실검증을 통해 사실성 점수(Factuality score)를 계산한다. 계산된 일관성 점수와 사실성 점수를 활용하여 문장 수준의 Hallucination Detection 을 가능하게 했다. 실험에는 GPT-3 를 이용하여 WikiBio dataset 에 있는 인물에 대한 passage 를 생성한 데이터셋을 사용하였으며, 우리는 해당 방법을 통해 문장 수준에서의 Hallucination Detection 성능이 baseline 보다 AUC-PR scores 에서 향상됨을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.41-43
• /
• 2024

본 연구에서는 Vision Transformer 기반의 Anomaly Detection and Localization (VT-ADL) 모델에 초점을 맞추고, 손실 함수의 변경이 MVTec 데이터셋에 대한 이상 검출 및 지역화 성능에 미치는 영향을 비교 분석한다. 기존의 손실 함수를 KL Divergence와 Log-Likelihood Loss의 조합인 VAE Loss로 대체하여, 성능 변화를 심층적으로 조사했다. 실험을 통해 VAE Loss로의 전환은 VT-ADL 모델의 이상 검출 능력을 현저히 향상시키며, 특히 PRO-score에서 기존 대비 약 5%의 개선을 보였다는 점을 확인하였다. 이러한 결과는 손실 함수의 최적화가 VT-ADL 모델의 전반적인 성능에 중요한 영향을 미칠 수 있음을 시사한다. 또한, 이 연구는 Vision Transformer 기반 모델의 이상 검출과 지역화 작업에 있어서 손실 함수 선택의 중요성을 강조하며, 향후 관련 연구에 유용한 기준을 제공할 수 있을 것으로 기대된다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.347-348
• /
• 2024

본 논문에서는 철도 구성요소 모니터링을 위한 효율적인 객체 분할 기법으로 사전학습된 SegFormer 모델의 적용을 제안하고, 객체 분할을 위해 보편적으로 사용되는 U-Net 모델과의 성능 비교 분석을 진행하였다. 철도의 주요 구성요소인 선로, 침목, 고정 장치, 배경을 분할할 수 있도록 라벨링된 데이터셋을 학습에 사용하였다. SegFormer 모델이 대조군인 U-Net보다 성능이 Jaccard Score 기준 5.29% 향상됨에 따라 Vision Transformer 기반의 모델이 기존 CNN 기반 모델의 이미지의 전역적인 문맥을 파악하기 상대적으로 어렵다는 한계를 극복하고, 철도 구성요소 객체 분할에 더욱 효율적인 모델임을 확인한다.

• Journal of Cadastre & Land InformatiX
• /
• v.53 no.1
• /
• pp.107-121
• /
• 2023

In order to acquire a wide range of land that changes in real time and quickly and accurately grasp it, we plan to utilize the recently released high-resolution S.Korea's satellite image data and artificial intelligence (AI). Compared to existing satellite images, the spectral and periodic resolutions of S.Korea's satellite are higher, making them a more suitable data source for periodically monitoring changes in land. Therefore, this study aims to acquire S.Korea's satellite, select 8 types of objects to detect land changes, construct data sets for them, and apply AI models to analyze them. In order to confirm the optimal model and variable conditions for detecting 8 types of objects of various types, several experiments are performed and AI-based image analysis is technically reviewed.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.22 no.5
• /
• pp.37-42
• /
• 2022

In this paper, AI methods such as deep learning are applied to provide customized exercise therapy for patients with kidney disease. In order to apply deep learning, a dataset that can determine kidney disease is trained to determine whether it is a kidney disease, and 1RM, which is the user's physical information and muscle strength according to whether it is a disease, can also be calculated through deep learning. The calculated muscle strength of 1RM was converted into resistant exercise for each part through a calculation equation for each part of the body, and was configured to be provided with an aerobic exercise amount tailored to the user's body information. If continuous research is conducted in the manner proposed in this paper, customized exercise therapy can be provided for various diseases.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.05a
• /
• pp.174-176
• /
• 2022

In this paper, we present a mobile application for 'personalized customized learning' for children with articulation disorders using an artificial intelligence (AI) algorithm. A dataset (Data Set) to analyze, judge, and predict the learner's articulation situation and degree. In particular, we designed a prototype model by looking at how AI can be improved and advanced compared to existing applications from the UX/UI (GUI) aspect. So far, the focus has been on visual experience, but now it is an important time to process data and provide a UX/UI (GUI) experience to users. The UX/UI (GUI) of the proposed mobile application was to be provided according to the learner's articulation level and situation by using CRNN (Convolution Recurrent Neural Network) of DeepLearning and Auto Encoder GPT-3 (Generative Pretrained Transformer). The use of artificial intelligence algorithms will provide a learning environment with a high degree of perfection to children with articulation disorders, thereby enhancing the learning effect. I hope that you do not have any fear or discomfort in conversation by improving the perfection of articulation with 'personalized and customized learning'.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.325-327
• /
• 2020

최근 비대면 원격강의의 비율이 증가하였지만 비대면 상황에서 원격으로 진행하는 강의로 인해 강의를 수강하는 학생들의 강의를 진행하는 교수와의 질문에 대한 즉각적인 상호작용과 피드백이 부족하고 교수 또한 비대면 상황에서 학생들과의 소통의 어려움으로 인해 질문에 대한 답변을 하는 것에 어려움 있다. 본 논문에서는 이러한 문제를 해결하기 위해 학생들에게 질문에 대한 즉각적인 답변을 해주고 교수에게는 질문-답변을 관리할 수 있는 인공지능 챗봇 웹 서비스를 제안한다. 웹 서비스는 강의를 수강하는 학생과 강의를 진행하는 교수로 나눠져 제공된다. 구현을 위해 Seq2Seq 모델을 활용하였고 질문-답변 데이터셋으로 학습을 하여 테스트 하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.141-142
• /
• 2021

최근 발전한 인공신경망 기반 기계 번역은 번역 시 더 자연스러운 번역을 제공한다. 본 논문에서는 기계번역기법을 이용하여 반말 표현을 존댓말 표현으로 변환하는 기법을 제안한다. 특히, 이를 위해 DCInside의 게시판을 크롤링하고 AI-HUB 데이터와 합쳐 약 20,000개의 자체 데이터 셋을 구축하였으며, 한글 전처리를 위한 4가지 기법 및 OpenNMT 프레임웍의 LSTM 및 Transformer 모듈을 활용하여 실험을 진행하였다. 이를 통해, 반말 표현을 높임 표현으로 변환하는 최적조합을 확인하였으며, 검증시 BLUE점수로 최대 66.53를 획득하였다.