• Title/Summary/Keyword: generative models

Search Result 152, Processing Time 0.028 seconds

Semi-Supervised Data Augmentation Method for Korean Fact Verification Using Generative Language Models (자연어 생성 모델을 이용한 준지도 학습 기반 한국어 사실 확인 자료 구축)

  • Jeong, Jae-Hwan;Jeon, Dong-Hyeon;Kim, Seon-Hun;Gang, In-Ho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.105-111
    • /
    • 2021
  • 한국어 사실 확인 과제는 학습 자료의 부재로 인해 연구에 어려움을 겪고 있다. 본 논문은 수작업으로 구성된 학습 자료를 토대로 자연어 생성 모델을 이용하여 한국어 사실 확인 자료를 구축하는 방법을 제안한다. 본 연구는 임의의 근거를 기반으로 하는 주장을 생성하는 방법 (E2C)과 임의의 주장을 기반으로 근거를 생성하는 방법 (C2E)을 모두 실험해보았다. 이때 기존 학습 자료에 위 두 학습 자료를 각각 추가하여 학습한 사실 확인 분류기가 기존의 학습 자료나 영문 사실 확인 자료 FEVER를 국문으로 기계 번역한 학습 자료를 토대로 구성된 분류기보다 평가 자료에 대해 높은 성능을 기록하였다. 또한, C2E 방법의 경우 수작업으로 구성된 자료 없이 기존의 자연어 추론 과제 자료와 HyperCLOVA Few Shot 예제만으로도 높은 성능을 기록하여, 비지도 학습 방식으로 사실 확인 자료를 구축할 수 있는 가능성 역시 확인하였다.

  • PDF

A prototype of digital humans capable of emotionally using deep generative models (사전학습 기반 생성모델을 이용한 정서적 지지형 디지털 휴먼 프로토타입 구현)

  • Song, Chejung;Lee, Jee Hang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.1005-1008
    • /
    • 2021
  • 메타버스의 산업적/학술적 가치가 증대되면서, 실세계 인간과 메타버스 내 디지털 휴먼과의 상호작용 시스템 또한 큰 조명을 받고 있다. 본 논문에서는 인간과 디지털 휴먼이 상호작용할 때, 인간의 발화에 대해 감성적 지지가 가능한 디지털 휴먼 프로토타입을 소개한다. 대화의 의미에 따른 동작 생성이 가능한 아바타 구축 공개 프레임워크를 도입하고, 사전학습모델을 바탕으로 감성적 지지가 가능한 심층 대화 생성 모델 기반 대화 시스템을 여기에 통합하여 인간의 감성 상태에 따른 동작과 대화를 진행하는 감성 지지형 디지털 휴먼 프로토타입을 구현하였다. 이러한 프로토타입을 고도화 하면, 향후 메타버스 기반 정신 건강 케어 및 디지털 치료제로의 확장이 가능할 것으로 사료된다.

Comparative Analysis of Image Generation Models for Waste Recognition Improvement (폐기물 분류 개선을 위한 이미지 생성 모델 비교 분석)

  • Jun Hyeok Go;Jeong Hyeon Park;Siung Kim;Nammee Moon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.639-641
    • /
    • 2023
  • 이미지 기반 폐기물 처리시스템에서 품목별 상이한 수집 난이도로 인해 발생하는 데이터 불균형으로 분류 모델 학습에 어려움이 따른다. 따라서 본 논문에서는 폐기물 분류 모델의 성능 비교를 통해 적합한 이미지 생성 모델을 탐색한다. 데이터의 불균형을 해결할 수 있도록 VAE(Variational Auto-Encoder), GAN(Generative Adversarial Networks) 및 Diffusion Model을 이용하여 이미지를 생성한다. 이후 각각의 생성 방법에 따라 학습데이터와 병합하여 객체 분류를 진행하였다. 정확도는 VAE가 84.41%로 3.3%의 성능 향상을, F1-점수는 Diffusion Model이 91.94%로 6.14%의 성능 향상을 이루었다. 이를 통해, 데이터 수집에서 나타나는 데이터 불균형을 해결하여 실 사용환경에 알맞은 시스템을 구축이 가능함을 확인하였다.

Evaluating Table QA with Generative Language Models (생성형 언어모델을 이용한 테이블 질의응답 평가)

  • Kyungkoo Min;Jooyoung Choi;Myoseop Sim;Haemin Jung;Minjun Park;Jungkyu Choi
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.75-79
    • /
    • 2023
  • 문서에서 테이블은 중요한 정보들을 축약하여 모아 놓은 정보 집합체라고 할 수 있다. 이러한 테이블을 대상으로 질의응답하는 테이블 질의응답 기술이 연구되고 있으며, 이 중 언어모델을 이용한 연구가 좋은 결과를 보이고 있다. 본 연구에서는 최근 주목받고 있는 생성형 언어모델 기술을 테이블 질의응답에 적용하여 언어모델과 프롬프트의 변경에 따른 결과를 살펴보고, 단답형 정답과 생성형 결과의 특성에 적합한 평가방법으로 측정해 보았다. 자체 개발한 EXAONE 1.7B 모델의 경우 KorWiki 데이터셋에 대해 적용하여 EM 92.49, F1 94.81의 결과를 얻었으며, 이를 통해 작은 크기의 모델을 파인튜닝하여 GPT-4와 같은 초거대 모델보다 좋은 성능을 보일 수 있음을 확인하였다.

  • PDF

Relation Extraction using Generative Language Models (생성형 언어모델을 이용한 관계추출)

  • Jeong Heo;Jong-Hun Shin;Soo-Jong Lim;Oh-Woog Kwon
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.707-710
    • /
    • 2023
  • 관계추출은 문장 내 두 개체 간의 의미적 관계를 추론하는 자연어분석 태스크이다. 딥러닝의 발전과 더불어 관계추출은 BERT 계열의 이해형 언어모델을 이용하였다. 그러나, ChatGPT의 혁신적인 등장과 함께, GPT계열의 생성형 언어모델에 대한 연구가 활발해졌다. 본 논문에서는 소규모의 생성형 언어모델(Kebyt5)을 이용하여 관계추출 성능개선을 위한 프롬프트 구성 및 생각의 사슬(CoT) 학습 방법을 제안한다. 실험결과 Kebyt5-large 모델에서 CoT 학습을 수행하였을 경우, Klue-RoBERTa-base 모델보다 3.05%의 성능개선이 있었다.

  • PDF

A Study on the Reproduction of Korean Painting through Text Prompt Estimation for Generative AI Models (생성 AI 모델을 위한 텍스트 프롬프트 추정 기반 한국화 재생성에 대한 연구)

  • Sung-Won Moon;Jiwon Lee;Dowon Nam
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.432-433
    • /
    • 2023
  • 스테이블 디퓨전(Stable diffusion)과 같은 텍스트 프롬프트 입력 기반 이미지 생성 AI 기술의 발전으로 원하는 형태의 고품질 이미지를 누구나 손쉽게 생성가능할 것으로 기대하였으나 대부분의 경우 원하는 이미지를 얻기 위해서는 텍스트 프롬프트를 정교하게 조정해가며 많은 실패를 겪어야만 한다. 이러한 한계를 극복하기 위해 클립 인터로게이터(CLIP Interrogator)와 같은 유사 이미지를 재생성하기 위한 텍스트 프롬프트 추정 기술이 개발되었으며 몇몇 이미지에 대해 뛰어난 결과를 보였다. 본 논문에서는 이러한 텍스트 프롬프트 추정 기술의 활용이 한국화를 재생성할 수 있는지 실험을 통해 가능성을 확인하고 향후 한국화 재생성을 위한 연구 방향을 제안하고자 한다.

A Study on the Service Integration of Traditional Chatbot and ChatGPT (전통적인 챗봇과 ChatGPT 연계 서비스 방안 연구)

  • Cheonsu Jeong
    • Journal of Information Technology Applications and Management
    • /
    • v.30 no.4
    • /
    • pp.11-28
    • /
    • 2023
  • This paper proposes a method of integrating ChatGPT with traditional chatbot systems to enhance conversational artificial intelligence(AI) and create more efficient conversational systems. Traditional chatbot systems are primarily based on classification models and are limited to intent classification and simple response generation. In contrast, ChatGPT is a state-of-the-art AI technology for natural language generation, which can generate more natural and fluent conversations. In this paper, we analyze the business service areas that can be integrated with ChatGPT and traditional chatbots, and present methods for conducting conversational scenarios through case studies of service types. Additionally, we suggest ways to integrate ChatGPT with traditional chatbot systems for intent recognition, conversation flow control, and response generation. We provide a practical implementation example of how to integrate ChatGPT with traditional chatbots, making it easier to understand and build integration methods and actively utilize ChatGPT with existing chatbots.

Design to Improve Educational Competency Using ChatGPT

  • Choong Hyong LEE
    • International Journal of Internet, Broadcasting and Communication
    • /
    • v.16 no.1
    • /
    • pp.182-190
    • /
    • 2024
  • Various artificial intelligence neural network models that have emerged since 2014 enable the creation of new content beyond the existing level of information discrimination and withdrawal, and the recent generative artificial intelligences such as ChatGPT and Gall-E2 create and present new information similar to actual data, enabling natural interaction because they create and provide verbal expressions similar to humans, unlike existing chatbots that simply present input content or search results. This study aims to present a model that can improve the ChatGPT communication skills of university students through curriculum research on ChatGPT, which can be participated by students from all departments, including engineering, humanities, society, health, welfare, art, tourism, management, and liberal arts. It is intended to design a way to strengthen competitiveness to embody the practical ability to solve problems through ethical attitudes, AI-related technologies, data management, and composition processes as knowledge necessary to perform tasks in the artificial intelligence era, away from simple use capabilities. It is believed that through creative education methods, it is possible to improve university awareness in companies and to seek industry-academia self-reliant courses.

A Study on Dataset Generation Method for Korean Language Information Extraction from Generative Large Language Model and Prompt Engineering (생성형 대규모 언어 모델과 프롬프트 엔지니어링을 통한 한국어 텍스트 기반 정보 추출 데이터셋 구축 방법)

  • Jeong Young Sang;Ji Seung Hyun;Kwon Da Rong Sae
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.11
    • /
    • pp.481-492
    • /
    • 2023
  • This study explores how to build a Korean dataset to extract information from text using generative large language models. In modern society, mixed information circulates rapidly, and effectively categorizing and extracting it is crucial to the decision-making process. However, there is still a lack of Korean datasets for training. To overcome this, this study attempts to extract information using text-based zero-shot learning using a generative large language model to build a purposeful Korean dataset. In this study, the language model is instructed to output the desired result through prompt engineering in the form of "system"-"instruction"-"source input"-"output format", and the dataset is built by utilizing the in-context learning characteristics of the language model through input sentences. We validate our approach by comparing the generated dataset with the existing benchmark dataset, and achieve 25.47% higher performance compared to the KLUE-RoBERTa-large model for the relation information extraction task. The results of this study are expected to contribute to AI research by showing the feasibility of extracting knowledge elements from Korean text. Furthermore, this methodology can be utilized for various fields and purposes, and has potential for building various Korean datasets.

Robust Real-time Tracking of Facial Features with Application to Emotion Recognition (안정적인 실시간 얼굴 특징점 추적과 감정인식 응용)

  • Ahn, Byungtae;Kim, Eung-Hee;Sohn, Jin-Hun;Kweon, In So
    • The Journal of Korea Robotics Society
    • /
    • v.8 no.4
    • /
    • pp.266-272
    • /
    • 2013
  • Facial feature extraction and tracking are essential steps in human-robot-interaction (HRI) field such as face recognition, gaze estimation, and emotion recognition. Active shape model (ASM) is one of the successful generative models that extract the facial features. However, applying only ASM is not adequate for modeling a face in actual applications, because positions of facial features are unstably extracted due to limitation of the number of iterations in the ASM fitting algorithm. The unaccurate positions of facial features decrease the performance of the emotion recognition. In this paper, we propose real-time facial feature extraction and tracking framework using ASM and LK optical flow for emotion recognition. LK optical flow is desirable to estimate time-varying geometric parameters in sequential face images. In addition, we introduce a straightforward method to avoid tracking failure caused by partial occlusions that can be a serious problem for tracking based algorithm. Emotion recognition experiments with k-NN and SVM classifier shows over 95% classification accuracy for three emotions: "joy", "anger", and "disgust".