• Title/Summary/Keyword: language intelligence

Search Result 621, Processing Time 0.027 seconds

Towards Korean-Centric Token-free Pretrained Language Model (한국어 중심의 토큰-프리 언어 이해-생성 모델 사전학습 연구)

  • Jong-Hun Shin;Jeong Heo;Ji-Hee Ryu;Ki-Young Lee;Young-Ae Seo;Jin Seong;Soo-Jong Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.711-715
    • /
    • 2023
  • 본 연구는 대부분의 언어 모델이 사용하고 있는 서브워드 토큰화 과정을 거치지 않고, 바이트 단위의 인코딩을 그대로 다룰 수 있는 토큰-프리 사전학습 언어모델에 대한 것이다. 토큰-프리 언어모델은 명시적인 미등록어 토큰이 존재하지 않고, 전 처리 과정이 단순하며 다양한 언어 및 표현 체계에 대응할 수 있는 장점이 있다. 하지만 관련 연구가 미흡, 서브워드 모델에 대비해 학습이 어렵고 낮은 성능이 보고되어 왔다. 본 연구에서는 한국어를 중심으로 토큰-프리 언어 이해-생성 모델을 사전 학습 후, 서브워드 기반 모델과 비교하여 가능성을 살펴본다. 또한, 토큰 프리 언어모델에서 지적되는 과도한 연산량을 감소시킬 수 있는 그래디언트 기반 서브워드 토크나이저를 적용, 처리 속도를 학습 2.7배, 추론 1.46배 개선하였다.

  • PDF

English Tutoring System Using Chatbot and Dialog System (챗봇과 대화시스템을 이용한 영어 교육 시스템)

  • Choi, Sung-Kwon;Kwon, Oh-Woog;Lee, Kiyoung;Roh, Yoon-Hyung;Huang, Jin-Xia;Kim, Young-Gil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.958-959
    • /
    • 2017
  • 본 논문은 챗봇과 대화시스템을 이용한 영어 교육 시스템을 기술하는 것을 목표로 한다. 본 논문의 시스템은 학습자의 대화 흐름을 제한하지 않고 주제를 벗어난 자유대화를 허용하며 문법오류에 대한 피드백을 한다. 챗봇과 대화시스템을 이용한 영어 교육 시스템은 대화턴 성공률로 평가되었는데, 평균 대화턴 성공률은 80.86%였으며, 주제별로는 1) 뉴욕시티투어 티켓 구매 71.86%, 2) 음식주문 71.06%, 3) 건강습관 대화 85.41%, 4) 미래화폐에 대한 생각 조사 95.09%였다. 또한 영어 문법 오류 교정도 측정되었는데 문법 오류 정확률은 66.7%, 재현율은 31.9%였다.

On the Analysis of Natural Language Processing Morphology for the Specialized Corpus in the Railway Domain

  • Won, Jong Un;Jeon, Hong Kyu;Kim, Min Joong;Kim, Beak Hyun;Kim, Young Min
    • International Journal of Internet, Broadcasting and Communication
    • /
    • v.14 no.4
    • /
    • pp.189-197
    • /
    • 2022
  • Today, we are exposed to various text-based media such as newspapers, Internet articles, and SNS, and the amount of text data we encounter has increased exponentially due to the recent availability of Internet access using mobile devices such as smartphones. Collecting useful information from a lot of text information is called text analysis, and in order to extract information, it is performed using technologies such as Natural Language Processing (NLP) for processing natural language with the recent development of artificial intelligence. For this purpose, a morpheme analyzer based on everyday language has been disclosed and is being used. Pre-learning language models, which can acquire natural language knowledge through unsupervised learning based on large numbers of corpus, are a very common factor in natural language processing recently, but conventional morpheme analysts are limited in their use in specialized fields. In this paper, as a preliminary work to develop a natural language analysis language model specialized in the railway field, the procedure for construction a corpus specialized in the railway field is presented.

Artificial Intelligence and the meaning of language - focusing on the meaning of language in Wittgenstein's philosophy - (인공지능과 언어의 의미 - 비트겐슈타인의 '언어의 의미'를 중심으로 -)

  • Park, Jeong-sik;Jeong, Chang-rok
    • Journal of Korean Philosophical Society
    • /
    • v.143
    • /
    • pp.141-164
    • /
    • 2017
  • Artificial intelligence may be said like a human being. What is different thing between artificial intelligence and human intelligence? The people think that the artificial intelligence understands the meaning of the word to see artificial intelligence saying. However, it is different that artificial intelligence is identified as understanding a human being. We apply Wittgenstein's philosophy to this problem whether the artificial intelligence understands a meaning of language. We think that the artificial intelligence does not understand a live meaning of human life.

Relation Extraction using Generative Language Models (생성형 언어모델을 이용한 관계추출)

  • Jeong Heo;Jong-Hun Shin;Soo-Jong Lim;Oh-Woog Kwon
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.707-710
    • /
    • 2023
  • 관계추출은 문장 내 두 개체 간의 의미적 관계를 추론하는 자연어분석 태스크이다. 딥러닝의 발전과 더불어 관계추출은 BERT 계열의 이해형 언어모델을 이용하였다. 그러나, ChatGPT의 혁신적인 등장과 함께, GPT계열의 생성형 언어모델에 대한 연구가 활발해졌다. 본 논문에서는 소규모의 생성형 언어모델(Kebyt5)을 이용하여 관계추출 성능개선을 위한 프롬프트 구성 및 생각의 사슬(CoT) 학습 방법을 제안한다. 실험결과 Kebyt5-large 모델에서 CoT 학습을 수행하였을 경우, Klue-RoBERTa-base 모델보다 3.05%의 성능개선이 있었다.

  • PDF

Empathetic Dialogue Generation based on User Emotion Recognition: A Comparison between ChatGPT and SLM (사용자 감정 인식과 공감적 대화 생성: ChatGPT와 소형 언어 모델 비교)

  • Seunghun Heo;Jeongmin Lee;Minsoo Cho;Oh-Woog Kwon;Jinxia Huang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.570-573
    • /
    • 2024
  • 본 연구는 대형 언어 모델 (LLM) 시대에 공감적 대화 생성을 위한 감정 인식의 필요성을 확인하고 소형 언어 모델 (SLM)을 통한 미세 조정 학습이 고비용 LLM, 특히 ChatGPT의 대안이 될 수 있는지를 탐구한다. 이를 위해 KoBERT 미세 조정 모델과 ChatGPT를 사용하여 사용자 감정을 인식하고, Polyglot-Ko 미세 조정 모델 및 ChatGPT를 활용하여 공감적 응답을 생성하는 비교 실험을 진행하였다. 실험 결과, KoBERT 기반의 감정 분류기는 ChatGPT의 zero-shot 접근 방식보다 뛰어난 성능을 보였으며, 정확한 감정 분류가 공감적 대화의 질을 개선하는 데 기여함을 확인하였다. 이는 공감적 대화 생성을 위해 감정 인식이 여전히 필요하며, SLM의 미세 조정이 고비용 LLM의 실용적 대체 수단이 될 수 있음을 시사한다.

Framework for evaluating code generation ability of large language models

  • Sangyeop Yeo;Yu-Seung Ma;Sang Cheol Kim;Hyungkook Jun;Taeho Kim
    • ETRI Journal
    • /
    • v.46 no.1
    • /
    • pp.106-117
    • /
    • 2024
  • Large language models (LLMs) have revolutionized various applications in natural language processing and exhibited proficiency in generating programming code. We propose a framework for evaluating the code generation ability of LLMs and introduce a new metric, pass-ratio@n, which captures the granularity of accuracy according to the pass rate of test cases. The framework is intended to be fully automatic to handle the repetitive work involved in generating prompts, conducting inferences, and executing the generated codes. A preliminary evaluation focusing on the prompt detail, problem publication date, and difficulty level demonstrates the successful integration of our framework with the LeetCode coding platform and highlights the applicability of the pass-ratio@n metric.

Robust Sentiment Classification of Metaverse Services Using a Pre-trained Language Model with Soft Voting

  • Haein Lee;Hae Sun Jung;Seon Hong Lee;Jang Hyun Kim
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.17 no.9
    • /
    • pp.2334-2347
    • /
    • 2023
  • Metaverse services generate text data, data of ubiquitous computing, in real-time to analyze user emotions. Analysis of user emotions is an important task in metaverse services. This study aims to classify user sentiments using deep learning and pre-trained language models based on the transformer structure. Previous studies collected data from a single platform, whereas the current study incorporated the review data as "Metaverse" keyword from the YouTube and Google Play Store platforms for general utilization. As a result, the Bidirectional Encoder Representations from Transformers (BERT) and Robustly optimized BERT approach (RoBERTa) models using the soft voting mechanism achieved a highest accuracy of 88.57%. In addition, the area under the curve (AUC) score of the ensemble model comprising RoBERTa, BERT, and A Lite BERT (ALBERT) was 0.9458. The results demonstrate that the ensemble combined with the RoBERTa model exhibits good performance. Therefore, the RoBERTa model can be applied on platforms that provide metaverse services. The findings contribute to the advancement of natural language processing techniques in metaverse services, which are increasingly important in digital platforms and virtual environments. Overall, this study provides empirical evidence that sentiment analysis using deep learning and pre-trained language models is a promising approach to improving user experiences in metaverse services.

Towards a small language model powered chain-of-reasoning for open-domain question answering

  • Jihyeon Roh;Minho Kim;Kyoungman Bae
    • ETRI Journal
    • /
    • v.46 no.1
    • /
    • pp.11-21
    • /
    • 2024
  • We focus on open-domain question-answering tasks that involve a chain-of-reasoning, which are primarily implemented using large language models. With an emphasis on cost-effectiveness, we designed EffiChainQA, an architecture centered on the use of small language models. We employed a retrieval-based language model to address the limitations of large language models, such as the hallucination issue and the lack of updated knowledge. To enhance reasoning capabilities, we introduced a question decomposer that leverages a generative language model and serves as a key component in the chain-of-reasoning process. To generate training data for our question decomposer, we leveraged ChatGPT, which is known for its data augmentation ability. Comprehensive experiments were conducted using the HotpotQA dataset. Our method outperformed several established approaches, including the Chain-of-Thoughts approach, which is based on large language models. Moreover, our results are on par with those of state-of-the-art Retrieve-then-Read methods that utilize large language models.

Question Analysis for Constraint-based KBQA (제약기반 KBQA를 위한 질문분석)

  • Heo, Jeong;Lee, Hyung-Jik;Bae, Kyoung-Man;Kim, Hyun-Ki
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.665-668
    • /
    • 2018
  • 본 논문에서는 제약기반 KBQA를 위한 질문분석 기술에 대해서 소개한다. 핵심개체와 속성에 대한 연결 모호성을 해소하기 위해서 세 종류의 제약정보 활용을 제안한다. 세 종류의 제약은 핵심개체에 기반한 제약, 의미정답유형에 기반한 제약, 속성단서에 기반한 제약이다. 제약을 위해서는 질문 내에서 핵심개체와 속성단서를 인식하여야 한다. 본 논문에서는 규칙과 휴리스틱에 기반한 핵심개체와 속성단서 인식 방법에 대해서 소개한다. 핵심개체와 속성단서 인식 실험은 구축된 229개의 질문을 대상으로 수행하였으며, 핵심개체와 속성단서가 모두 정확히 인식된 정확도(accuracy)가 57.21%이고, KBQA 대상질문에서는 71.08%를 보였다.

  • PDF