• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.491-494
• /
• 2020

최근 언어 모델(Language model)의 기술이 발전함에 따라, 자연어처리 분야의 많은 연구들이 좋은 성능을 내고 있다. 정해진 주제 없이 인간과 잡담을 나눌 수 있는 오픈 도메인 대화 시스템(Open-domain dialogue system) 분야에서 역시 이전보다 더 자연스러운 발화를 생성할 수 있게 되었다. 언어 모델의 발전은 응답 선택(Response selection) 분야에서도 모델이 맥락에 알맞은 답변을 선택하도록 하는 데 기여를 했다. 하지만, 대화 모델이 답변을 생성할 때 일관성 없는 답변을 만들거나, 구체적이지 않고 일반적인 답변만을 하는 문제가 대두되었다. 이를 해결하기 위하여 화자의 개인화된 정보에 기반한 대화인 페르소나(Persona) 대화 데이터 및 태스크가 연구되고 있다. 페르소나 대화 태스크에서는 화자마다 주어진 페르소나가 있고, 대화를 할 때 주어진 페르소나와 일관성이 있는 답변을 선택하거나 생성해야 한다. 이에 우리는 대용량의 코퍼스(Corpus)에 사전 학습(Pre-trained) 된 언어 모델을 활용하여 더 적절한 답변을 선택하는 페르소나 대화 시스템에 대하여 논의한다. 언어 모델 중 자기 회귀(Auto-regressive) 방식으로 모델링을 하는 GPT-2, DialoGPT와 오토인코더(Auto-encoder)를 이용한 BERT, 두 모델이 결합되어 있는 구조인 BART가 실험에 활용되었다. 이와 같이 본 논문에서는 여러 종류의 언어 모델을 페르소나 대화 태스크에 대해 비교 실험을 진행했고, 그 결과 Hits@1 점수에서 BERT가 가장 우수한 성능을 보이는 것을 확인할 수 있었다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.19 no.1
• /
• pp.105-112
• /
• 2024

In contemporary society, the expression of emotions and self-reflection are considered pivotal factors with a positive impact on stress management and mental well-being, thereby highlighting the significance of journaling. However, traditional journaling methods have posed challenges for many individuals due to constraints in terms of time and space. Recent rapid advancements in chatbot and emotion analysis technologies have garnered significant attention as essential tools to address these issues. This paper introduces an artificial intelligence chatbot that integrates the GPT-3 model and emotion analysis technology, detailing the development process of a system that automatically generates journals based on users' chat data. Through this system, users can engage in journaling more conveniently and efficiently, fostering a deeper understanding of their emotions and promoting positive emotional experiences.

• Journal of IKEEE
• /
• v.28 no.1
• /
• pp.53-64
• /
• 2024

With the advancement of NLP(Natural Language Processing) models, conversational AI such as ChatGPT is becoming increasingly popular. To enhance processing speed and reduce power consumption, it is important to implement the Transformer algorithm, which forms the basis of the latest natural language processing models, in hardware. In particular, the multi-head attention and feed-forward network, which analyze the relationships between different words in a sentence through matrix multiplication, are the most computationally intensive core algorithms in the Transformer. In this paper, we propose a new variable systolic array based on the number of input words to enhance matrix multiplication speed. Quantization maintains Transformer accuracy, boosting memory efficiency and speed. For evaluation purposes, this paper verifies the clock cycles required in multi-head attention and feed-forward network and compares the performance with other multipliers.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.558-562
• /
• 2023

최근 ChatGPT의 등장으로 텍스트 생성 모델에 대한 관심이 높아지면서, 텍스트 생성 태스크의 성능평가를 위한 지표에 대한 연구가 활발히 이뤄지고 있다. 전통적인 단어 빈도수 기반의 성능 지표는 의미적인 유사도를 고려하지 못하기 때문에, 사전학습 언어모델을 활용한 지표인 BERTScore를 주로 활용해왔다. 하지만 이러한 방법은 사전학습 언어모델이 학습한 데이터에 존재하는 편향으로 인해 공정성에 대한 문제가 우려된다. 이에 따라 한국어 사전학습 언어모델의 편향에 대한 분석 연구가 필요한데, 기존의 한국어 사전학습 언어모델의 편향 분석 연구들은 사회에서 생성되는 다양한 속성 별 편향을 고려하지 못했다는 한계가 있다. 또한 서로 다른 언어를 기반으로 하는 사전학습 언어모델들의 속성 별 편향을 비교 분석하는 연구 또한 미비하였다. 이에 따라 본 논문에서는 한국어 사전학습 언어모델의 속성 별 편향을 비교 분석하며, 영어 사전학습 언어모델이 갖고 있는 속성 별 편향과 비교 분석하였고, 비교 가능한 데이터셋을 구축하였다. 더불어 한국어 사전학습 언어모델의 종류 및 크기 별 편향 분석을 통해 적합한 모델을 선택할 수 있도록 가이드를 제시한다.

• Journal of Digestive Cancer Research
• /
• v.12 no.1
• /
• pp.38-43
• /
• 2024

Artificial Intelligence (AI) is the intelligence of machines or software, in contrast to human intelligence. Generative AI technologies, such as ChatGPT, have emerged as valuable research tools that facilitate brainstorming ideas for research, analyzing data, and writing papers. However, their application has raised concerns regarding authorship, copyright, and ethical considerations. Many organizations of medical journal editors, including the International Committee of Medical Journal Editors and the World Association of Medical Editors, do not recognize AI technology as an author. Instead, they recommend that researchers explicitly acknowledge the use of AI tools in their research methods or acknowledgments. Similarly, international journals do not recognize AI tools as authors and insist that human authors should be accountable for the research findings. Therefore, when integrating AI-generated content into papers, it should be disclosed under the responsibility of human authors, and the details of the AI tools employed should be specified to ensure transparency and reliability.

• Journal of Advanced Navigation Technology
• /
• v.28 no.3
• /
• pp.369-374
• /
• 2024

This study aims to improve the accessibility and efficiency of sign language education for both hearing impaired and non-deaf people. To this end, we developed VR realistic sign language education content that integrates hand tracking technology and conversational AI. Through this content, users can learn sign language in real time and experience direct communication in a virtual environment. As a result of the study, it was confirmed that this integrated approach significantly improves immersion in sign language learning and contributes to lowering the barriers to sign language learning by providing learners with a deeper understanding. This presents a new paradigm for sign language education and shows how technology can change the accessibility and effectiveness of education.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.490-493
• /
• 2024

현재 다양한 분야에서 AI 가 사용되고 있다. 최근에는 소프트웨어공학 관점에서 요구 사항 분석에 Chat GPT 와 같은 LLM 모델을 적용하고 있다. 하지만 1) 대부분의 생성형 AI 는 불투명한 공정을 통해 3D 이미지가 생성하고, 3D 이미지를 생성할 때마다 다른 이미지를 생성한다. 이에 따라 동일한 인물이나 사물을 사용하고 싶은 사용자들은 동일한 객체가 들어간 그림을 일관성 있게 생성할 수 없다. 2) 또한 LLM 과 이미지 생성 AI 와의 결합이 시도 되고 있지만 문장 의미 분석 성능이 부족하다. 이를 해결하기 위해, 자연어 요구사항을 언어학적 기법을 통해 분석하고, 분석 결과를 기반으로 UML 시퀀스 다이어그램 및 3D 객체 생성 메커니즘을 제안한다. 즉 언어학적 분석 기법을 통해, 요구사항의 정확한 의미와 속성을 추출한다. 그런 다음 추출된 정보를 시퀀스 다이어그램과 매핑하여 3D 객체 이미지를 생성한다. 제안하는 방법을 통해 3D 객체 생성의 소프트웨어 개발 공정 사용으로 생산성을 높여 시간과 비용을 단축할 수 있을 것으로 기대한다.

• Communications of Mathematical Education
• /
• v.37 no.4
• /
• pp.591-614
• /
• 2023

For a long time, mathematics education institutions such as NCTM(National Council of Teachers of Mathematics) have emphasized the essential role of writing, and recent surveys by the Ministry of Education report a decline in foundational academic skills in the post-COVID19 period. The purpose of this study is to redefine the significance of mathematics writing in mathematics education, focusing on competencies highlighted in the field, particularly in the areas of problem-solving, communication, and reasoning. The research findings indicate that writing in problem-solving enhances cognitive organization, fostering the ability to grasp concepts and methods. Writing in communication builds confidence through the meta-cognitive process, and writing in inference allows self-awareness of step-by-step identification of areas lacking understanding. Particularly in the future society where artificial intelligence(AI) is utilized, changes in the learning environment necessitate research for the establishment of authenticity judgment through writing and the cultivation of a proper writing culture.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.34 no.3
• /
• pp.451-461
• /
• 2024

Recently, various AI chatbots based on large language models have been released. Chatbots have the advantage of providing users with quick and easy information through interactive prompts, making them useful in various fields such as question answering, writing, and programming. However, a vulnerability in chatbots called "prompt injection attacks" has been proposed. This attack involves injecting instructions into the chatbot to violate predefined guidelines. Such attacks can be critical as they may lead to the leakage of confidential information within large language models or trigger other malicious activities. However, the vulnerability of Korean prompts has not been adequately validated. Therefore, in this paper, we aim to generate malicious Korean prompts and perform attacks on the popular chatbot to analyze their feasibility. To achieve this, we propose a system that automatically generates malicious Korean prompts by analyzing existing prompt injection attacks. Specifically, we focus on generating malicious prompts that induce harmful expressions from large language models and validate their effectiveness in practice.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.24 no.2
• /
• pp.79-86
• /
• 2024

In this paper, we propose a virtual learning platform based on various interactions that occur during real class activities, rather than the existing content delivery-oriented learning metaverse platform. In this study, we provide a learning environment that combines AI and a virtual environment to solve problems by talking to real-time AI. Also, we applied G-learning techinques to improve class immersion. The Virtual Edu platform developed through this study provides an effective learning experience combining self-directed learning, simulation of interest through games, and PBL teaching method. And we propose a new educational method that improves student participation learning effectiveness. Experiment, we test performance on learninng activity based on real-time video classroom. As a result, it was found that the class progressing stably.