• 제목/요약/키워드: Large Language Model, LLM

검색결과 40건 처리시간 0.028초

Zero-shot 기반 다중 문서 그라운딩된 대화 시스템 (Zero-shot Dialogue System Grounded in Multiple Documents)

  • 박준범;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.399-403
    • /
    • 2023
  • 본 논문에서는 다중 문서 기반의 대화 시스템을 통한 효율적인 정보 검색과 응답 생성에 중점을 둡니다. 대규모 데이터 집합에서 정확한 문서를 선택하는 데 필요한 검색의 중요성을 강조하며, 현재 검색 방법의 한계와 문제점을 지적합니다. 또한 더 자연스러운 답변을 생성하기 위해 대규모 언어 모델을 사용하게 되면서 fine-tuning 시에 발생하는 제약과 낭비를 모델의 제로샷 생성 능력을 활용하여 개선하려는 방안을 제안하며, 모델의 크기와 자원의 효율성에 대한 고려사항을 논의합니다. 우리의 접근 방식은 대규모 언어 모델을 프롬프트와 함께 다중 문서로 학습 없이 정보를 검색하고 응답을 생성하는 방향으로 접근하여 대화 시스템의 효율성과 유용성을 향상시킬 수 있음을 제시합니다.

  • PDF

원격 의료의 혁신 (A Study on Tools for Agent System Development)

  • 하소희;박보경;한성수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.602-603
    • /
    • 2024
  • 이 논문은 코로나 팬데믹 시대에 원격 의료 서비스의 중요성이 부상함에 따라, LLM(Large Language Model)과 웨어러블 기기를 활용한 의료 기술의 발전과 이를 통한 의료 서비스의 혁신에 대해 다루고 있다. 코로나 19 대응을 위해 원격 의료에 대한 법적 제한이 완화되며, 이에 따른 원격 의료 시스템의 확대를 언급하고 있다. LLM 을 활용한 의료 정보 관리와 웨어러블을 통한 건강 모니터링을 소개하며, 대화형 AI 를 통한 문의사항 처리와 2 차 처방, 실시간 번역 AI 기술 등의 기술적 혁신을 언급하고 있다. 이러한 기술들이 의료 서비스의 혁신과 개인 건강 관리에 새로운 차원을 열어주지만, 보안 문제와 디지털 격차 등의 문제가 동반될 수 있다고 경고하며, 이를 극복하기 위한 대책과 지속적인 개선이 필요하다고 강조하고 있다.

LLM 시스템의 정보 누출 위험 탐색 (A Study on LLM system vulnerability)

  • 박정환;김건희;이상근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.786-787
    • /
    • 2024
  • Large Language Model은 그 기능으로 말미암아 여러 애플리케이션에 통합되고 있다. 특히 OpenAI는 ChatGPT에 여러 세부 사항을 설정함으로써 차별화된 기능을 사용자가 제공할 수 있도록 한다. 하지만 최근 제시되는 프롬프트 연출 공격은 서비스의 핵심 요소를 쉽게 탈취할 수 있는 가능성을 제시한다. 본 연구는 지침 우회 방법론을 통해 기본 대비 공격의 성공률을 10%p 올렸다. 또한 유출공격을 평가할 수 있는 유효성과 성공률을 통해 모델의 방어 성능을 일반화한다.

온디바이스 소형언어모델 기술개발 동향 (Technical Trends in On-device Small Language Model Technology Development)

  • 김근용;윤기하;김량수;류지형;김성창
    • 전자통신동향분석
    • /
    • 제39권4호
    • /
    • pp.82-92
    • /
    • 2024
  • This paper introduces the technological development trends in on-device SLMs (Small Language Models). Large Language Models (LLMs) based on the transformer model have gained global attention with the emergence of ChatGPT, providing detailed and sophisticated responses across various knowledge domains, thereby increasing their impact across society. While major global tech companies are continuously announcing new LLMs or enhancing their capabilities, the development of SLMs, which are lightweight versions of LLMs, is intensely progressing. SLMs have the advantage of being able to run as on-device AI on smartphones or edge devices with limited memory and computing resources, enabling their application in various fields from a commercialization perspective. This paper examines the technical features for developing SLMs, lightweight technologies, semiconductor technology development trends for on-device AI, and potential applications across various industries.

Llama, OPT 모델을 활용한 Supervised Fine Tuning, Reinforcement Learning, Chain-of-Hindsight 성능 비교 (Comparing the performance of Supervised Fine-tuning, Reinforcement Learning, and Chain-of-Hindsight with Llama and OPT models)

  • 이현민;나승훈;임준호;김태형;류휘정;장두성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.217-221
    • /
    • 2023
  • 최근 몇 년 동안, Large Language Model(LLM)의 발전은 인공 지능 연구 분야에서 주요 도약을 이끌어 왔다. 이러한 모델들은 복잡한 자연어처리 작업에서 뛰어난 성능을 보이고 있다. 특히 Human Alignment를 위해 Supervised Fine Tuning, Reinforcement Learning, Chain-of-Hindsight 등을 적용한 언어모델이 관심 받고 있다. 본 논문에서는 위에 언급한 3가지 지시학습 방법인 Supervised Fine Tuning, Reinforcement Learning, Chain-of-Hindsight 를 Llama, OPT 모델에 적용하여 성능을 측정 및 비교한다.

  • PDF

한국어 악성 프롬프트 주입 공격을 통한 거대 언어 모델의 유해 표현 유도 (Inducing Harmful Speech in Large Language Models through Korean Malicious Prompt Injection Attacks)

  • 서지민;김진우
    • 정보보호학회논문지
    • /
    • 제34권3호
    • /
    • pp.451-461
    • /
    • 2024
  • 최근 거대 언어 모델을 기반으로 한 다양한 인공지능 챗봇이 출시되고 있다. 챗봇은 대화형 프롬프트를 통해 사용자에게 빠르고 간편하게 정보를 제공할 수 있다는 이점을 가지고 있어서 질의응답, 글쓰기, 프로그래밍 등 다양한 분야에서 활용되고 있다. 그러나 최근에는 챗봇의 취약점을 악용하는 '프롬프트 주입 공격'이 제안되었는데, 이는 챗봇이 기입력된 지시사항을 위반하도록 하는 공격이다. 이와 같은 공격은 거대 언어 모델 내부의 기밀 정보를 유출하거나 또 다른 악성 행위를 유발할 수 있어서 치명적이다. 반면 이들에 대한 취약점 여부가 한국어 프롬프트를 대상으로는 충분히 검증되지 않았다. 따라서 본 논문에서는 널리 사용되는 챗봇인 ChatGPT를 대상으로 악성 한국어 프롬프트를 생성하여 공격을 수행해보고, 이들에 대한 실행 가능성을 분석하고자 한다. 이를 위해 기존에 제안된 프롬프트 주입 공격 기법을 분석하여 악의적인 한국어 프롬프트를 자동으로 생성하는 시스템을 제안하고자 한다. 특히 유해 표현을 유도하는 악성 프롬프트를 중점적으로 생성하였고 이들이 실제 유효함을 보이도록 한다.

프롬프트 엔지니어링(Prompt Engineering)을 활용한 '진료수행시험 연습용 챗봇(CPX Practicing Chatbot)' 시범 개발 (Pilot Development of a 'Clinical Performance Examination (CPX) Practicing Chatbot' Utilizing Prompt Engineering)

  • 김준동;이혜윤;김지환;김창업
    • 대한한의학회지
    • /
    • 제45권1호
    • /
    • pp.203-214
    • /
    • 2024
  • Objectives: In the context of competency-based education emphasized in Korean Medicine, this study aimed to develop a pilot version of a CPX (Clinical Performance Examination) Practicing Chatbot utilizing large language models with prompt engineering. Methods: A standardized patient scenario was acquired from the National Institute of Korean Medicine and transformed into text format. Prompt engineering was then conducted using role prompting and few-shot prompting techniques. The GPT-4 API was employed, and a web application was created using the gradio package. An internal evaluation criterion was established for the quantitative assessment of the chatbot's performance. Results: The chatbot was implemented and evaluated based on the internal evaluation criterion. It demonstrated relatively high correctness and compliance. However, there is a need for improvement in confidentiality and naturalness. Conclusions: This study successfully piloted the CPX Practicing Chatbot, revealing the potential for developing educational models using AI technology in the field of Korean Medicine. Additionally, it identified limitations and provided insights for future developmental directions.

Evaluating the Current State of ChatGPT and Its Disruptive Potential: An Empirical Study of Korean Users

  • Jiwoong Choi;Jinsoo Park;Jihae Suh
    • Asia pacific journal of information systems
    • /
    • 제33권4호
    • /
    • pp.1058-1092
    • /
    • 2023
  • This study investigates the perception and adoption of ChatGPT (a large language model (LLM)-based chatbot created by OpenAI) among Korean users and assesses its potential as the next disruptive innovation. Drawing on previous literature, the study proposes perceived intelligence and perceived anthropomorphism as key differentiating factors of ChatGPT from earlier AI-based chatbots. Four individual motives (i.e., perceived usefulness, ease of use, enjoyment, and trust) and two societal motives (social influence and AI anxiety) were identified as antecedents of ChatGPT acceptance. A survey was conducted within two Korean online communities related to artificial intelligence, the findings of which confirm that ChatGPT is being used for both utilitarian and hedonic purposes, and that perceived usefulness and enjoyment positively impact the behavioral intention to adopt the chatbot. However, unlike prior expectations, perceived ease-of-use was not shown to exert significant influence on behavioral intention. Moreover, trust was not found to be a significant influencer to behavioral intention, and while social influence played a substantial role in adoption intention and perceived usefulness, AI anxiety did not show a significant effect. The study confirmed that perceived intelligence and perceived anthropomorphism are constructs that influence the individual factors that influence behavioral intention to adopt and highlights the need for future research to deconstruct and explore the factors that make ChatGPT "enjoyable" and "easy to use" and to better understand its potential as a disruptive technology. Service developers and LLM providers are advised to design user-centric applications, focus on user-friendliness, acknowledge that building trust takes time, and recognize the role of social influence in adoption.

초거대 인공지능의 국방 분야 적용방안: 새로운 영역 발굴 및 전투시나리오 모델링을 중심으로 (Application Strategies of Superintelligent AI in the Defense Sector: Emphasizing the Exploration of New Domains and Centralizing Combat Scenario Modeling)

  • 박건우
    • 문화기술의 융합
    • /
    • 제10권3호
    • /
    • pp.19-24
    • /
    • 2024
  • 미래의 군사 전투 환경은 현재의 군(軍) 인구 감소 및 변화하는 양상에 맞춰 국방 분야에서 인공지능(AI)의 역할과 중요성이 급격히 확대되고 있다. 특히, 민간에서의 AI(Artificial Intelligence) 개발은 OpenAI의 Chat-GPT 등장 이후 초거대 AI(Super-Giant AI, also known as Hyperscale AI), 즉 파운데이션 모델을 기반으로 새로운 영역에서 부상하고 있다. 미국 국방부는 CDAO(Chief Digital and AI Office) 산하의 Task Force Lima를 조직하여 LLM(Large Language Model)과 생성형 AI의 활용 방안에 대한 연구를 진행 중이며, 중국, 이스라엘 등 군사 선진국에서도 초거대 AI를 군에 적용하기 위한 연구를 수행 중이다. 따라서, 우리 군도 무기체계에 초거대 AI 모델의 활용 가능성과 적용분야에 대한 연구의 필요성이 대두되고 있다. 본 논문에서는 기존의 특화 AI와 초거대 AI(파운데이션 모델, Foundation Model)의 특징 및 장·단점을 비교하고, 무기체계에 적용될 수 있는 초거대 AI의 새로운 적용분야를 발굴하였다. 본 연구는 미래의 적용 분야와 잠재적인 도전과제에 대한 예측과 함께 초거대 인공지능을 국방작전에 효과적으로 통합하기 위한 통찰력을 제공하고, 선진화된 인공지능 시대에서의 국방 정책 개발, 국제 안보 전략을 형성하는 데 기여할 것으로 기대한다.

생성형 AI의 의료적 활용과 개인정보보호 (A Study on the Medical Application and Personal Information Protection of Generative AI)

  • 이수경
    • 의료법학
    • /
    • 제24권4호
    • /
    • pp.67-101
    • /
    • 2023
  • 생성형 AI의 활용은 교육계를 넘어서 이미 의료계에서도 의료 기기에 임상 소프트웨어 등의 도입 등으로 연구되고 있다. 생성형 AI는 대규모 대화형 언어모델을 활용하여 방대한 데이터를 이해하고 자료를 선별하는 시간과 에너지를 줄여주면서 사용자와 끊임없는 대화를 통한 정보의 전달이 가능하다. 바로 이러한 점이 인류에게 생성형 AI가 혁신적인 기술의 등장으로 인정받고 있는 점이기도 하다. 그러나 반면 사용자에게 제공되는 컨텐츠의 정합성은 출처나 근거 없이 사용자에게 판단의 영역으로 맡겨지고 있다. 그러나 이 글에서는 생성형 AI를 활용함에 있어서 가장 직접적으로 발생할 수 있는 쟁점을 우선적으로 살펴보기로 한다. 따라서 이 글에서는 생성형 AI의 대표적인 프로그램인 Chat GPT의 발전과 이용자의 활용에 대비하여 특히 개인정보 보호의 쟁점에 대하여 논의하였다. 이를 위하여 먼저 생성형 AI의 기술적인 특성을 살펴본 뒤에 발생 가능한 민사적 쟁점 가운데에서도 개인정보 보호에 관한 문제를 우선적으로 살펴보았다. 생성형 AI는 그 자체로서 학습 데이터의 편향이나 출처 없는 결과값의 제공 등 여러 문제점이 제기되고 있으나, 이러한 문제점은 윤리적 문제를 내포하는 것으로 당장 임상 소프트웨어로서 의료기기에서 활용될 경우 개인정보 보호법제와 보건의료데이터의 활용 가이드로 환자 혹은 이용자의 개인정보를 보호할 수 있을 것인가에 대한 의문에 대한 논의가 시급하다고 판단되었다. 우리나라의 개인정보 보호법제는 특히 보건의료데이터의 활용에서 특정 개인의 개인정보를 가명처리하고 비식별조치를 취하는 데에 적절한 프로세스를 갖추고 있는 것으로 보이나, 생성형 AI이 소프트웨어로서 의료기기에 적용되었을 경우에도 이 법제로서 개인정보 보호의 목적을 이루기에는 어려운 점이 있다. 임상 소프트웨어에서 활용될 생성형 AI의 기능을 대비하기 위해서는 생성형 AI에 걸맞는 개인정보 보호의 법제가 필요할 것으로 보인다.