• 제목/요약/키워드: Language models

검색결과 880건 처리시간 0.026초

웹상에서의 시뮬레이션 모델 공유를 위한 XML 기반 DEVS 마크업 언어 (An XML-based DEVS Markup Language for Sharing Simulation Models on the Web)

  • 김형도
    • 한국시뮬레이션학회논문지
    • /
    • 제8권1호
    • /
    • pp.113-138
    • /
    • 1999
  • Driven by the explosive expansion and acceptance of the Internet and its multimedia front-end, the Web, a new generation of the modeling and simulation tools have come up with the name of Web-Based Simulation (WBS). Most of WBS libraries inherit its powerful advantages from Java. However, there are cases where explicit specification of models or interface objects is more desirable than the black-box programs. This paper presents an XML-based DEVS (Discrete Event System Specification) markup language for sharing simulation models on the Web. DEVS provides a system-theoretic formalism for the language while XML supports platform-independent data access. This paper focuses on the design of such a language.

  • PDF

Europass and the CEFR: Implications for Language Teaching in Korea

  • Finch, Andrew Edward
    • 영어어문교육
    • /
    • 제15권2호
    • /
    • pp.71-92
    • /
    • 2009
  • Europass was established in 2005 by the European Parliament and the Council of Europe as a single framework for language qualifications and competences, helping citizens to gain accreditation throughout the European Community. In addition, the 1996 Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR) provides a common basis for language syllabi, curriculum guidelines, examination, and textbooks in Europe. This framework describes the required knowledge and skills, the cultural context, and the levels of proficiency that learners should achieve. In combination, Europass and the CEFR provide employers and educational institutes with internationally recognized standards. This paper proposes that current trends such as globalization and international mobility require a similar approach to accreditation in Asia. As jobs and workers become independent of national boundaries and restrictions, it becomes necessary to educate students as multilingual world citizens, using standards that are accepted around the world. It is suggested, therefore, that assessment models such as Europass and the CEFR, along with successful language teaching models in Europe and Canada, present opportunities of adaptation for the Korean education system. Finally, rigorous teacher training to internationally recognized levels is recommended, if Korea is to produce a workforce of highly-skilled, plurilingual world citizens.

  • PDF

구름(KULLM): 한국어 지시어에 특화된 거대 언어 모델 (KULLM: Learning to Construct Korean Instruction-following Large Language Models)

  • 이승준;이태민;이정우;장윤나;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.196-202
    • /
    • 2023
  • Large Language Models (LLM)의 출현은 자연어 처리 분야의 연구 패러다임을 전환시켰다. LLM의 핵심적인 성능향상은 지시어 튜닝(instruction-tuning) 기법의 결과로 알려져 있다. 그러나, 현재 대부분의 연구가 영어 중심으로 진행되고 있어, 다양한 언어에 대한 접근이 필요하다. 본 연구는 한국어 지시어(instruction-following) 모델의 개발 및 최적화 방법을 제시한다. 본 연구에서는 한국어 지시어 데이터셋을 활용하여 LLM 모델을 튜닝하며, 다양한 데이터셋 조합의 효과에 대한 성능 분석을 수행한다. 최종 결과로 개발된 한국어 지시어 모델을 오픈소스로 제공하여 한국어 LLM 연구의 발전에 기여하고자 한다.

  • PDF

Alzheimer's disease recognition from spontaneous speech using large language models

  • Jeong-Uk Bang;Seung-Hoon Han;Byung-Ok Kang
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.96-105
    • /
    • 2024
  • We propose a method to automatically predict Alzheimer's disease from speech data using the ChatGPT large language model. Alzheimer's disease patients often exhibit distinctive characteristics when describing images, such as difficulties in recalling words, grammar errors, repetitive language, and incoherent narratives. For prediction, we initially employ a speech recognition system to transcribe participants' speech into text. We then gather opinions by inputting the transcribed text into ChatGPT as well as a prompt designed to solicit fluency evaluations. Subsequently, we extract embeddings from the speech, text, and opinions by the pretrained models. Finally, we use a classifier consisting of transformer blocks and linear layers to identify participants with this type of dementia. Experiments are conducted using the extensively used ADReSSo dataset. The results yield a maximum accuracy of 87.3% when speech, text, and opinions are used in conjunction. This finding suggests the potential of leveraging evaluation feedback from language models to address challenges in Alzheimer's disease recognition.

오픈 소스 기반의 거대 언어 모델 연구 동향: 서베이 (A Survey on Open Source based Large Language Models)

  • 주하영;오현택;양진홍
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.193-202
    • /
    • 2023
  • 최근 대규모 데이터 세트로 학습된 거대 언어 모델들의 뛰어난 성능이 공개되면서 큰 화제가 되고 있다. 하지만 거대 언어 모델을 학습하고 활용하기 위해서는 초대용량의 컴퓨팅 및 메모리 자원이 필요하므로, 대부분의 연구는 빅테크 기업들을 중심으로 폐쇄적인 환경에서 진행되고 있었다. 하지만, Meta의 거대 언어 모델 LLaMA가 공개되면서 거대 언어 모델 연구들은 기존의 폐쇄적인 환경에서 벗어나 오픈 소스화되었고, 관련 생태계가 급격히 확장되어 가고 있다. 이러한 배경하에 사전 학습된 거대 언어 모델을 추가 학습시켜 특정 작업에 특화되거나 가벼우면서도 성능이 뛰어난 모델들이 활발히 공유되고 있다. 한편, 사전 학습된 거대 언어 모델의 학습데이터는 영어가 큰 비중을 차지하기 때문에 한국어의 성능이 비교적 떨어지며, 이러한 한계를 극복하기 위해 한국어 데이터로 추가 학습을 시키는 한국어 특화 언어 모델 연구들이 이루어지고 있다. 본 논문에서는 오픈 소스 기반의 거대 언어 모델의 생태계 동향을 파악하고 영어 및 한국어 특화 거대 언어 모델에 관한 연구를 소개하며, 거대 언어 모델의 활용 방안과 한계점을 파악한다.

A Survey of Automatic Code Generation from Natural Language

  • Shin, Jiho;Nam, Jaechang
    • Journal of Information Processing Systems
    • /
    • 제17권3호
    • /
    • pp.537-555
    • /
    • 2021
  • Many researchers have carried out studies related to programming languages since the beginning of computer science. Besides programming with traditional programming languages (i.e., procedural, object-oriented, functional programming language, etc.), a new paradigm of programming is being carried out. It is programming with natural language. By programming with natural language, we expect that it will free our expressiveness in contrast to programming languages which have strong constraints in syntax. This paper surveys the approaches that generate source code automatically from a natural language description. We also categorize the approaches by their forms of input and output. Finally, we analyze the current trend of approaches and suggest the future direction of this research domain to improve automatic code generation with natural language. From the analysis, we state that researchers should work on customizing language models in the domain of source code and explore better representations of source code such as embedding techniques and pre-trained models which have been proved to work well on natural language processing tasks.

Analysis of a crop growth model using Unified Modeling Language

  • Kim, Kwang Soo;Kim, Do-Gyeom;Kim, Sey Hyun;Hwang, Grim;Jeong, Haneul
    • 한국농림기상학회:학술대회논문집
    • /
    • 한국농림기상학회 2011년도 학술발표회
    • /
    • pp.12-14
    • /
    • 2011
  • Crop growth simulation models have been developed as research and management tools. When these models are needed to incorporate new knowledge on phenology and physiology of crops, programming languages have been used for development and documentation of these models. However, researchers may have limited skill in programming languages. Furthermore, software developer may find it challenging to improve the crop models because documentation of the models are rarely available. The Unified Modeling Language (UML) can provide a simple approach for development and documentation of model. A template for implementation of the model can be obtained using the UML, which would facilitate code re-use and model improvement.

  • PDF

FBML을 이용한 서로 다른 아바타 모델간의 제스처 통신 (Gesture Communications Between Different Avatar Models Using A FBML)

  • 이용후;김상운;아오끼요시나오
    • 전자공학회논문지CI
    • /
    • 제41권5호
    • /
    • pp.41-49
    • /
    • 2004
  • 인터넷 가상공간에서 서로 다른 언어 사이의 장벽을 극복하기 위한 방법으로 수화 통신 시스템이 연구되고 있다. 그러나 지금까지의 연구는 같은 유형의 아바타 만을 대상으로 하였기 때문에 모델 구조가 서로 다를 경우에는 적용할 수 없다는 문제가있다. 따라서 본 연구에서는 FBML (Facial Body Markup Language)을 이용하여 서로 다른 아바타들 간의 수화 제스처 통신을 구현하는 방법을 제안하였다. 즉, FBML을 정의하여 제스처를 위한 관절각 및 얼굴 표정 등 서로 다른 아바타 모델들 사이에 전달할 내용을 표준 문서로 만들었다. 본 방법은 윈도우 플렛폼에서 Visual C++와 Open Inventor 라이브러리를 이용하여 구현하였으며, 실험 결과 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 확인하였다.

거대언어모델 기반 특징 추출을 이용한 단기 전력 수요량 예측 기법 (Large Language Models-based Feature Extraction for Short-Term Load Forecasting)

  • 이재승;유제혁
    • 한국산업정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.51-65
    • /
    • 2024
  • 스마트 그리드에서 전력 시스템을 효과적으로 운영하기 위해서는 전력 수요량을 정확히 예측하는 것이 중요하다. 최근 기계학습 기술의 발달로, 인공지능 기반의 전력 수요량 예측 모델이 활발히 연구되고 있다. 하지만, 기존 모델들은 모든 입력변수를 수치화하여 입력하기 때문에, 이러한 수치들 사이의 의미론적 관계를 반영하지 못해 예측 모델의 정확도가 하락할 수 있다. 본 논문은 입력 데이터에 대하여 거대언어모델을 통해 추출한 특징을 이용하여 단기 전력 수요량을 예측하는 기법을 제안한다. 먼저, 입력변수를 문장 형식의 프롬프트로 변환한다. 이후, 가중치가 동결된 거대언어모델을 이용하여 프롬프트에 대한 특징을 나타내는 임베딩 벡터를 도출하고, 이를 입력으로 받은 모델을 학습하여 예측을 수행한다. 실험 결과, 제안 기법은 수치형 데이터에 기반한 예측 모델에 비해 높은 성능을 보였고, 프롬프트에 대한 거대언어모델의 주의집중 가중치를 시각화함으로써 예측에 있어 주요한 영향을 미친 정보를 확인하였다.

국어 교과 지원을 위한 ICT활용 교수.학습 모형 개발에 관한 연구 (Development of ICT Teaching-Learning Model for Supporting Subject of Korean)

  • 김영기;한선관;김수열
    • 정보교육학회논문지
    • /
    • 제7권3호
    • /
    • pp.331-339
    • /
    • 2003
  • 본 연구는 국어 교과를 지원하는 ICT활용 교수 학습 모형의 개발에 관한 내용이다. 우선 국어 교과에서 ICT 활용 교수 학습 모형을 개발하기 위한 모형 개발의 유형을 3가지 제안하고, 국어 교과에서 적용되는 교수 학습모형 및 ICT 활용유형 등의 문헌연구 및 교과분석을 통하여 ICT활용 교수.학습 모형을 개발함으로써, 교수 학습 모형을 중심으로 ICT 활용을 위한 방안을 제시하였다. 본 연구에서 개발된 국어과 ICT 활용 교수 학습 모형은 다른 교과에서 ICT를 활용한 교수 학습 모형을 설계하는데 활용될 것으로 기대되며, 또한 국어과 교수 학습에서 단순히 매체를 이용한 흥미유발의 수준에서만 ICT를 활용하는 것이 아니라 필요한 단계에서 적절한 ICT를 효과적으로 사용할 수 있게 하고, 국어과 수업에 대한 전문성 향상에도 도움이 될 것으로 기대된다.

  • PDF