• 제목/요약/키워드: Korean Language Model

검색결과 1,580건 처리시간 0.03초

대규모 언어 모델 기반 한국어 휴지 예측 연구 (A Study on Korean Pause Prediction based Large Language Model)

  • 나정호;이정;나승훈;정정범;최맹식;이충희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.14-18
    • /
    • 2023
  • 본 연구는 한국어 음성-텍스트 데이터에서 보편적으로 나타난 휴지의 실현 양상을 분석하고, 이를 토대로 데이터셋을 선별해 보편적이고 규격화된 한국어 휴지 예측을 위한 모델을 제안하였다. 이를 위해 전문적인 발성 훈련을 받은 성우 등의 발화가 녹음된 음성-텍스트 데이터셋을 수집하고 MFA와 같은 음소 정렬기를 사용해 휴지를 라벨링하는 등의 전처리를 하고, 다양한 화자의 발화에서 공통적으로 나타난 휴지를 선별해 학습데이터셋을 구축하였다. 구축된 데이터셋을 바탕으로 LLM 중 하나인 KULLM 모델을 미세 조정하고 제안한 모델의 휴지 예측 성능을 평가하였다.

  • PDF

멀티미디어 수화 콘텐츠의 Semantic Logic 플랫폼 연구 (A Study on Semantic Logic Platform of multimedia Sign Language Content)

  • 정회준;박대우;한경돈
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권10호
    • /
    • pp.199-206
    • /
    • 2009
  • 초고속 인터넷의 발달로 멀티미디어 수화 콘텐츠가 청각장애인의 수화교육에 활용되고 있다. 수화교육에서 사용되는 대부분 콘텐츠는 한글단어에 대한 수화표현을 수화동영상으로 보여주는 내용이다. 수화를 처음 배우거나, 수화에 익숙하지 않은 사용자들은 수화특성을 이해하기 어렵고, 수화표현에 어려움을 나타내고 있다. 본 논문에서는 온라인에서 수화표현을 학습하기 위해서 수화가 가지고 있는 특성을 참고하고, Semantic Logic을 적용한 멀티미디어 동영상기반의 수화 콘텐츠 모형에 대한 플랫폼 설계를 연구하고자 한다.

OWL DL을 사용한 GPM 핵심 모델의 구현 (Implementation of GPM Core Model Using OWL DL)

  • 최지웅;박호병;김형진;김명호
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.31-42
    • /
    • 2010
  • GPM(Generic Product Model)은 원자력 플랜트의 라이프 사이클 데이터를 통합, 공유하기 위하여 일본의 Hitachi에서 개발한 공통 데이터 모델이다. GPM은 추상 모델 성격의 GPM 핵심 모델과 핵심 모델의 기술을 위한 구현 언어 그리고 구현 언어로 작성된 참조 라이브러리로 구성되어 있다. GPM 핵심 모델은 객체들 사이의 의미가 부여된 관계 정의를 통하여 객체 의미 관계 네트워크 모델을 구성할 수 있는 특성이 있다. 초기의 GPM은 GPM 핵심 모델의 특성을 반영한 신택스의 GPML이라는 구현 언어를 개발하여 제공하였으나 원자력 플랜트 라이프 사이클동안 다양한 목적으로 GPM 데이터 모델에 접근하는 이기종 애플리케이션들과의 상호운용성을 위하여 XML을 기반으로 하는 GPM-XML로 교체되었다. 그러나 현재 GPM-XML을 사용하여 구축한 GPM 데이터 모델이 객체 의미 관계 네트워크 모델로서 활용되기 위한 GPM-XML 기반의 연구가 미비한 상태이다. 따라서 본 논문에서는 객체 의미 관계 네트워크와 유사한 성격의 온톨로지를 기술할 수 있으며 이를 지원하는 기술 표준 및 도구들이 이미 활용 가능한 수준에 있는 OWL을 GPM 핵심 모델을 위한 구현 언어로서 제안한다. OWL은 XML 기반의 RDF/XML 형식으로 기술될 수 있으므로 상호운용성 또한 보장받을 수 있다. 본 논문은 OWL의 세 가지 하위 언어 사양 중 추론기능을 완벽히 제공받을 수 있는 가운데 문법적 제약이 가장 덜 엄격한 OWL DL을 사용한다. 본 논문은 OWL DL을 GPM 핵심 모델의 구현 언어로서 사용하기 위하여 GPM과 OWL 두 모델 사이의 차이점을 도출한 후 이를 해소할 수 있는 방법을 제안하며 이 방법을 적용하여 GPML로 작성된 참조 라이브러리를 OWL DL 기반의 온톨로지로 변환하여 구축하는 방법을 기술한다.

The Loom-LAG for syntax analysis Adding a language-independent level to LAG

  • Schulze, Markus
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.411-420
    • /
    • 2002
  • The left-associative grammar model (LAG) has been applied successfully to the morphologic and syntactic analysis of various european and asian languages. The algebraic definition of the LAG is very well suited for the application to natural language processing as it inherently obeys de Saussure's second law (de Saussure, 1913, p. 103) on the linear nature of language, which phrase-structure grammar (PSG) and categorial grammar (CG) do not. This paper describes the so-called Loom-LAGs (LLAG) -a specialization of LAGs for the analysis of natural language. Whereas the only means of language-independent abstraction in ordinary LAG is the principle of possible continuations, LLAGs introduce a set of more detailed language-independent generalizations that form the so-called loom of a Loom-LAG. Every LLAG uses the very smut loom and adds the language-specific information in the form of a declarative description of the language -much like an ancient mechanised Jacquard-loom would take a program-card providing the specific pattern for the cloth to be woven. The linguistic information is formulated declaratively in so-called syntax plans that describe the sequential structure of clauses and phrases. This approach introduces the explicit notion of phrases and sentence structure to LAG without violating de Saussure's second law iud without leaving the ground of the original algebraic definition of LAG, LLAGS can in fact be shown to be just a notational variant of LAG -but one that is much better suited for the manual development of syntax grammars for the robust analysis of free texts.

  • PDF

연구데이터 관점에서 본 거대언어모델 품질 평가 기준 제언 (A Proposal of Evaluation of Large Language Models Built Based on Research Data)

  • 한나은;서수정;엄정호
    • 정보관리학회지
    • /
    • 제40권3호
    • /
    • pp.77-98
    • /
    • 2023
  • 본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

수화 패턴 인식을 위한 2단계 신경망 모델 (Two-Stage Neural Networks for Sign Language Pattern Recognition)

  • 김호준
    • 한국지능시스템학회논문지
    • /
    • 제22권3호
    • /
    • pp.319-327
    • /
    • 2012
  • 본 논문에서는 착용식 추적장치나 표식 등의 보조 도구를 사용하지 않는 환경의 동영상 데이터로부터 수화 패턴을 인식하는 방법론에 관하여 고찰한다. 시스템 설계 및 구현에 관한 주제로서 특징점의 추출기법, 특징데이터의 표현기법 및 패턴 분류기법에 관한 방법론을 제시하고 그 유용성을 고찰한다. 일련의 동영상으로 표현되는 수화패턴에 대하여 특징점의 공간적 위치에 대한 변이 뿐만 아니라 시간차원의 변화를 고려한 특징데이터의 표현방법을 제시하며, 방대한 데이터에 의한 분류기의 크기 문제와 계산량의 문제를 개선하기 위하여 효과적으로 특징수를 줄일 수 있는 특징추출 방법을 소개한다. 패턴 분류과정에서 점진적 학습(incremental learning)이 가능한 신경망 모델을 제시하고 그 동작특성 및 학습효과를 분석한다. 또한 학습된 분류모델로부터 특징과 패턴 클래스 간의 상대적 연관성 척도를 정의하고, 이로부터 효과적인 특징을 선별하여 성능저하 없이 분류기의 규모를 최적화 할 수 있음을 보인다. 제안된 내용에 대하여 여섯 가지 수화패턴을 대상으로 적용한 실험을 통하여 유용성을 평가한다.

BERT와 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템 (Korean Contextual Information Extraction System using BERT and Knowledge Graph)

  • 유소엽;정옥란
    • 인터넷정보학회논문지
    • /
    • 제21권3호
    • /
    • pp.123-131
    • /
    • 2020
  • 인공지능 기술의 비약적 발전과 함께 사람의 언어를 다루는 자연어 처리 분야 역시 활발하게 연구가 진행되고 있다. 특히 최근에는 구글에서 공개한 언어 모델인 BERT는 대량의 코퍼스를 활용해 미리 학습시킨 모델을 제공함으로써 자연어 처리의 여러 분야에서 좋은 성능을 보이고 있다. BERT에서 다국어 모델을 지원하고 있지만 한국어에 바로 적용했을 때는 한계점이 존재하기 때문에 대량의 한국어 코퍼스를 이용해 학습시킨 모델을 사용해야 한다. 또한 텍스트는 어휘, 문법적인 의미만 담고 있는 것이 아니라 전후 관계, 상황과 같은 문맥적인 의미도 담고 있다. 기존의 자연어 처리 분야에서는 어휘나 문법적인 의미를 중심으로 연구가 주로 이루어졌다. 텍스트에 내재되어 있는 문맥 정보의 정확한 파악은 맥락을 이해하는 데에 있어 중요한 역할을 한다. 단어들의 관계를 이용해 연결한 지식그래프는 컴퓨터에게 쉽게 문맥을 학습시킬 수 있는 장점이 있다. 본 논문에서는 한국어 코퍼스를 이용해 사전 학습된 BERT 모델과 지식 그래프를 이용해 한국어 문맥 정보를 추출하는 시스템을 제안하고자 한다. 텍스트에서 중요한 요소가 되는 인물, 관계, 감정, 공간, 시간 정보를 추출할 수 있는 모델을 구축하고 제안한 시스템을 실험을 통해 검증한다.

다양한 연속밀도 함수를 갖는 HMM에 대한 우리말 음성인식에 관한 연구 (The Study of Korean Speech Recognition for Various Continue HMM)

  • 우인성;신좌철;강흥순;김석동
    • 전기전자학회논문지
    • /
    • 제11권2호
    • /
    • pp.89-94
    • /
    • 2007
  • 본 논문은 연속 밀도 함수를 갖는 HMM별 한국어 연속 음성인식에 관한 연구이다. 여기서 우리는 밀도 함수가 2개에서 44개까지 갖는 연속 HMM모델에서 가장 효율적인 연속 음성인식을 위한 방법을 제시한다. 음성 모델은 36개로 구성한 기본음소를 사용한 CI-Model과 3,000개로 구성한 확장음소를 사용한 CD-Model을 사용하였고, 언어 모델은 N-gram을 이용하여 처리하였다. 이 방법을 사용하여 500개의 문장과 6,486개의 단어에 대하여 화자 독립으로 CI Model에서 최고 94.4%의 단어인식률과 64.6%의 문장인식률을 얻었고, CD Model에서는98.2%의 단어인식률과 73.6%의 문장인식률을 안정적으로 얻었다.

  • PDF

PWIM 활용 한국어 초급 어휘교육 (Vocabulary Education for Korean Beginner Level Using PWIM)

  • 정연숙;이병운
    • 한국어교육
    • /
    • 제29권3호
    • /
    • pp.325-344
    • /
    • 2018
  • The purpose of this study is to summarize PWIM (Picture Words Inductive Model) which is one of learner-centered vocabulary teaching-learning models, and suggest ways to implement them in Korean language education. The pictures that are used in the Korean language education field help visualize the specific shape, color, and texture of the vocabulary that is the learning target; thus, helping beginner learners to recognize the meaning of the sound. Visual material stimulates the intrinsic schema of the learner and not only becomes a 'bridge' connecting the mother tongue and the Korean language, but also reduces difficulty in learning a foreign language because of the ambiguity between meaning and sound in Korean and all languages. PWIM shows commonality with existing learning methods in that it uses visual materials. However, in the past, the teacher-centered learning method has only imitated the teacher because the teacher showed a piece-wise, out-of-life photograph and taught the word. PWIM is a learner-centered learning method that stimulates learners to find vocabulary on their own by presenting visual information reflecting the context. In this paper, PWIM is more suitable for beginner learners who are learning specific concrete vocabulary such as personal identity (mainly objects), residence and environment, daily life, shopping, health, climate, and traffic. The purpose of this study was to develop a method of using PWIM suitable for Korean language learners and teaching procedures. The researchers rearranged the previous research into three steps: brainstorming and word organization, generalization of semantic and morphological rules of extracted words, and application of words. In the case of PWIM, you can go through all three steps at once. Otherwise, it is possible to divide the three steps of PWIM and teach at different times. It is expected that teachers and learners using the PWIM teaching-learning method, which uses realistic visual materials, will enable making an effective class together.

Zero-shot Korean Sentiment Analysis with Large Language Models: Comparison with Pre-trained Language Models

  • Soon-Chan Kwon;Dong-Hee Lee;Beak-Cheol Jang
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권2호
    • /
    • pp.43-50
    • /
    • 2024
  • 본 논문은 GPT-3.5 및 GPT-4와 같은 대규모 언어 모델의 한국어 감성 분석 성능을 ChatGPT API를 활용한 zero-shot 방법으로 평가하고, 이를 KoBERT와 같은 사전 학습된 한국어 모델들과 비교한다. 실험을 통해 영화, 게임, 쇼핑 등 다양한 분야의 한국어 감성 분석 데이터셋을 사용하여 모델들의 효율성을 검증한다. 실험 결과, LMKor-ELECTRA 모델이 F1-score 기준으로 가장 높은 성능을 보여주었으며, GPT-4는 특히 영화 및 쇼핑 데이터셋에서 높은 정확도와 F1-score를 기록하였다. 이는 zero-shot 학습 방식의 대규모 언어 모델이 특정 데이터셋에 대한 사전 학습 없이도 한국어 감성 분석에서 높은 성능을 발휘할 수 있음을 시사한다. 그러나 일부 데이터셋에서의 상대적으로 낮은 성능은 zero-shot 기반 방법론의 한계점으로 지적될 수 있다. 본 연구는 대규모 언어 모델의 한국어 감성 분석 활용 가능성을 탐구하며, 이 분야의 향후 연구 방향에 중요한 시사점을 제공한다.