• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.295-299
• /
• 2022

자원이 부족한 언어 환경에서 사전학습 언어모델 학습을 위한 대용량의 코퍼스를 구축하는데는 한계가 존재한다. 본 논문은 이러한 한계를 극복할 수 있는 Cross-lingual Post-Training (XPT) 방법론을 적용하여 비교적 자원이 부족한 한국어에서 해당 방법론의 효율성을 분석한다. 적은 양의 한국어 코퍼스인 400K와 4M만을 사용하여 다양한 한국어 사전학습 모델 (KLUE-BERT, KLUE-RoBERTa, Albert-kor)과 mBERT와 전반적인 성능 비교 및 분석 연구를 진행한다. 한국어의 대표적인 벤치마크 데이터셋인 KLUE 벤치마크를 사용하여 한국어 하위태스크에 대한 성능평가를 진행하며, 총 7가지의 태스크 중에서 5가지의 태스크에서 XPT-4M 모델이 기존 한국어 언어모델과의 비교에서 가장 우수한 혹은 두번째로 우수한 성능을 보인다. 이를 통해 XPT가 훨씬 더 많은 데이터로 훈련된 한국어 언어모델과 유사한 성능을 보일 뿐 아니라 학습과정이 매우 효율적임을 보인다.

• 말소리와 음성과학
• /
• 제13권1호
• /
• pp.45-51
• /
• 2021

End-to-end (E2E) automatic speech recognition (ASR) has achieved promising performance gains with the introduced self-attention network, Transformer. However, due to training time and the number of hyperparameters, finding the optimal hyperparameter set is computationally expensive. This paper investigates the impact of hyperparameters in the Transformer network to answer two questions: which hyperparameter plays a critical role in the task performance and training speed. The Transformer network for training has two encoder and decoder networks combined with Connectionist Temporal Classification (CTC). We have trained the model with Wall Street Journal (WSJ) SI-284 and tested on devl93 and eval92. Seventeen hyperparameters were selected from the ESPnet training configuration, and varying ranges of values were used for experiments. The result shows that "num blocks" and "linear units" hyperparameters in the encoder and decoder networks reduce Word Error Rate (WER) significantly. However, performance gain is more prominent when they are altered in the encoder network. Training duration also linearly increased as "num blocks" and "linear units" hyperparameters' values grow. Based on the experimental results, we collected the optimal values from each hyperparameter and reduced the WER up to 2.9/1.9 from dev93 and eval93 respectively.

• 영어어문교육
• /
• 제16권1호
• /
• pp.123-142
• /
• 2009

The present study used multi-faceted Rasch measurement to explore the characteristics and bias patterns of non-native raters when they scored L2 writing tasks. Three raters scored 254 writing tasks written by Korean university students on two topics adapted from the TOEFL Test of Written English (TWE). The written products were assessed using a five-category rating scale (Content, Organization, Language in Use, Grammar, and Mechanics). The raters only showed a difference in severity with regard to rating categories but not in task types. Overall, the raters scored Grammar most harshly and Organization most leniently. The results also indicated several bias patterns of ratings with regard to the rating categories and task types. In rater-task bias interactions, each rater showed recurring bias patterns in their rating between two writing tasks. Analysis of rater-category bias interaction showed that the three raters revealed biased patterns across all the rating categories though they were relatively consistent in their rating. The study has implications for the importance of rater training and task selection in L2 writing assessment.

• ETRI Journal
• /
• 제39권4호
• /
• pp.455-466
• /
• 2017

This study focuses on a method for sequential data augmentation in order to alleviate data sparseness problems. Specifically, we present corpus expansion techniques for enhancing the coverage of a language model. Recent recurrent neural network studies show that a seq2seq model can be applied for addressing language generation issues; it has the ability to generate new sentences from given input sentences. We present a method of corpus expansion using a sentence-chain based seq2seq model. For training the seq2seq model, sentence chains are used as triples. The first two sentences in a triple are used for the encoder of the seq2seq model, while the last sentence becomes a target sequence for the decoder. Using only internal resources, evaluation results show an improvement of approximately 7.6% relative perplexity over a baseline language model of Korean text. Additionally, from a comparison with a previous study, the sentence chain approach reduces the size of the training data by 38.4% while generating 1.4-times the number of n-grams with superior performance for English text.

• ETRI Journal
• /
• 제38권3호
• /
• pp.487-493
• /
• 2016

Two new methods are proposed for an unsupervised adaptation of a language model (LM) with a single sentence for automatic transcription tasks. At the training phase, training documents are clustered by a method known as Latent Dirichlet allocation (LDA), and then a domain-specific LM is trained for each cluster. At the test phase, an adapted LM is presented as a linear mixture of the now trained domain-specific LMs. Unlike previous adaptation methods, the proposed methods fully utilize a trained LDA model for the estimation of weight values, which are then to be assigned to the now trained domain-specific LMs; therefore, the clustering and weight-estimation algorithms of the trained LDA model are reliable. For the continuous speech recognition benchmark tests, the proposed methods outperform other unsupervised LM adaptation methods based on latent semantic analysis, non-negative matrix factorization, and LDA with n-gram counting.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.165-169
• /
• 2019

자연어 이해 모델은 대화 시스템의 핵심적인 구성 요소로서 자연어 문장에 대해 그 의도와 정보를 파악하여 의도(intent)와 슬롯(slot)의 형태로 분석하는 모델이다. 최근 연구에서 의도와 슬롯의 추정을 단일 합동 모델(joint model)을 이용하여 합동 학습(joint training)을 하는 연구들이 진행되고 있다. 합동 모델을 이용한 합동 학습은 의도와 슬롯의 추정 정보가 모델 내에서 암시적으로 교류 되도록 하여 의도와 슬롯 추정 성능이 향상된다. 본 논문에서는 기존 합동 모델이 암시적으로 추정 정보를 교류하는 데서 더 나아가 모델 내의 의도와 슬롯 추정 정보를 명시적으로 교류하도록 모델링하여 의도와 슬롯 추정 성능을 높일 수 있는 교차 게이트 메커니즘(Cross Gated Mechanism)을 제안한다.

• 컴퓨터교육학회논문지
• /
• 제20권5호
• /
• pp.35-47
• /
• 2017

본 연구에서는 2015 개정 교육과정에서 강조하고 있는 SW교육에 대한 초등 교사들의 전문성 함양을 위해 EPL 교사교육 프로그램을 TPACK 프레임워크의 요소를 고려하여 개발하였고, 실험집단에 적용하여 그 효과성을 검증하였다. 통제집단과 실험집단의 정보 교수효능감 사후검사의 t검정 결과, t=4.13(p<.001)으로 유의한 차이가 있었다. 실험집단의 종속표본 t검정 결과 t=4.57(p< .001)로 통계적으로 유의미한 상승을 보였다. 실험집단은 SW교육에서 사용할 수 있는 테크놀로지 교수내용지식(TPACK)을 이론적인 습득만 하는 것이 아니라, 테크놀로지 활용 방법에 대한 이해와 실습 기회가 연수 과정 전반에 포함되었기 때문에 정보 교수효능감 함양에 효과적이었다고 분석된다. 이는 향후의 SW교육 관련 교사교육 프로그램의 개발에서도 TPACK 프레임워크 요소를 고려하여 체계적으로 구성해야 함을 시사한다.

• 한국융합학회논문지
• /
• 제12권11호
• /
• pp.457-466
• /
• 2021

본 연구는 갱년기 여성들에게 취약하다고 알려진 기억력과 주의집중력, 언어기능을 증진시키기 위해 개발된 모바일 앱 기반 인지훈련 프로그램의 효과를 규명하고자 하였다. 기억력 저하를 호소하는 만 40세에서 60세 사이의 갱년기 여성 40명을 대상으로 실시하였다. 모바일 앱 기반의 인지훈련은 8주간의 프로그램으로 회기당 20~30분, 3회/주 수행하여 총 24회기였다. 조사는 기초조사를 포함한 사전조사와 사후조사로 진행되었다. 연구변수는 객관적 인지기능(전반적 인지기능, 기억력, 주의집중력, 언어기능)과 주관적 인지기능, 삶의 질이었다. 연구결과 전반적 인지기능(t=-8.688, p<.001)과 기억력(t=-4.765, p<.001), 주의집중력 정반응수(t=-7.293, p<.001), 언어기능 중 고빈도 단어에 대한 정반응수(Z=-2.179, p=.036), 저빈도 단어에 대한 정반응수(Z=-2.737, p=.009), 삶의 질(t=-3.358, p=.002)은 모두 통계적으로 유의하였으나 주관적 인지기능은 통계적으로 유의한 차이가 없는 것으로 나타났다. 기능성 앱을 통해 제공되었된 인지훈련 프로그램은 인지기능을 향상시키는데 도움을 주었으며 전문가의 개입 없이도 가정에서 접근하기 쉬운 인지 중재도구로 활용될 수 있을 것이다.

• 해양환경안전학회:학술대회논문집
• /
• 해양환경안전학회 2003년도 춘계학술발표회
• /
• pp.77-87
• /
• 2003

This paper describes recently developed PC based Aids to Navigation Training Simulator (AtoN-TS) using Virtual Reality Modeling language (VRML). The purpose of AtoN-TS is to train entry-level cadets to reduce the amount of sea-time training. The practical application procedure of VR technology to implement AtoN-TS is represented. The construction method of virtual waterway world, according to the guidelines of International Association of Lighthouse Authorities (IALA) is proposed. Design concepts and simulation experiments are also discussed. Results from trial tests and evaluations by subject assessment, provide practical insight on the importance of AtoN-TS.

• 말소리와 음성과학
• /
• 제1권1호
• /
• pp.77-86
• /
• 2009

This study observes how the combined intervention program effects on the acquisition reading pronunciation of Korean phonological process words and the acquisition aspects of each phonological process rules to four Korean learners whose first language is Chinese. The training program is the combination of multisensory Auditory, Visual and Kinethetic (AVK) approach, wholistic approach, and metalinguistic approach. The training purpose is to evaluate how accurately they read the words of the phonological process which have fortisization, nasalization, lateralization, intermediate sound /ㅅ/ (/${\int}iot"$/). We access how they read the untrained words which include the four factors above. The intervention effects are analyzed by the multiple probe across subjects design. The results indicate that the combined phonological process rule explanation and the words activity intervention affects the four Chinese subjects in every type of word. The implications of the study are these: First, it suggests the effect of Korean pronunciation intervention in a concrete way. Second, it offers how to evaluate the phonological process and how to train people who are learning Korean language.