• 정보관리학회지
• /
• 제38권1호
• /
• pp.221-242
• /
• 2021

본 연구에서는 사전학습 된 언어 모델을 기반으로 양방향 게이트 순환 유닛 모델과 조건부 랜덤 필드 모델을 활용하여 참고문헌을 구성하는 메타데이터를 자동으로 인식하기 위한 연구를 진행하였다. 실험 집단은 2018년에 발행된 학술지 40종을 대상으로 수집한 PDF 형식의 학술문헌 53,562건을 규칙 기반으로 분석하여 추출한 참고문헌 161,315개이다. 실험 집합을 구축하기 위하여 PDF 형식의 학술 문헌에서 참고문헌을 분석하여 참고문헌의 메타데이터를 자동으로 추출하는 연구를 함께 진행하였다. 본 연구를 통하여 가장 높은 성능을 나타낸 언어 모델을 파악하였으며 해당 모델을 대상으로 추가 실험을 진행하여 학습 집합의 규모에 따른 인식 성능을 비교하고 마지막으로 메타데이터별 성능을 확인하였다.

• 대한음성학회지:말소리
• /
• 제51호
• /
• pp.151-165
• /
• 2004

For educational and research purposes, a Korean speech recognition platform is designed. It is based on an object-oriented architecture and can be easily modified so that researchers can readily evaluate the performance of a recognition algorithm of interest. This platform will save development time for many who are interested in speech recognition. The platform includes the following modules: Noise reduction, end-point detection, met-frequency cepstral coefficient (MFCC) and perceptually linear prediction (PLP)-based feature extraction, hidden Markov model (HMM)-based acoustic modeling, n-gram language modeling, n-best search, and Korean language processing. The decoder of the platform can handle both lexical search trees for large vocabulary speech recognition and finite-state networks for small-to-medium vocabulary speech recognition. It performs word-dependent n-best search algorithm with a bigram language model in the first forward search stage and then extracts a word lattice and restores each lattice path with a trigram language model in the second stage.

• 말소리와 음성과학
• /
• 제7권4호
• /
• pp.3-8
• /
• 2015

In this paper, we investigate an input dimension reduction method using continuous word vector in deep neural network language model. In the proposed method, continuous word vectors were generated by using Google's Word2Vec from a large training corpus to satisfy distributional hypothesis. 1-of-${\left|V\right|}$ coding discrete word vectors were replaced with their corresponding continuous word vectors. In our implementation, the input dimension was successfully reduced from 20,000 to 600 when a tri-gram language model is used with a vocabulary of 20,000 words. The total amount of time in training was reduced from 30 days to 14 days for Wall Street Journal training corpus (corpus length: 37M words).

• 디지털융복합연구
• /
• 제6권1호
• /
• pp.83-91
• /
• 2008

The objective of this research is to assess various factors affecting E-learning in Korean language education. In this research, we hypothesize that several factors such as absorption, motivation and tutors increase the educational effects of E-learning and ultimately affect learning attitude and satisfaction of students in E-learning. To discuss the hypothesis, we analyzed survey data of 300 students who were taking E-learning class of Korean language for three weeks in October 2007 based on Structural Equation Model. The result of our analysis shows that the factors such as absorption, motivation, tutors have positive effects on E-learning in Korean language education and positive influence on learning attitude and satisfaction on students as well.

• ETRI Journal
• /
• 제39권4호
• /
• pp.455-466
• /
• 2017

This study focuses on a method for sequential data augmentation in order to alleviate data sparseness problems. Specifically, we present corpus expansion techniques for enhancing the coverage of a language model. Recent recurrent neural network studies show that a seq2seq model can be applied for addressing language generation issues; it has the ability to generate new sentences from given input sentences. We present a method of corpus expansion using a sentence-chain based seq2seq model. For training the seq2seq model, sentence chains are used as triples. The first two sentences in a triple are used for the encoder of the seq2seq model, while the last sentence becomes a target sequence for the decoder. Using only internal resources, evaluation results show an improvement of approximately 7.6% relative perplexity over a baseline language model of Korean text. Additionally, from a comparison with a previous study, the sentence chain approach reduces the size of the training data by 38.4% while generating 1.4-times the number of n-grams with superior performance for English text.

• 지능정보연구
• /
• 제29권1호
• /
• pp.27-40
• /
• 2023

스마트 기기의 보급률 증가와 더불어 코로나의 영향으로 스마트 기기를 통한 미디어 콘텐츠의 소비가 크게 늘어나고 있다. 이러한 추세와 더불어 OTT 플랫폼을 통한 미디어 콘텐츠의 시청과 콘텐츠의 양이 늘어나고 있어서 해당 플랫폼에서의 콘텐츠 추천이 중요해지고 있다. 콘텐츠 기반 추천 관련 기존 연구들은 콘텐츠의 특징을 가리키는 메타 데이터를 활용하는 경우가 대부분이었고 콘텐츠 자체의 내용적인 메타 데이터를 활용하는 경우는 부족한 상황이다. 이에 따라 본 논문은 콘텐츠의 내용적인 부분을 설명하는 제목과 시놉시스를 포함한 다양한 텍스트 데이터를 바탕으로 유사한 콘텐츠를 추천하고자 하였다. 텍스트 데이터를 학습하기 위한 모델은 한국어 언어모델 중에 성능이 우수한 KLUE-RoBERTa-large를 활용하였다. 학습 데이터는 콘텐츠 제목, 시놉시스, 복합 장르, 감독, 배우, 해시 태그 정보를 포함하는 2만여건의 콘텐츠 메타 데이터를 사용하였으며 정형 데이터로 구분되어 있는 여러 텍스트 피처를 입력하기 위해 해당 피처를 가리키는 스페셜 토큰으로 텍스트 피처들을 이어붙여서 언어모델에 입력하였다. 콘텐츠들 간에 3자 비교를 하는 방식과 테스트셋 레이블링에 다중 검수를 적용하여 모델의 유사도 분류 능력을 점검하는 테스트셋의 상대성과 객관성을 도모하였다. 콘텐츠 메타 텍스트 데이터에 대한 임베딩을 파인튜닝 학습하기 위해 장르 분류와 해시태그 분류 예측 태스크로 실험하였다. 결과적으로 해시태그 분류 모델이 유사도 테스트셋 기준으로 90%이상의 정확도를 보였고 기본 언어모델 대비 9% 이상 향상되었다. 해시태그 분류 학습을 통해 언어모델의 유사 콘텐츠 분류 능력이 향상됨을 알 수 있었고 콘텐츠 기반 필터링을 위한 언어모델의 활용 가치를 보여주었다.

• 인지과학
• /
• 제12권1_2호
• /
• pp.1-9
• /
• 2001

본 논문에서는 각기다른 장소에 다양한 형태로 분산되어 있는 여러 가지 언어자원들을 웹 기반에서 객체화시키는 모델을 제안한다. 웹 기반에서 객체화된 언어자원들은 다양한 응용 시스템 개발에 간단한 방법으로 이용되어 강력한 자연언어처리 응용 시스템을 구성할 수 있다. 또한, 초기 개발 이후에 이루어진 각 언어자원들의 개량은 별도의 처리과정 없이 자동으로 각 응용 시스템에 반영되므로 효과적인 유지보수가 가능하다는 장점이 있다. 제안한 모델의 적합성을 검증하기 위해 사전 개발 시스템 YDK2000를 설계하고 구현하였다. 개발한 YDK 2000은 기존의 각종 사전의 여러 가지 사전정보를 통합할 수 있을 뿐 아니라 여러 자연언어처리 시스템들과의 인터넷 접속을 통해 언어처리를 위한 사전정보를 손쉽게 통합할 수 있어 고품질의 사전을 개발할 수 있다.

• 한국초등수학교육학회지
• /
• 제23권3호
• /
• pp.305-321
• /
• 2019

국제결혼 및 이민으로 인한 급격한 인구학적 변화로 우리나라는 다문화 사회로 이미 이행되고 있으며 이에 따라 다문화 학생을 위한 교육적 관심의 필요성이 야기되었다. 특히, 모국어가 타언어이면서 한국어로 학습하는 한국어학습자(Korean Language Learners)를 위한 교과학습 지원의 필요성이 절실한 상황이다. 본 연구는 영어학습자(English Language Learners)를 위해 미국에서 개발된 SIOP 모델 중 우리나라의 교실 상황에 적합한 전략을 선택하고 이를 한국어학습자에게 적용하여 수학적 의사소통의 특징과 수학적 오류의 변화 가능성에 대해 분석하는 것을 목적으로 한다. 구체적으로 5학년 2학기 합동과 대칭 단원의 7차시에 걸쳐 SIOP 모델을 적용한 후에 나타나는 한국어학습자의 수학적 의사소통 양상과 수학적 오류를 분석하였다. 본 연구의 결과는 한국어학습자의 특성을 파악하고 향후 교과 학습에 대한 방향성을 설정하는 데 시사점을 제공할 것으로 기대된다.

• 지능정보연구
• /
• 제23권2호
• /
• pp.71-88
• /
• 2017

언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

• 컴퓨터교육학회논문지
• /
• 제9권2호
• /
• pp.89-99
• /
• 2006

본 논문은 인지신경과학의 연구 방법으로 주로 사용되는 어휘판단과제LDT:ILexical decision task) 시 보이는 언어현상을 모사할 수 있는 계산주의 모델(computational model)을 제안한다. 제안하는 모델은 LDT 시 언어와 독립적으로 관찰되는 언어현상인 빈도효과, 어휘성효과, 단어유사성효과, 시각적쇠퇴효과, 의미점화효과, 그리고 반복점화효과 등을 모사할 수 있도록 설계되었다. 실험결과, 제안한 모델은 통계적으로 유의미하게 빈도효과, 어휘성 효과, 단어유사성 효과, 시각적 쇠퇴효과 그리고 의미점화 효과를 모사할 수 있었으며, LDT 시 인간 피험자와 유사한 양상의 수행 양식을 보였다.