• Journal of the Korea Convergence Society
• /
• v.7 no.4
• /
• pp.133-140
• /
• 2016

This paper suggests designing how to acquire English vocabularies on the smart devices based on the research that a ground-breaking English Vocabulary Learning Contents needs developing. The method makes it possible to develop the contents which helps the learners to master English vocabularies effectively on the smart phone. The core idea of this paper is as in the following: 1) English learners learn 30 vocabularies for three minutes 10 times (one is for a new learning and the other nine ones are for reviews about the first learning) a day. 2) Considering Ebbinghaus Forgetting Curve, the reflection study proposes to provide the learners with three times' reviews: one day, 10days, and 30days later from which they learn the first 30 vocabularies. This contents is mainly made up of 5 developing sections (1)to generate App ID, (2)to access App, (3)to set up Alarm, (4)to process Word learning, and (5)to monitor the result of learning. This proposed idea is optimized to enhance the memory by Ebbinghaus Periodic Repetitive Method, which makes the learners satisfied with their English vocabulary learning.

• Proceedings of the Korea Contents Association Conference
• /
• 2018.05a
• /
• pp.3-4
• /
• 2018

단어 의미 유사도 측정은 정보 검색이나 문서 분류와 같이 자연어 처리 분야 문제를 해결하는 데 큰 도움을 준다. 이러한 의미 유사도 측정 문제를 해결하기 위하여 단어의 계층 구조를 사용한 기존 연구들이 있지만 이는 단어의 의미를 고려하고 있지 않아 만족스럽지 못한 결과를 보여주고 있다. 본 논문에서는 국립국어원에서 간행한 표준국어대사전에 50만 어휘가 추가된 우리말샘 사전을 기반으로 하여 한국어 단어에 대한 계층 구조를 파악했다. 그리고 단어의 용례를 word2vec 모델에 학습하여 단어의 문맥적 의미를 파악하고, 단어의 정의문을 sent2vec 모델에 학습하여 단어의 사전적 의미를 파악했다. 또한, 구축된 계층 구조와 학습된 word2vec, sent2vec 모델을 이용하여 한국어 단어 의미 유사도를 측정하는 모델을 제안했다. 마지막으로 성능 평가를 통해 제안하는 모델이 기존 모델보다 향상된 성능을 보임을 입증했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.385-386
• /
• 2017

무료 온라인 교육환경은 교육의 기회를 제공함으로써, 지속적으로 관심이 높아지고 있으며 배움에 대한 노력에 중시하고 있다. 따라서 본 연구는 배움에 대한 노력을 온라인에서 자동으로 판단할 수 있는 최소학습 판단 시스템을 제안해 왔다. 최소학습을 판단하기 위해 온라인 비디오 강의에서 고빈도 단어를 추출하여 단어게임을 통해 판단하는데, 이때 고빈도 단어가 최소학습을 판단하기 위한 키워드로 사용할 수 있는지에 대한 검증 실험이 요구되었다. 따라서 본 논문은 워드임베딩을 이용하여 고빈도 단어와 키워드간의 유사도를 비교하여 고빈도 단어에 대한 검증 실험을 실시하였다. 실험 결과, 고빈도 단어가 온라인 비디오 강의를 대표할 수 있는 키워드로 사용될 수 있는 긍정적인 결과를 보였고 최소 학습을 판단하기 위한 요소(Feature)로 충분히 사용가능함을 보였다.

• KIISE Transactions on Computing Practices
• /
• v.23 no.4
• /
• pp.226-231
• /
• 2017

Word representation, an important area in natural language processing(NLP) used machine learning, is a method that represents a word not by text but by distinguishable symbol. Existing word embedding employed a large number of corpora to ensure that words are positioned nearby within text. However corpus-based word embedding needs several corpora because of the frequency of word occurrence and increased number of words. In this paper word embedding is done using dictionary definitions and semantic relationship information(hypernyms and antonyms). Words are trained using the feature mirror model(FMM), a modified Skip-Gram(Word2Vec). Sense similar words have similar vector. Furthermore, it was possible to distinguish vectors of antonym words.

• Annual Conference on Human and Language Technology
• /
• 2015.10a
• /
• pp.181-183
• /
• 2015

최근 자연어 처리 분야에서 딥 러닝이 많이 사용되고 있다. 자연어 처리에서 딥 러닝의 성능 향상을 위해 단어의 표현이 중요하다. 단어 임베딩은 단어 표현을 인공 신경망을 이용해 다차원 벡터로 표현한다. 본 논문에서는 word2vec의 Skip-gram과 negative-sampling을 이용하여 단어 임베딩 학습을 한다. 단어 임베딩 학습 데이터로 한국어 어휘지도 UWordMap의 용언의 필수논항 의미 제약 정보를 이용하여 구성했으며 250,183개의 단어 사전을 구축해 학습한다. 실험 결과로는 의미 제약 정보를 이용한 단어 임베딩이 유사성을 가진 단어들이 인접해 있음을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.156-160
• /
• 2014

본 논문은 사전 데이터를 바탕으로 한글 뜻풀이를 하여 한글 단어를 맞추는 앱 어플리케이션 '한글아 놀자'의 설계에 대하여 서술한다. '한글아 놀자'는 게임을 통하여 사용자가 쉽게 한글 단어를 학습 할 수 있도록 만들어진 앱 어플리케이션으로 기존의 유아를 대상으로 하는 유사한 어플리케이션들과 달리 특정 층을 대상으로 잡지 않아, 일반인도 흥미를 가지고 학습 할 수 있고 따라서 다양한 사용자 층을 확보 하여 한글 학습의 접근성을 향상 시킬 수 있도록 하였다. 또한 어플리케이션의 중요한 특징 중 하나로 게임을 진행 하며 잘 몰랐던 단어들은 오답 노트를 통하여 피드백을 해주고, 사용자의 선택에 따라 자신의 단어장에 추가하여 언제든지 복습해 볼 수 있도록 하여 지속적인 학습이 가능하도록 하였다. 그 외에도 '한글아 놀자'는 사전 데이터를 가지고 동작하기 때문에 일상생활에서 잘 쓰이지 않는 단어, 옛말, 사자성어등도 학습이 가능하도록 하여 한글의 활용성을 높이고 사용자가 접하는 단어의 다양성을 높이는데 주력하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.237-240
• /
• 2020

사전학습 언어모델은 다양한 자연어처리 작업에서 높은 성능을 보였다. 하지만, 사전학습 언어모델은 문장 내 문맥 정보만을 학습하기 때문에 단어간 의미관계 정보를 추론하는데는 한계가 있다. 최근에는, 사전학습 언어모델이 어느수준으로 단어간 의미관계를 이해하고 있는지 다양한 Probing Test를 진행하고 있다. 이러한 Test는 언어모델의 강점과 약점을 분석하는데 효율적이며, 한층 더 인간의 언어를 정확하게 이해하기 위한 모델을 구축하는데 새로운 방향을 제시한다. 본 논문에서는 대표적인 사전 학습기반 언어모델인 BERT(Bidirectional Encoder Representations from Transformers)의 단어간 의미관계 이해도를 평가하는 3가지 작업을 진행한다. 첫 번째로 단어 간의 상위어, 하위어 관계를 나타내는 IsA 관계를 분석한다. 두번째는 '자동차'와 '변속'과 같은 관계를 나타내는 PartOf 관계를 분석한다. 마지막으로 '새'와 '날개'와 같은 관계를 나타내는 HasA 관계를 분석한다. 결과적으로, BERT_base 모델에 대해서는 추론 결과 대부분에서 낮은 성능을 보이지만, BERT_large 모델에서는 BERT_base보다 높은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.167-171
• /
• 2020

문서 요약은 길이가 긴 원본 문서에서 의미를 유지한 채 짧은 문서나 문장을 얻어내는 작업을 의미한다. 딥러닝을 이용한 자연어처리 기술들이 연구됨에 따라 end-to-end 방식의 자연어 생성 모델인 sequence-to-sequence 모델을 문서 요약 생성에 적용하는 방법들이 연구되었다. 본 논문에서는 여러 자연어처리 분야에서 높은 성능을 보이고 있는 BERT 모델을 이용한 자연어 생성 모델에 복사 메커니즘과 강화 학습을 추가한 문서 요약 모델을 제안한다. 복사 메커니즘은 입력 문장의 단어들을 출력 문장에 복사하는 기술로 학습데이터에서 학습되기 힘든 고유 명사 등의 단어들에 대한 성능을 높이는 방법이다. 강화 학습은 정답 단어의 확률을 높이기 위해 학습하는 지도 학습 방법과는 달리 연속적인 단어 생성으로 얻어진 전체 문장의 보상 점수를 높이는 방향으로 학습하여 생성되는 단어 자체보다는 최종 생성된 문장이 더 중요한 자연어 생성 문제에 효과적일 수 있다. 실험결과 기존의 BERT 생성 모델 보다 복사 메커니즘과 강화 학습을 적용한 모델의 Rouge score가 더 높음을 확인 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.941-944
• /
• 2017

심층 학습에 기반을 둔 통계적 언어모형에서 가장 중요한 작업은 단어의 분산 표현(Distributed Representation)이다. 단어의 분산 표현은 단어 자체가 가지는 의미를 다차원 공간에서 벡터로 표현하는 것으로서, 워드 임베딩(word embedding)이라고도 한다. 워드 임베딩을 이용한 심층 학습 기반 통계적 언어모형은 전통적인 통계적 언어모형과 비교하여 성능이 우수한 것으로 알려져 있다. 그러나 워드 임베딩 역시 자료 부족분제에서 벗어날 수 없다. 특히 학습데이터에 나타나지 않은 단어(unknown word)를 처리하는 것이 중요하다. 본 논문에서는 고품질 한국어 워드 임베딩을 위하여 단어의 의미적 계층정보를 이용한 워드 임베딩 방법을 제안한다. 기존연구에서 제안한 워드 임베딩 방법을 그대로 활용하되, 학습 단계에서 목적함수가 입력 단어의 하위어, 동의어를 반영하여 계산될 수 있도록 수정함으로써 단어의 의미적 계층청보를 반영할 수 있다. 본 논문에서 제안한 워드 임베딩 방법을 통해 생성된 단어 벡터의 유추검사(analog reasoning) 결과, 기존 방법보다 5%가 증가한 47.90%를 달성할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.31-35
• /
• 1998

한국어에서 많이 사용되는 조사는 앞 명사의 종성에 따라 그 형태가 다르게 표기된다. 그런데 앞의 단어가 한글이 아닌 영어나 특수기호 등일 경우, 그 단어의 종성을 알아내는 일은 단순하지 않다. 본 논문에서는 영어가 명사로 쓰였을 경우, 그 단어 종성의 종류를 파악하여 적합한 형태의 조사를 자동으로 붙이는 방법을 제안하고, 실험한다. 제안된 방법은 기본적으로 결정트리(decision tree)와 같은 방법으로 영어 단어의 뒷글자부터 차례로 결정의 단서로 사용하였고, 분야에 맞도록 학습가능하다. 1,500단어로 학습한 후, 미학습 데이터에 대해 실험한 결과, 약 96%의 정확도를 보였고, 학습 데이터가 많아지면 정확도가 더 증가할 것으로 보인다.