• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.3-7
• /
• 2019

자연어 표상은 자연어가 가진 정보를 컴퓨터에게 전달하기 위해 표현하는 방법이다. 현재 자연어 표상은 학습을 통해 고정된 벡터로 표현하는 것이 아닌 문맥적 정보에 의해 벡터가 변화한다. 그 중 BERT의 경우 Transformer 모델의 encoder를 사용하여 자연어를 표상하는 기술이다. 하지만 BERT의 경우 학습시간이 많이 걸리며, 대용량의 데이터를 필요로 한다. 본 논문에서는 빠른 자연어 표상 학습을 위해 의미 정보와 BERT를 결합한 개념 언어 모델을 제안한다. 의미 정보로 단어의 품사 정보와, 명사의 의미 계층 정보를 추상적으로 표현했다. 실험을 위해 ETRI에서 공개한 한국어 BERT 모델을 비교 대상으로 하며, 개체명 인식을 학습하여 비교했다. 두 모델의 개체명 인식 결과가 비슷하게 나타났다. 의미 정보가 자연어 표상을 하는데 중요한 정보가 될 수 있음을 확인했다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.308-310
• /
• 2000

관찰학습(OLA: Observational Learning Algorithm)은 앙상블 네트워크의 각 구성 모델들이 아른 모델들을 관찰함으로써 얻어진 가상 데이터와 초기에 bootstrap된 실제 데이터를 학습에 함께 이용하는 방법이다. 본 논문에서는, 초기 학습 데이터 셋을 분할하고 분할된 각 데이터 셋에 대하여 앙상블의 구성 모델들을 전문화(specialize)시키는 방법을 적용하여 기존의 관찰학습 알고리즘을 개선시켰다. 제안된 알고리즘은 bagging 및 boosting과의 비교 실험에 의하여, 보다 적은 수의 구성 모델로 동일 내지 보다 나은 성능을 나타냄이 실험적으로 검증되었다.

• Journal of the Korean Society for information Management
• /
• v.19 no.4
• /
• pp.35-51
• /
• 2002

Inductive learning and classification techniques have been employed in various research and applications that organize textual data to solve the problem of information access. In this study, we develop hybrid model combination methods which incorporate the concepts and techniques for multiple modeling algorithms to improve the accuracy of text classification, and conduct experiments to evaluate the performances of proposed schemes. Boosted stacking, one of the extended stacking schemes proposed in this study yields higher accuracy relative to the conventional model combination methods and single classifiers.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.342-344
• /
• 1999

신경트리(evolutionary neural trees)는 트리 구조의 신경망 모델로서 진화 알고리즘으로 학습하기에 적합한 구조이다. 본 연구에서는 진화 신경트리를 시계열 예측에 적용하였다. 시계열 데이터는 대개 잡음이 포함되어 있으며 동역학적인 특성을 지닌다. 본 논문에서는 견고한 예측 결과를 획득하기 위해 한 개의 신경트리가 아닌 여러개의 신경트리를 결합하여 예측 모델을 구성하는 committee machine을 소개한다. 출력 패턴가에 correlation이 최소가 되도록 상이한 신경트리를 선택하여 결합함으로써 모델 결합 효과를 최대화하는 방법을 사용하였다. 인공적인 잡음을 포함한 시계열 예측 문제와 실세계 데이터에 대한 실험에서 예측에 대한 정확도가 단일 모델을 사용한 경우 보다 향상되었다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 1998.10a
• /
• pp.297-302
• /
• 1998

본 논문에서는 월드와이드웹에 기반한 학습자 중심의 통합 가상교육시스템 CyberClass를 설계하고 구현한 방법을 소개한다. 기존의 가상교육시스템은 학습자 중심의 상호작용 유형을 분석하여 이에 따른 적당한 상호작용 모델을 제시하지 않고 기능면에서의 사용도구 및 방법만을 제시함으로써 각 기능들이 자연스럽게 통합되지 못하였다. 따라서 전통적인 교육 방식인 강의실 수업에 참여한 학습자들이 가지는 현장감이나 친밀감에서 오는 커다란 교육적 이득을 제공하지 못하였다. 본 논문에서 개발한 가상교육시스템 CyberClass는 학습자 중심의 상호작용유형을 분석하고 이를 기반으로 상호작용모델을 제시한다. 그리고 제시된 모델에 기반하여 학습자와 교수, 학습자와 학습자 나아가 학습자와 가상교육시스템간의 상호작용에 기반한 시스템을 설계하였다. 따라서 학습자의 상호작용 모델에 기반함으로써 학습 참여도나 학습 능률의 향상을 기대할 수 있다. CyberClass는 학습자 중심의 상호작용을 위해 비동기공유 기공과 동기고유 기능을 모두 지원한다. 이들의 공유 기능들은 유기적으로 결합하고 직관적인 학습자 인터페이스를 제공함으로써 학습자에게 기능의 다양성에 따른 학습의 부담을 줄이고 자연스런 학습과정이 유도되도록 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.391-394
• /
• 2011

사용자의 감정을 자동으로 인식하는 연구는 사용자 중심의 서비스를 제공할 때 중요한 요소이다. 인간은 하나의 감정을 다양하게 분류하여 인식한다. 그러나 기계학습을 통해 감정을 인식하려고 할 때 감정을 단일값으로 취급하는 방법만으로는 좋은 성능을 기대하기 어렵다. 따라서 본 논문에서는 비감독 학습과 감독학습을 결합한 감정인식 모델을 제시하였다. 제안된 모델의 핵심은 비감독 학습을 이용하여 인간처럼 한 개의 감정을 다양한 하부 감정으로 분류하고, 이렇게 분류된 감정을 감독학습을 통해 성능을 향상 시키는 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.348-349
• /
• 2016

교수자와 학습자 활동에 대한 정보를 피드백하여 사용자 스스로 동기부여와 참여를 증대시키기 위해 학습분석이 활용되고 있다. 이는 교수-학습 지원 시스템(LMS, LCSM 등)에서 교수자와 학습자 상호작용에서 발생한 데이터를 기반으로 한다. 이러한 데이터를 보다 유용하게 활용하기 위해서는 데이터 모델이 필요하다. 이에 본 연구에서는 사용자 중심의 교수-학습 활동 데이터를 표현하기 위한 데이터 모델을 제안한다. 이는 사용자와 교수-학습 활동을 결합하여 표현한 것이다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.473-476
• /
• 2020

개체명 인식에 적용된 대부분의 신경망 모델들에서 CRFs와 결합을 통해 성능 향상을 하였다. 그러나 최근 대용량 데이터로 사전 학습한 모델을 활용하는 경우, 기 학습된 많은 유의미한 파라미터들로 인해 CRFs의 영향력이 비교적 작아졌다. 따라서 본 논문에서는 한국어 대용량 말뭉치로 사전 학습한 ELECTRA 모델에서의 CRFs 가 개체명 인식에 미치는 영향을 확인해보고자 한다. 모델의 입력 단위로 음절 단위와 Wordpiece 단위로 사전 학습된 두 가지의 모델을 사용하여 미세 조정을 통해 개체명 인식을 학습하였다. 실험을 통해서 두 모델에 대하여 각각 CRFs 층의 유무에 따른 성능을 비교해 보았다. 그 결과로 ELECTRA 기반으로 사전 학습된 모델에서 CRFs를 통한 F1-점수 향상을 보였다.

• The Journal of the Acoustical Society of Korea
• /
• v.21 no.4
• /
• pp.407-414
• /
• 2002

In this paper, we present a method that automatically generates concatenate morpheme based language models to improve the performance of Korean large vocabulary continuous speech recognition. The focus was brought into improvement against recognition errors of monosyllable morphemes that occupy 54% of the training text corpus and more frequently mis-recognized. Knowledge-based method using POS patterns has disadvantages such as the difficulty in making rules and producing many low frequency concatenate morphemes. Proposed method automatically selects morpheme-pairs from training text data based on measures such as frequency, mutual information, and unigram log likelihood. Experiment was performed using 7M-morpheme text corpus and 20K-morpheme lexicon. The frequency measure with constraint on the number of morphemes used for concatenation produces the best result of reducing monosyllables from 54% to 30%, bigram perplexity from 117.9 to 97.3. and MER from 21.3% to 17.6%.

• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.333-337
• /
• 2017

본 논문에서는 개체명 인식과 언어 모델의 다중 학습을 이용한 한국어 개체명 인식 방법을 제안한다. 다중 학습은 1 개의 모델에서 2 개 이상의 작업을 동시에 분석하여 성능 향상을 기대할 수 있는 방법이지만, 이를 적용하기 위해서 말뭉치에 각 작업에 해당하는 태그가 부착되어야 하는 문제가 있다. 본 논문에서는 추가적인 태그 부착 없이 정보를 획득할 수 있는 언어 모델을 개체명 인식 작업과 결합하여 성능 향상을 이루고자 한다. 또한 단순한 형태소 입력의 한계를 극복하기 위해 입력 표상을 자소 및 형태소 품사의 임베딩으로 확장하였다. 기계 학습 방법은 순차적 레이블링에서 높은 성능을 제공하는 Bi-directional LSTM CRF 모델을 사용하였고, 실험 결과 언어 모델이 개체명 인식의 오류를 효과적으로 개선함을 확인하였다.