• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.257-260
• /
• 2020

사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.419-422
• /
• 2021

본 논문은 한국어와 영어 코퍼스 93GB를 활용하여 구축한 대형 사전학습기반 언어모델인 KE-T5를 소개한다. KE-T5는 한국어와 영어 어휘 64,000개를 포함하는 대규모의 언어모델로 다양한 한국어처리와 한국어와 영어를 모두 포함하는 번역 등의 복합언어 태스크에서도 높은 성능을 기대할 수 있다. KE-T5의 활용은 대규모의 언어모델을 기반으로 영어 수준의 복잡한 언어처리 태스크에 대한 연구들을 본격적으로 시작할 수 있는 기반을 마련하였다.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.341-353
• /
• 1993

기존의 한국어 형태소 해석 시스템들은 철자 변화형 어절에 대한 처리가 매우 효율적이지 못했다. 대개가 문제를 일으키는 형태소들의 변형들을 모두 사전에 등록하여 후처리 형태로 다루려 하거나, 각 형태/음운 규칙을 적용한 다음 거기에 대응하는 후보 단어들을 사전 검색을 통해 확인하는 방법들을 취하고 있다. 그러나 이러한 방법들은 과다한 사전 정보의 중복이나 계산의 중복으로 인하여 비효율적인 면을 많이 내포한다. 또한, 기존의 한국어 형태소 시스템들은 거의 모두가 형태소해석 엔진과 언어학적인 지식(특히, 철자 규칙과 형태소 배열 규칙)이 제대로 분리되지 않아 시스템 확장이 매우 어려웠다. 이 논문에서는, 철자 변화형 어절을 후처리에 의하지 않고, 사전 검색과 함께 하나의 오토마타에 의해 처리하면서, 형태소 해석시 발생하는 중복 계산을 최대한 배경하고, 또한 형태소 해석 엔진과 언어학적인 지식을 완전히 분리하여 시스템의 확장성을 한층 높인, 효율적인 한국어 형태소 해석 시스템 DDAG를 소개한다. 이 시스템의 주요 알고리즘의 계산적인 복잡도는 n이 입력 어절의 길이이고, m이 입력 어절을 이루고 있는 형태소의 최대 수라고 할 때 다음과 같이 분석된다: (1) 철자 변화의 처리와 사전 검색 부분의 계산적인 복잡도는 $O(n^2)$이고, (2) 형태소 배열 검사와 모든 가능한 결과를 출력해 내는 부분은 $O(2^m)$이다. 여기에서 m의 실질적인 값은 복잡한 한국어 용언의 경우 최대 8이다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.613-618
• /
• 2022

효과적인 자연어 처리를 위해 제안된 Transformer 구조의 등장 이후, 이를 활용한 대규모 언어 모델이자 사전학습 모델인 BERT, GPT, OPT 등이 공개되었고, 이들을 한국어에 보다 특화한 KoBERT, KoGPT 등의 사전학습 모델이 공개되었다. 자연어 처리 모델의 확보를 위한 학습 자원이 늘어나고 있지만, 사전학습 모델을 각종 응용작업에 적용하기 위해서는 데이터 준비, 코드 작성, 파인 튜닝 및 저장과 같은 복잡한 절차를 수행해야 하며, 이는 다수의 응용 사용자에게 여전히 도전적인 과정으로, 올바른 결과를 도출하는 것은 쉽지 않다. 이러한 어려움을 완화시키고, 다양한 기계 학습 모델을 사용자 데이터에 보다 쉽게 적용할 수 있도록 AutoML으로 통칭되는 자동 하이퍼파라미터 탐색, 모델 구조 탐색 등의 기법이 고안되고 있다. 본 연구에서는 한국어 사전학습 모델과 한국어 텍스트 데이터를 사용한 자연어 처리 모델 산출 과정을 정형화 및 절차화하여, 궁극적으로 목표로 하는 예측 모델을 자동으로 산출하는 시스템의 설계를 소개한다.

• Proceedings of the Korean Society for Language and Information Conference
• /
• 2003.06a
• /
• pp.79-99
• /
• 2003

한국어의 동사성 명사와 형용사성 명사는 경동사와 결합하여 문장의 서술어 역할을 하는데 이때에 명사는 보어 자질을 경동사에 전달하고 이렇게 결합한 후에 생성되는 서술어 복합체가 술어로 역할 한다. 이번 구문분석 시스템 연구에서는 LKB 시스템을 통해 한국어에서 체언과 결합하는 격조사의 처리와 용언과 결합하는 어미의 처리 및 동사/형용사성 명사가 경동사에 보어 자질을 전달하여 술어 복합체를 이루는 현상을 집중적으로 다룬다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2002.05a
• /
• pp.76-81
• /
• 2002

인터넷의 발달 등으로 많은 정보들이 문서화되기도 하고 그런 정보들이 공유되고 있는 지금, 언어학이나 전산학의 요구를 함께 충족시킬 수 있는 문법 모델 개발의 필요성이 극대화되고 있다. 이 글은 한국어 품사 분류에 대해서 국어학과 전산학에서의 처리 방법과 결과를 검토하고 정리하여 우리말의 특성을 잘 설명하면서도 국어를 전산 처리하는데도 도움을 줄 수 있는 품사분류를 제안하는데 그 목적이 있다. 한국어의 특성을 고려하여 음운, 형태, 통 어, 의미 정보를 함께 처리할 수 있는 어휘부 중심의 문법인 HPSG의 모형을 도입하여 한국어 품사 분류를 정보 전달에 기반을 두어 자질 체계와 통합 연산을 핵심으로 기술하려고 한다. 문법기술은 주로 자질 구조를 속성과 값의 행렬인 AVM(attribute-value matrices)으로 제시할 것이다.

• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.141-149
• /
• 1992

본 논문에서는 자연언어 처리 시스템에서 사용할 수 있는 단어의 개념 정보에 대해 연구한다. 그러기 위해 언어의 실생활에서의 쓰임 - 연세대학교 사전 편찬실의 연세 말뭉치 -을 바탕으로 한국어의 동사와 명사에 대해 개념을 조사, 분류하였으며 그 개념들이 한국어 문장 분석기에 어떻게 이용되는가를 보인다.

• Annual Conference on Human and Language Technology
• /
• 1989.10a
• /
• pp.39-43
• /
• 1989

컴퓨터에 의한 한글정보처리의 주체는 한글이며, 객체는 그 처리도구인 컴퓨터라는 전제하에서 한글문자의 개별성에 의한 주체적 파악을 통하여, 한국어 정보처리에 최적한 코드로의 개선안을 제안한다. 개선안의 구체적 대상 범주로서 최근의 한국어 정보처리의 응용분야인 자연언어처리, 문자인식, 음성 인식 및 합성, 전자출판등이 점차 확대되어 가고 있다는 관점에서 보아서 기존의 코드가 가지고 있는 문제점을 분석하고 이들에 최적한 코드는 무엇이며 어떠한 성격을 가져야 하며, 그들이 기존의 코드가 중요시하던 처리효율이나 저장 효율의 문제에 어떠한 영향을 미치는지에 대하여 해당 알고리즘을 개발하고 이들에 대한 평가를 해보인다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.311-315
• /
• 2021

근래의 자연어처리 분야에서는 잘 만들어진 도구(Library)를 이용하여 생산성 높은 개발과 연구가 활발하게 이뤄지고 있다. 이 중에 대다수는 깊은 학습(Deep-Learning, 딥러닝) 기반인데, 이런 모델들은 학습 속도가 느리고, 비용이 비싸고, 사용(Run-Time) 속도도 느리다. 이뿐만 아니라 라벨(Label)의 가짓수가 굉장히 많거나, 라벨의 구성이 단어마다 달라질 수 있는 의미분별(동형이의어, 다의어 번호 태깅) 분야에서 딥러닝은 굉장히 비효율적인 문제가 있다. 이런 문제들은 오히려 기존의 얕은 학습(Shallow-Learning)기반 모델에서는 없던 것들이지만, 최근의 연구경향에서 딥러닝 비중이 급격히 증가하면서, 멀티스레딩 같은 고급 기능들을 지원하는 얕은 학습 기반 언어모델이 새로이 개발되지 않고 있었다. 본 논문에서는 학습과 태깅 모두에서 멀티스레딩을 지원하고, 딥러닝에서 연구된 드롭아웃 기법이 구현된 자연어처리 도구인 혼합 자질 가변 표지기 ManiFL(Manifold Feature Labelling : ManiFL)을 소개한다. 본 논문은 실험을 통해서 ManiFL로 다의어태깅이 가능함을 보여주고, 딥러닝과 CRFsuite에서 높은 성능을 보여주는 개체명 인식에서도 비교할만한 성능이 나옴을 보였다.

• Annual Conference on Human and Language Technology
• /
• 1994.11a
• /
• pp.3-22
• /
• 1994

한국어의 이해와 산출의 심리적 과정에 대한 인지심리학적 연구들을 개관하였다. 한국어의 통사적 구분분석처리 과정, 대용어 참조 해결 과정, 덩이글 이해와 지식구조의 활용 과정, 말실수와 글쓰기의 언어 산출 과정 등에 대한 심리학적 연구를 개관하여 주요 실험적 결과와 이론적 의의를 논하고, 이들이 앞으로의 한국어 이해와 산출 과정에 대한 인지과학적 연구에 시사하는 바를 논의하였다.