• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.257-260
• /
• 2020

사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2010.07a
• /
• pp.411-412
• /
• 2010

전통적으로 자연어 텍스트로부터의 감정인식 연구는 감정 키워드에 기반한다. 그러나 감정 키워드만을 이용하면 자연어 문장이 원래 갖고 있는 통사정보나 의미정보는 잃어버리게 된다. 이를 극복하기 위해 본 논문에서는 자연어 텍스트를 Predicate Logic 형태로 변환하여 감정 정보처리의 기반데이터로 사용한다. Predicate Logic형태로 변환하기 위해서 의존 문법 구문분석기를 사용하였다. 이렇게 생성된 Predicate 데이터 중 감정 정보를 갖고 있는 Predicate만을 찾아내는데 이를 위해 Emotional Predicate Dictionary를 구축하였고 이 사전에는 하나의 Predicate마다 미리 정의된 개념 클래스로 사상 시킬 수 있는 정보를 갖고 있다. 개념 클래스는 감정정보를 갖고 있는지, 어떤 감정인지, 어떤 상황에서 발생하는 감정인지에 대한 정보를 나타낸다. 자연어 텍스트가 Predicate으로 변환되고 다시 개념 클래스로 사상되고 나면 KBANN으로 구현된 Lazarus의 감정 생성 규칙에 적용시켜 최종적으로 인식된 감정을 판단한다. 실험을 통해 구현된 시스템이 인간이 인식한 감정과 약 70%이상 유사한 인식 결과를 나타냄을 보인다.

• Annual Conference on Human and Language Technology
• /
• 1990.11a
• /
• pp.149-155
• /
• 1990

MS-DOS 명령을 대신하는 자연어 인터페이스를 연구하였다. 자연어로 입력되는 한국어 문장을 형태소분석, 구문분석, 의미분석, 개념분석을 통해 대응되는 일련의 MS-DOS 명령을 생성한다. 형태소 분석에서는 Tabular Parsing법을 사용하였고, 구문분석에서는 문법적인 수식-피수식 관계를 확대하여 의미상의 수식-피수식 관계를 설정하고 이에 따라 문장을 몇개의 단위로 나눈다. 의미분석에서는 동사와 이들 단위들간의 관계와 단위를 구성하는 어절들간의 관계를 격관계로 설정하여, 개념망(semantic network)으로 문장의 의미를 표현한다. 이 개념망으로부터 MS-DOS 명령을 생성한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.125-130
• /
• 2023

최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.591-595
• /
• 2023

최근 지시 학습을 통해 미세 조정한 자연어 처리 모델들이 큰 성능 향상을 보이고 있다. 하지만 한국어로 학습된 자연어 처리 모델에 대해 지시 학습을 진행할 수 있는 데이터 세트는 공개되어 있지 않아 관련 연구에 큰 어려움을 겪고 있다. 본 논문에서는 T5 기반 한국어 자연어 처리 모델인 Long KE-T5로 영어 데이터 세트를 번역하여 한국어 지시 학습 데이터 세트를 구축한다. 또한 구축한 데이터 세트로 한국어로 사전 학습된 Long KE-T5 모델을 미세 조정한 후 성능을 확인한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.473-474
• /
• 2023

본 논문에서는 딥러닝 기법 중 하나인 순환신경망(RNN)을 활용하여 자연어를 처리할 수 있는 모델 개발에 대하여 연구를 진행하였다. 다양한 주제에 대한 사용자들의 의견을 확보할 수 있는 유튜브 플랫픔을 활용하여 데이터를 확보하였으며, 감성 분류를 진행하는 만큼 학습 데이터셋으로는 네이버 영화 리뷰 데이터셋을 활용하였다. 사용자는 직접 데이터 파일을 삽입하거나 혹은 유튜브 댓글과 같이 데이터를 외부에서 확보하여 감성을 분석할 수 있으며, 자연어 속 등장하는 단어의 빈도수를 종합하여 해당 데이터들 속 키워드는 무엇인지를 분석할 수 있도록 하였다. 나아가 종합 데이터 분석 관리 플랫폼을 제작하기 위하여 해당 데이터를 데이터베이스에 저장하고GUI 프로그램을 통하여 접근 및 관리가 가능하도록 하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.71-76
• /
• 2022

목적 지향 대화 시스템은 사용자가 원하는 목적을 달성하기 위해 사용하는 시스템으로 일상 대화와 다르게 시스템이 정보를 명확히 전달하는 것이 중요하다. 따라서 최근 연구에서 목적 지향 대화 시스템을 위한 자연어 생성 모델은 정해진 대화 정책에 따라 알맞은 응답을 생성할 수 있도록 의도와 슬롯 정보를 담은 대화 행위(Dialog Act)를 활용한다. 하지만 대화 행위는 생성하는 문장을 탁월하게 제어하는 반면에 대화의 흐름과 상황에 맞게 다양한 문장을 생성하기 어렵다는 문제점을 가지고 있다. 이러한 문제점을 해소하고자 본 논문에서는 목적에 부합하는 내용을 명확하게 자연어로 생성하기 위해 대화 행위를 사용하면서 동시에 일상 대화 생성 모델과 같이 문맥을 고려하여 대화 흐름에 어울리는 자연스러운 문장을 생성할 수 있는 문맥 기반의 제어 가능한 자연어 생성 모델을 제안한다. 실험에서는 KoGPT2 사전 학습 모델과 한국어 대화 데이터셋을 사용하였으며 실험을 통해 대화 행위 기반의 자연어 생성 모델과 본 연구에서 제안한 문맥 기반의 제어 가능한 자연어 생성 모델을 비교하였다. 결과적으로 대화 행위를 단독으로 학습한 모델보다 일정 문맥을 함께 학습한 모델이 유의미한 BLEU 점수 향상을 보인다는 점을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.256-258
• /
• 2004

단백질 상호작용에 대한 연구는 생명현상의 전반적인 원리를 규명하는데 필수적이다. 생물학 문헌 데이터베이스로부터 단백질 상호작용 정보를 찾는 것은 많은 시간과 노력이 필요하기 때문에 컴퓨터로 자동화시키는 방법이 요구된다. 문헌으로부터 단백질 상호작용 정보를 추출하는 작업은 단순 문자열 비교를 통한 정보검색으로는 한계가 있으므로 자연어 처리 기법을 적용해 문장의 문법 구조, 품사 정보 등을 이용하면 더 정확한 추출이 가능하다. 본 논문에서는 자연어 처리를 이용하여 문장을 트리로 표현한 뒤 가지치기, 병합 등을 통해 추상화된 트리를 패턴과 매칭하는 방법을 제안한다. 그리고 실제 데이터를 이용한 실험 결과를 통해 기존 방법에 비해 더 높아진 정확도를 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.162-166
• /
• 2020

자연어 이해는 대화 인터페이스나 정보 추출 등에 활용되는 핵심 기술 중 하나이다. 최근 딥러닝을 활용한 데이터 기반 자연어 이해 연구가 많이 이루어지고 있으며, 이러한 연구에 있어서 데이터 확장은 매우 중요한 역할을 하게 된다. 본 연구는 자연어 이해영역에서의 말뭉치 혹은 데이터 확장에 있어서, 입력으로 주어진 문장과 문법구조 및 의미가 유사한 문장을 생성하는 새로운 방법을 제시한다. 이를 위해, 우리는 GPT를 이용하여 대량의 문장을 생성하고, 문장과 문장 사이의 문법구조 및 의미 거리 계산법을 제시하여, 이를 이용해 가장 유사하지만 새로운 문장을 생성하는 방법을 취한다. 한국어 말뭉치 Weather와 영어 말뭉치 Atis, Snips, M2M-Movie M2M-Reservation을 이용하여 제안방법이 효과적임을 확인하였다.

• Journal of the Korean Society of Marine Environment & Safety
• /
• v.30 no.1
• /
• pp.82-88
• /
• 2024

As the modern maritime industry rapidly progresses through technological advancements, data processing technology is emphasized as a key driver of this development. Natural language processing is a technology that enables machines to understand and process human language. Through this methodology, we aim to develop a model that predicts the proportions of outcomes when entering new written judgments by analyzing the rulings of the Marine Safety Tribunal and learning the cause-providing ratios of previously adjudicated ship collisions. The model calculated the cause-providing ratios of the accident using the navigation applied at the time of the accident and the weight of key keywords that affect the cause-providing ratios. Through this, the accuracy of the developed model could be analyzed, the practical applicability of the model could be reviewed, and it could be used to prevent the recurrence of collisions and resolve disputes between parties involved in marine accidents.