• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.473-476
• /
• 2022

문장 임베딩은 문장의 의미를 고려하여 모델이 적절하게 의미적인 벡터 공간에 표상하는 것이다. 문장 임베딩을 위해 다양한 방법들이 제안되었지만, 최근 가장 높은 성능을 보이는 방법은 대조적 학습 방법이다. 대조적 학습을 이용한 문장 임베딩은 문장의 의미가 의미적으로 유사하면 가까운 공간에 배치하고, 그렇지 않으면 멀게 배치하도록 학습하는 방법이다. 이러한 대조적 학습은 비지도와 지도 학습 방법이 존재하는데, 본 논문에서는 효과적인 비지도 학습방법을 제안한다. 기존의 비지도 학습 방법은 문장 표현을 학습하는 언어모델이 자체적인 정보를 활용하여 문장의 의미를 구별한다. 그러나, 하나의 모델이 판단하는 정보로만 문장 표현을 학습하는 것은 편향적으로 학습될 수 있기 때문에 한계가 존재한다. 따라서 본 논문에서는 Cross-Encoder의 Re-Ranker를 통한 의미 검색으로부터 추천된 문장 쌍을 학습하여 기존 모델의 성능을 개선한다. 결과적으로, STS 테스크에서 베이스라인보다 2% 정도 더 높은 성능을 보여준다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.265-271
• /
• 2019

본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.405-410
• /
• 2000

본 연구에서는 기능적 자기공명영상을 이용하여 한글 문장의 의미와 통사 처리에 관한 뇌의 활성화 양상을 비교함으로써 한글문장 이해의 과정에 대한 신경해부학적 증거를 찾고자하였다. 6명의 자원자를 대상으로 문장진위판다과제를 이용하여 활성화를 유도하였다. 1.5T 초전도 자기공명영상 장치에서 EPI로 BOLD 기법을 이용하여 기능적 영상을 얻었으며, 영상 후 처리는 SPM99 분석 프로그램을 이용하였다. 의미관련·통사관련 문장 모두 좌·우 전두회(frontal gyrus) 영역에서 활성화되었다. 의미와 통사처리 영역을 구분하기 위하여 감산법을 적용한 결과, 의미처리는 좌반구의 중측두회(middle temporal gyrus) 영역에서, 통사처리는 우반구의 하전두회(BA44) 부위에서 더 많이 활성화되었다. 의미처리에서 더 우세한 성향을 띠는 부위로 밝혀진 중측두회 영역은 의미처리시에 활성화되는 영역으로 보고하는 기존의 연구와 일치하는 결과이다. 의미와 통사 문장처리시의 뇌 활성화 양상은 뇌의 여러 영역에서 중첩되어 있기는 하지만, 특정영역에서의 차이를 보이고 있으므로, 의미와 통사처리기는 다른 기전(mechanism)에 의해서 일어남을 시사해 준다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2003.09b
• /
• pp.31-34
• /
• 2003

현재 구현되어 있는 한국어 철자 교정 시스템은 문장의 문법 정보나 연어 관계로부터 문장의 오류를 처리하는 방식을 쓰고 있다. 본 논문에서는, 홑문장에서 의미소 사이의 관계를 이용하여 오타 문자를 수정하고 오타에 의한 의미적인 오류가 있을 때에는 의미에 해당하는 적절한 단어를 대체하여 제공하는 시스템을 제안한다. 단어의 뜻에 따라 체언은 의미 트리를 형성하고, 서술어는 주어 및 목적어의 체언과 의미 관계를 정의한다. 오류가 포함된 문장에서, 의미 관계를 비교, 분석하여 주어 및 목적어의 체언이 틀렸을 경우에는 서술어로부터, 서술어가 틀렸을 경우에는 주어 및 목적어의 체언으로부터, 수식어가 틀렸을 경우에는 체언 또는 서술어로부터 정의된 상호 의미 관계를 이용하여 한 문자에 대한 오타를 수정하고 오타에 의한 의미적 오류가 발견될 때에는 상기와 같은 철자 교정 방법을 적용하였다.

• Annual Conference on Human and Language Technology
• /
• 1994.11a
• /
• pp.211-214
• /
• 1994

지금까지의 후처리기법은 문장의 의미 정보를 사용하지 않고 대부분 단어만을 생각하기 때문에 잘못 쓰여지거나 인식된 단어라도 사전에 있으면 그대로 받아들이게 된다. 따라서 본 논문에서는 단어로서 구성이 되지 않는 문자열 뿐만 아니라 의미적으로 잘못 사용된 단어까지도 교정해 줄 수 있는 후처리기법을 제시한다. 제시되는 후처리기법은 문장의 의미론 개념그래프로 표현하여 문장에 쓰여진 각 단어가 문장 내에서 의미적으로 유용한지를 밝혀 낼 수 있도록 한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.477-480
• /
• 2020

'-느라고'의 후행절 부정 의미 제약에 대하여 연구자들마다 의견을 달리하고 있지만 대부분의 교육 교재는 다수의 연구 내용을 반영하여 '-느라고'의 후행절에 부정 의미 제약이 있다고 제시하고 있다. 하지만 교육 교재에서 후행절에 부정 의미의 제약이 없다는 연구 내용이 배제되어야 한다면 이를 위한 심층적인 논의가 필요하며 타당한 근거가 있음을 밝혀야 한다. 본 연구는 '-느라고'의 후행절 부정 의미 제약에 대해 상반된 주장이 나오게 된 것에 주목하여 실제로 '-느라고'가 후행절 부정 의미 제약을 갖는지, 만약 제약을 갖지 않는다면 그 이유는 무엇인지 밝히고자 하였다. 이를 위해 세종 문어 원시 말뭉치에서 '-느라고'의 문장 1,601개를 추출하고 혹시 있을지 모를 통시적 변화를 제거하기 위해 교육 교재들이 집필된 2000년대의 문장만 선별하여 후행절의 의미를 확인하였다. 그 결과 323개의 문장 중 98개 문장, 33.3%가 후행절에 부정적인 의미를 갖지 않고 있는 것을 확인되었다. 이는 '-느라고'가 단순히 후행절 부정 의미 제약을 갖는다고 할 수 있는 수치가 아니었다. 부정 제약의 범위를 파악하기 위해 문장의 의미를 살펴 목적의 의미를 갖는 '-느라고'와 이유의 의미를 갖는 '-느라고'로 분류하였다. 이렇게 분류한 '-느라고'의 후행절을 다시 분석한 결과 이유의 '-느라고'에서는 후행절 부정 제약이 실현되고 있었지만 목적의 '-느라고'에서는 부정 제약이 발견되지 않았다. 따라서 '-느라고'가 이유와 목적의 의미를 가지며 이유의 '-느라고'로 실현될 때에만 부정 의미 제약을 갖는다는 보다 심층적이고 구체적인 연구 결과 얻어 냈다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.255-258
• /
• 2014

본 논문에서는 semantic parsing과 사전 정의된 어휘-의미 패턴 질의 템플릿 방법론을 결합하여 자연어 질의로부터 RDF 지식베이스에 질의하기 위한 SPARQL 쿼리를 생성하는 방법을 제안한다. semantic parsing 접근법은 문장의 표현과 분리된 형식적 의미표현만을 포착해내므로, paraphrase 혹은 의미 변화와 무관한 어순의 변화에 강인하지만, 일부 자연어 질의문장에는 단순한 의미 및 구조를 갖는 문장도 적합한 형식적 의미표현을 생성하지 못하는 단점이 있다. 따라서 이 연구에서는 이러한 단순한 문장에 있어서는 사전 정의된 질의 템플릿을 사용하여 적합한 쿼리를 생성하되, 적합한 템플릿을 선택하는데 있어 해당 질의문장의 어휘-의미적 유형을 포착하고 해당 정보를 이용하는 방법을 이용하였으며 이를 통해 주 방법론의 약점을 보완하는 제한적인 효과를 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.199-204
• /
• 2020

기존의 자연어 의미 표상 방법은 크게 나눠보았을 때 두 가지가 있다. 첫 번째로, 전통적인 기호 기반 의미 표상 방법론이다. 이 방법론들은 논리적이고 해석가능하다는 장점이 있으나, 구축에 시간이 많이 들고 정작 기호 자체의 의미를 더욱 미시적으로 파악하기 어렵다는 단점이 있었다. 반면, 최근 대두된 분산 표상의 경우 단어 하나하나의 의미는 상대적으로 잘 파악하는 반면, 문장 등의 복잡한 구조의 의미를 나타내는 데 있어 상대적으로 약한 측면을 보이며 해석가능하지 않다는 단점이 있다. 본 논문에서는 이 둘의 장점을 섞어서 서로의 단점을 보완하는 새로운 의미 표상을 제안하였으며, 이 표상이 유의미하게 문장의 의미를 담고 있음을 비지도 문장 군집화 문제를 통해 간접적으로 보였다.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.237-241
• /
• 1999

단문 분할은 한 문장에 중심어인 용언이 복수개인 경우 용언을 중심으로 문장을 나누는 방법이다. 기존의 방법은 정형화된 문장의 경우 효율적인 결과를 얻을 수 있으나 구문적으로 복잡한 문장인 경우는 한계를 보였다. 본 논문에서는 이러한 한계를 극복하기 위해 구문 정보의 단문 분할이 아닌 의미 정보를 활용하여 복잡한 문장을 효율적으로 단문으로 분할하는 방법을 제안한다. 정형화된 문장의 경우와 달리 일상적인 문장은 문장의 구조적 애매성이나 조사의 생략 등이 빈번하므로 의미 수준에서의 단문 분할이 필요하다. 본 논문에서는 의미 영역에서 단문 분할의 할 경우 기존의 방법들의 애매성을 해소할 수 있다는 점을 보인다. 이를 위해, 먼저 하위범주화 사전과 시소러스의 의미 정보를 이용하여 용언과 보어 성분간의 의존구조를 1차적으로 작성하고 이후 구문적인 정보와 기타 문법적인 지식을 사용하여 기타 성분을 의존구조에 점진적으로 포함시켜가는 이단계 단문 분할 알고리즘을 제안한다. 제안된 이단계 단문 분할 방법의 유용성을 보이기 위해 ETRI-KONAN의 말뭉치 중 20,000문장을 반 자동적인 방법으로 술어와 보어 성분간의 의존구조를 태깅한 후 본 논문에서 제안한 방법과 비교하는 실험을 수행한다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.199-202
• /
• 2021

의미역 결정은 입력된 문장 내 어절간의 의미 관계를 예측하기 위한 자연어처리 태스크이며, 핵심 서술어에 따라 상이한 의미역 집합들이 존재한다. 기존의 연구는 문장 내의 서술어의 개수만큼 입력 문장을 확장해 순차 태깅 문제로 접근한다. 본 연구에서는 확장된 입력 문장에 대해 구문 분석을 수행 후 추출된 문장 구조 정보를 의미역 결정 모델의 자질로 사용한다. 이를 위해 기존에 학습된 구문 분석 모델의 파라미터를 전이하여 논항의 위치를 예측한 후 파이프라인을 통해 의미역 결정 모델을 학습시킨다. ALBERT 사전학습 모델을 통해 입력 토큰의 표현을 얻은 후, 논항의 위치에 대응되는 표현을 따로 추상화하기 위한 계층형 트랜스포머 인코더 레이어 구조를 추가했다. 실험결과 Korean Propbank 데이터에 대해 F1 85.59의 성능을 보였다.