2001.10d
-
말뭉치 기반 언어 연구에서 균형성은 매우 중요하게 대두되는 문제이다. 말뭉치의 균형성을 맞추려면 여러 유형의 말뭉치가 갖는 언어적 특성을 고려하여야 한다. 그러나 계량언어학적방법으로 접근한 한국어 말뭉치의 유형별 언어 연구는 아직 미미하다. 본 연구는 언론 매체의 주요 부분인 신문의 사설을 말뭉치로 구성하여 그 언어적 특성을 살펴보고자 한다. 계량언어학의 전형적 방법에 따라 계량화 작업을 먼저 다루고, 이어 신중한 계량화 작업으로 얻어진 자료를 조사 분석하였다.
-
한국어 자연언어처리에서 부딪치는 첫 번째 어려움은 형태소 분석 대상으로서의 어절(통사적 단어)이 형태론적으로 다양한 유형을 갖는다는 데 있다. 따라서 정확하고 효율적인 형태소 분석기를 설계하고 구현하는 데 있어서 우선적으로 요구되는 것은 다양한 유형의 어절을 형태론적으로 분석하여 체계화하는 것이다. 이러한 문제 인식에 따라 본 연구에서는 형태소 결합 관계를 중심으로 체언 어절과 용언 어절의 구성 양상에 대해 살펴보았다.
-
본 논문은 1999년도에 구축된 '150만 세종 형태소 분석 말뭉치'를 바탕으로 형태소 기분석 사전을 구축하고, 이를 토대로 후처리의 수작업을 고려한 반자동 태거를 구축하는 방법론에 대해 연구한 것이다. 분석말뭉치 구축에 있어 기존 자동 태거에 의한 자동 태깅의 문제점을 분석하고, 이미 구축된 형태분석 말뭉치를 이용해 후처리 작업이 보다 용이한 1차 가공말뭉치를 구축하는 반자동 태거의 개발과 그 방법론을 제시하는데 목적을 두고 있다. 이와 같은 논의에 따라 분석 말뭉치의 구축을 위한 태거는 일반적인 언어 처리를 위한 태거와는 다르다는 점을 주장하였고, 태거에 전적으로 의존하는 태깅 방식보다는 수작업의 편의를 제공할 수 있는 태깅 방식이 필요함을 강조하였다. 본 연구에서 제안된 반자동 태거는 전체적인 태깅 성공률과 정확도가 기존의 태거에 비해 떨어지지만 정확한 단일 분석 결과를 텍스트의 장르에 따른 편차 없이 50% 이상으로 산출하고, 해결이 어려운 어절 유형에 대해서 완전히 작업자의 판단에 맡김으로써 오류의 가능성을 줄인다. 또한 분석 어절에 대해 여러 표지를 부착함으로써 체계적이고 단계적인 후처리 작업이 가능하도록 하였다.
-
본 논문에서는 한국어 형태소 해석기에 다중 스레드 기법을 도입하여 다중 처리가 가능하도륵 하였다. 기존의 여러 형태소 해석기들은 언어 분석에만 관심이 있었기 때문에 다량의 문서를 동시에 처리하는 기능을 고려하지 않았다. 그러나 형태소 해석기가 정보 검색 시스템 분야에서 사용되기 시작하면서, 다수의 사용자가 대량의 문서를 처리해야 하는 필요성이 생겼다. 스레드 간에는 메모리 영역과 같은 자원을 공유한다. 이러한 특징 때문에 자칫하면 예상치 못한 결과가 야기될 수 있다. 따라서, 다중 스레드 기법을 사용하기 위해서는 스레드의 특징을 고려한 조치가 필요하다 기존의 한국어 형태소 해석기의 소스 코드를 분석하여 자주 사용되는 전역 변수는 하나의 구조체로 구성하였다. 그리고 이러한 전역 변수와 크기가 큰 지역 변수를 사용할 때 메모리를 동적으로 할당하였다. 또한, 파일에서 입력값을 읽어오거나 파일에 결과값을 쓰는 등 여러 스레드가 접근할 때 값이 변경될 위험이 있는 부분은 조건 변수를 이용하여 동기화 시켰다. 구현된 시스템의 검증을 위하여, 단일 스레드 방식으로 순차적인 처리를 하는 원래의 형태소 해석기와 비교 실험을 실시하였다. 35Kbyte 문서 30개를 처리하는 경우, 다중 처리가 가능한 형태소 해석기가 단일 스레드 방식의 형태소 해석기보다 처리속도가 약 12% 향상되었다.
-
인터넷 환경의 급속한 성장과 더불어 기존의 텍스트 정보들이 다양한 형태의 멀티미디어 정보(소리, 이미지, 동영상 등)로 대체되었다. 이로 인해 멀티미디어 정보검색의 필요성이 대두되기 시작했다. 멀티미디어 정보검색 중 이미지검색은 크게 주석기반과 특징기반 (color, shape, texture 등) 검색으로 나눌 수 있다. 본 고는 이미지 검색 중 전처리에 해당하는 색상어 질의처리의 한 방법을 제안한다. 즉, 사용자에게 익숙한 자연어 질의로부터 이미지의 특징에 해당하는 색상 정보와 주석에 해당하는 키워드 정보를 중심어 후위원칙기반으로 파싱트리를 구성한 후, 후위순회방식에 의해 불리언 검색을 수행하는 방법을 제안한다.
-
인터넷의 급속한 양적 증가로 인해 색인어 기반의 검색 방식만으로는 원하는 정보를 찾아 내기가 쉽지 않다. 색인어 기반의 검색 방식에서는 색인어로 나타나지 않는 특징을 이용할 수 없으며, 질적으로 균등한 검색 결과를 제시하지 못하기 때문이다. 따라서 사이트의 여러 가지 특성에 따라 계층적으로 분류해놓은 웹 디렉토리를 이용하거나, 관련 전문가들의 추천 리스트를 이용하여 검객하기도 한다. 본 연구에서는 기존의 색인어 기반의 검색 모델에 웹 디렉토리와 추천 문서 같은 문서간의 링크 정보를 결합할 수 있는 정보 검색 모델을 제시한다. 특정 질의어의 검색 결과로 얻어낸 문서와 그 문서와 연결된 문서 집합을 이용하여 네트워크를 구성한다. 이 네트워크에 검색기가 제시하는 순위와 유사도, 그리고 문서간의 링크 정도를 이용해서 확률값을 정해준다. 그리고 Ergodic Markov Model의 특성을 이용하여 색인어 정보와 링크 정보를 결합한다. 본 연구에서는 특정 문서가 질의어에 부합되는 정도를 사용자가 그 문서로 이동할 확률값으로 계산하는 방식을 보인다.
-
정보 검색 결과의 정확성을 높이기 위해서는 상위수준의 색인 정보를 이용한 검색 기법이 요구된다. 상위수준의 색인을 하기 위해서는 구문 분석을 이용할 필요가 있지만 웹 페이지를 이용하는 웹 검색에서는 웹 폐이지 자체의 오류 때문에 구문 분석을 할 때 실패할 확률이 높으므로 견고한 구문 분석이 요구된다. 본 논문은 구, 문장에 기반한 색인 기법 및 기존 색인 방법을 병행해서 사용하는 시스템에 대하여 소개한다. 본 논문에서 소개하는 시스템은 5가지 방법의 색인 기법을 사용한다. 각 색인 기법은 적용될 분야 또는 범위에 따라 선택적으로 사용될 수 있다. 색인 기법은 1)명사 색인 2)명사+용언 색인 3)명사+용언+문장정보 색인 4)명사구 색인 5)중심어-종속어(Head-Modifier) 색인으로 나누어진다. 색인 기법 중 4와 5의 경우, 구문 분석된 결과를 사용하여 특정 명사구 및 중심어-종속어 관계를 고려함으로써 문서의 특성을 잘 나타내는 색인어를 추출할 수 있고 그러므로 정보검색의 성능을 향상시키는 기반 기술로 사용될 수 있다.
-
최근 웹 환경은 홈페이지 단위로 구축되는 사례가 보편화 되어 있으며, 사용자가 단순한 웹 문서가 아닌 홈페이지를 요구하는 경우도 빈번하다. 그러나 기존의 웹 환경 검색 시스템의 결과는 이러한 질의에 대한 결과로는 적절하지 않기 때문에, 본 논문에서는 홈페이지 검색을 위한 새로운 방법을 제시한다. 웹 문서 검색을 위하여 먼저 기존 검색 방법을 이용하여 결과를 얻은 후 웹 문서에 포함된 링크가 주는 정보를 추가하여 결과를 확장하는 두 가지 방법을 제시한다. 확장된 결과에서 홈페이지의 엔트리 포인트에 해당하는 웹 문서를 출력 리스트의 상위에 위한 순위 재조정 알고리즘을 소개한다.
-
최근 웹 문서의 규모가 커짐에 따라 높은 정확도를 필요로하는 정보검색시스템이 요구되고 있다. 구 색인은 정확도를 향상시킬 수 있는 방법으로 전통적으로 많이 사용되어 왔으며, 정보검색에서 사용하는 구는 크게 통계적인 구와 구문적인 구로 나눌 수 있다. 한국에서는 주최 복합명사를 처리하거나, 구문적인 구를 이용한 방법들만이 사용되어 왔고, 통계적인 구를 이용한 검색은 연구되지 않았다. 질의에 존재하는 구의 위치관계와 문서에 존재하는 구의 위치관계가 서로 동일하다면 그 문서는 그 질의와 더욱 유사할 것이라 판단하고, 본 논문에서는 통계적인 구에서 구 구성요소간의 위치관계를 고려한 정보검색 시스템을 제안한다. 명사구 이치의 유용한 구를 생성하기 위하여 내용어를 색인했으며 색인어간의 거리와 순서를 고려하여 가중치를 부여하였다. 명사구와 내용어에 기반한 구를 사용한 각각의 실험에서 거리에 따른 가중치를 부여하는 방법이 거리를 무시한 방법에 비해서 효과적이었고 구 구성요소간의 위치관계를 고려하는 것이 성능향상의 주요한 요인임을 알 수 있었다. 또한 명사위주의 질의에서는 내용어보다는 명사만을 색인하는 것이 효과적임을 알 수 있었다.
-
1500만, 700만, 10만 어절 크기의 세 가지 원시 말뭉치로부터 한국어 어절 빈도를 조사하였다. 각 말뭉치에 대한 어절 빈도 결과를 비교-분석하여 활용가치가 높은 고빈도 어절 집합을 구하였다. 고빈도 어절 집합의 효용성을 검증하기 위해 일반문서에 대한 어절 적중률을 실험하였다. 그 결과로 고빈도 563 어절이 24.5%, 9484 어절이 51.5%, 184246 어절이 81.6%의 어절 적중률을 보였다.
-
1999년 제1회 형태소 분석기 및 품사태거 평가 워크숍 이후 표준안에 대한 새로운 대안이나 문제제기등을 제시한 논문은 전무하다. 본 연구에서는 평가대회 참가 이후 표준안을 수정한 새로운 유형의 형태소 분석 프로그램을 제작하여 그 실용성과 앞으로의 발전 가능성과 문제점을 밝혀, 계층구조형의 형태소분석 시스템을 채택하고 있는 일본의 JUMAN을 참조 새로운 유형의 형태소 분석형식을 제시한다. 본 연구는 일본방송협회 방송기술연구소(이하 NHK기술 연구소)의 의뢰에 인한 것이며 어절단위의 표준안과 다른 형태소 단위를 기본요소로 삼고 있으며 활용형을 갖고 있는 용언에 대해서는 활용형의 전개를 하고 있다. 어절단위로 탈피한 이유는 형태소 분석의 기본요소로써 어절단위 보다는 형태소 단위를 기준으로 삼는 것이 생산성이 높다고 생각된다. 어절정보와 문장정보는 XML(extensible makrup language)등의 별도의 정보를 주는 방법을 채택했다. 음절말음이 자음인지 모음인지의 음운 정보에 따라 활용형을 차별했으며 표준안과 달리 명사의 종류와 개념을 세분화했다. 아울러 조사와 어미등의 검색어와 함께 음절을 형성하고 있는 비검색어 대상은 배제하는 프로그램과 표준안의 어절방식으로 출력하는 3가지 프로그램을 작성했다. 본 연구에서는 계층구조의 형태소분석 프로그램의 가능성과 한국어의 특성을 고려한 출력항목등을 고찰하는 것을 목적으로 한다.
-
본 논문은 규칙과 통계 정보를 모두 적용하는 혼합형 품사 태깅 시스템에서 통계 정보를 이용하여 품사 태깅을 수행할 때 조사와 어미를 문법 기능에 따라 구분하여 사용하는 품사 태깅 시스템을 기술한파. 품사 태깅은 주로 주변의 품사열을 이용하게 되는데 품사 정보를 추출할 때 조사와 어미의 문법 기능인 조사의 격 정보와 어미의 활용형 정보에 따라 몇 가지로 분류하고 정보를 추출하여 품사 태깅에 적용하면 조사와 어미를 분류하지 않은 품사열 만을 사용한 태깅 방법 보다 더 나은 성능을 얻을 수 있다.
-
한국어는 7,000만 우리 민족이 사용하는 언어로 세계의 많은 언어 가운데에서 사용인구로 볼 때 상위권에 속하며, 동아시아 지역의 사용 분포를 살펴보면 한반도와 중국 동북 3성으로 구분 할 수 있다. 지금까지 한국어와 중국 조선어의 비교 연구가 많이 진행되어 왔으나 객관적이고 과학적으로 어느 정도 차이가 있는지 알려져 있지 않다. 본 연구를 통하여 한국어와 중국 조선어의 대략적인 차이를 분석하고, 컴퓨터를 이용하여 한국어를 중국 조선어로 전환하며 지속적인 연구 분석을 위해 중국 조선어 기초 자료 구축 및 분석 시스템을 개발하고자 한다.
-
기존의 연구들은 하다가 실체성 명사와 결합하느냐 혹은 비실체성(서술성) 명사와 결합하느냐에 따라 전자를 중동사 후자를 경동사로 나누어 생각하였다. 그러나 생성어휘부 이론에서 제안된 "강제유형"이라는 생성기제를 도입하면 이 두 명사들과 결합하는 동사 하다를 서로 다른 것이라고 생각할 필요가 없다. 따라서 본 논문에서는 명사와 결합하는 경동사 하다의 어휘구조를 살펴보고, 이 동사가 요구하는 명사의 특성을 지적해보고자 한다.
-
정보추출 기법을 논의할 때 핵심 역할을 차지하는 것이 추출 패턴(규칙)을 표현하는 종류와 규칙을 만들어 내는 기계학습의 방법이다. 본 논문에서는 mDTD(modified Document Type Definition)라는 새로운 추출패턴을 제안한다. mDTD는 SGML에서 사용되는 DTD를 구문과 해석 방식을 변형하여 일반적인 HTML에서의 정보추출에 활용되도록 설계하였다. 이러한 개념은 DTD가 문서에 나타나는 객체를 지정하는 역할을 하는 것을 역으로 mDTD를 이용하여 문서에 나타는 객체를 식별하는데 사용하는 것이다. mDTD 규칙을 순차기계학습으로 확장시켜서 한국어와 영어로된 인터넷 쇼핑몰 중에서 AV(Audio and Visual product) 도메인에 적용하여 실험하였다 실험 결과로 정보추출의 평균 정확도은 한국어와 영어에 대해서 각각 91.3%와 81.9%를 얻었다.
-
지금까지 한국어 품사 부착을 위해 다양한 모델이 제안되었고 95% 이상의 높은 정확도를 보여주고 있다. 그러나 4-5%의 오류는 실제 응용 분야에서 많은 문제를 야기시킬 수 있다. 이러한 오류를 최소화하기 위해서는 오류를 분석하고 이를 수정할 수 있는 규칙들을 학습하여 재사용하는 방범이 효과적이다. 오류 수정 규칙을 학습하기 위한 기존의 방법들은 수동학습 방법과 자동 학습 방법으로 나눌 수 있다 수동 학습 방법은 많은 비용이 요구되는 단점이 있다. 자동 학습 방법의 경우 모두 변형규칙 기반 접근 방법을 사용하였는데 어휘 정보를 고려할 경우 탐색 공간과 규칙 적용 시간이 매우 크다는 단점이 있다. 따라서 본 논문에서는 초기 모델에 대한 오류 수정 규칙을 효율적으로 학습하기 위한 새로운 방법으로 결정 트리 학습 방법을 확장한 통계적 결정 그래프 학습 방법을 제안한다. 제안된 방법으로 두 가지 실험을 수행하였다. 초기 모델의 정확도가 높고 말뭉치의 크기가 작은 첫 번째 실험의 경우 초기 모델의 정확도 95.48%를 97.37%까지 향상시킬 수 있었다. 초기 모델의 정확도가 낮고 말뭉치 크기가 큰 두 번째 실험의 경우 초기 모델의 정확도 87.22%를 95.59%로 향상시켰다. 또한 실험을 통해 결정 트리 학습 방법에 비해 통계적 결정 그래프 학습 방법이 더욱 효과적임을 알 수 있었다.
-
최대 엔트로피 모델(maximum entropy model)은 여러 가지 자연언어 문제를 학습하는데 성공적으로 적용되어 왔지만, 두 가지의 주요한 문제점을 가지고 있다. 그 첫번째 문제는 해당 언어에 대한 많은 사전 지식(prior knowledge)이 필요하다는 것이고, 두번째 문제는 계산량이 너무 많다는 것이다. 본 논문에서는 텍스트 단위화(text chunking)에 최대 엔트로피 모델을 적용하는 데 나타나는 이 문제점들을 해소하기 위해 새로운 방법을 제시한다. 사전 지식으로, 간단한 언어 모델로부터 쉽게 생성된 결정트리(decision tree)에서 자동적으로 만들어진 규칙을 사용한다. 따라서, 제시된 방법에서의 최대 엔트로피 모델은 결정트리를 보강하는 방법으로 간주될 수 있다. 계산론적 복잡도를 줄이기 위해서, 최대 엔트로피 모델을 학습할 때 일종의 능동 학습(active learning) 방법을 사용한다. 전체 학습 데이터가 아닌 일부분만을 사용함으로써 계산 비용은 크게 줄어 들 수 있다. 실험 결과, 제시된 방법으로 결정트리의 오류의 수가 반으로 줄었다. 대부분의 자연언어 데이터가 매우 불균형을 이루므로, 학습된 모델을 부스팅(boosting)으로 강화할 수 있다. 부스팅을 한 후 제시된 방법은 전문가에 의해 선택된 자질로 학습된 최대 엔트로피 모델보다 졸은 성능을 보이며 지금까지 보고된 기계 학습 알고리즘 중 가장 성능이 좋은 방법과 비슷한 성능을 보인다 텍스트 단위화가 일반적으로 전체 구문분석의 전 단계이고 이 단계에서의 오류가 다음 단계에서 복구될 수 없으므로 이 성능은 텍스트 단위화에서 매우 의미가 길다.
-
자동 문서 범주화란 문서의 내용에 기반하여 미리 정의되어 있는 범주에 문서를 자동으로 분류하는 작업이다. 문서 분류를 위해서는 문서들을 가장 잘 표현할 수 있는 자질들을 정하고, 이러한 자질들을 통해 분류할 문서를 표현해야 한다. 기존의 연구들은 문장간의 구분 없이, 문서 전체에 나타난 각 자질의 빈도수를 이용하여 문서를 표현 한다. 그러나 하나의 문서 내에서도 중요한 문장과 그렇지 못한 문장의 구분이 있으며, 이러한 문장 중요도의 차이는 각각의 문장에 나타나는 자질의 중요도에도 영향을 미친다. 본 논문에서는 문서에서 사용되는 중요 문장 추출 기법을 문서 분류에 적용하여, 문서 내에 나타나는 각 문장들의 문장 중요도를 계산하고 문서의 내용을 잘 나타내는 문장들과 그렇지 못한 문장들을 구분하여 각 문장에서 출현하는 자질들의 가중치를 다르게 부여하여 문서를 표현한다. 이렇게 문장들의 중요도를 고려하여 문서를 표현한 기법의 성능을 평가하기 위해서 뉴스 그룹 데이터를 구축하고 실험하였으며 좋은 성능을 얻을 수 있었다.
-
본 논문에서는 개념망 구축을 위해 사전 뜻풀이말에서 추출 가능한 의미속성의 분포 정보를 기반으로 어휘 연관도를 측정하고자 한다. 먼저 112,000여 개의 사전 뜻풀이말을 대상으로 품사 태그와 의미 태그가 부여된 코퍼스에서 의미속성을 추출한다. 추출 가능한 의미속성은 체언류, 부사류, 용언류 등이 있는데 본 논문에서는 일차적으로 명사류와 수식 관계에 있는 용언류 중 관형형 전성어미('ㄴ/은/는')가 부착된 것을 대상으로 한다. 추출된 공기쌍 45,000여 개를 대상으로 정제 작업을 거쳐 정보이론의 상호 정보량(MI)을 이용하여 명사류와 용언류의 연관도를 측정한다. 한편, 자료의 희귀성을 완화하기 위해 수식 관계의 명사류와 용언류는 기초어휘를 중심으로 유사어 집합으로 묶어서 작업을 하였다. 이러한 의미속성의 분포 정보를 통해 측정된 어휘 연관도는 의미속성의 공유 정도를 계산하여 개념들간에 계층구조를 구축하는 데 이용할 수 있다.
-
한국어의 경우 띄어쓰기의 자유로움과 명사들이 비교적 자유롭게 결합하여 새로운 복합명사(compound noun)를 형성한다. 따라서, 정보검색에서 복합명사를 적절하게 처리하게 되면 검색 효율을 향상시킬 수 있다. 본 논문에서는 질의에 포함된 단일명사, 복합명사, 그리고 복합명사를 이루는 구성명사의 적절한 가중치 부여 방법에 대하여 기술한다. 일반적인 tf*idf가중치 방법은 문서 내 빈도수(tf)만을 강조하여 문서 내 발생빈도가 낮은 복합명사의 경우 낮은 가중치를 갖는다. 반대로, 역문헌 빈도수(idf)로 인해 복합명사가 단일명사보다 높은 가중치를 갖게 되면 단일명사의 가중치를 지나치게 떨어뜨려 검색 성능을 저하시킨다. 이런 문제를 해결하기 위해서 복합명사의 통계적인 특성을 고려하고, 복합명사를 이루는 구성명사의 적절한 가중치 사용과 tf*idf 변화 범위에 따른 파라메터를 이용하였다. 결과적으로 본 논문에서는 질의 색인어의 종류에 따라 가중치를 달리 부여함으로써 검색 성능을 향상시킬 수 있는 가중치 부여 방법을 제시하고 검증 실험을 통해 유효성을 제시했다는 점에서 그 의의가 있다고 하겠다.
-
웹에서 정보를 찾고자 하는 사용자들을 돕기 위해서는 조직화된 방법으로 검색 결과들을 제시하는 것이 바람직하다. 이러한 목적을 위해, 문서 클러스터링 기법들이 제안되었다. 문서 클러스터링은 사용자들이 관심의 대상이 되는 문서들을 더욱 쉽게 배치할 수 있게 하고, 검색된 문서집합에 대한 개관을 손쉽게 얻을 수 있게 한다. 클러스터링 결과로 주어지는 각 클러스터의 주제를 사용자들이 빠르게 파악할 수 있게 하려면 클러스터 제목을 표현하는 문제가 중요시 된다. 본 연구에서는, 웹 디렉토리의 계층적 구조를 사용하여 자동으로 클러스터 제목을 생성하는 방법을 제안한다. 이 방법은 대상이 되는 클러스터에 있는 문서들의 내용과 부합되는 계층상의 노드를 계층구조 상에서 찾아내어, 계층구조의 루트로부터 그 노드에 이르는 경로명을 클러스터의 제목으로 사용자에게 제시하도록 한다. 본 연구에서 제안한 모델은 '야후' 디렉토리를 사용하여 실험되었다. 실험 결과, 실험대상 클러스터의 본래 제목과 정확하게 일치하는 제목을 찾을 수 있는 경우의 정확률이 57.5% 의미적으로 본래 제목에 부합되는 제목을 찾을 수 있는 경우의 정확률이 대략 90%에 이른다는 것을 알 수 있었다.
-
현재, 전자메일을 정보전달의 수단이나 광고등의 목적으로 많이 이용하게 되면서, 메일 수신자는 원치 않는 상업적 광고, 불필요한 정보등의 스팸메일을 여과 없이 수신하게 되는 경우가 많아졌다. 이로 인하여 업무효율성 감퇴, 시간 낭비, 자원 낭비 등의 많은 문제점을 야기시키고 있다. 이러한 문제점을 해결하기 위한 기존의 메일 필터링 시스템들은 송신자의 주소나 도메인, 제목 등의 메일 헤더정보만을 이용하거나, 사용자가 정의한 문장이 본문 내용에 나타날 때 필터링하는 방식들이 주류를 이루고 있다. 그러나 이러한 방식들은 메일의 내용에 대한 근본적인 필터링이 불가능하다. 본 논문에서는 메일의 내용을 파악하기 위해 메일의 내용을 대표할 수 있는 체언정보를 추출하여, 카이제곱 통계량 공식을 통해 단어 가중치를 부여하고, 이를 문서분류를 위한 로그단어 빈도 가중치 공식에 적용하여 스팸메일을 필터링하는 방식을 제시한다. 본 논문에서 제안한 방법으로 실험한 결과, 스팸메일을 필터링하는데 84.61%의 재현율과 83.01%의 정확율을 얻을 수 있었다.
-
본 논문은 사전에 기반한 질의변환 교차언어 문서검색에서, 대역어 중의성 문제를 해결하기 위한, 질의어 가중치 부여 및 구조화 방법을 제안한다. 제안하는 방법의 질의 변환 과정은 다음의 세 단계로 이루어진다. 첫째, 대역어 클러스터링을 통해 먼저 질의어 단어의 적합한 의미를 결정짓고, 둘째, 문맥정보와 지역정보를 이용하여 후보 대역어들간의 상호관계를 분석하며, 셋째, 각 후보 대역어들을 연결하여, 후보 질의어를 만들고 각각에 가중치를 부여하여 weighted Boolean 질의어로 생성하게 된다. 이를 통해, 단순하고 경제적이지만, 높은 성능을 낼 수 있는 사전에 의한 질의변환 교차언어 문서검색 방법을 제시하고자 한다.
-
본 논문은 확률기반 자연어 검색 시스템 POSNIR/E를 이용한 여러 가지 유사 적합성 피드백 방법들이 검색 시스템의 성능 향상에 기여할 수 있는 정도를 보여주고, 확률 기반 정보 검색 시스템에 적합한 유사 적합성 피드백 수행 방법을 제시한다. POSNIR/E는 한국어 자연어 검색 시스템, POSNIR를 기반으로 만들어진 영어 자연어 검색 시스템이다. 이 시스템은 성능 향상을 위한 질의 확장의 방법으로 검색 단계에서 유사 적합성 피드백을 사용한다. 검색 단계에서 영어 태거에 의해 태깅된 사용자 질의로부터 질의어를 추출하고 초기 검색을 수행한다. 유사 적합성 피드백을 위하여 초기 검색 결과 중 상위 5개의 문서에 나타나는 키워드를 중요도에 따라 내림차순 정렬하여 상위 10개의 키워드를 초기 질의어에 확장한다. 이렇게 확장된 질의어로 최종 검색을 수행한다. TREC 평가용 테스트 컬렉션 WT10g와 TREC-9의 질의 적합문서 집합을 이용하여 여러 가지 TSV 함수를 사용하여 검색 성능을 평가 하였다. 실험 결과 유사 적합성 피드백을 사용할 경우 TSV 함수에 확률 모델의 CF 요소 뿐만 아니라 TF 요소 등을 적용 시킬 경우 성능 향상에 기여할 수 있음을 알 수 있었다. 또한 색인어와 검색어로 단일어 뿐만 아니라 복합어도 사용할 경우 성능이 향상됨을 알 수 있다.
-
본 논문에서는 개정된 국어의 로마자 표기법에 근거한 로마자 표기 변환기를 생성하기 위하여 한글-로마자 표기 변환시스템을 설계하였다. 한글-로마자 표기의 규칙변환을 위하여 로마자 표기법중 표기의 변환에 관련된 항과 그렇지 않은 항으로 분리하여 규칙 변환을 위한 로마자 표기법을 정리하였으며, 로마자 표기법의 근간이 되는 표준 발음법을 페트리넷으로 모델링 후 분석하여 표기-음가 변환표를 생성하고, 표기-음가 변환표에서 로마자 표기법에 해당하지 않는 부분을 제거하여 한글 - 로마자 표기 변환표를 생성하고 이를 바탕으로 한글-로마자 변환 시스템을 구현하였다.
-
분단으로 빚어진 남북한 사회의 이질화는 한글과 조선글이라는 쌍둥이의 탄생으로 연결되고, 이들 둘은 자모순이 다르고 음절 부호화 방식을 채택하였기 때문에 정보교환을 함에 있어서 돌아오지 못할 다리를 건너고 말았다. 이제 남북경협의 본격화가 예상되고 그에 따른 정보교환의 급증이 예상되는 시점에서 최근 개정된 조선글 두바이트 부호 국규 9566-97의 분석을 통하여 양 문자를 통합할 수 있는 기틀을 마련하고자 한다 여기서 문제 해결의 핵심은 자모순이 서로 다름으로 인하여 빚어지는 것으로 이들 남북의 자모순 및 정보교환용 문자부호 표준화를 위하여 몇 가지 모색을 하고 방법을 논한다. 또한 남한안 일변도인 국제 문자부호 표준에 대하여 북한의 수정요구가 진행되고 있고 그 내용과 조선글 두바이트 부호안을 종합하여 표준을 마련하기 위한 기본 방향을 설정하고 허배선생의 연구를 통하여 새로운 자모순 모색의 가능성을 논한다.
-
한글 혹은 영어 문자열을 입력할 때 입력 모드를 수동으로 전환하지 않더라도 입력된 문자열이 한글인지, 영어인지를 자동으로 판단하여 해당 문자열로 변환하는 방법을 제안한다. 한글 문자열일 확률을 계산하기 위해 음절 구성 요건과 음절 빈도 정보를 이용하고, 영어 문자열일 확률을 계산하기 위해 영어 bigram 및 trigram 정보를 이용한다. 또한, 한글과 영어가 혼합된 문자열은 한글일 확률과 영어일 확률이 교차되는 경계 위치를 인식함으로써 혼합 문자열을 생성한다.
-
본 논문에서는 text-to-speech 시스템에서 사용할 억양 모델을 위해 벡터 양자화(vector quantization) 방식을 이용한다. 어절 경계강도(break index)는 세단계로 분류하였고, CART(Classification And Regression Tree)를 사용하여 어절 경계강도의 예측 규칙을 생성하였다. 예측된 어절 경계강도를 바탕으로 운율구를 예측하였으며 운율구는 다섯 개의 억양 패턴으로 분류하였다. 하나의 운율구는 정점(peak)의 시간축, 주파수축 값과 이를 기준으로 한 앞, 뒤 기울기를 추출하여 네 개의 파라미터로 단순화하였다. 운율구에 대해서 먼저 운율구가 문장의 끝일 경우와 아닐 경우로 분류하고, 억양 패턴 다섯 개로 분류하여. 모두 10개의 운율구 set으로 나누었다. 그리고 네 개의 파라미터를 가지고 있는 운율구의 억양 패턴을 벡터 양자화 방식을 이용하여 분류(clusteing)하였다 운율의 변화가 두드러지는 조사와 어미는 12 point의 기본주파수 값을 추출하고 벡터 양자화하였다. 운율구와 조사 어미의 codebook index는 문장에 대한 특징 변수 값을 추출하고 CART를 사용하여 예측하였다. 합성할 때에는 입력 tort에 대해서 운율구의 억양 파라미터를 추정한 다음, 조사와 어미의 12 point 기본주파수 값을 추정하여 전체 억양 곡선을 생성하였고 본 연구실에서 제작한 음성합성기를 통해 합성하였다.
-
최근 인터넷의 보급은 사용자들에게 많은 다국어 정보를 제공하게 되었다. 그러나 정작 각 국가의 언어를 입력하기 위해서는 자주 자판세트를 변경해야만 하며, 각 국가별 자판 세트가 다르기 때문에 많은 입력 오류를 감수해야 한다. 이를 위해 본 연구진에서는 과거 한국어 환경에서 다국어 지원을 위한 많은 보조 환경을 구축하였으나, 언어 코드의 특성으로 인해 상세한 환경 설정은 전산 전문가의 도움을 통해야 했고, 언어 환경 구축 및 자판 세트 교정에 많은 어려움을 겪었다. 이러한 문제점을 해결하기 위해 본 연구에서는 XML을 이용하여 일반 윈도우기반 컨트롤에서 다국어 정보를 손쉽게 입력할 수 있는 XML DTD와 입력 보조 클래스를 개발하였다. 본 연구결과물을 이용할 경우 일반 언어전문가들이 자신만의 자판 입력세트를 손쉽게 구성할 수 있으며, 이를 운영하는 시스템의 크기도 매우 줄어들어, 전체적인 컴퓨터 운영 효율성을 상승시키는 효과를 거둘 수 있다.
-
본 논문에서는 대량의 말뭉치를 바탕으로 한국어에 대해 단어 기반의 n-gram 언어 모델과 클래스 기반의 언어 모델을 구축하고, 이를 실험적으로 검증한다. 단어 기반의 n-gram 모델링의 경우 Katz의 백오프와 Kneser-ney의 스무딩(smoothing) 알고리즘에 대해 실험을 수행한다. 클래스 기반의 언어 모델의 경우에는 품사 태그를 단어의 클래스로 사용한 경우와 말뭉치로부터 자동으로 구축된 클래스를 사용한 경우로 나누어 실험한다. 마지막으로 단어 기반 모델과 클래스 기반 모델을 결합하여 각각의 모델과 그 성능을 비교한다. 실험 결과 단어 기반의 언어 모델의 경우 Katz의 백오프에 비해 Knerser-ney의 스무딩이 보다 조은 성능을 나타내었다. 클래스 기반의 모델의 경우 품사 기반의 방범보다 자동 구축된 단어 클래스를 이용하는 방법의 성능이 더 좋았다. 또한, 단어 모델과 클래스 모델을 결합한 모델이 가장 좋은 성능을 나타냈다. 논문의 모든 알고리즘은 직접 구현되었으며 KLM Toolkit이란 이름으로 제공된다.
-
본 연구는 결속장치(cohesive devices)가 과학텍스트의 읽기 속도와 내용 이해에 끼치는 영향에 대해 연구하였다. 연구의 목적을 위한 실험을 통해서 먼저, 텍스트의 문단별 읽기 시간을 측정하여 온라인 처리 과정을 검토하였고, 둘째, 회상과 재인 검사를 실시하여 오프라인 상태에서의 이해도를 조사하였다. 이 연구의 재료로 사용된 텍스트는 번개 생성과정에 대한 과학텍스트로서, 반복, 지시사, 정박(anchoring), 인과적 접속사 등의 결속장치를 이용하여 응집성(coherence)의 강도를 높고, 낮게 조작하였다. 실험 결과, 결속장치가 길속장치의 종류와 지엽적 응집성의 강도에 따라 과학텍스트 읽기와 이해에 선택적으로 영향을 끼친다는 것을 발견하였다. 첫째, 인과적 접속사는 읽기 시간에는 영향을 주지 않는 반면, 이해를 촉진했는데, 이 긍정적 효과는 과제의 종류에 따라 다르게 나타났다. 즉, 회상 검사 결과에서는 인과적 접속사가 쓰인 모든 문단에서 유의한 차이가 나타났으나, 재인 검사에서는 유의한 차이가 부분적으로만 나타났다. 둘째, 반복 결속장치는 다른 결속장치와 같이 발생할 경우에만 읽기 시간과 이해를 부분적으로 촉진하는 것으로 나타났다. 셋째. 정박 결속장치의 영향은 읽기와 이해 두 처리 과정에 모두 선택적으로 영향을 준 것으로 나타났다. 인과적 접속사와 함께 쓰인 문단의 경우에는 회상 검사에서만, 반복 결속장치가 함께 쓰인 문단에서는 회상, 재인 검사에서 모두 긍정적 영향을 준 것으로 관찰되었다.
-
개념은 그 개념을 나타내기 위한 특성들이 결합된 지식의 단위이며 각 특성은 개념에 속한 개체들의 성질을 축약한 것으로 정의될 수 있다[4]. 이 논문은 백과사전 설명문 텍스트를 분석하여 개념을 구성하는데 필요한 정보를 몇 개의 대표적인 특성으로 분류하고, 이를 개념의 특성정보로 구축하였으며, 이를 관련 개념 문서에 적용하여 특성 정보를 인식하는 것을 보여준다. 본 연구는 백과사전이 세계 지식(world knowledge) 전반을 함축적으로 표현하고 있다는 가정에서 출발하였으며 적은 양의 데이터에 대한 수동 분석 결과를 통해 많은 양의 코퍼스를 분석한 것과 같은 의미있는 결과를 얻었다. 백과사전에 표현된 많은 개념 중 "질병"에 관하여 실험한 결과 평균 81%의 정확율로 질병의 특성 정보인 원인, 증상, 치료를 자동 인식함을 보여주었다. 개념의 요소 정보 인식은 정보의 이나 질의 응답과 같은 분야에 적용될 수 있다.
-
이 논문은 한국어 백과사전에 등장하는 질병에 대한 요약문 생성의 일환으로 내용을 비교하고 중복성을 제거하기 위해 논리표현으로의 변환과정에서 중요한 영대명사의 복원을 다룬다. 백과사전의적인 기술 특성상 자주 등장하는 영대명사의 복원을 위해 통사 의미적 혹은 담화적 언어지식에 의존하기보다는 질병에 관한 개념지도를 토대로 복원할 수 있다는 지식기반 방식을 제안한다.
-
명사 의미 부류 체계는 언어 처리의 다양한 분야에서 그 필요성이 부각되고 있다. 예를 들어, 기계 번역에 있어서의 단어 의미의 중의성 해소(word sense disambiguation), 정보검색 시스템에서도 재현율과 정확률의 향상, 추론 시스템 등을 위하여 명사 의미 부류는 중요한 역할을 한다. 명사 의미 부류 체계의 이러한 중요성 때문에 여러 온톨로지(ontology)가 기존에 구축되어 있다. 그런데 이러한 온톨로지들은 대개 순수한 개념적 기준에 입각한 것이며 단어의 통사적 특성을 별로 고려하고 있지 않다. 정보검색 시스템이나 추론 시스템의 경우에는 통사적 고려가 별로 중요하지 않을 수 있으나 기계번역의 경우 통사적 특성에 대한 고려가 매우 중요하다. 이러한 점에 주목하여 21세기 세종계획 전자사전 분과에서는 개념적 기준과 통사적 기준을 모두 고려하여 명사 의미 부류 체계를 구축하고 있다. 즉, 해당 부류에 속하는 명사들이 결합할 수 있는 술어(적정 술어) 등의 통사적 요인을 중요시하여 명사들을 분류하고 있는 것이다. 이에 따라 세종 체언 사전의 모든 명사들에 대해 의미부류 정보가 주어지고, 용언 사전의 용언의 각 논항에 대한 선택제약 정보도 이 명사 의미부류 체계를 이용하여 제시되고 있다. 이러한 정보들은 한국어 처리에 중요한 자료로 이용될 것이다.
-
의미주석말뭉치는, 문맥에 출현하는 각 어휘의 의미를 특정 사전의 세부의미항목(sense)에 대응시켜 주석함으로써 구축한 말뭉치이다. 이 말뭉치 구축에 있어서의 태그셋은, '연세 한국어 전자사전'의 각 의미기술정보를 기호화하여 사용하였다. 사람에 의한 실제 주석 작업 단계에서, 전자사전 정보의 불완전함 때문에 발생한 문제를 해결함으로써 본래의 사전 정보가 대폭 수정되었다. 즉, 의미 주석 과정에서 문제가 되는 요소에 대한 검토를 통해서 품사 정보, 문법 정보 등을 수정하고 기존 sense를 통합, 추가, 재배열함으로써 기존의 사전 정보를 개선할 수 있었다. 이와 같은 말뭉치와 전자사전, 자연언어 처리 시스템의 활발한 상호 작용을 통해서 언어정보처리 분야 연구의 질적 향상이 가능하다. 나아가, 인간이 직접 판단하여 주석한 대규모의 의미주석말뭉치를 분석하여 응용함으로써 텍스트내의 단어와 전자사전의 세부의미항목을 연결시키는 태거를 개발할 수 있을 것이다.
-
본 논문은 불어 명사의 의미 통사적 분류와 관련된 '대상부류(classes d'objets)' 이론을 바탕으로 한국어의 "크기" 명사 부류에 대한 의미적, 형식적 기준을 설정함으로써 자연언어 처리에의 활용 방안을 모색하고자 한다. 한국어의 일부 명사들은 어떤 대상 혹은 현상의 다양한 속성이 특정 차원에서 갖는 규모의 의미를 표현한다 예를 들어, '길이', '깊이', '넓이', '높이', '키', '무게', '온도', '기온' 등이 이에 해당하는데, 이들은 측정의 개념과도 밀접한 연관을 가지며, 통사적으로도 일정한 속성을 공유한다. 즉 '측정하다', '재다' 등 측정의 개념을 나타내는 동사 및 수량 표현과 더불어 일정한 통사 형식으로 실현된다는 점이다. 본 논문에서는 이러한 조건을 만족시키는 한국어 명사들을 "크기" 명사라 명명하며, "크기" 명사와 특징적으로 결합하는 '측정하다', '재다' 등의 동사를 "크기" 명사 부류에 대한 적정술어라 부른다. 또한 "크기" 명사는 결합 가능한 단위명사의 종류 및 호응 가능한 정도 형용사의 종류 등에 따라 세부 하위유형으로 분류할 수도 있다. 따라서 주로 술어와의 통사적 결합관계를 기준으로 "크기" 명사 부류를 외형적으로 한정하고, 이 부류에 속하는 개개 명사들의 통사적 세부 속성을 전자사전의 체계로 구축한다면 한국어 "크기" 명사에 대한 전반적이고 총체적인 의미적 통사적 분류와 기술이 가능해질 것이다. 한편 "크기" 명사에 대한 연구는 반드시 이들 명사를 특징지어주는 단위명사 부류의 연구와 병행되어야 한다. 본 연구는 한국어 "크기" 명사를 한정하고 분류하는 보다 엄밀하고 형식적인 기준과 그 의미 통사 정보를 체계적으로 제시해 줄 것이다. 이러한 정보들은 한국어 자동처리에 활용되어 "크기" 명사를 포함하는 구문의 자동분석 및 산출 과정에 즉각적으로 활용될 수 있을 것이다. 또한, 이러한 정보들은 현재 구축중인 세종 전자사전에도 직접 반영되고 있다.teness)은 언화행위가 성공적이라는 것이다.[J. Searle] (7) 수로 쓰인 것(상수)(象數)과 시로 쓰인 것(의리)(義理)이 하나인 것은 그 나타난 것과 나타나지 않은 것들 사이에 어떠한 들도 없음을 말한다. [(성중영)(成中英)] (8) 공통의 규범의 공통성 속에 규범적인 측면이 벌써 있다. 공통성에서 개인적이 아닌 공적인 규범으로의 전이는 규범, 가치, 규칙, 과정, 제도로의 전이라고 본다. [C. Morrison] (9) 우리의 언어사용에 신비적인 요소를 부인할 수가 없다. 넓은 의미의 발화의미(utterance meaning) 속에 신비적인 요소나 애정표시도 수용된다. 의미분석은 지금 한글을 연구하고, 그 결과에 의존하여서 우리의 실제의 생활에 사용하는
$\ulcorner$ 한국어사전$\lrcorner$ 등을 만드는 과정에서, 어떤 의미에서 실험되었다고 말할 수가 있는 언어과학의 연구의 결과에 의존하여서 수행되는 철학적인 작업이다. 여기에서는 하나의 철학적인 연구의 시작으로 받아들여지는 이 의미분석의 문제를 반성하여 본다.반인과 다르다는 것이 밝혀졌다. 이 결과가 옳다면 한국의 심성 어휘집은 어절 문맥에 따라서 어간이나 어근 또는 활용형 그 자체로 이루어져 있을 것이다.으며, 레드 클로버 + 혼파 초지가 건물수량과 사료가치를 높이는데 효과적이었다.\ell}$ 이었으며 , yeast extract 첨가(添加)하여 배양시(培養時)는 yeast extract 농도(濃度)가 증가(增加)함에 따라 단백질(蛋白質) 함량(含量)도 증가(增加)하였다. 7. CHS-13 균주(菌株)의 RNA 함량(含量)은$4.92{\times}10^{-2 }\;mg/m{\ell}$ 이었으며 yeast extract 농도(濃度)가 증가(增加)함에 따라 증가(增加)하다가 농도(濃度) 0.2%에서 최대함량(最大含量)을 나타내고 그후는 감소(減少)하였다. -
구(phrase) 단위 또는 문장(sentence) 단위의 연어(collocation) 정보는 자연언어 처리를 위한 단일어 또는 이중어 데이터베이스를 구축할 수 있는 중요한 기초 자료가 될 뿐 아니라, 외국어 학습에서도 어휘 단계를 넘어선 학습 자료를 제공할 수 있다. 불어는 굴절 언어(inflectional language)로서 기본형 대 굴절형의 비율이 약 1:9 정도로 비교적 굴절 비율이 높은 언어다. 또한 불어 표제어 중 95% 이상을 차지하는 불어의 동사, 명사, 형용사 중 상당한 비율이 암기해야 할 목록(list)이라는 특성을 갖기 때문에 검색과 학습에 있어 오류가 지속적으로 일어나는 부분이다. 표제어의 검색의 경우 불어 굴절 현상을 지원하는 전자 사전이 개발되어 있지만 아직까지 연어 정보에서 굴절형을 지원할 수 사전 또는 데이터베이스는 개발되어 있지 않다. 본 연구의 목적은 전자 사전과 형태소 분석기를 이용하여 굴절형 처리를 지원할 수 있는 불-한 연어 데이터베이스를 구축하는데 있다. 이를 위해 부산대학교 언어정보 연구실에서 개발한 불어 형태소 분석기 Infection와 불-한 전자 사전 Franco를 사용하였으며, 지금까지 구축된 불-한 연어 정보는 94,965 개이다. 본 고에서는 두 정보를 이용하여 불어 굴절형 정보를 분석 및 생성하는 방식 및 불-한 연어 데이터베이스 구조를 살펴 본다.
-
시소러스는 자연언어처리의 여러 분야에서 이용 가능한 아주 유용한 정보이다. 본 논문에서는 기존의 구축된 시소러스를 기반으로 우리말 큰사전을 이용하여 한국어 명사 시소러스를 반자동으로 구축하는 과정을 소개한다. 우선 코퍼스의 고빈도어를 중심으로 사전에서 추출한 기본명사들의 각 의미에 1차로 의미번호 부착 후 그 결과를 이용하여 사전 정의문으로 각 의미별 클러스터를 구성했다. 그리고, 전단계에서 의미번호를 붙이지 못한 명사의 의미에 대하여 그 정의문과 클러스트들 간의 유사도를 계산하여 가장 유사한 의미번호를 후보로 제시하였다. 마지막으로 사전의 하이퍼링크를 사용하여 아직 의미 번호가 붙지 않는 명사의 의미에 의미번호를 부여했다. 각 단계에서는 사람의 후처리를 통해서 시소러스의 정확도를 높였다.
-
번역 메모리(Translation Memory) 시스템이란 기존에 번역된 결과를 담고 있는 대용량의 번역 메모리에서 사용자가 제시한 입력문과 가장 유사한 문장을 검색한 후, 유사도 순으로 결과를 제시하여 이후의 번역 작업을 보다 효율적으로 할 수 있도록 도와주는 시스템을 말한다. 이는 기계 번역 시스템과 비교해 볼때, 보다 실현 가능성이 높은 자연어 처리의 응용 분야라고 할 수 있다. 일반적으로 번역 메모리 시스템에서 핵심이 되는 요소는 번역메모리의 구성과 유사성 척도에 대한 정의라고 할 수 있다. 국외의 경우, 이미 많은 상용 시스템들이 개발되어 번역 작업의 시간 및 비용을 줄이는데 많은 도움을 주고 있지만, 국내의 경우 한국어 번역 메모리의 구성 및 한국어 문장간 유사성 척도 등에 대한 연구가 미흡한 실정이다. 따라서 본 논문에서는 한국어를 대상으로 번역 메모리의 효율적인 구성 방법 및 문장간 유사성 척도에 대한 정의를 내리며, 한국어를 대상으로한 번역 메모리 시스템에 대한 실현 가능성을 논한다.
-
한영 기계번역 시스템을 구현하기 위해서는 다양하게 활용하는 한국어 용언을 보다 효율적으로 처리해야 할 필요가 있다. 한국어 용언은 그 활용이 매우 다양하여 활용에 따라 문장 내에서 다양하게 기능하게 된다. 한영 기계번역 시스템에서는 용언의 활용이 가지는 여러 정보를 효율적으로 분석하여 해당정보를 보다 효과적으로 역문에 반영시키는 연구가 필요하다. 본 논문에서는 용언의 활용에 따른 여러 정보-시제에 관한 정보(선어말어미 관련), 문종에 관한 정보(어말어미 관련), 양상에 관한 정보(보조용언, 어말어미 관련) 등-를 통일된 코드를 이용하여 일괄적으로 처리하는 방법론과 그 과정을 제시한다.
-
기계번역이 인간의 언어 능력을 기계로 구현한다는 점에서 전산학적 성격이 강하다면, 변환 사전은 인간의 어휘부(lexicon) 정보를 그대로 기계에 표상한다는 점에서 언어학적 성격이 강하다. 여기서는 다양한 어휘부 정보 중에서 한영 기계번역에서 필요한 언어학적 정보를 추출하고 이러한 정보를 바탕으로 적절한 동사 대역어 선택을 위한 변환 사전의 모형을 만들어 보고자 하였다. 한영 기계번역에서 적절한 동사 대역어 선택의 어려움은 한국어 동형어 처리 문제와 한국어에서는 포착되지 않지만 영어로 번역하는 과정에서 발생하는 영어 표현의 특수성 때문에 기인한 것으로 볼 수 있다. 이 논문에서는 이러한 문제를 논항과 문법 형태소, 선택제약, 개별 어휘 등의 기초적인 언어학적 개념을 이용한 변환사전을 통해 해결한다. 또한 동사 대역어 선택에 영향을 미치는 이러한 개별적인 요인들은 실제 변환사전의 기술에 있어서는 복합적으로 적용됨을 동사 '먹다'의 기술을 통해 확인할 수 있다.
-
말뭉치를 통한 통계적인 자연 언어 처리에 관한 연구가 다국어 처리 분야에서도 활발히 진행되고 있는 가운데, 본 논문에서는 병렬 말뭉치 구축 및 활용의 기본이 되는 문장 정렬을 위한 효과적인 방법을 제안한다. 먼저, 기존의 문장 길이를 이용한 방법을 한-영 문장 정렬에 적용해 보고, 길이 정보만을 이용했을 때의 한계점을 지적한다. 그리고, 사전과 품사 대응 확률을 이용한 단어 정렬을 통하여, 길이 기반의 정렬 방식이 갖는 문제점을 보완할 수 있는 방법을 제시한다. 실험을 통하여 제안한 방법이 길이에 기반한 방법에 비하여 높은 성능을 나타냄을 알 수 있었다. 또한 한-영 문장 정렬에의 어휘 정보 활용에 있어서 문제가 될 수 있는 요소가 어떤 것들이 있는지 알아본다.
-
이 논문은 '에서', '으로'와 같은 한국어의 부사격 조사들을 다국어 기계번역 시스템에서 다룰 때 올바른 역어 선택을 위한 3단계 변환 방식과 이를 위한 부사격 조사의 언어학적 모델링 방법을 제시한다. 3단계 변환 방식은 부사격 조사의 의미 모호성 해소, 의사 중간언어표상 (Quasi-Interlingua Representation)으로의 변환, 전치사 선택의 3단계로 구성되어 있다. 본 논문에서 중점적으로 다루게 될 세번째 단계, 즉 영어나 독일어에서 한국어의 부사격 조사에 대한 전치사 선택의 단계에서 올바른 대역어 선정 방법론의 핵심이 되는 부사격 조사에 대한 언어학적 모델링을 위해 Pustejovsky (1995)의 생성 어휘부 이론 (Generative Lexicon Theory)을 도입한다. 이 논문에서 제시한 방법론은 그 타당성의 수학적 검증을 위해 통합기반 기계번역 시스템인 CAT2에서 구현되었으나, 방법론 자체는 특정 시스템에 제한됨 없이 범용적으로 적용될 수 있을 것이다.
-
본 논문은 세종 전자사전을 구성하고 있는 하위사전의 하나인 세종 용언전자사전에서 사용되는 의미역 기술체계 및 그 목록을 소개하는 논문이다. 본 논문은 2부로 구성되어 있다. 1부에서는 의미역이란 개념을 정의하고 의미역 기술의 의의를 순수언어학적 차원과 NLP의 응용 기존의 비판에 관하여 우리의 응용 차원에서 설명한다. 아울러 1부에서는 의미역 개념에 대한 기존의 비판에 관하여 우리의 입장을 밝힌다. 제 2부는 본론으로서 세종 용언전자사전에서 사용되는 의미여 기술체계 및 목록 그리고 그것이 지니는 의의를 소개하는 부분이다. 제 2부에서는 우선 세종 용언전자 사전이 의미역 기술 및 목록 확정을 위해서 채택하고 있는 원칙을 밝힌다. 그 다음에는 현재 세종 용언전자사전에서 사용하고 있는 의미역 목록을 각 의미역의 정의와 함께 소개한다. 끝으로 세종 용언전자사전의 틀 내에서 이루어지고 있는 의미역 기술이 갖는 의의와 현 의미역 기술체계가 지니고 있는 문제점을 지적한다.
-
조사어미사전은 한국어 연구 및 교육, 정보처리 분야에 두루 이용될 수 있는 범용적 전자사전을 지향하는 세종전자사전의 한 위성사전으로서, 한국어 조사와 어미에 대한 각종 언어 정보를 체계적이고 일관된 형식으로 표상하는 것을 목적으로 하고 있다. 그러한 목적을 달성하기 위해 본 연구 작업에서는 조사와 어미의 형태적 변이 양상과 조건을 상세히 밝히는 한편, 의미 통사적 특성과 제약에 관한 다양한 정보들을 가능한 한 풍부하게 제시하고 있다. 조사와 어미에 대하여 사전에 풍부하고 다양한 언어 정보를 표상하는 작업은 기존의 한국어 인쇄사전은 물론 전자사전에서도 본격적으로 시도되지 않았던 것으로, 본 사전에서 현재까지 기술하고 있는 다양한 정보들은 앞으로 한국어에 대한 순수 언어학적 연구만이 아니라 한국어 정보 처리 분야의 발전에 있어서도 기여하는 바가 적지 않을 것으로 기대한다.
-
본고는 올해 처음 시도하는 세종계획 관용표현 전자사전 구축에 관한 글이다. 본 전자사전이 완성되면 관용표현의 총체적 정보(형태, 통사, 의미, 화용 정보)를 수록하는 최초의 업적이 될 뿐만 아니라 실제 언어 자료에서 흔히 볼 수 있는 관습적 표현까지 모두 포괄하는 4만 표제어의 대규모 사전이 될 것이다. 본 사전에서는 관용표현의 형태 통사적 구성과 그 분포적 속성뿐 아니라, 관용표현이 가지는 논항의 존재 유무, 구조, 조사 통합 양상, 그리고 고정명사에 대한 수식어 제약, 어휘적 통사적 변형 양상, 선어말어미 제약, 어말어미 제약, 문장 유형 제약 등이 수록된다. 또한 각 논항의 의미역과 선택제약에 관한 정보, 그 외 다양한 의미 화용 정보 어원 표기 정보 등도 담기게 된다. 본고에서는 그러한 정보의 표기 양식을 하나하나 명시적으로 설명할 것이다.
-
세종전자사전이 궁극적으로 범용전자사전을 지향한다는 점에 비추어 볼 때, 텍스트 자동 분석과 생성, 정보 검색 및 자동 번역 등에 활용될 데이터베이스로서의 전자사전은 자연 언어 어휘의 내적 구조와 기능방식에 관한 정보들, 가령 음운 통사 의미 화용적 가치와 실현 조건 등에 관한 정보들을 체계적이고도 정교하게 담고 있어야만 한다. 의존명사, 대명사, 수사 범주에 속하는 언어 단위들은 단일 명사와 구별되는 어휘 통사적 속성들을 지니며, 사전의 기술 구조에는 그 정보 값들을 체계적으로 명시화할 수 있는 정보 항목과 표상 구조가 설정되어야 한다. 가령 의존명사처럼 통사 의미적 자율성을 지니지 않는 언어 요소의 경우, 어휘 관계 정보보다는 인접하는 여타 언어 단위들과의 호응관계나 결합제약 조건들이 더 중요한 정보일 수 있다. 본 사전이 체언사전의 하위사전으로 별도로 구축되는 것은 단일어 사전에서 그러한 정보들을 효과적으로 표상하기 어렵기 때문이다. 그러나 본 사전은 실제적으로는 체언사전에 통합되어 운영된다는 점에서 이중적 지위를 누린다고 하겠다.
-
세종전자사전은 한국어 어휘의 정보를 총체적으로 표상하는 전산어휘자료체이다. 세종전자사전은 궁극적으로 다양한 유형과 기능의 한국어 자동처리에의 활용을 목표로 한다. 세종체언전자사전은 최종적으로 5만여 항목을 대상으로 구축될 것이다. 세종명사전자사전은 전산적 효율성을 고려하여 명사 어휘의 정보를 8개의 하위정보구획과 50여개의 세부정보항목으로 구분하여 표상한다. 특히, 명사의 어휘 통사적인 결합에 관한 정보는 한국어 명사구와 문장의 자동생성에 직접 활용될 수 있는 정보이다. 명사는 수식어 요소 또는 조사와 결합하여 명사구를 형성하고, 동사 및 형용사와 결합하여 문장의 생성에 참여한다. 개별 명사들은 이 과정에서 다양한 제약적인 양상들을 보여주고 있으며, 세종명사전자사전은 이 정보들을 명시적으로 표상한다. 또한 명사는 기능동사와 결합하는 술어명사와 그렇지 않은 비술어명사로 구분이 된다. 술어 명사가 기능동사와 결합하여 문장을 형성할 때, 명사와 그 논항들은 다양한 통사적 기능을 담당한다. 또한 술어명사는 논항과 결합하여 명사구를 형성한다. 그러나, 술어명사의 명사구 형성과 기능동사의 결합은 불규칙적이고, 명사와 기능동사의 의미적 특성에 따라 다양한 제약이 발견된다. 이 정보들의 정밀한 표상은 개별 술어명사로부터 생성될 수 있는 가능한 명사구와 문장의 형태를 구체적으로 밝혀주게 된다. 세종명사전자사전의 어휘 통사적인 결합에 관한 정보들은 명사구 또는 문장의 자동생성의 정확성과 효율성을 높여줄 것이다.
-
필기 한글문자 인식은 다양한 필기 변형, 자모 간의 접촉과 같은 문제들을 내포하고 있다. 최근 이를 해결하기 위한 방법으로 랜덤 그래프를 이용한 필기 한글 모델링이 제안되었으나, 상향식 정보처리의 한계인 시간 복잡도 문제를 겪고 있다. 영어 단어인식에 관한 인지과학적 연구에서는 하향식 정보처리의 주요한 역할 중 하나로 인식 과정에서의 계산 중복을 없애는 필터링의 역할을 들고 있다. 본 논문에서는 랜덤 그래프를 이용한 필기 한글 모델링을 기반으로 하여 필기체에 나타나는 다양한 변형을 흡수하며, 시간 복잡도를 해결하기 위한 한글 문자의 구조에 바탕을 둔 하향식 정보처리 방법을 제안한다. 제안하는 방법은 모델 발화를 이용한 자모 후보 추출 DP 정합과 동적 격자 탐색을 이용한 문자 후보 탐색, 그리고 문자의 구조적 제약을 이용한 후보 제거 기법을 포함한다. 필기 한글 데이터베이스인 SERI-DB에 대한 예비 실험 결과, 제안한 방법은 인식률의 큰 저하 없이 상향식 정보 처리에 바탕을 둔 기존 방법에 비해 높은 속도 향상을 가져 왔다.
-
한국어나 일본어는 영어 등 서구의 언어와 비교하여 매우 발달된 경어 체계를 가지고 있다. 그러나 이러한 경어 체계는 이들 언어를 모국어로 사용하지 않는 사람들을 포함하여 모국어로 사용하는 많은 사람들까지도 정확하게 구사하기는 어려워 하는 것이 현실이다. 그럼에도 불구하고 경어 체계의 정확한 구사 능력은 적절한 어휘 선택 능력과 함께 자연스러운 의사 소통을 위한 중요한 언어 능력으로 간주되고 있다. 특히 기계번역기나 문법검사기를 구현하고자 할 때 이러한 경어 체계를 정확하게 이해하는 시스템의 구현은 한 차원 높은 자연스러운 표현을 제공하기 위하여 필수적이라고 할 수 있다. 본 논문에서는 한국어의 경어 체계를 조사하고 결합범주문법을 통하여 이를 검증하는 시스템을 소개한 뒤 사극 대본을 대상으로 하여 이 시스템의 성능을 확인한다.
-
한국어에서 부사는 관형사와 구별하여 통사적으로 명사 등의 체언을 수식할 수 없다고 분석하는 것이 일반적이다. 의미적으로 상태성 명사와 수식관계를 가질 수 있는 정도부사의 경우에도 명사를 직접 수식하는 것이 아니라 그 명사를 보어로 취하는 지정사를 포함한 지정사구 전체를 수식한다는 것이 현재의 이론언어학에서의 입장이다. 본 논문에서는 말뭉치에 나타난 실제 문장을 기계적으로 처리하는 관점에서 정도부사의 수식을 받는 것은 지정사구가 아니라 상태성 명사 자체로 설정하고자 한다. 이러한 근거로서 말뭉치에서 추출한 실제 문장을 중심으로 정도부사의 수식을 받는 지정사구에 지정사가 생략되는 경우와 지정사구 형태가 아닌 다양한 명사구 형태 역시 정도부사의 수식을 받는 경우가 존재함을 보인다. 또한 정도 부사와 결합하는 명사들이 갖는 의미적 특성을 통해 정도부사와 명사와 결합시켜야 수식 관계의 처리에 용이함을 보이고 정도부사에 대한 이론적 설명에도 타당함을 보인다. 마지막으로 말뭉치에 나타난 정도부사의 수식을 받는 명사의 용례를 분석하여 빈도 및 하위 분류 특성을 살펴본다.
-
자연 언어 처리의 구문 구조 분석에서는 수식 관계의 중의성에 의한 많은 구문 구조가 생성된다. 이러한 중의성을 해소하는데 어휘 정보가 유용하다는 것은 잘 알려져 있다. 본 논문은 한국어의 구문 구조 분석 시 중의성을 해소하기 위해 어휘 정보로 부사 수식 정보와 부사 확률 정보를 사용한다. 부사들의 사용과 수식 패턴들을 대량의 말뭉치로부터 조사하고, 수식 패턴들 중 비교적 규칙적인 것들을 부사 수식 정보로, 피수식어의 상대적 위치와 피수식어의 품사에 대한 확률을 부사 확률 정보로 구성하였다. 구문 구조들 중 가장 옳은 구문 구조를 선택하기 위해 부사 수식 정보와 부사 확률 정보를 이용하였고, 구문 분석에서 부사에 의한 중의성을 해소하였다.
-
유사한 형태의 필기 한글 문자쌍은 한글 인식 시 발생하는 오류의 많은 부분을 차지한다. 이는 유사한 문자들의 작은 차이를 인식기가 충분히 반영하기 어렵기 때문이다. 본 논문에서는 최근 주목 받고 있는 Support Vector Machine을 이용해 유사한 문자쌍을 검증하는 한글 인식 후처리 방법을 제안한다. 제안하는 방법은, 대부분의 문자 유사쌍이 한 두개의 자모만이 상이한 점에 착안하여 자모 단위로 문자 유사쌍을 구분한다. 기존 랜덤그래프를 이용한 한글 인식기를 이용하여 자모 분할을 수행하고, Support Vector Machine을 이용하여 분할된 결과를 검증한다. 제안한 방법은 유사쌍 구분에 중요한 자모만을 선택적으로 고려하여, 기존 한글 인식기의 부족한 점을 보완한다. 실험 결과, 자주 혼동되는 문자쌍들의 인식 오류가 정정되는 것을 볼 수 있었으며 그에 따라 한글 인식의 전체 성능이 향상되었다.
-
본 논문에서는 질의/응답 시스템의 평가를 위해 구축된 평가집합 (Korean Question Answering Test Collection 2.0: KorQATeC2.0)에 대하여 기술한다. KorQATeC2.0은 총 120개의 질의와 207,067개의 문서로 구성되어 있으며, 120개의 질의는 질의에 대한 정답을 제시하는 방식에 따라 기본 과제 질의, 나열 과제 질의, 문맥 과제 질의, 요약 과제 질의로 나누어진다. 또한 KorQATeCl.0과는 달리 여러 문서를 참조하여 정답을 구성하는 질의와 문서집합에 정답이 존재하지 않는 질의를 포함시킴으로써 질의/응답 시스템의 평가를 다양하게 할 수 있도록 하였다. 본 논문에서 기술하는 평가집합은 질의/응답 시스템의 객관적 평가를 가능하게 한다는 점에서 그 의의가 있다.
-
이 연구는 상거래 대화의 진행 구조에 따른 화행상의 특징을 분석하는 데 목적이 있다. 상거래 대화는 일상 대화와는 달리, 특정 상황에서 특정 목적을 수행하기 위한 대화이다. 대화가 목적 달성을 위하여 단계적으로 진행되는데, 단계마다는 화행에서 특징적인 양상을 보인다. 이 연구에서는 상거래 대화의 진행 단계 구조를 '(시작 단계) - 매매 준비 단계 - 매매 흥정 단계 - 매매 결정 단계 - 매매 행위 단계 - (종결 단계)'와 같이 분석한다. 다음으로 화행에 대해서는 상거래 대화에서 나타나는 화행의 유형과 빈도를 조사하여 일반적인 특징을 살펴본다. 그리고 응대의 개념을 도입하여 각 진행 단계별로 나타나는 화행과 응대를 분석하여 상거래 대화 화행의 역동적인 양상을 고찰한다.
-
본 논문에서는 한정된 영역을 대상으로 하는 질의응답 시스템에서 사용자의 질의를 해석하고 적당한 대답을 생성하기 위해 백과사전이나 일반사전 등과 같은 지식원에서 추출된 구조화된 지식을 사용하는 과정을 기술한다. 질의응답을 위하여 지식원은 그 단락의 의미에 따라 구조화되고 각 단락은 논리형식으로 변환되었으며, 논리형식 내 각 개체들은 사전 정의문에 따라 확장되었다. 이 구조화된 지식은 입력된 자연언어 질의문에서 질의의 의도를 추출하고, 질의에 포함되어 있는 지식에 의미속성을 부착하기 위해 사용된다. 지식원의 논리형식 변환을 위해 한국어의 논리형식이 도입되었으며, 사용된 지식원은 우리말 큰사전과 계몽백과사전의 30여개 질병정의문이다.
-
질의어 변환 방법은 다국어 정보검색을 위한 방법중에 효율적인 방법이다. 양질의 질의어 변환을 위해서, 사전, 온톨로지, 병렬 코퍼스 통과 같은 자연언어 자원이 필요하다. 이러한 자연언어 자원은 양질로 대량으로 구축하려면 많은 비용이 튼다는 단점이 있다. 본 논문에서는 한영 질의어 변환에 적용할 수 있는 공통 중간개념 구축방법을 제안한다. 공통 중간개념은 동사들의 축으로 이루어지며, 통사들은 기본동사들의 조합으로 표현한수 있다고 가정한다. 공통 중간개념은 적은 자연언어 자원을 효율적으로 이용할 수 있도록 한다. 본 논문에서는 기본 동사 축을 특이값 분해(singular value decomposition) 방법으로 구하고, 그 기본 동사 축을 이용해서 질의어 변환하는 방법을 보여준다.
-
일반적으로 한국어 문장에서 명사는 용언의 항가(valency)에 의해 격이 할당된다. 그러한 이유로, 한국어는 용언이 문장 끝에 온다는 일반적인 제약 이외에는 그 어순이 비교적 자유롭다. 그러나 격 할당과 자유 어순에 대한 여러 가지 비규칙적인 현상들 때문에 문장 분석이나 생성에 문제가 일어난다. 예를 들면, "나 머리 아프다"에서처럼 명사에 격조사가 표시되지 않고 문장이 생성될 수도 있고, "은/는"이나 "도"와 같은 특수조사와 결합할 때는 그 격이 드러나지도 않는다. 어순의 경우, "물이 얼음이 되었다"=/= "얼음이 물이 되었다" 에서처럼 주격이 이중으로 나타나면 어순이 자유롭지 않는 반면, 용언의 어미가 문장 종결형일 때에는 "어서 가자 백두산으로"에서처럼 용언이 문미에 오지 않을 수도 있다. 이 논문은 한국어의 어순과 격 할당에 관한 이러한 문제를 어떻게 처리할 것인가를 보이는 것이 그 목적이다. 문제를 가급적 명시적으로 해결하기 위하여, 본 논문은 문장 분석과 생성에 대한 규칙과 제약 조건들을 형식화하고 문장 처리 과정에서 일어나는 격 할당과 어구 결합 및 배열 과정을 malaga라는 프로그래밍 언어로 구현하여 실험할 것이다.
-
비재귀 명사구(baseNP)는 단순한 단어 패턴과 품사 패턴에 의하여 쉽게 인식되므로, 자연어처리의 다양한 분야에서 활용한다. 교착어의 지배 성분 후위 원칙에 의하여 한국어 비재귀 명사구 인식은 보다 많은 광역 정보를 필요로 하므로, 본 논문에서는 광역 정보의 활용이 쉬운 상태 기반 모델을 사용한다. 본 논문은 상태 기반의 한국어 비재귀 명사구 인식에서 방향성을 고려한다. 교착어의 특성상 한국어 비재귀 명사구는 처음 위치가 끝 위치에 비하여 인식이 어려운 특징을 가지므로 방향성을 고려하여 오른쪽 우선의 방범을 활용한 경우, 모델의 특성 및 성능이 변화한다. 본 논문에서는 기존의 왼쪽 우선 방법과 새로이 제안하는 오른쪽 우선 방법을 각각 적용하고, 양 방법을 통합하는 방법들을 제안한다. 통합 결과 92.55%의 정확률과 90.90%의 재현률을 얻었다.
-
언어를 컴퓨터로 처리하기 위한 방법으로 격문법(Case Grammar)을 사용하는 것이 있다. 격문법은 동사에 대한 격틀(Case Frame)을 기술함으로써 그 동사와 의미적으로 관계를 가지는 명사들에 대해 표현하는 것이다. 따라서 이러한 격 문법을 사용하기 위해서는 동사에 대한 격틀을 기술하는 것이 필수 과제이다. 본 연구에서는 동사에 대한 격틀을 기술하기 위해서 말뭉치에서 직접 사용된 명사-조사 쌍과 동사를 추출하여 이들의 격관계를 결정하고 이 자료들을 모두 동사의 격틀 정보로 사용하였다 이렇게 구축된 격틀 자료를 구문분석의 후처리 단계에 적용하여 구문분석 결과 잘못된 명사-조사 쌍 의존관계를 수정하였다.
-
본 논문은 의존 문법에 기반만 한국어의 구문 분석 시스템을 제안한다. 일반적으로 올바른 구둔 구조를 얻기 위해서 많은 가능한 구문 구조를 생성하고 이 중에서 가장 좋은 것을 선택하는 방법을 사용한다. 이를 위하여 가능한 모든 구문 분석 구조를 생성하는 기법을 제안하였다. 이것은 모든 가능한 구문 구조에 관한 정보를 응축한 자료 구조를 구축한 다음 여기에서 구문 트리를 하나씩 추출하도록 하였다. 이 과정에서 의존 문법이 만족하여야 하는 모든 기본적인 제약 조건을 만족하는 트리 만이 효과적으로 추출되는 기법을 제안하였다. 그 결과 생성되는 트리의 수를 줄이게 되어 효율적인 구문 분석을 달성할 수 있게 되었다. 추출된 많은 트리 중에서 하나를 선택하는 작업에서 상호 정보가 이용되었다. 본 논문에서는 이러한 상호 정보를 구문 분석 중의성 해소에 효과적으로 사용하는 기법을 제시하였다. 제안된 기법의 타당성을 입증하기 위하여 구문 분석 시스템을 개발하고 여러 문장에 대한 분석을 실험하였다.
-
본 논문은 동사의 의미표상과 명사의 한정성의 강호관계를 중심으로 목적어의 생략현상을 검토하였다. 한국어는 영어 같은 언어와 달리 주어, 목적어 등이 자주 생략된다. 이 연구는 한국어의 목적어 생략이 단순히 인간성 (humanness), 주체성 (agency), 한정성(definiteness) 등 명사의 의미자질에 의해서만 결정되는 것이 아니라, 다음 두 가지 제약이 결정적으로 작용함을 제안하고자 한다. 첫째, 목적어 생략은 행동양상 (mold of agent act)과 원인 (cause)을 심층적으로 포함하는 소위 '핵심 타동사 (core transitive)'와 선행사의 한정성 정도에 의해 결정되는데, 구체적으로 목적어 생략은 한정성 자질을 가진 선행사가 없는 담화에서는 허용되지 않는다는 제약이다. 둘째, 타동사와 명사의 한정성과는 독립적으로, 한국어의 목적어 생략은 또한, 추론에 의거하여 보다 더 적절히 해석될 수 있는 경우를 실증적으로 보이고자 한다.
-
본 연구에서는 동형이의어 분별을 위하여 허정(2000)이 제시한 "사전 뜻풀이말에서 추출한 의미정보에 기반한 동형이의어 중의성 해결 시스템" 이 가지는 문제점과 향후 연구과제로 제시한 문제들을 개선하기 위하여 Bayes 정리에 기반한 동형이의어 분별 모델을 제안한다. 의미 분별된 사전 뜻풀이말 코퍼스에서 동형이의어를 포함하고 있는 뜻풀이말을 구성하는 체언류(보통명사), 용언류(형용사, 동사) 및 부사류(부사)를 의미 정보로 추출한다. 동형이의어의 의미별 사전 출현 빈도수가 비교적 균등한 기존 9개의 동형이의어 명사를 대상으로 실험하여 비교하였고, 새로 7개의 동형이의어 용언(형용사, 동사)을 추가하여 실험하였다. 9개의 동형이의어 명사를 대상으로 한 내부 실험에서 평균 99.37% 정확률을 보였으며 1개의 동형이의어 용언을 대상으로 한 내부 실험에서 평균 99.53% 정확률을 보였다. 외부 실험은 국어 정보베이스와 ETRI 코퍼스를 이용하여 9개의 동형이의어 명사를 대상으로 평균 84.42% 정확률과 세종계획의 350만 어절 규모의 외부 코퍼스를 이용하여 7개의 동형이의어 용언을 대상으로 평균 70.81%의 정확률을 보였다.
-
본 논문은 문맥의 공기정보를 사용한 한국어 명사의 의미구분에 관한 연구이다. 대상 명사에 대한 문맥의 지엽적인 단어분포는 명사의 의미구분을 위한 의미적 특성을 표현하는데 충분하지 못하다. 본 논문은 의미별로 수집한 문맥 정보를 기저 벡터화 하는 방법을 제안한다. 정보의 중요도 측정을 통하여 의미구분에 불필요한 문맥정보는 제거하고, 남아있는 문맥의 단어들은 변별력 강화를 위하여 상의어 정보로 바꾸어 기저벡터에 사용한다. 상의어 정보는 단어의 형태와 사전 정의문의 패턴을 통해 추출한다. 의미 벡터를 통한 의미구분에 실패하였을 경우엔 훈련데이터에서 가장 많이 나타난 의미로 정답을 제시한다. 실험을 위해 본 논문에서는 SENSEVAL 실험집합을 사용하였으며, 제시한 방법으로 공기정보의 가공 없이 그대로 실험한 방법과 비교하여 최고 42% 정도의 정확률 향상을 나타내었다.
-
동음이의어 간의 서로 다른 의미를 효율적으로 변별해 줄 수 있는 방법 중 하나로 어휘의미분석 말뭉치의 활용을 들 수 있다. 이는 품사 단위의 중의성을 해소해 줄 수 있는 형태소 분석 말뭉치를 기반으로, 이 단계에서 해결하지 못하는 어휘적인 중의성을 해결한 것으로, 보다 정밀한 언어학적 연구와 단어 의미의 중의성 해결(word sense disambiguation) 등 자연언어처리 기술 개발에 사용될 수 있는 중요한 언어 자원이다. 본 연구는 실제로 어휘의미분석 말뭉치를 구축하기 위한 기반 연구로서, 어휘의미분서 말뭉치의 설계와 구축 방법론상의 제반 사항을 살펴보고, 중의적 단어들의 분포적 특징과 단어의 중의성 해결 단계에서 발생할 수 있는 문제점을 지적하고, 아울러 그 해결 방법을 모색해 의는 것을 목적으로 한다.
-
A Homonym Disambiguation System Based on Statistical Model Using Sense Category and Distance Weights본 논문에서는 Bayes 정리를 적용한 통계기반 동형이의어 분별 시스템에 대한 외부실험 결과를 분석하여, 정확률 향상을 위한 의미범주 가중치 및 인접 어절에 대한 거리 가중치 모델을 제시한다. 의미 분별된 사전 뜻풀이말 코퍼스(120만 어절)에서 구축된 의미정보를 이용한 통계기반 동형이의어 분별 시스템을 사전 뜻풀이말 문장에 출현하는 동형이의어 의미 분별에 적용한 결과 상위 고빈도 200개의 동형이의어에 대해 평균 98.32% 정확률을 보였다. 내부 실험에 사용된 200개의 동형이의어 중 49개(체언 31개, 용언 18개)를 선별하여 이들 동형이의어를 포함하고 있는 50,703개의 문장을 세종계획 품사 부착 코퍼스(350만 어절)에서 추출하여 외부 실험을 하였다. 분별하고자 하는 동형이의어의 앞/뒤 5어절에 대해 의미범주 및 거리 가중치를 부여한 실험 결과 기존 통계기반 분별 모델 보다 2.93% 정확률이 향상되었다.
-
최근의 인터넷 정보검색은 방대한 정보의 수용과 지능적이고 개인화된 검색 결과 요구라는 사뭇 상반된 요구를 만족시켜야 한다. 기계적으로 키워드를 매칭시켜 나오는 문서를 사용자에게 맡기는 식의 검색은 더 이상 환영을 받지 못한다. 우리는 이러한 추세에 맞추어 의미기반 정보검색에 필요한 개념망과 정답문서집합으로 구성된 지식베이스를 제안한 바 있다. 본 논문에서는 방대한 구조의 개념망과 연결되는 정답문서집합을 유동적인 인터넷 환경에 적용하기 위해 자동으로 구축하는 시스템을 제시한다. 자동구축은 문서분류(document categorization) 기술을 활용하여 개념어에 문서를 할당하는 방법과 속성에 문서를 할당하는 방법으로 나누어 이루어진다. 제시한 방법은 실험을 통하여 기본적인 속성 할당에는 상당한 효과가 있는 것으로 판단되었고, 일부 미할당 문서에 대해서는 클러스터링과 같은 다른 알고리즘이 필요하다.
-
본 논문은 자연언어생성 기술을 이용하여 질병에 대한 기술문을 생성해 내는 시스템에서 사용되는 표층 생성기에 대해서 다루고 있다. 표층 생성기는 문장의 추상적인 표현으로부터 통사적으로, 형태론적으로 올바른 텍스트로 생성하여 내는 것을 목표로 한다. 질병에 관한 기술문에 있는 문장들은 두가지 특징을 가지고 있다. 첫번째로, 질병 기술문의 문장들은 토픽-코멘트 구조로 나타내어질 수 있다. 두번째로, 같은 의미 범주에 속하는 문장들은 같은 토픽을 가진다. 따라서, 토픽은 의미범주로부터 유추될 수 있으므로 표층 생성기의 입력인 구 명세 (phrase specification)에 표현될 필요가 없다. 본 논문에서는 이런 특징을 이용하여 효율적인 표층 생성기를 만들기 위하여 표층 생성의 단계를 내부 표현 생성과 외부 문장 생성의 두 단계로 나누었다. 내부 표현 생성 단계에서는 코멘트에 해당하는 부분을 생성하고 외부 문장 생성 단계에서 의미범주 태그에 따라 토픽을 첨가하여 최종 문장으로 생성하였다. 이런 방법으로 실험한 결과, 본 표층 생성기는 문법에 맞으면서 자연스러운 텍스트를 생성해 낸다는 것을 알 수 있었다.
-
현재 인터넷을 통하여 제공되고 있는 멀티동화는 텍스트 형태의 동화와 함께 이와 관련된 애니메이션 음성 정보를 사전에 제작한 뒤에 사용자에게 제시하는 방법을 택하고 있다. 본 논문에서는 자연언어처리 기법을 이용하여 텍스트 형태의 한국어 동화를 실시간으로 분석한 뒤 그 내용을 삼차원 애니메이션으로 제시하는 멀티 동화 제작 시스템을 소개한다. 이 시스템은 줄거리가 완성된 동화뿐만 아니라 사용자가 변경한 줄거리를 가지는 동화에 대해서도 이에 따른 삼차원 애니메이션을 제시하여 보다 사용자 친화적인 인터페이스를 제공할 뿐만 아니라 사용자가 묘사하는 텍스트 형태의 내용을 입력받아 이에 맞는 애니메이션을 제시하여야 하는 많은 분야에서 응용될 수 있다. 본 논문에서는 이와 같은 실시간 멀티 동화 제작 시스템을 구현할 때 해결하여야 하는 문제점들을 알아보고 이에 해결 방안과 구현에 대하여 논의한다.
-
본 논문에서는 한국어 형태소 분석기가 처리할 수 없는 어휘적 중의성 해결을 위한 방법으로 부분 문장 분석 기법을 연구한다. 부분 문장 분석 기법의 신뢰도를 높이기 위해서 말뭉치를 이용한 데이터를 통해 학습한 경험적 규칙을 이용한다. 학습한 경험적 규칙을 오류 유형에 따라 확장하고 전문화하여 축적된 연구결과를 지식 베이스로 삼아 한국어 맞춤법 및 문법 검사기에서 사용하는 부분 문장 분석기의 성능을 향상시킨다. 본 논문에서 사용한 확장하고 전문화한 지식 베이스는 말뭉치에서 얻은 경험적 규칙을 기반으로 한다. 이 경험적 규칙은 언어적 지식을 기반으로 한다.
-
한국어의 용언구 중에서 [명사]+[불특정 조사]+[용언]의 형태를 보이는 '공부를 하다' '잠이나 자다'와 같은 어구는 [명사]와 [동사]의 결합이 비교적 자유로워 기계번역 시스템에서 이들을 처리하고자 할 때 몇가지 애로점이 있다. 우선, 기계번역 시스템의 특성상 이와 같은 용언구를 하나의 어구로 인식해서 역문을 생성해야 하는데 이들을 일일이 사전에 수록하기 어렵다는 점을 지적할 수 있다. 또한 이들 어구에 포함된 [명사] 부분이 [한정사]의 수식을 받을 때 영어 역문에서는 해당 수식어를 원래의 수식어의 의미 그대로 생성할 수 없다는 것도 중요한 문제점이다. 이러한 문제점을 해결하기 위하여 본 연구에서는 [명사] 부분과 [용언] 부분을 각각의 품사 사전에서 탐색하여 품사별로 인식한 후에 다시 통사적으로 하나의 용언으로 인식시켜 해당 역문을 생성하는 처리 방법을 제안한다. 또한, [한정사]의 수식을 올바로 생성하기 위하여 이런 종류의 용언구들을 분류하여 그 분류에 따라 [한정사]를 변형 생성하는 방법을 제시한다.
-
본 논문은 자연어 인터페이스에 기반한 관계형 데이터베이스 상에서의 질의 응답 시스템에 대해 기술한다. 본 시스템은 다국어, 다중 도메인, 다중 DBMS를 지원하는 시스템으로, 주로 오디오와 비디오 관련 제품들에 대한 정보를 다룬다. Lexico-semantic pattern (LSP) 문법을 관계형 데이터베이스 상에서의 질의 응답 시스템에 최초로 도입하여 기존의 시스템들에 비해 높은 성능을 보이며, linguistic front-end (LFE)와 database back-end (DBE)를 명확히 구분하고 각종 리소스들을 엔진과 분리함으로써 높은 이식성을 가지도록 한다.
-
Lee, Seung-Woo;Jung, Han-Min;Kwak, Byung-Kwan;Kim, Dong-Seok;Cha, Jeong-Won;An, Joo-Hui;Lee, Gary Geun-Bae;Kim, Hark-Soo;Kim, Kyung-Sun;Seo, Jung-Yun 538
본 연구에서는 오픈 도메인에서 동작할 수 있는 질의 응답 시스템(Open-domain Question Answer ing System)을 구현하고 영어권 TREC에 참가한 결과를 기술하였다. 정답 유형을 18개의 상위 노드를 갖는 계층구조로 분류하였고, 질문 처리에서는 LSP(Lexico-Semantic Pattern)으로 표현된 문법을 사용하여 질문의 정답 유형을 결정하고, lemma 형태와 WordNet 의미, stem 형태의 3가지 유형의 키워드로 구성된 질의를 생성한다. 이 질의를 바탕으로, 패시지 선택에서는 문서검색 엔진에 의해 검색된 문서들을 문장단위로 나눠 정수를 계산하고, 어휘체인(Lexical Chain)을 고려하여 인접한 문장을 결합하여 패시지를 구성하고 순위를 결정한다. 상위 랭크의 패시지를 대상으로, 정답 처리에서는 질문의 정답 유형에 따라 품사와 어휘, 의미 정보로 기술된 LSP 매칭과 AAO (Abbreviation-Appositive-Definition) 처리를 통해 정답을 추출하고 정수를 계산하여 순위를 결정한다. 구현된 시스템의 성능을 평가하기 위해 TREC10 QA Track의 main task의 질문들 중, 200개의 질문에 대해 TRIC 방식으로 자체 평가를 한 결과, MRR(Mean Reciprocal Rank)은 0.341로 TREC9의 상위 시스템들과 견줄 만한 성능을 보였다.