2000.10d
-
웹의 등장으로 방대한 양의 문서를 다루는 정보검색, 정보추출, 정보요약 등의 분야에서 명사 추출은 대단히 중요한 역할을 담당하는 한 모듈이다. 본 논문에서는 대량의 문서에서 효과적으로 명사를 추출하기 위해 여과기법과 분리기법을 이용한 한국어 기준명사 추출 시스템을 기술한다. 기준명사는 명사들 중에서 기본이 되는 명사로서 복합명사는 제외된다. 본 논문의 기본적인 개념은 먼저 여과기법을 이용해서 명사를 포함하지 않은 어절을 미리 제거하고, 그리고 분리기법을 이용해서 명사가 포함된 어절에서 명사어구와 조사를 분리하고, 복합명사에 해당할 경우에는 각 명사를 분리하여 기준명사를 추출한다. ETRI 말뭉치를 대상으로 실험한 결과 재현율과 정확률 모두 약 89% 정도의 성능을 보였으며, 제안된 시스템을 한국어 정보시스템에 적용해 보았을 때, 좋은 결과를 얻을 수 있었다.
-
본 논문에서는 한국어 고유명사의 특징에 대해 살펴보고, 이를 기반으로 문서로부터 고유명사를 추출하기 위한 기본 모델을 제안한다. 고유명사는 문서의 내용을 대표하는데 주도적인 역할을 하기 때문에, 이를 효과적으로 추출해내는 것은 문서의 의미를 보다 정확하게 표현할 수 있는 방법이 될 수 있다. 문서에서 고유명사를 효과적으로 추출할 수 있도록 하기 위해, 본 연구에서는 이름집합, 접사집합, 단서집합을 구성할 수 있는 데이터 수집기 모델과 데이터 집합을 기본으로 이용하여 고유명사를 추출하는 고유명사 추출기 모델을 제안하였다. 그리고 실제로 이 모델을 적용하여, 회사명과 관련된 데이터를 수집하고, 이를 이용해 문서로부터 회사명을 추출할 수 있도록 하는 시스템을 구현하였다. 구현된 회사명 추출 시스템을 이용해 고유명사 추출 실험을 수행한 결과, 외래어로 이루어진 회사명으로 인한 문제를 제외할 경우 만족할 만한 정확율과 재현율을 얻을 수 있었다.
-
명사 추출기는 정보검색, 문서분류, 문서요약, 정보추출 등의 분야에서 사용되고 있으며, 정확한 명사 추출과 빠른 색인 속도는 이들 시스템 성능과 밀접한 관계가 있다. 한국어에서 명사를 추출하기 위해서는 형태소 분석이 필요한데, 본 논문에서는 대량의 품사부착된 말뭉치로부터 추출한 분석배제 정보와 후절어를 이용함으로써 형태소 분석을 생략하거나 보다 단순한 처리에 의해 명사를 추출하는 방법을 제안한다. 또한 형태소 분석시 복잡한 음운 현상을 처리하기 위해 많은 음운 규칙을 적용하는 대신 음운 복원 정보를 사용하여 음운 현상을 처리하는 방법을 제안한다. 실험결과에 의하면, 제안된 방법에 의한 명사추출기는 비교적 높은 정확률과 재현율을 나타내며, 빠른 속도를 보였다.
-
문서를 대표하는 단어를 추출하는 색인어 추출은 정보검색 시스템의 질을 좌우한다. 대부분의 색인어 추출 시스템은 명사를 추출하고 있으며, 가능한 모든 명사를 추출하고 있다. 이러한 방법은 불필요한 단어가 그 문장을 대표하는 색인어로 추출될 가능성이 높으며, 이는 정보 검색 시스템의 효율을 저하시킨다. 이를 해결하기 위해 품사 태깅이나 구문 해석 단계 등을 통해 불필요한 후보를 제거할 수 있지만, 태거를 구축하거나 구문 해석을 위해서는 많은 비용과 시간이 필요하다. 본 논문에서는 구문 형태소 단위의 형태소 해석에 기반한 색인어 추출 방법을 제안한다. 구문 형태소는 통사적/의미적으로 강한 공기 관계를 가지면서 문장에서 하나의 통사적 단위나 자질의 단위로 표현되기 때문에 구문 형태소내에 포함된 단어열들은 대부분 색인어가 될 수 없다. 이러한 방법을 이용하여, 형태소 해석 결과를 이용한 색인어 추출에서 발생하는 색인 오류를 제거함으로써 색인기의 성능을 높이는 방법을 제안한다.
-
복합명사의 한 구조는 구성 명사간의 수식관계의 집합이라고 본다. 한 복합명사에 대하여 가능한 여러 구조 중에서 올바른 구조를 알아 내는 것이 본 논문의 목표이다. 이를 위하여 우리는 최근에 유행하는 통계 기반 분석 기법을 이용한다. 먼저 우리의 복합 명사 분석 문제에 알맞은 통계 모델을 개발하였다. 이 모델을 이용하면 분석하려는 복합명사의 가능한 분석 구조마다 확률 값을 얻게 된다. 그 다음 가능한 구조들 중에서 가장 확률값이 큰 구조를 복합명사의 구조로 선택한다. 통계 기반 기법에서 항상 문제가 되는 것이 데이터 부족문제이다. 우리는 이를 해결하기 위해 개념적 계층구조의 하나인 워드넷(WordNet)을 이용한다.
-
한국어 형태소 분석에서 가장 중요한 부분 중 하나가 바로 용언구(서술어)를 분석하는 것이다. 형태소 분석 뿐만 아니라 구문 분석, 의미 분석 단계에서도 정확한 용언구 분석은 매우 중요한 작업 중의 하나이다. 또한, 용언구에는 [체언+지정사+어미] 패턴도 포함되므로, 정보검색기의 핵심 모듈인 명사 추출기(색인기)의 성능에도 용언구의 분석은 높은 비중을 차지한다. 본 논문에서는 용언구 분석의 정확성을 높이고, 견고하면서 속도도 향상시킬 수 있는 방법으로 새로운 어미 분류를 제안하고자 한다.
-
본 논문은 국소문맥을 사용하여 만들어진 Decision List를 통해 단어의 형태적 중의성을 제거하는 방법을 기술한다. 최초 종자 연어(Seed Collocation)로 1차 Decision List를 만들어 실험 말뭉치에 적용하고 태깅된 결과를 자가 학습하는 반복과정에 의해 Decision List의 수행능력을 향상시킨다. 이 방법은 단어의 형태적 중의성 제거에 일정 거리의 연어가 가장 큰 영향을 끼친다는 직관에 바탕을 두며 사람의 추가적인 교정을 필요로 하지 않는 비교사 방식(대량의 원시 말뭉치에 기반한)에 의해 수행한다. 학습을 통해 얻어진 Decision List는 연세대 형태소 분석기인 MORANY의 형태소 분석 결과에 적용되어 태깅시 성능을 향상시킨다. 실험 말뭉치에 있는 중의성을 가진 12개의 단어들에 본 알고리즘을 적용하여 긍정적인 결과(90.61%)를 얻었다. 은닉 마르코프 모델의 바이그램(bigram) 모델과 비교하기 위하여 '들었다' 동사만을 가지고 실험하였는데 바이그램 모델의 태깅결과(72.61%)보다 뛰어난 결과 (94.25%)를 얻어서 본 모델이 형태적 중의성 해소에 유용함을 확인하였다.
-
한국어에서 복합명사는 명사간 결합이 자유롭고, 단위명사로 띄어쓰는 것을 원칙으로 하나 붙여써도 무방하다. 따라서, 정보검색분야, 기계번역분야에서 복합명사의 정확한 분해는 시스템의 성능에 많은 영향을 미치게 된다. 본 논문에서는 ETRI의 태깅된 코퍼스로부터 추출한 복합명사를 역방향 분해 알고리즘을 이용하여 단위명사로 분해한다. 분해되지 않은 3119개의 복합명사에 대해 실험한 결과 약 96.6%의 정확도를 얻었다. 또한, 미등록어나 접사에 대한 처리에도 비교적 정확한 결과를 얻을 수 있었다.
-
In order to develop a character recognition system, it is an essential preceding work that gathers an image data of the standard. On this purpose a data of the digitized images of a handwritten characters was collected. The types of a gathered image data are Korean character, Chiness character, Numeral, English character, Special character, and so on. This paper deals with a handwritten character image data base, and the image data base different from the general storage structure of a lame capacity multimedia was designed and builded.
-
상대방에게 의사를 전달할 때 보다 정확하게 자신의 의도를 표현하려면 대화의 흐름에 맞는 적절한 억양을 주어 발화해야 한다. 본 논문에서는 결합범주문법을 이용하여 문장을 분석하고 문장 내 정보와 문장 간 정보 즉, 문맥에 따라 강세(pitch accent), 휴지(pause), 강조 등의 억양정보를 어떻게 나타내야 하는지를 분석하여 문장의 정보구조에 추가하는 방법을 제시한다.
-
본 논문은 한글 고유 명사를 새로 개정된 한글 로마자 표기법에 의해 로마자 표기로 변환하는 시스템의 구성에 대해 기술하였다. 1995년에 문화체육부에서 배포한 프로그램 이후로 현재까지 한글을 로마자 표기로 자동 변환하는 프로그램이 나오지 않았고 이 프로그램 또한 새로 개정된 로마자 표기법이 아닌 예전의 로마자 표기법을 따르는 이유로 본 논문은 새로 개정된 표기법을 따르는 한글 고유명사의 로마자 자동 변환 시스템을 DB를 이용하여 구축하는 방안을 제시하였다. 그 결과 DB를 이용한 한글의 로마자 자동변환시스템은 개발자 측면에서는 프로그램 구현과 정확성 면에서 효과적인 장점을 얻을 수 있으며, 사용자 측면에서는 새로 개정된 개정안을 쉽게 익히고, 사용할 수 있게 한다.
-
대용량 말뭉치에서 이웃 음절간 공기빈도 정보를 추출하여 한글의 bigram 음절 특성을 조사하였다. Bigram 음절 특성은 띄어쓰기가 무시된 문서에 대한 자동 띄어쓰기, 어떤 어절이 띄어쓰기 오류어인지 판단, 맞춤법 검사기에서 철자 오류어의 교정 등 다양한 응용분야에서 유용하게 사용될 것으로 예상되고 있다. 본 논문에서는 한글의 bigram 음절 특성을 자동 띄어쓰기 및 입력어절이 띄어쓰기 오류어인지를 판단하는데 적용하는 실험을 하였다. 실험 결과에 의하면 bigram 음절 특성이 매우 유용하게 사용될 수 있음을 확인하였다.
-
본 논문은 부산대 철자 검사/교정기의 기존 성능을 보완하고 기능을 추가하는데 중점을 두었다. 웹 문서, 신문 등을 통해서 사용자들이 자주 틀리는 오류 단어에 대해서 오류 유형을 분류했다. 이 결과를 철자 검사 및 교정 시스템에 적용하여 교정기법 개선을 통하여 띄어쓰기 교정 기능을 향상 시켰다. 이렇게 새로 구현한 시스템과 이전 시스템의 성능을 실험을 통해 비교 분석하였다. 본 연구를 진행하면서 발견한 문제점과 한계를 이후 더 발전 해야할 과제로 고찰하고 결론을 맺는다.
-
문자 인식기를 가지고 스캔된 원문 이미지를 인식한 결과로 형태소 분석과 어절 분석을 통해 대용량의 문서 정보를 데이터베이스에 구축하고 전문 검색(full text retrieval)이 가능하도록 한다. 그러나, 입력문자가 오인식된 경우나 띄어쓰기가 잘못된 데이터는 형태소 분석이나 어절 분석에 그대로 사용할 수가 없다. 한글 문자 인식의 경우 문자 단위의 인식률은 약 90.5% 정도나 문자 인식 오류와 띄어쓰기 오류 등을 고려한 어절 단위의 인식률은 현저하게 떨어진다. 이를 위해 한국어의 음절 특성을 고려해서 사전을 기반하지 않고 학습이 잘된 말뭉치(corpus)와 음절 단위의 bigram 정보를 이용한 자동 띄어쓰기를 하여 실험한 결과 학습 코퍼스의 크기와 띄어쓰기 오류 위치 정보에 따라 다르지만 약 86.2%의 띄어쓰기 정확도를 보였다. 이 결과를 가지고 형태소 분석과 언어 평가 등을 이용한 문자 인식 후처리 과정을 거치면 문자 인식 시스템의 인식률 향상에 크게 영향을 미칠 것이다.
-
본 논문은 효율적인 한국어 구문분석을 위해 먼저 구묶음 분석(Chunking) 과정을 적용할 것을 제안한다. 한국어는 어순이 자유롭지만 명사구와 동사구에서는 규칙적인 어순을 발견할 수 있으므로, 규칙을 이용한 구묶음(Chunking) 과정의 적용이 가능하다 하지만, 규칙만으로는 명사구와 동사구의 묶음에 한계가 있으므로 실험 말뭉치에서 어휘 정보를 찾아내어 구묶음 과정(Chunking)에 적용한다. 기존의 구문분석 방법은 구구조문법과 의존문법에 기반한 것이 대부분인데, 이러한 구문분석은 다양한 결과들이 분석되는 동안 많은 시간이 소요되며 이 중 잘못된 분석 결과를 가려서 삭제하기(pruning)도 어렵다. 따라서 본 논문에서 제시한 구묶음(Chunking) 과정을 적용함으로써, 잘못된 구문분석 결과를 미연에 방지하고 의존문법을 적용한 구문분석에 있어서 의존관계의 설정 범위(scope)도 제한할 수 있다.
-
자연 언어 처리의 구문 분석에서는 중의성 있는 결과가 많이 생성된다. 이러한 중의성을 해소하는데 어휘정보가 유용하다는 것은 잘 알려져 있으며, 이러한 어휘정보와 이를 이용한 중의성 해소에 관한 연구가 많이 이루어지고 있다. 본 논문은 한국어의 구문 구조 분석 시 부사에 의해 발생되는 중의성을 해소하기 위해 수식어 사전을 이용하여 구문 분석에서의 구조 중의성을 해소하였다. 수식어 사전의 어휘정보와 대상 말뭉치를 통해 각각의 부사에 대한 문법을 구성하고, 이를 이용하여 한국어 구문구조 분석에서 부사에 의해 발생되는 중의성을 줄일 수 있다.
-
한국어 구문 분석은 체언구 부착이나 부사구 부착의 문제를 가진다. 이런 부착의 문제는 많은 구문 모호성을 만들어 내어 올바른 의미를 가지는 파스 트리의 선택을 어렵게 한다. 한국어에서 이런 부착의 문제는 대부분 한국어 문장이 내포문을 포함하는 복문의 형태로 구성되어 있기 때문이다. 단문에서는 부착의 문제가 발생하지 않지만 복문에서는 체언구나 부사구가 어떤 용언에 부착하느냐에 따라 체언구 부착이나 부사구 부착의 문제가 발생한다. 따라서 용언이 가지는 정보를 이용하여 내포문의 범위를 결정해서 하나의 구문범주의 기능을 가지도록 분할한다. 이를 단문 분할이라 하며 문형이 가지는 필수격들을 최대로 부착하여 이루어진다. 단문분할을 하면 복문의 구조가 단문으로 바뀌므로 이런 부착의 문제가 자연스럽게 해결된다. 본 논문에서는 문형과 단문 분할을 이용하여 많은 구문 모호성을 해결할 수 있음을 제안한다.
-
본 논문에서는 격조사의 구문적인 특성을 이용하여, 수식어까지 포함한 명사구 추출 방법을 연구한다. 명사구 판정을 위해 연속적인 형태소열을 문맥정보로 사용하던 기존의 방법과 달리, 명사구의 처음과 끝 그리고 명사구 주변의 형태소를 이용하여 명사구의 수식 부분과 중심 명사를 문맥정보로 사용한다. 다양한 형태의 문맥정보들은 최대 엔트로피 원리(Maximum Entropy Principle)에 의해 하나의 확률 분포로 결합된다. 본 논문에서 제안하는 명사구 추출 방법은 먼저 구문 트리 태깅된 코퍼스에서 품사열로 표현되는 명사구 문법 규칙을 얻어낸다. 이렇게 얻어낸 명사구 규칙을 이용하여 격조사와 인접한 명사구 후보들을 추출한다. 추출된 각 명사구 후보는 학습 코퍼스에서 얻어낸 확률 분포에 기반하여 명사구로 해서될 확률값을 부여받는다. 이 중 제일 확률값이 높은 것을 선택하는 형태로 각 격조사와 관계있는 명사구를 추출한다. 본 연구에서 제시하는 모델로 실험을 한 결과 평균 4.5개의 구를 포함하는 명사구를 추출할 수 있었다.
-
구문태그가 부착되지 않은 코퍼스를 사용하여 문법규칙의 확률을 훈련하는 비통제 학습(unsupervised learning) 방법의 대표적인 것이 CNF(Chomsky Normal Form)의 CFG(Context Free Grammar)를 입력으로 하는 inside-outside 알고리즘이다. 본 연구에서는 의존문법을 CNF로 변환하는 기법에 대해 논하고 의존문법을 위해 변형된 inside-outside 알고리즘을 논한다. 또한 이 알고리즘을 사용하여 실제 훈련한 결과를 보이고, 의존규칙과 구문구조 확률을 같이 사용하는 hybrid방식 구문분석기에 적용한 결과를 보인다.
-
Chung, Eui-Sok;Kim, Ki-Tae;Lim, Soo-Jong;Cha, Gun-Hae;Park, Jae-Deuk;Yoon, Bo-Hyun;Kang, Hyun-Kyu 138
본 논문은 정보거래 자동 중개 시스템을 위한 한국어 문형 표준안에 대하여 기술한다. 정보거래 자동 중개 시스템은 인터넷상에서 지식정보자산의 공급자와 수요자를 자동으로 연결해주는 시스템으로서 텍스트로 기술되는 수요자의 의도와 공급자의 지식정보 내용을 정확히 연결할 수 있는 신뢰성을 보장한 고품질의 정보검색 기술이 필수적이다. 그러나 자연어의 복잡성과 불규칙성은 정확한 언어처리 기술이 필수적인 고품질의 정보검색을 보장할 수 없다. 따라서 본 논문은 한국어 문장 표현 방식을 표준화하여 언어처리 기술 적용의 한계를 극복해보자는 데 그 목적이 있다. 또한 일반 사용자의 언어 표현을 문형 표준안으로 유도하는 방법에 대하여 기술한다. 문형 표준안의 구성은 표준 문형 표준 문형 유도 방법, 어휘부로 구성되어 있다. -
본 논문에서는 한국어에서 빈번하게 나타나는 합성명사의 의미해석을 하기 위한 워크벤치를 설계하고 구현하였다. 합성명사 의미해석을 위한 사전 구축 지원 워크벤치의 기능은 합성명사를 이루고 있는 명사와 명사가 어떠한 의미관계로 결합하고 있는지를 밝히기 위해서 의미관계 패턴을 정의한다. 정의된 의미관계 패턴을 이용하여 합성명사를 자동적으로 추출한다. 추출된 합성명사 사전을 이용해서 각 명사의 상위개념에 대해서도 의미관계를 반영시켜서 합성명사의 의미관계를 해석할 수 있도록 하는 환경을 제공하고 있다.
-
언어학적 성과를 효과적으로 반영하고 운용할 수 있는 체계적인 전자 사전 구축을 위해선, 어휘들에 대한 총체적이고 체계적인 언어 정보 제공과 함께 효율적인 처리 방식이 무엇보다도 필요하다. 따라서 이번 전자 사전 구축 작업은 내용 면에서는 형태 정보를 중심으로 다양하고 상세한 어휘 특성들을 체계적으로 제시하였고, 기술 방식에 있어서는 모든 입력 정보를 코드화시킴으로써 효율성을 추구했다. 또한 연구 과정에서 나타난 문제 유형에 대한 인식과 검토는 앞으로 사전 개발의 원칙 및 방향을 설정하는데 도움을 줄 수 있을 것으로 기대한다. 특히 단어 형성 정보에 있어서 접사 정보가 부착된 파생어 사전은 어휘 확장과 중의성 해결을 하는데 활용될 수 있을 것이다. 본고에서는 3음절 명사 사전 작업의 전반적인 과정, 분류 유형, 어휘 정보, 기술 방법 및 앞으로 논의될 문제 유형들을 담고 있다.
-
기계번역에서 좋은 품질의 번역 결과를 얻기 위해서는 대상으로 하고 있는 전문 영역에 맞게 시스템의 번역 지식을 조정해야 한다. 본 연구에서는 대상 영역 코퍼스를 이용하여 기계번역 시스템의 특정 영역화를 지원하는 워크벤치를 설계하고 구현한다. 워크벤치는 대상 영역의 코퍼스에서 대상 영역의 지식을 추출하는 영역 지식 추출기와, 추출된 지식을 사용자에게 제시하여 사용자가 사전을 편집할 수 있는 환경을 제공하는 영역 지식 검색기와 사전 편집기로 구성된다. 구현된 워크벤치를 이용하여 일반 영역 사전을 군사 정보 영역으로 특정 영역화를 해 본 결과, 효율성과 정확성에서의 향상이 있었다.
-
말모둠은 특성에 따라서 여러 성격을 나타내게 된다. 하지만 말모둠의 특성을 자동적으로 알아내는 방법은 간단하지 않다. 중요 단어를 가지고 있으면 말모둠에서 통계적으로 많은 부분에 적용시켜 말모둠의 특성을 파악할 수 있다. 본 논문에서는 한국어 말모둠에서 나타나는 동사류 단어들의 빈도를 분석한다. 또한, 사람이 직접 중요도를 평가한 사전의 단어들과 말모둠에 나타나는 단어들을 비교해서 통계적 차이점을 알아보고, 그 차이점을 통해 앞으로 연구할 일에 대해서 토론한다. 간단한 실험을 통해 사람의 평가한 중요도 점수의 효용성도 알아본다.
-
정보검색시스템은 사용자의 질의를 입력받아 사용자가 원하는 정보를 검색해주는 시스템을 의미한다. 그러나, 대부분의 정보검색시스템은 단어와 연산자의 조합으로 이루어진 질의를 입력받아 문서를 검색해 주고, 사용자는 그 문서들 중에서 원하는 정보를 다시 찾아내야 한다. 본 논문에서는 영어 자연어질의를 입력받아 사용자가 원하는 정보에 좀 더 근접한 형태의 답으로서 제한된 길이의 짧은 답을 제시하는 시스템을 구현한다. 시스템은 크게 질의분석단계, 문서검색 및 분석단계, 정보추출단계의 세 단계로 나눌 수 있다. 사용자 질의분석단계에서는 의문사 정보와 오토마타, 시소러스 범주정보를 이용하여 질의에 대한 정답이 될 수 있는 단어의 속성을 예측하였다. 문서분석단계에서는 정답이 될 수 있는 단어의 후보를 선정하기 위해서 시소러스의 범주정보를 사용하였고, 선정된 정답후보 중에서 정답을 추출하기 위해 각 후보단어의 질의어단어와의 평균거리가중치, 범주간유사도, 공기질의어비율을 사용하였다. 실험을 통해 평균거리가중치만을 이용하는 것 보다 범주간유사도와 공기질의어비율을 함께 이용한 것이 성능의 향상을 보였다.
-
본 논문에서는 한국어 질의응답시스템에서 개체인식에 기반하여 대답을 추출하는 방법을 제안한다. 질의에 대해 문서검색을 통해 검색된 상위 문서를 대상으로 하여 대답이 들어 있을 가능성이 높은 단락을 추출한다. 질의 유형 분석을 통해 대답 유형을 파악한다 단락에 나타나는 어휘들에 대해서 대답유형에 속하는지에 대한 개체인식을 통해서 대답을 추출한다. 질의응답 시스템의 평가를 위한 테스트컬렉션을 이용한 성능평가에서는 순위5까지의 대답추출에서 역순위 평균값이 개체추출에 대해서는 0.322, 50바이트 대답추출에서는 0.449, 250바이트 대답추출에서는 0.559이다. 상위 5이내에 정답을 포함할 비율은 개체추출에서는48.90%, 50바이트 대답추출에서는 62.20%, 250바이트 대답추출에서는 68.90%을 성능을 보였다.
-
본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML 형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.
-
차세대 검색 엔진의 모형으로 일컬어지는 질의/응답 시스템을 개발하는데 있어서 보다 정확하고 유연한 검색 결과를 제공하기 위하여 개념망에 기반한 지식베이스 구축의 필요성이 대두되고 있다. 본 논문은 기존의 개념망에 속성 구조를 추가한 확장 개념망과 속성에 의해 분류되는 정답문서 집합으로 구성되는 지식베이스를 이용한 질의/응답 시스템을 제안한다. 본 논문의 지식베이스에서 정의한 속성은 질의/응답에서 정답문서를 효과적으로 연계시켜 사용자에게 보다 유연한 정답을 제공할 수 있게 한다. 본 논문에서는 경제 분야의 지식베이스의 활용예를 설명한다.
-
본 논문에서는 시소러스를 효율적으로 구축하고 사용할 수 있는 시소러스 저장 구조를 구현하였다. 정보 검색 시스템은 사용자의 질의어를 용어들과 용어들 사이의 관계 집합으로 구성된 일종의 용어 사전인 시소러스를 이용하여 문헌에 대한 색인과 검색을 정확하고 통제된 용어 형태로 바꾸어 색인과 검색 작업의 효율을 높인다. 데이터베이스에 저장된 시소러스 구조에서 시소러스 검색을 할 때 속도가 감소하는데 이를 해시함수를 이용한 리스트 구조를 이용함으로써 전체적인 시소러스 검색 속도의 증가를 기대할 수 있다. 또한 현재 데이터베이스 형태의 시소러스를 다른 곳에 이식하려면 데이터베이스 시스템이 있어야 한다. 따라서 메모리에 올릴 수 있는 구조를 가지면 시소러스 보급에 기여 할 수 있다. 본 논문에서 제안한 데이터베이스에 저장된 시소러스 구조와 해시함수를 이용한 리스트 구조를 비교, 분석하고 보다 더 효율적인 시소러스의 역할 및 구조 형태에 대해 제안한다.
-
HANTEC1.0은 12만 건의 문서집합과 30개의 질의집합, 그리고 각 질의에 대한 적합문서로 구성된 정보검색용 한글 테스트 컬렉션이다. 본 연구에서는 HANTEC1.0의 확장 및 보완하기 위해 과학기술분야 20개의 질의를 추가하였는데, 질의 추가를 위해서 일본 NACSIS 테스트 컬렉션의 질의를 번역하여 사용함으로써 한일 교차언어 검색환경을 조성하고자 하였다. 추가된 각 질의에 대해서는 여러 검색기에서 총 41가지 검색방법으로 검색한 후, 각 검색조합의 상위 50개 문서로 구성된 중간 결과집합을 만들었으며, 이를 대상으로 적합성판정에 대한 평가기준 및 절차 교육이 이루어진 평가자가 각 질의에 대한 적합성평가를 실시하였다 이렇게 구축된 HANTEC 테스트 컬렉션의 적합문서 집합의 객관적 품질 평가와 시스템 성능평가를 위하여 통계적인 방법을 적용하므로써 공신력있고 일반화된 테스트 컬렉션을 구축하고자 하였다. 현재 HANTEC2.0은 검색분야 연구자 및 개발자에게 자유롭게 배포 중이며 정보검색 시스템의 신뢰도 측정을 목적으로 하는 학술대회의 연구결과 발표 및 제품 비교 등에 활용되어질 것이다.
-
웹 문서는 일반 문서들과 달리 자유로운 형식으로 기술되어 있고, 원문에 태그나 코드 등 불필요한 내용들을 많이 포함하고 있어 언어 처리에 바로 사용하기에 적합하지 못하다. 본 논문은 인덱싱 대상 문서로 사용되는 웹 문서를 자동으로 수집하여, 문장 단위로 정렬된 문서로 제작, 관리하는 통합 전처리 시스템인 Web Tagger의 구조와 전처리 방법을 소개한다. Web Tagger는 문서 정제, 문장 분할, 띄어쓰기의 과정을 거쳐 웹 문서에서 표준화된 정보를 추출하고, 형태소 분석기를 포함한 응용 시스템의 목적에 맞게 XML 형식의 원문 코퍼스를 자동으로 생성하고 관리한다. '정규문법(Regexp)', '휴리스틱', '품사 인덱스 참조', 'C4.5를 사용한 학습 규칙' 등의 다양한 전처리 기법은 형태소 분석 정확도 향상과 시스템 안정성 보장에 기여한다.
-
기존의 전문 검색 시스템은 문서를 단지 단어의 연속이라는 제한적 관점에서만 바라보았다. 또한 기존의 필드 검색 시스템은 고정된 필드를 색인 및 검색대상으로 하거나, 문서의 내용이 아닌 메타 정보에 관한 검색만이 가능하였다. 본 논문에서는 내용과 필드 구조를 통합하여 가변 필드 구조 문서를 색인 및 검색하는 모델인 교차 필드 검색 모델을 제안한다. 기존 정보검색 시스템의 기능을 기본으로 제공하면서 필드구조를 색인/검색하기 위한 기능적 요구사항을 제시하고, 내용 및 필드 구조를 색인하면서 동적인 삽입/삭제가 가능한 색인 구조를 제안한다. 아울러 검색시에 문서 가중치를 계산하여 문서를 순위조정하는 불리언 모델, 확장 불리언 모델, 벡터 공간 모델의 변형 모델을 제시한다. 아울러 구현 사례로 STEER-XDS 검색 시스템에 대해 알아본다.
-
본 논문은 단락의 자동 구분을 통한 중요 문장 추출 시스템을 제안한다. 먼저 어휘의 재출현 여부와 어휘의 일치도, 어휘의 역할 변화를 파악하여 재출현 어휘에 대한 양상을 분석하고 이를 통하여 문장 간의 긴밀도를 정량적으로 계산한다. 다음으로 측정된 문장 간 긴밀도룰 이용하여 사용자의 추출 범위에 따라 단락을 구분하고, 각 단락의 대표 문장을 선정하여 최종문을 생성한다. 제안한 방법은 문서 제목, 문장의 위치, 수사 구조 등의 정보를 이용하지 않으며, 단순히 어휘의 출현 빈도만을 이용하던 기존의 통계적인 방법보다 질 높은 요약문을 생성할 수 있다. 또한 제안한 방법론은 본 논문이 대상으로 삼고 있는 신문기사의 영역뿐만 아니라 다른 영역으로의 적용이 가능하다.
-
본 논문에서 문서는 문서관계도라고 하는 그래프로 표현된다. 노드는 문서의 구성요소인 문장을 표현하고, 링크는 노드들 간의 의미적인 관계를 나타낸다 의미적 관계는 유사도에 의해서 결정되며, 문장의 중요도는 도합유사도로 나타낸다. 도합유사도는 한 노드와 인접한 노드들 사이의 유사도 합을 말한다. 본 논문에서는 도합유사도를 이용한 한국어 문서 기법을 제안한다. 실험에 사용된 평가용 요약문서는 정보처리 관련 분야에서 수집된 논문 100편과 KORDIC에서 구축한 신문기사 105건을 이용하였다. 문서 시스템에 의해서 생성된 문서의 크기가 본문의 20%이고, 본문이 논문(서론과 결론)일 경우, 재현율과 정확률은 각각 46.6%와 76.9%를 보였으며, 또한 본문이 신문기사일 경우, 재현율과 정확률은 각각 30.5%과 42.3%를 보였다. 또한 제안된 방법은 상용시스템보다 좋은 성능을 보였다.
-
지금까지의 정보검색 시스템은 소위 키워드 기반 정보검색 시스템으로서 색인이 단일 단어(single word) 즉 키워드의 집합으로 나타내어 진다. 그러나 이 방법은 문서의 내용을 정확히 표현하는 데 한계가 있다. 따라서 최근에는 단어 이상의 구문 단위인 구(phrase)를 이용하여 색인과 검색을 하도록 하는 시스템을 개발하고자 하는 추세에 있다. 따라서, 본 논문에서는 키워드보다는 의미를 좀더 잘 나타내고 일반적인 구보다는 정형화된 형태의 색인 단위인 키팩트를 색인어로 하는 정보검색시스템을 개발하고 이의 성능을 살펴보았다.
-
동사의 애매성 해소는 언어학의 여러 부문 중에서도 가장 실체가 불명확한 의미를 다루는 것이기 때문에 언어학뿐만 아니라 자연언어처리에 있어서도 가장 해결하기 어려운 문제 중에 하나이다. 애매성은 언어학에서 말하는 동음이의어와 다의어를 동시에 포괄하는 개념으로 정의된다. 단일어를 대상으로 한 이와 같은 분류는 비교적 명확한 반면 두 개의 언어 이상의 다국어를 대상으로 하는 기계번역용 사전과 같은 대역사전에 있어서는 동음이의어와 다의어의 구변은 경계가 불명확하여 의미에 기반한 대역어의 작성에 도움이 되지 않는다. 그 원인은 의미를 구성하는 세 가지 요소인 [실체], [개념], [표현]의 관점에서 [실체]와 [개념]은 어느 언어를 막론하고 보편적인 반면 [실체]와 [개념]을 최종적으로 실현하는 형대인 [표현]의 경우 각각의 언어에 따라 그 형태가 다르게 표출된다고 하는 사실 때문이다. [나무]라는 [실체]가 있다고 할 때 [나무]에 대한 [실체]와 [개념]은 언어를 초월해서 공통적이라고 할 수 있다. 한편, [개념]을 표현하는 실체인 [표현]은 언어에 따라 [namu](한국어), [ki](일본어), [tree](영어) 등과 같이 언어에 따라 자의적으로 [개념]을 표현하고 있다. [namu], [ki], [tree]가 같은 뜻을 나타낸다고 인식할 수 있는 것은 [개념]이 같기 때문이지 이들 각각의 [표현]이 의미적 연관성을 갖고 있기 때문은 아니다. 지금까지 의미를 다루는 연구에서는 이와 같은 관점이 결여됨으로 인해 의미의 다양성을 정확히 파악하는 데 한계가 있었으며 애매성 해소에 관한 연구도 부분적 시도에 그친 면이 적지 않다. 본고에서는 다국어를 대상으로 한 대역사전의 구축에 있어서 다의어와 동음이의어에 대한 종래의 분류의 문제점을 지적하고 나아가 애매성 해소의 한 방법론으로 활발히 이용되고 있는 시소러스의 분류체계의 한계를 지적한다. 나아가 이의 해결책을 한국어와 일본어의 대역사전의 구축에서 얻어진 경험을 바탕으로 제시한다.
-
본 논문에서는 어휘 의미 애매성 해소와 영어 대역어 사전 그리고 외국언어에 존재하는 개념체계를 이용하여 한국어 개념체계를 자동으로 구축하는 방법을 기술한다. 본 논문에서 사용하는 방법은 기존의 개념체계 구축 방법들에 비해 적은 노력과 시간을 필요로 한다. 또한 상기한 자동 구축 방법에서 사용하는 어휘 의미 애매성 해소를 위한 6가지 feature도 함께 설명한다.
-
본 연구에서는 사전의 뜻풀이말에서 의미 정보를 추출하고, 이 의미 정보를 확률 통계적 방법에 적용하여 의미 중의성을 해결하는 모델을 제안한다. 사전의 뜻풀이말에 동형이의어를 포함하고 있는 표제어와 뜻풀이말을 구성하는 보통 명사, 형용사와 동사를 의미 정보로 추출한다. 비교적 중의성이 자주 발생하는 9개의 동형이의어 명사를 대상으로 실험하였다. 학습에 이용된 데이터로 정확률을 실험하는 내부 실험의 결과, 체언류(보통 명사)와 용언류(동사, 형용사)의 가중치를 0.9/0.1로 주는 것이 가장 정확률이 높았다. 외부 실험은 국어 정보베이스와 ETRI 코퍼스를 이용하여 1,796문장을 실험하였는데, 평균 79.73%의 정확률을 보였다.
-
핵심개념 기반의 분석 시스템은 기존의 CFG형태로 기술된 문법의 양을 현저히 줄이고 간투어, 중복발화등과 같은 파싱 불필요 성분을 처리하는 루틴을 개선해 파서의 부담을 줄인 분석 방법이다. 핵심개념 기반 분석 시스템은 동사를 기준으로 문법을 기술한다. 따라서, 발화자의 사투리 둥에 의해서 동사 정보를 상실한 문장은 분석이 되지 않는 문제점을 가지고 있으며 또한, 문장 분석시 분석 문법을 구성할 수 없는 짧은 발화문같은 경우에도 분석을 하지 못하는 문제점을 가지고 있다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 발화문의 예를 작성해 놓은 예문사전과 발화문이 가지고 있는 종결형 정보를 이용해서 그러한 문제를 해결하고 분석의 정확성을 높였다.
-
필수적/수의적 논항의 이분법적 구분과 이에 따라 정문/비문을 논하는 것이 언어학과 자연어처리학에서 정설로 인정되어 왔다. 그러나 본 연구에서는 논항의 생략 현상과 왜 이러한 생략이 발생하는지에 대해 인지적인 관점에서 살펴봄으로써 기존의 이분적 개념들이 구문분석에 적합치 않음을 지적하였다. 그리고 이러한 문제점을 해결하기 위해 원형이론(prototype theory)을 도입하여 '필수적 논항도'와 '확률적 격구조'란 개념을 제안하였다. 이러한 개념들이 자연어처리의 구문분석에 효율적으로 적용될 수 있을 것으로 기대된다.
-
본 논문에서는 개체명 사전과 결합 단어 사전, 그리고 용언의 하위범주화 사전을 이용하는 규칙 기반의 한국어 개체명 인식 방법을 제안한다. 각 규칙은 네 단계로 나누어 적용되는데, 첫번째 단계에서는 어절 내의 단어 정보를, 두번째 단계에서는 제한된 주변 문맥 정보를, 그리고 세번째 단계에서는 용언의 하위범주화 정보와 개체명과의 관계를 이응하고, 마지막으로 네번째 단계에서는 개체명 간의 관계 정보를 고려한다. 본 논문에서 제안한 규칙 기반 개체명 인식기의 성능을 평가하기 위해 실험한 결과 90.4%의 정화률과 83.4%의 재현율을 얻었다.
-
본 논문에서는 영한기계번역 시스템에서 한국어 문장을 생성할 때 올바른 한국어 어순 규칙을 제안한다. 한국어 생성은 영한기계번역의 최종 단계로서 이전단계에서 얻어진 정보를 가지고 목적 언어인 한국어 문장을 만드는 곳이다. 본 논문에서 제안하는 계층적 어순 생성 규칙은 한국어 의존구조를 기본으로 하며 규칙 적용은 4가지 함수를 단계적으로 적용시킨다. 인터넷의 발달은 언어 장벽이라는 새로운 문제를 부각시켰으며 이를 위해서 기계번역은 활발히 연구가 진행되고 있는 분야이다. 한국어 문장에 대한 올바른 어순 생성 규칙은 번역 결과의 품질을 증가시키며, 기계 번역뿐만 아니라 한국어 생성을 필요로 하는 모든 시스템에 적용할 수 있다.
-
본 논문에서는 양국어로 된 병렬 코퍼스로부터 복합어의 역어를 추출하기 위한 정렬 방법을 제시한다. 여기에서는 개념어에 대한 양국어 공기정보를 사용하여 기본 정렬을 하고, 인접한 개념어로 정렬의 단위를 확장했다. 또한 재추정 기법을 사용하여 대역 확률을 계산함으로써 보다 높은 정확률을 얻을 수 있었다. 본 논문에서 제안한 방법을 적용하여 139,265개의 영어 어절로 이루어진 우루과이 라운드 영한 병렬 코퍼스에 대해서 실험한 결과 2,290개의 대역어 쌍을 얻었고, 그 정확률은 74%였다.
-
본 논문에서는 공군 정보 번역을 위한 영한 기계번역 시스템 ALKOL에 대해서 소개한다. ALKOL은 어휘화된 규칙에 기반한 번역 시스템으로, 어휘화된 규칙은 어휘-분석-변환-생성의 네 단계의 정보가 연결된 형태로 사전에 저장된다. 이와 같은 사전 구조에 의해 번역 과정의 효율성을 높일 수 있고, 어휘화된 규칙에 의해 정확하고 자연스러운 번역 결과를 얻을수 있다. ALKOL의 번역 과정은 형태소 분석, 품사 태깅, 분석 전처리, 구문 분석, 변환, 생성의 단계로 이루어진다. 각 단계에서는 전/후처리를 보강하여 실제 번역 환경에서 나타나는 문제들을 해결하고, 하나 이상의 번역 결과를 출력하여 사용자가 원하는 결과를 선택할 수 있게 한다.
-
국내에서 영한 자동번역 시스템을 1985 년부터 개발한 지 벌써 15년이 흐르고 있다. 15 년의 영한 자동번역 기술개발에도 불구하고 아직도 영한 자동번역 시스템의 번역품질은 40%를 넘지 못하고 있다. 이렇게 번역품질이 낮은 이유는 다음과 같이 요약할 수 있을 것이다. o 입력문에 대해 파싱할 때 오른쪽 경계를 잘못 인식함으로써 구조적 모호성의 발생문제: 예를 들어 등위 접속절에서 오른쪽 등위절이 등위 접속절에 포함되는 지의 모호성. o 번역 단위로써 전체 문장을 대상으로 한 번역패턴이 아닌 구나 절과 같은 부분적인 번역패턴으로 인한 문장 전체의 잘못된 번역 결과 발생. o 점차 증가하는 대용량 번역지식의 구축과 관련해 새로 구축되는 번역 지식과 기구축된 대용량 번역지식들 간의 상호 충돌로 인한 번역 품질의 저하. 이러한 심각한 원인들을 극복하기 위해 본 논문에서는 문틀에 기반한 새로운 영한 자동번역 방법론을 소개하고자 한다. 이 문틀에 기반한 영한 자동번역 방법론은 현재 CNN뉴스 방송 자막을 대상으로 한 영한 자동번역 시스템에서 실제 활용되고 있다. 이 방법론은 기본적으로 data-driven 방법론에 속하다. 문틀 기반 자동번역 방법론은 규칙기반 자동번역 방법론보다는 낮은 단계에서 예제 기반 자동번역 방법론보다는 높은 단계에서 번역을 하는 번역방법론이다. 이 방법론은 영한 자동번역에 뿐만 아니라 다른 언어쌍에서의 번역에도 적용할 수 있을 것이다.
-
Kang, Won-Seok;Kim, Ji-Hyoun;Song, Young-Mi;Song, Hee-Jung;Huang, Jin-Xia;Chae, Young-Soog;Choi, Key-Sun 331
MATES/CK는 기계번역 시스템에서 전통적으로 사용하고 있는 세 단계(분석/변환/생성)에 의해서 중한 번역을 수행하는 시스템이다. MATES/CK는 시스템 성능을 높이기 위해 패턴 기반과 통계적 정보를 이용한다. 태거(Tagger)는 중국어 단어 분리를 최장일치법으로 수행하기 때문에 일부 단어에 대해 오류를 범하게 되고 품사(POS : Part Of Speech) 태깅 시 확률적 정보만 이용하여 특정 단어가 다 품사인 경우 그 단어에 대해 특정 품사만 태깅되는 문제점이 발생한다. 또한 중국어 및 외국어 인명 및 지명에 대한 미등록들에 대해서도 올바른 결과를 도출하지 못한다. 사전에 있어서 텍스트 기반으로 존재하여 이를 관리하기에 힘이 든다. 본 논문에서는 단어 분리 오류 및 품사 태깅 오류를 해결하기 위해 중국어 태깅 제약 규칙을 적용하는 방법을 제시하고 중국어 및 외국어 인명/지명에 대한 미등록어 처리방법을 제시한다. 또한 중국어 사전 관리에 대해 알아본다. -
중한기계번역시스템(MATES/CK)의 구문분석은 1120개의 구문분석규칙과 통계적 정보에 의한 확률기반에 따라 그 문장에 가장 적합한 구문트리를 찾아져 적용되는 방식으로 이루어지고 있다. 기존 구문분석 규칙은 자체에 오류가 많고, 새로운 규칙의 생성도 필요하다. 규칙에 대한 제약조건에도 좀 더 구체적이고 정확성을 높일 수 있는 상태로의 전환이 필요하다. 본 논문에서는 중한기계번역시스템(MATES/CK)의 구문분석의 정확도를 높이기 위하여 구문분석규칙을 수정하는 방법에 관하여 알아보고 그 연구과정을 살펴본다.
-
본 논문에서는 영한 기계번역 시스템 ALKOL의 개발 과정에서 사용된 분산 환경을 사전구축과 테스트 환경을 중심으로 설명한다. 번역 시스템 개발은 시스템 개발자, 사전 개발자, 검사자(tester)의 세 요소를 중심으로 이루어지는 작업으로, 효율적인 개발을 위해서는 개별 요소의 작업이 독립적으로 진행되면서 유기적으로 연결될 수 있는 환경이 마련되어야 한다. ALKOL에서는 이를 위하여 번역 시스템을 번역 서버, 사전 서버, 사전 편집기, 사용자 인터페이스의 클라이언트/서버 분산 환경으로 구성하고 검사자를 위한 테스트 환경을 제공하여 효율적인 번역 시스템 개발 환경을 구축한다. 번역 시스템을 분산 환경에서 개발하여 시스템 개발자, 사전 개발자, 검사자가 각자의 작업을 병렬적으로 진행할 수 있고 실시간으로 갱신되는 시스템과 사전 정보를 이용하여 작업을 진행할 수 있어 번역 시스템 개발의 효율성을 높일 수 있다.
-
Huang, Jin-Xia;Song, Hee-Jeong;Kim, Ji-Hyoun;Song, Yong-Mi;Kang, Won-Sek;Seo, Chong-Won;Chae, Young-Souk;Choi, Key-Sun 350
본 논문은 근 몇 년간 꾸준히 진행되어진 중한 기계번역시스템에 대한 연구의 기초 위에서, 뉴스 타이틀 번역이라는 특정 도메인에 초점을 맞추어 이의 언어적 특성을 살펴보고, 중한 언어적 유사성에 기반 한 뉴스 타이틀 번역을 위한 중한 기계번역시스템에 대하여 설명한다. -
품사 부착 코퍼스를 구축하기 위해서는 일반적으로 형태소 분석, 자동 품사 태깅 수동 또는 자동 오류 수정의 단계를 거친다. 이 글은 그 마지막 단계의 일환인 수동으로 오류를 수정하는 과정에서 요구되는 여러 가지 정보의 필요성과 문제점에 대해 기술하고자 한다. 조사와 어미의 처리 문제, 접두사/접미사 처리 문제, 다품사 문제 등은 정밀도 높은 코퍼스를 구축하는 데 중요한 열쇠가 되기 때문이다. 자연 언어 자료인 코퍼스에 일관성 있는 품사 정보가 부착된다면 정보 검색이나 사전 구축 등 언어 정보 처리 연구에 중요한 자료로 사용될 수 있을 것이다.
-
품사 태깅 시스템은 자연 언어 처리의 가장 기본이 되는 부분으로 상위 자연 언어 처리 분야인 구문분석, 의미분석의 전처리로 사용되거나, 기계번역, 정보검색이나 음성인식 및 합성 등과 같은 많은 응용 시스템을 위해서도 필요하다. 이렇게 여러 가지 목적을 위해 품사 태깅 시스템은 존재하는데, 각각의 응용을 위해서 최적화된 태깅 시스템을 따로 구성하기도 하고, 하나의 태깅 시스템을 여러 가지 응용을 위해서 사용하기도 한다. 이때, 문제가 되는 것 중에 하나는 각 응용마다 요구하는 품사 태그 세트가 다르다는 것이다. 품사 태그세트가 고정되어 있다면 어떤 응용을 위해서는 사용되는 품사 태그세트가 너무 적어서 문제가 되고, 반대로 품사태그세트가 너무 많아서 시스템의 수행속도가 중요시되는 응용에서 성능저하의 요인이 되기도 한다. 본 논문에서는 하나의 태깅 시스템의 품사태그세트를 조절할 수 있도록 하여 몇 가지 응용시스템에 맞게 최적화시킬 수 있는 방법론을 제시하고 실험을 통해서 시스템의 성능, 유지보수 및 시스템의 여러 리소스 관리 측면에서도 가장 효율적인 방법론임을 입증하고자 한다.
-
본 논문에서는 규칙 정보와 통계 정보의 상호 보완적 특성을 이용한 혼합형 방법을 기반으로 규칙 정보와 통계 정보의 추출 및 적용 시에 어절간 문맥 정보를 보다 효율적으로 이용하는 혼합형 품사 태깅 시스템을 제안한다. 먼저 규칙이 적용되는 중의성들에 대해서 높은 정확률로 태깅을 수행한 후, 규칙으로 해결할 수 없는 중의성들에 대해서는 통계 정보를 이용하여 태깅을 수행한다. 규칙 정보는 중의성을 갖는 어절과 주변 어절들의 형태소 및 태그를 이용하여 정의하고 통계 정보는 문맥에 영향을 많이 미치고 많은 중의성의 원인이 되는 조사와 어미의 형태를 그대로 활용하여 추출함으로써 어절간 문맥을 보다 효율적으로 이용한다.
-
본고는 한영번역기 개발을 위한 기초 작업으로 '와/과'구문에 나타나는 여러 가지 패턴을 정리하고 이들 구문에서 보이는 중의성 문제를 해결하고자 하였다. 이러한 작업을 위해서는 자료 수집 및 분석이 우선이기 때문에 코퍼스에서 '와/과'구문을 뽑아서 분석하여 규칙을 마련하였다. 여기에서 사용된 자질연산문법(FCG)은 자연언어처리를 위한 문법으로 변형규칙과 수형도의 개념 없이 자질을 이용한 연산 체계로서 언어처리를 하고자 하는 문법이다. 이 이론을 바탕으로 규칙을 세우고 실제 언어 자료를 뽑아서 테스트를 하여 95%의 성공률을 보여주었다. 그러나 여기서의 연구는 '와/과'구문의 처리를 위한 가장 뼈대가 되는 기초연구이며, 앞으로 좀 더 많은 처리가 이루어져야 하리라 생각된다.
-
이 논문은 형태소 분석 말뭉치를 구축하면서 제기되었던 파생 명사 처리의 문제점을 논의하고 그 해결 방안을 모색한 것이다. 파생 명사의 분석에서 국어학적 전산 언어학적으로 유의미한 분석 범위를 정할 때 몇가지 고려해야 할 사항이 있다. 접두사는 어기가 불규칙하므로 규칙으로 자동처리가 어렵다. 형태소 분석의 대상은 생산성이 높고, 어기와 범주를 변화시키는 서술성 접두사로 그 범위를 정할 수 있을 것이다. 접미사의 분석은 생산성이 높고 규칙적인 굴절 접미사가 분석의 대상이 되며, 또한 서술성을 갖는 한자어계 접미사도 분석 대상이 된다. 파생 명사의 분석에 있어서 접사는 그 위상이 동요되므로 접두사는 관형사와 구별이 어렵고 접미사는 의존명사와 구별이 어렵다. 그러므로, 대용량의 형태소 분석 말뭉치를 효율적으로 구축하기 위해서는 접사에 대한 다각적인 검토가 필요할 것이다.
-
국어에서는 어떠한 대상 의 수량을 표현할 때 수사와 함께 분류사(classifier)를 사용한다. 따라서 분류사는 그 특성상 수량 표현 구문을 형성하는 대상 명사와 의미적으로 밀접한 관련을 지니게 되는데, 단순히 명사를 셈하는 것 뿐 아니라 명사의 의미적 특성을 명세(specify)해 준다고 할 수 있다. 본 연구에서는 이러한 명사와 분류사의 연관성에 초점을 맞추어 분류사의 사용에 따른 명사의 범주화 및 계층 구조를 보이고, 컴퓨터 말뭉치 자료를 이용하여 그 관계를 좀더 명확히 밝히는 것을 목적으로 한다. 이러한 연구는 언어를 전산적으로 처리하는데 필수적인 전산어휘부(computational lexicon)의 구축에 필요한 기초 작업이 될 수 있다.
-
Lee, Hong-Jae;Lee, Dong-Hoon;Nam, Ki-Chun;Lee, Eun-Jung;Moon, Chan-Hong;Ryoo, Jae-Wook;Na, Dong-Gyu 405
본 연구에서는 기능적 자기공명영상을 이용하여 한글 문장의 의미와 통사 처리에 관한 뇌의 활성화 양상을 비교함으로써 한글문장 이해의 과정에 대한 신경해부학적 증거를 찾고자 하였다. 6명의 자원자를 대상으로 문장진위판단과제를 이용하여 활성화를 유도하였다. 1.5T 초전도 자기공명영상 장치에서 EPI로 BOLD 기법을 이용하여 기능적 영상을 얻었으며 영상 후 처리는 SPM99 분석 프로그램을 이용하였다. 의미관련 통사관련 문장 모두에서 좌 우 전두회(frontal gyrus) 영역에서 활성화되었다. 의미와 통사처리 영역을 구분하기 위하여 감산법을 적용한 결과, 의미처리는 좌반구의 중측두회(middle temporal gyrus) 영역에서, 통사처리는 우반구의 하전두회(BA44) 부위에서 더 많이 활성화되었다. 의미처리에서 더 우세한 성향을 띠는 부위로 밝혀진 중측두회 영역은 의미처리시에 활성화되는 영역으로 보고하는 기존의 연구와 일치하는 결과이다. 의미와 통사 문장처리시의 뇌 활성화 양상은 뇌의 여러 영역에서 중첩되어 있기는 하지만, 특정영역에서의 차이를 보이고 있으므로, 의미와 통사처리는 다른 기전(mechanism)에 의해서 일어남을 시사해 준다. -
Hausser (1999)와 이기용 (1999a, 1999c)에서는 데이터베이스 관리 시스템(DBMS)을 이용하여 자연언어의 의미를 다루는 데이터베이스 의미론을 제안하였다. 특히 이기용 (1999c)에서는 수형도(tree), 논리 형태(logical fomulas), 자질 구조(feature structure)와 같은 다양한 언어 표상 형식들을 관계형 데이터베이스 관리 시스템(RDBMS)의 표상 형식인 테이블 형식으로 전환 가능함을 보임으로써 데이터베이스 의미론에 관계형 데이터 베이스 관리 시스템을 도입할 수 있음을 제시하였다. 한편, Lee (2000)에서 제시한 데이터베이스 의미론 모형에서는 데이터베이스 관리 시스템과 사용자(end-user)를 연결하는 언어 정보 처리 시스템(LIPS; Linguistic Information Processing System)을 제안하였다. 이 언어정보 처리 시스템은 사용자에 의해 입력된 언어 자료를 처리하여 그 분석 결과를 데이터베이스 관리 시스템에 전달하고, 이를 통해 구축된 데이터베이스에서 추출한 정보를 다시 사용자에게 전달하는 시스템이다. 이 논문은 한국어 '이, 히, 리, 기' 피동형을 전산처리를 할 수 있도록, 데이터베이스 의미론에서 핵심 요소인 언어정보 처리 시스템과 데이터베이스 관리 시스템을 구현하는 것 이 목적이다.
-
성공적인 의사소통의 경우에 성(性)이, 이(理)와 명(命)으로 나타난 것이 같다. 진리(aletheia)가, 언어(logos)와 운명(moira)으로 나타난 것들이 일치하는 것이 성공적인 언화행위가 된다. 측정대상(melos)과 본체(ousia)가 구분되는 것은 언어와 운명의 괴리가 있을 수가 있기 때문이다. 체계적인 언어처리의 지식기반을 측정대상에 한정한다. (1) 철학의 시작은 더 옳은 언어표현의 정의(definition)로 이전의 잘못 사용된 언어처리를 대체시키는 것으로 소크라테스는 보았다. [R. Crossman] (2) 잘못을 지적하는 등에(Tabanidae)의 역할과 옮은 지식의 상기를 돕는 산파법(maieutics)이 소크라테스의 의미분석의 방법이다. [R. Crossman] (3) 언어를 통하여 진리를 추구한다는 입장(via language)애서 한 언어표현이 그 진리의 운명으로 나타남과 어긋날 때, 운명을 택하는 것은 조화 보다 더 안정의 우위를 인정하는 논리적인 입장으로 합리성 보다 실용(pragma)의 우위를 인정하는 것이다. [W. Quine] (4) 공동체의 공통규범의 추구는 그 언어 속의 공통의 형식 또는 법칙의 추구에 기초하는 것이 자연스럽다. 여기에서 그 언어사용은 그 기저의 법칙(underlying rule)에 개입한다는 입장에 기초한다. [J. Searle] (5) 진리의 언어표현과 운명적인 사태들 사이의 괴리를 처리하기 위하여 체계적인 언어표현의 대상(The Young Tableaux)과 실제(The continuum)의 구분을 수용한다. [AMS(2000)] 언어표현의 대상은 나타난 것(현)(顯)이고 실제에는 나타나지 않은 것도 있다. 이천(伊川), 명도(明道)] (6) 이 나타난 것과 나타나지 않은 것에 간격이 없다는 것(현미무간)(顯微無間)은 그 의사소통이 성공적인 것이라는 것을 말한다. 따라서 그 언어의 표현완전성(functional completeness)은 언화행위가 성공적이라는 것이다.[J. Searle] (7) 수로 쓰인 것(상수)(象數)과 시로 쓰인 것(의리)(義理)이 하나인 것은 그 나타난 것과 나타나지 않은 것들 사이에 어떠한 들도 없음을 말한다. [(성중영)(成中英)] (8) 공통의 규범의 공통성 속에 규범적인 측면이 벌써 있다. 공통성에서 개인적이 아닌 공적인 규범으로의 전이는 규범, 가치, 규칙, 과정, 제도로의 전이라고 본다. [C. Morrison] (9) 우리의 언어사용에 신비적인 요소를 부인할 수가 없다. 넓은 의미의 발화의미(utterance meaning) 속에 신비적인 요소나 애정표시도 수용된다. 의미분석은 지금 한글을 연구하고, 그 결과에 의존하여서 우리의 실제의 생활에 사용하는
$\ulcorner$ 한국어사전$\lrcorner$ 등을 만드는 과정에서, 어떤 의미에서 실험되었다고 말할 수가 있는 언어과학의 연구의 결과에 의존하여서 수행되는 철학적인 작업이다. 여기에서는 하나의 철학적인 연구의 시작으로 받아들여지는 이 의미분석의 문제를 반성하여 본다.