• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10b
• /
• pp.440-442
• /
• 1998

본 논문에서는 패턴메칭 기능을 Java로 구현하여 문자열 처리 프로그램을 효과적으로 작성할 수 있도록 하였다. 본 구현은 정규문법 보다 더 강력한 패턴도 표현할 수 있으며, Java 언어의 기본 기능과 자유롭게 혼합되어 매칭 결과를 연속적으로 열거할 수 있을 뿐아니라, Icon과 같은 고수준의 패턴매칭을 지원할 수도 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.29-32
• /
• 2007

SQL은 관계형 DBMS에서 사용되는 표준 질의 언어이다. SQL의 장점 중의 하나는 중첩 질의의 사용이나, 중첩질의를 포함한 질의를 그대로 실행하는 것은 중첩 질의의 반복된 수행을 야기하여 비효율적이다. 본 논문에서는 SQL3 표준에 정의된 모든 유형의 중첩 질의에 대한 완전한 정규화 규칙을 제안한다. SQL3 표준에서 중첩질의는 중첩 질의 반환 값의 유형에 따라 스칼라 중첩 질의와 테이블 중첩 질의로 분류된다. 스칼라 중첩 질의와 테이블 중첩 질의는 상관과 집계의 유무에 따라 다시 분류될 수 있다. 본 논문에서는 SELECT, FROM, WHERE 절에서 이러한 분류에 의해 가능한 모든 중첩 유형을 지원한다. 특히, SELECT, FROM 절의 일부 중첩 유형은 SQL3와 유사한 형태의 중첩 질의를 지원하는 질의 언어인 XQuery에서 제안된 정규화 규칙을 SQL3 문법에 맞게 응용하여 적용한다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.316-320
• /
• 1998

한국어나 일본어처럼 문법형태소의 기능에 의해 단어의 통사적, 의미적 역할이 결정되는 교착어에서는 형태소 분석이 통사 분석과 의미 분석에 미치는 영향이 크기 때문에 한국어의 분석에 있어서 형태소 분석은 아주 중요하다. 관형적 표현이 많은 한글은 문법 규칙만으론 분석하기가 쉽지 않고, 분기가 많이 생성되므로 오류가 발생할 확률도 높다. 이러한 문제점을 해결하기 위해 본 논문에선 사전을 중심으로 해결하고자 한다. 그러기 위해선 방대한 용량의 사전이 필요로 하게 되고 이를 구축하기 위한 시간과 노력이 요구되므로 이미 구성된 코퍼스를 이용해 사전을 구성하여 많은 시간과 노력을 줄일 수 있도록 한다. 그리고 생성되는 많은 분기 가운데 올바른 경로를 찾아 가기 위해 코퍼스내의 각 태그 결합정보를 추출하고 추출한 결합정보의 통계정보-코퍼스내에서 사용된 빈도수-포함하여 우선순위를 정하도록 한다.

• Journal of KIISE:Information Networking
• /
• v.32 no.6
• /
• pp.716-722
• /
• 2005

In the m, syntactically different URLs could represent the same resource. The URL normalization is a process that transform a URL, syntactically different and represent the same resource, into canonical form. There are on-going efforts to define standard URL normalization. The standard URL normalization designed to minimize false negative while strictly avoiding false positive. This paper considers the four URL normalization issues beyond ones specified in the standard URL normalization. The idea behind our work is that in the URL normalization we want to minimize false negatives further while allowing false positives in a limited level. Two metrics are defined to analyze the effect of each step in the URL normalization. Over 170 million URLs that were collected in the real web pages, we did an experiment, and interesting statistical results are reported in this paper.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06e
• /
• pp.278-281
• /
• 1998

본 논문에서는 자연음성으로부터 통계적인 방법으로 일반적인 음성합성 규칙을 생성하기 위해, 남녀 각각 1명이 200문장에 대해 발성한 문음성 데이터를 음운 세그먼트, 음운 라벨링, 음운별 품사 태깅, 문법 정보 태깅하여 음성 데이터베이스를 구축하였다. 이 음성 데이터베이스로부터 휴지지속시간을 분석하여 긴 휴지와 짧은 휴지로 분류하였고, 이러한 휴지가 어느 경우에 나타나는가를 조사하였다. 음운지속시간을 보다 정교하게 예측하기 위하여, 각 음운의 고유 지속시간의 영향을 배제시킨 정규화 지속시간에 대해 2가지 class(장, 단)의 휴지시간을 고려한 회귀트리로 음운지속시간을 모델화하였다. 제안된 모델의 평가 결과 예측치와 관측치 간의 다중 상관 계수는 남성은 0.82, 여성은 0.84 정도로 평가되었다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.216-223
• /
• 2000

웹 문서는 일반 문서들과 달리 자유로운 형식으로 기술되어 있고, 원문에 태그나 코드 등 불필요한 내용들을 많이 포함하고 있어 언어 처리에 바로 사용하기에 적합하지 못하다. 본 논문은 인덱싱 대상 문서로 사용되는 웹 문서를 자동으로 수집하여, 문장 단위로 정렬된 문서로 제작, 관리하는 통합 전처리 시스템인 Web Tagger의 구조와 전처리 방법을 소개한다. Web Tagger는 문서 정제, 문장 분할, 띄어쓰기의 과정을 거쳐 웹 문서에서 표준화된 정보를 추출하고, 형태소 분석기를 포함한 응용 시스템의 목적에 맞게 XML형식의 원문 코퍼스를 자동으로 생성하고 관리한다. '정규문법(Regexp)', '휴리스틱', '품사 인덱스 참조', 'C4.5를 사용한 학습 규칙' 등의 다양한 전처리 기법은 형태소 분석 정확도 향상과 시스템 안정성 보장에 기여한다.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.216-223
• /
• 2000

웹 문서는 일반 문서들과 달리 자유로운 형식으로 기술되어 있고, 원문에 태그나 코드 등 불필요한 내용들을 많이 포함하고 있어 언어 처리에 바로 사용하기에 적합하지 못하다. 본 논문은 인덱싱 대상 문서로 사용되는 웹 문서를 자동으로 수집하여, 문장 단위로 정렬된 문서로 제작, 관리하는 통합 전처리 시스템인 Web Tagger의 구조와 전처리 방법을 소개한다. Web Tagger는 문서 정제, 문장 분할, 띄어쓰기의 과정을 거쳐 웹 문서에서 표준화된 정보를 추출하고, 형태소 분석기를 포함한 응용 시스템의 목적에 맞게 XML 형식의 원문 코퍼스를 자동으로 생성하고 관리한다. '정규문법(Regexp)', '휴리스틱', '품사 인덱스 참조', 'C4.5를 사용한 학습 규칙' 등의 다양한 전처리 기법은 형태소 분석 정확도 향상과 시스템 안정성 보장에 기여한다.

• The KIPS Transactions:PartB
• /
• v.18B no.6
• /
• pp.405-414
• /
• 2011

Korean grammar checkers typically detect context-dependent errors by employing heuristic rules that are manually formulated by a language expert. These rules are appended each time a new error pattern is detected. However, such grammar checkers are not consistent. In order to resolve this shortcoming, we propose new method for generalizing error decision rules to detect the above errors. For this purpose, we use an existing thesaurus KorLex, which is the Korean version of Princeton WordNet. KorLex has hierarchical word senses for nouns, but does not contain any information about the relationships between cases in a sentence. Through the Tree Cut Model and the MDL(minimum description length) model based on information theory, we extract noun classes from KorLex and generalize error decision rules from these noun classes. In order to verify the accuracy of the new method in an experiment, we extracted nouns used as an object of the four predicates usually confused from a large corpus, and subsequently extracted noun classes from these nouns. We found that the number of error decision rules generalized from these noun classes has decreased to about 64.8%. In conclusion, the precision of our grammar checker exceeds that of conventional ones by 6.2%.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.41-44
• /
• 2017

기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.

• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.41-44
• /
• 2017

기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.