• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.127-132
• /
• 2014

본 논문은 위키피디아로부터 한국어-영어 간 병렬 문장을 추출하기 위해 이질적 언어 자원의 순차적 매칭을 적용한 유사도 계산 방법을 제안한다. 선행 연구에서는 병렬 문장 추출을 위해 언어 자원별로 유사도를 계산하여 선형 결합하였고, 토픽모델을 이용해 추정한 단어의 토픽 분포를 유사도 계산에 추가로 이용함으로써 병렬 문장 추출 성능을 향상시켰다. 하지만, 이는 언어 자원들이 독립적으로 사용되어 각 언어자원이 가지는 오류가 문장 간 유사도 계산에 반영되는 문제와 관련이 적은 단어 간의 분포가 유사도 계산에 반영되는 문제가 있다. 본 논문에서는 이질적인 언어 자원들을 이용해 순차적으로 단어를 매칭함으로써 언어 자원들의 독립적인 사용으로 각 자원의 오류가 유사도에 반영되는 문제를 해결하였고, 관련이 높은 단어의 분포만을 유사도 계산에 이용함으로써 관련이 적은 단어의 분포가 반영되는 문제를 해결하였다. 실험을 통해, 언어 자원들을 이용해 순차적으로 매칭한 유사도 계산 방법은 선행 연구에 비해 F1-score 48.4%에서 51.3%로 향상된 성능을 보였고, 관련이 높은 단어의 분포만을 유사도 계산에 이용한 방법은 약 10%에서 34.1%로 향상된 성능을 얻었다. 마지막으로, 제안한 유사도 방법들을 결합함으로써 선행연구의 51.6%에서 2.7%가 향상된 54.3%의 성능을 얻었다.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.69-74
• /
• 2008

본 논문은 인용필드 정규화와 인용매칭의 관계에 대한 분석을 제시한다. 인용매칭은 논문에서 수집된 인용레코드의 인용필드들 간의 비교 결과를 조합하여 동일 논문의 참조여부를 판별하여 인용레코드를 군집화한다. 따라서 인용매칭에 성능을 높일 수 있는 인용필드와 인용매칭 성능의 관계에 대한 연구가 필요하다. 본 논문에서는 인용필드 정규화 및 필드 별 결합에 의하여 인용매칭 성능이 변화하는 것을 보였다. 또한, 인용매칭 성능을 인용필드 유사도와의 관점에서 분석하였다. 앞으로, 인용필드 정규화 및 특성이 인용매칭에 미치는 영향에 대한 이해를 넓혀, 이를 인용매칭에 활용할 수 있으리라 여겨진다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.443-448
• /
• 2018

웹검색 결과의 품질 향상을 위해서는 질의의 정확한 매칭 뿐만이 아니라, 서로 같은 대상을 지칭하는 한글 문자열과 영문 문자열(예: 네이버-naver)의 매칭과 같은 유연한 매칭 또한 중요하다. 본 논문에서는 문장대문장 학습을 통해 영문 문자열을 한글 문자열로 음차변환하는 방법론을 제시한다. 또한 음차변환 결과로 얻어진 한글 문자열을 동일 영문 문자열의 다양한 음차변환 결과와 매칭시킬 수 있는 발음 유사성 기반 부분 매칭 방법론을 제시하고, 위키피디아의 리다이렉트 키워드를 활용하여 이들의 성능을 정량적으로 평가하였다. 이를 통해 본 논문은 문장대문장 학습 기반의 음차 변환 결과가 복잡한 문맥을 고려할 수 있으며, Damerau-Levenshtein 거리의 계산에 자모 유사도를 활용하여 기존에 비해 효과적으로 한글 키워드들 간의 부분매칭이 가능함을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.161-163
• /
• 2014

자연어 처리를 이용한 다양한 응용 시스템에서 지식베이스는 중요한 요소이다. 지식베이스의 대표적인 예로 YAGO와 디비피디아 등이 있다. YAGO는 고성능의 지식베이스지만 한국어를 지원하지 않는다는 문제점이 있다. 그리고 디비피디아는 한국어를 지원하지만 트리플의 속성이 세분화되어 있어서 사용이 어렵다. 본 논문에서는 YAGO와 디비피디아의 트리플을 매칭하여 디비피디아 트리플의 속성을 YAGO에서 사용하는 관계명으로 변환하고 MEM을 이용해 매칭되지 않은 트리플의 속성을 자동으로 분류하는 시스템을 제안한다. 제안한 방식으로 실험한 결과 F1-Measure 79.04%의 성능을 보였다.

• Journal of KIISE
• /
• v.42 no.7
• /
• pp.901-909
• /
• 2015

In this paper, to build a parallel corpus between Korean and English in Wikipedia. We proposed a method to find similar sentences based on language resources and topic modeling. We first applied language resources(Wiki-dictionary, numbers, and online dictionary in Daum) to match word sequentially. We construct the Wiki-dictionary using titles in Wikipedia. In order to take advantages of the Wikipedia, we used translation probability in the Wiki-dictionary for word matching. In addition, we improved the accuracy of sentence similarity measuring method by using word distribution based on topic modeling. In the experiment, a previous study showed 48.4% of F1-score with only language resources based on linear combination and 51.6% with the topic modeling considering entire word distributions additionally. However, our proposed methods with sequential matching added translation probability to language resources and achieved 9.9% (58.3%) better result than the previous study. When using the proposed sequential matching method of language resources and topic modeling after considering important word distributions, the proposed system achieved 7.5%(59.1%) better than the previous study.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.72-76
• /
• 2021

판례는 일반인 또는 법률 전문가가 사건에 참조하기 위해 가장 먼저 참고할 수 있는 재판의 선례이다. 하지만 이러한 판례의 유용성에도 불구하고 현 대법원 판례 검색 시스템은 판례 검색에 용이하지 않다. 왜냐하면 법률 전문 지식이 없는 일반인은 검색 의도에 부합하는 검색 결과를 정확히 도출하는 데 어려움이 있으며, 법률 전문가는 검색에 많은 시간과 비용이 들게 되기 때문이다. 이미 해외에서는 유사 케이스 매칭 데이터셋을 구축하여 일반인과 전문가로 하여금 유사 판례 검색을 용이하게 할 뿐만 아니라 여러 자연어 처리 태스크에도 활용하고 있다. 하지만 국내에는 법률 AI와 관련하여 오직 법률과 관련한 세부 태스크 수행에 초점을 맞춘 연구가 많으며, 리소스로서의 유사 케이스 매칭 데이터셋은 구축되어 있지 않다. 이에 본 논문에서는 리소스로서의 판례 데이터셋을 위해 딥러닝 알고리즘 중 문서의 의미를 반영할 수 있는 Doc2Vec 임베딩 모델과 SBERT 임베딩 모델을 적용하여 판례 문서 간 유사도를 측정·비교하였다. 그 결과 SBERT 모델을 통해 도출된 유사 판례가 문서 간 내용적 유사성이 높게 나타났으며, 이를 통해 SBERT 모델을 이용하여 유사 판례 매칭 기초 데이터셋을 구축하였다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.8 no.1
• /
• pp.53-62
• /
• 2008

Cross-lingual text retrieval(CLTR) is the information retrieval in which a user tries to search a set of documents written in one language for a query another language. This thesis proposes a CLTR system based on fuzzy multilingual thesaurus to handle a partial matching between terms of two different languages. The proposed CLTR system uses a fuzzy term matrix defined in our thesis to perform the information retrieval effectively. In the defined fuzzy term matrix, all relation degrees between terms are inferred from using the transitive closure algorithm to reflect all implicit links between terms into processing of the information retrieval. With this framework, the CLTR system proposed in our thesis enhances the retrieval effectiveness because it is able to emulate a human expert's decision making well in CLTR.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.169-171
• /
• 2006

인터넷이 보다 대중화되고 광범위해지면서 의미적 관계에 따라 정보를 저장하는 온톨로지 시스템이 미래의 지능적인 컴퓨터를 위한 적절한 수단으로 각광받고 있다. 하지만 온톨로지와 같은 메타 데이터를 사용한 방법은 그 사용 목적 또는 작성자의 개인적인 관점에 따라 다양한 이질적인(heterogeneous) 형태를 띠게 된다. 이러한 이질적인 정보들은 데이터가 다른 시스템에서 처리되는 것을 어렵게 한다. 정보의 상호운용성을 보장하기 위해서는 서로 다른 온톨로지 시스템간의 개체에 대한 유사도를 평가할 수 있어야 한다. 따라서 두 개의 다른 OWL 언어로 정의된 온톨로지 사이에서 두 개의 엔티티의 유사도를 측정하기 위한 새로운 유사도 척도(similarity measure)를 제안하였다. 이는 온톨로지 상의 이질적인 정보를 통합하는데 사용되며, 온톨로지 비교(comparison), 정렬(alignment), 매칭(matching) 그리고 병합(merging)의 기반이 되는 중요한 기법이다. 새로운 유사도 척도는 특정한 매핑 정보를 사용하지 않고 온톨로지 언어의 속성을 기반으로 하므로 OWL을 사용한 온톨로지 간의 유사도 검색에 곧바로 적용될 수 있는 장점을 지닌다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.33 no.11B
• /
• pp.1020-1029
• /
• 2008

This paper proposes an high speed pattern matching algorithm and its implementation. The pattern matcher is used to check patterns from realtime input packet. The proposed algorithm can find exact string, range of string values, and combination of string values from input packet at high speed. Given string and rule set are modelled as a state transition graph which can find overlapped strings simultaneously, and the state transition graph is partitioned according to input implicants to reduce implementation complexity. The pattern matcher scheme uses the transformed state transition graph and input packet as an input. The pattern matcher was modelled and implemented in VHDL language. Experimental results show the proprieties of the proposed approach.

• Proceedings of the Korea Institutes of Information Security and Cryptology Conference
• /
• 2001.11a
• /
• pp.91-95
• /
• 2001

본 논문은 현재 컴퓨터 사용자들에게 많은 피해를 입히고 있는 악성 스크립트 코드에 대한 탐지기법을 제시하고자 한다. 스크립트 언어는 타 언어에 비해서 단순하며, 상위 수준의 언어로 작성된 소스를 직접 분석가능하기 때문에 기존의 이진 파일 형태의 바이러스 비해 정적 분석 기법 적용이 용이하다. 제안하는 탐지 기법은 기존의 스코어링 방식을 기반으로 한 패턴 매칭과는 달리 스크립트가 수행하는 악성 행위의 분석을 통해 행위 패턴을 생성하고, 이 패턴들을 정적 분석 기법을 통해 패턴간의 관계 분석을 통해 보다 확실한 악성 행위를 탐지하여 스크립트에 포함된 악성행위들을 보고한다. 기존 대부분의 바이러스 탐지 도구들은 이미 알려진 바이러스들만을 탐지 할 수 있다. 정적 분석 기법을 이용한 악성 스크립트 탐지 방법은 악성 행위 별 패턴 존재 여부를 판단하므로 이미 알려진 바이러스는 물론 알려지지 않은 바이러스를 탐지 할 수 있는 방안을 제시한다.