• Proceedings of the IEEK Conference
• /
• 2002.06c
• /
• pp.91-94
• /
• 2002

본 논문은 세종계획의 일환으로 개발되었던 '남북한 언어 비교 사전 검색 시스템'을 개선한 것이다. '남북한 비교 사전 검색 프로그램'은 남북한의 언어 격차를 해소하고자 일반인에게 남북한의 언어정보를 검색할 수 있도록 개발된 시스템이다. 본 논문은 또한 일반인들이 남북한이 이질성을 가진 단어에 관심을 가지고 있는 점에 착안하여 이질성을 가진 단어를 검색할 수 있도록 별도로 '남북한 이질화된 언어 검색 시스템'을 개발하였다. '남북한 언어 비교 사전 검색 시스템'은 Microsoft Visual C++로 개발되었으며 Database는 Microsoft Access를 사용하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.443-447
• /
• 2023

검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04b
• /
• pp.797-800
• /
• 2001

본 논문은 남과 북의 언어 정보를 체계적으로 정리하고, 일반인들도 남과 북의 언어 정보의 차이를 쉽게 검색할 수 있도록 '남북한 언어 비교 사전 검색 시스템'을 설계하고 구현한다. '남북한 언어 비교 사전 검색 시스템'은 검색어에 대해서 '표기', '발음', '문법', '의미'의 4가지 항목에서 남북한 언어의 차이점을 알 수 있도록 한다. '남북한 언어 비교 검색 시스템'은 표제어에 의한 단순한 검색 이외에도 '남한에만 있는 것', '북한에만 있는 것', '남북한 공통인 것', '남북한 차이가 있는 것' 등을 비교하여 검색할 수 있도록 하였다. 또한, 표제어에 대해서 '완전 일치'와 '부분 일치' 검색을 제공하였고 의미 항목에 대해서는 내용 검색이 가능하도록 하였다. '남북한 언어 비교 사전 검색 시스템'은, 장차 통일이 되었을 때에 남과 북의 언어 생활의 차이로 인한 혼란을 미연에 방지하고 통일된 언어 생활을 할 수 있도록 하는데 기여할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.239-244
• /
• 2023

신경망 기반의 다국어 및 교차 언어 정보 검색 모델은 타겟 언어로 된 학습 데이터가 필요하지만, 이는 고자원 언어에 치중되어있다. 본 논문에서는 이를 해결하기 위해 영어 학습 데이터와 한국어-영어 병렬 말뭉치만을 이용한 효과적인 다국어 정보 검색 모델 학습 방법을 제안한다. 언어 예측 태스크와 경사 반전 계층을 활용하여 인코더가 언어에 구애 받지 않는 벡터 표현을 생성하도록 학습 방법을 고안하였고, 이를 한국어가 포함된 다국어 정보 검색 벤치마크에 대해 실험하였다. 본 실험 결과 제안 방법이 다국어 사전학습 모델과 영어 데이터만을 이용한 베이스라인보다 높은 성능을 보임을 실험적으로 확인하였다. 또한 교차 언어 정보 검색 실험을 통해 현재 검색 모델이 언어 편향성을 가지고 있으며, 성능에 직접적인 영향을 미치는 것을 보였다.

• Journal of the Korean Society for information Management
• /
• v.23 no.1 s.59
• /
• pp.201-219
• /
• 2006

This experimental study suggests an element-based XML document retrieval method that reveals highly relevant elements. The models investigated here for comparison are divergence and smoothing method, and hierarchical language model. In conclusion, the hierarchical language model proved to be most effective in element-based XML document retrieval with regard to the improved exhaustivity and harmed specificity.

• Journal of Korean Library and Information Science Society
• /
• v.36 no.2
• /
• pp.49-68
• /
• 2005

The purpose of this study is to examine the research trends and their experiment results on the applications of the language models for information retrieval. We reviewed the previous studies with the following categories: (1) the first generation of language modeling information retrieval (LMIR) experiments which are mainly focused on comparing the language modeling information retrieval with the traditional retrieval models in their retrieval performance, and (2) the second generation of LMIR experiments which are focused on comparing the expanded language modeling information retrieval with the basic language models in their retrieval performance. Through the analysis of the previous experiments results, we found that (1) language models are outperformed the probabilistic model or vector space model approaches, and (2) the expended language models demonstrated better results than the basic language models in their retrieval performance.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10b
• /
• pp.289-291
• /
• 1998

최근 멀티미디어 자료(Multimedia Data)들을 이용한 멀티미디어 상연물(Multimedia Presentation)의 제작에 많은 관심이 쏟아지고 있다. 한편, 멀티미디어 상연물들의 효과적인 사용을 위해서는 멀티미디어 상연물과 데이터베이스 시스템(Database System)의 통합(Integration)이 필요하며 이에 그래프 타입(Graph Type)을 이용하여 표현되고 있는 멀티미디어 상연물의 검색을 위한 검색 언어(Query Language)의 필요성이 대두되고 있다. 검색언어는 멀티미디어 자료들의 물리적 특징과 내용(Content), 상연물을 표현하는 데이터 타입(Data Type)을 표현할 수 있어야 한다. 또한 검색 언어는 사용자(end-user)가 손쉽게 사용할 수 있어야 한다. 이에 앞서 언급된 멀티미디어 상연물 검색 언어가 갖추어야할 요소들을 가지고 있으며 또한 사용자가 편리(user-friendly)하게 사용하는 visual language의 formal basis가 되는 calculus에 바탕을 둔 검색 언어인 GCaluculus/S를 소개한다.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.332-339
• /
• 2007

이 논문은 21세기 세종계획 중 1998년부터 2007년까지 한민족언어정보화 분과 사업의 성과와 그 활용을 제시한 것이다. 이 사업에서는 국어 어문규정 검색 프로그램, 남북한 언어 비교사전, 한국 방언 검색 프로그램, 국어의 어휘 역사 검색 프로그램, 문학작품에 나타난 방언 검색 프로그램, 한국 전통문화 어휘 검색 프로그램, 남북한 정서법 변환 프로그램 등을 만들어 활용하였다. 국어 어휘와 관련된 정보화 작업을 시행하여, 국어를 다양하게 정보화하는 인력을 양성하고, 국어 어휘의 종합적 연구와 국어 발전에 크게 기여하였고, 국민들이 어문규정을 손쉽게 검색하여 국어생활에 큰 도움이 되도록 하였다. 특히 남북한 어휘 연구를 통하여 언어 통일 문제를 다루었고, 국어의 역사적 연구, 각 지역 방언 및 문학작품에 나타난 방언의 연구 및 이해에 큰 도움이 되도록 하였다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.52-58
• /
• 1997

정보 검색에서는 질의문과 문서를 동일한 표현으로 변환시켜 관련성을 비교하게 된다. 특히 질의문과 문서의 언어가 서로 다른 교차 언어 문서 검색 (CLTR : Cross-Language Text Retrieval) 에서 이러한 변환 과정은 언어 변환을 수반하게 된다. 교차 언어 문서 검색의 기존 연구에는 사전, 말뭉치, 기계 번역 등을 이용한 방법들이 있다. 일반적으로 언어간 변환에는 필연적으로 의미의 중의성이 발생되며 사전에 기반한 기존 연구에서는 다의어의 중의성 의미해소를 고려치 않고 있다. 본 연구에서는 질의어의 언어 변환시 한-일 대역어 사전 및 카도가와 시소러스 (각천(角川) 시소러스) 에 기반한 질의어 중의성 해소 방법과 공기하는 대역어를 갖는 문서에 가중치를 부여하는 방법을 제안한다. 제안된 방법들은 일본어 특허 문서를 대상으로 실험하였으며 5 %의 정확도 향상을 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.183-185
• /
• 2010

디지털 기기들의 발전은 사전 검색 수요의 증가와 함께 강건한 검색 기법의 필요성도 증가시키고 있다. 기존의 사전 검색 기법들은 사용자의 입력 오류를 고려하지 않고, 검색 최적화만을 위해 설계되었다. 본 논문에서는 언어 모델 키워드와 자소 범주 키워드를 이용하여 오타에 강건한 사전 검색 방법을 제안한다. 제안된 방법은 오류가 포함된 사용자의 입력 단어에 대하여 활용 가능한 수준의 높은 성능과 검색 속도를 보여주었다.