• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.95-98
• /
• 2012

말뭉치는 언어를 연구하기 위한 중요한 재료이다. 본 논문에서는 말뭉치에서 나타나는 언어 현상을 보다 효율적으로 분석하기 위한 언어학자를 위한 말뭉치 분석기를 제안하고 그 구현 방법을 설명한다. 제안하는 말뭉치 분석기는 기본적인 통계 정보와 함께, 형태소 분석된 파일을 대상으로 위치 색인을 포함하는 역파일 색인을 구성하여 빠른 형태소 검색과 다앙한 수준의 연어 검색을 제공한다. 분석기는 세종말뭉치를 기본 말뭉치로 하며, 다앙한 말뭉치에 대한 통계자료와 검색 기능을 제공하기 위해 사용자 말뭉치 파일에 대한 처리도 지원한다. 시스템은 사용자가 업로드한 말뭉치 파일에 대하여 자동 형태소 분석을 제공하며 형태소 분석 결과 수정을 가능하게 하여 다앙한 말뭉치에서 언어학자들의 우리말 연구를 지원한다.

• The KIPS Transactions:PartB
• /
• v.11B no.2
• /
• pp.233-240
• /
• 2004

This paper presents a method to implicitly resolve ambiguities using dynamic incremental clustering in Korean-to-English and Japanese-to-English cross-language information retrieval (CLIR). The main objective of this paper shows that document clusters can effectively resolve the ambiguities tremendously increased in translated queries as well as take into account the context of all the terms in a document. In the framework we propose, a query in Korean/Japanese is first translated into English by looking up bilingual dictionaries, then documents are retrieved for the translated query terms based on the vector space retrieval model or the probabilistic retrieval model. For the top-ranked retrieved documents, query-oriented document clusters are incrementally created and the weight of each retrieved document is re-calculated by using the clusters. In the experiment based on TREC test collection, our method achieved 39.41% and 36.79% improvement for translated queries without ambiguity resolution in Korean-to-English CLIR, and 17.89% and 30.46% improvements in Japanese-to-English CLIR, on the vector space retrieval and on the probabilistic retrieval, respectively. Our method achieved 12.30% improvements for all translation queries, compared with blind feedback in Korean-to-English CLIR. These results indicate that cluster analysis help to resolve ambiguity.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.31-35
• /
• 2023

최근에는 질의응답(Question Answering, QA) 분야에서 거대 언어 모델(Large Language Models, LLMs)의 파라미터에 내재된 지식을 활용하는 방식이 활발히 연구되고 있다. Open Domain QA(ODQA) 분야에서는 기존에 정보 검색기(retriever)-독해기(reader) 파이프라인이 주로 사용되었으나, 최근에는 거대 언어 모델이 독해 뿐만 아니라 정보 검색기의 역할까지 대신하고 있다. 본 논문에서는 거대 언어 모델의 내재된 지식을 사용해서 질의 응답에 활용하는 방법을 제안한다. 질문에 대해 답변을 하기 전에 질문과 관련된 구절을 생성하고, 이를 바탕으로 질문에 대한 답변을 생성하는 방식이다. 이 방법은 Closed-Book QA 분야에서 기존 프롬프팅 방법 대비 우수한 성능을 보여주며, 이를 통해 대형 언어 모델에 내재된 지식을 활용하여 질의 응답 능력을 향상시킬 수 있음을 입증한다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.37-43
• /
• 1997

본 논문에서는 기존의 키워드 검색 시스템의 불편함과 비효율성을 지적하고 이를 극복하기 위해 한국어 의문문 자체를 질의어로 채택하여 정보를 검색하는 자연어 기반의 정보검색 시스템을 제안하였다. 본 시스템은 주격 주제어와 서술격 주제어는 물론 의문의 초점과 초점 관련 어구에 대해서도 질의어 분석단계에서 분석하여 검색자의 요구에 부응하는 응답문 검색이 가능하도록 설계하였다. 본 논문에서는 의문문 질의 시스템에 적합하도록 의문사를 5형태로 분류하고 실제 한국어 문장에서 이들 각각에 대한 처리를 규칙화시켜 질의어의 체계적인 분석을 시도하였다. 한편, 후보 문장 검색을 위한 색인어로 사용되는 주격 주제어와 서술격 주제어를 정해진 규칙을 통해 추출함으로써 체계적이고 정확도 높은 질의어 분석이 이루어지도록 했다. 뿐만 아니라 의문의 초점과 초점 관련 어구또한 정해진 규칙을 통해 분석 추출함으로써 응답문 검색의 정확성을 높였다.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 2009.05a
• /
• pp.129-132
• /
• 2009

본 논문은 오픈 API를 이용하여 다국어 정보검색 시스템을 모델링하는 방법론을 제시한다. 웹 2.0이 대두되면서 웹 2.0의 개념을 활용한 기술들이 발달하고 있는데, 그 중 한 기술이 오픈 API이다. 기업에서 개발한 새로운 서비스나 기능, 데이터 등을 API로 공개함으로써 사용자들이 공개된 API를 이용하여 새로운 서비스를 쉽게 개발할 수 있게 되었다. 본 연구에서는 구글, 플리커, 유튜브, 네이버, 다음 등의 사이트에서 제공하는 오픈 API를 이용하여, 다국어 정보 검색 시스템을 구현하였다. 구글 번역 API를 이용하여 한국어 질의어를 검색 대상 언어(영어, 일본어, 중국어 등)로 번역한 후, 소설 웹 사이트(플리커, 유튜브, 다음, 네이버 등)의 정보를 검색하고, 검색된 결과 내 텍스트를 다시 한국어로 번역한 후, 통합된 검색 결과를 사용자에게 보여준다.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.59-62
• /
• 1996

빠르고 다양하게 늘어나는 정보 더미 속에서 사용자가 원하는 정보를 쉽고 정확하게 찾아주는 방법이 바로 정보 검색이다. 최근에는 인터넷을 이용하여 세계 각처에 흩어져 있는 데이터를 찾거나 웹 홈 폐이지를 찾아 주는 인터넷 정보 검색 프로그램들이 각광을 받고 있다. 본 논문에서는 현재 국내외에서 상용되고 있는 인터넷 정보검색 시스템의 검색 방법에 따른 특성을 살펴보고 국내에서 개발된 한국어 정보검색 시스템과 외국에서 개발된 정보검색 시스템과의 기능을 비교함으로써, 한국어 정보검색 시스템의 처리 항목을 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.326-329
• /
• 2019

기계독해를 실용화하기 위해 단락을 검색하는 검색 모델은 최근 기계독해 모델이 우수한 성능을 보임에 따라 그 필요성이 더 부각되고 있다. 그러나 기존 검색 모델은 질의와 단락의 어휘 일치도나 유사도만을 계산하므로, 기계독해에 필요한 질의 어휘의 문맥에 해당하는 단락 검색을 하지 못하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 Word2vec의 입력 단어열의 벡터에 해당하는 IN Weight Matrix와 출력 단어열의 벡터에 해당하는 OUT Weight Matrix를 사용한 단락 검색 모델을 제안한다. 제안 방법은 기존 검색 모델에 비해 정확도를 측정하는 Precision@k에서 좋은 성능을 보였다.

• The Journal of the Korea Contents Association
• /
• v.21 no.9
• /
• pp.284-298
• /
• 2021

In addition to awareness building, TV media creates search behavior for the brand and the search result may link to a brand homepage and/or an e-commerce site. This study analyzed the impact of TV advertisements on a search volume at NAVER, a leading Korean search platform, in order to verify the impact of TV advertisements on brand-related search behavior. Results are as follows. TV advertisement exposure was significantly related to the amount of Korean search, English search, and total search. In addition, changes in TV advertising exposure also had a significant static influence on changes in search volume. The increase in the number of brand search was different by industries that carried out TV advertisements, and it was verified that the frequency of English searches increased faster than the frequency of Korean search as the exposure of TV advertisements increased. Therefore, domestic TV advertising volume has been verified to affect NAVER search volume, and the advertising industry and brand search language that conducted TV advertisements have been verified to be moderating variables. TV advertisements can be interpreted to cause brand search behavior in English even though it is not a native language for Koreans.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.175-178
• /
• 2017

본 연구는 거시적 빅데이터 인문학과 미시적 언어 텍스트 검색 시스템을 구축하고, 이를 통해서 언어를 통한 문화의 역동적 변화를 시간적 순서에 따라 살펴보고자 한다. 연구의 최종적인 목표는 문화도 생물체처럼 변화하는 존재라 여기고 그 구성요소들을 연구한다는 뜻인 '문화체학(文化體學; Culturomics)'과 같은 '인문학 + 정보과학 + 사회과학' 등등의 다학문간의 융합적 연구에 있다. 이 시스템을 통해서 인류 역사의 기록인 텍스트 빅데이터를 통한 인문학적 성찰을 시각화하고 있다. 이러한 구글의 업적은 인문학과 정보기술의 융합을 통해서 인문학 자체의 지평을 넓히고, 사회과학을 변형시키고, 산업과 상아탑 사이의 관계를 재조정하는데 있다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.105-110
• /
• 1998

SGML/XML은 임의 형태 문서, 임의 응용에 대해 일반화 마크업을 정의하기 위한 방법을 기술하는 메타언어이다. 즉 문서의 작성시에 고려되는 문서의 논리적 정보를 표현 가능하다. 이러한 논리적 구분을 이용하여 정보사용자에게 좀 더 정확한 검색을 제공할 수 있다. SGML/XML을 이용하여 표현된 계층적 논리정보를 이용하여 다양한 문서 접근점을 제공할 수 있으며, 문서의 재사용 및 동적인 문서제시를 가능케 한다. 본 논문에서는 SGML/XML 정보검색의 장점과 이러한 시스템을 구현하기 위한 구현 단계 및 구성요소를 알아보고자 한다. 아울러 구현사례로 STEER-SGML/XML 검색 시스템을 알아본다.