• 제목/요약/키워드: Sentence Retrieval

검색결과 40건 처리시간 0.022초

A Method of Chinese and Thai Cross-Lingual Query Expansion Based on Comparable Corpus

  • Tang, Peili;Zhao, Jing;Yu, Zhengtao;Wang, Zhuo;Xian, Yantuan
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.805-817
    • /
    • 2017
  • Cross-lingual query expansion is usually based on the relationship among monolingual words. Bilingual comparable corpus contains relationships among bilingual words. Therefore, this paper proposes a method based on these relationships to conduct query expansion. First, the word vectors which characterize the bilingual words are trained using Chinese and Thai bilingual comparable corpus. Then, the correlation between Chinese query words and Thai words are computed based on these word vectors, followed with selecting the Thai candidate expansion terms via the correlative value. Then, multi-group Thai query expansion sentences are built by the Thai candidate expansion words based on Chinese query sentence. Finally, we can get the optimal sentence using the Chinese and Thai query expansion method, and perform the Thai query expansion. Experiment results show that the cross-lingual query expansion method we proposed can effectively improve the accuracy of Chinese and Thai cross-language information retrieval.

Design of a Question-Answering System based on RAG Model for Domestic Companies

  • Gwang-Wu Yi;Soo Kyun Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권7호
    • /
    • pp.81-88
    • /
    • 2024
  • 생성형 AI 시장의 급속한 성장과 국내 기업과 기관의 큰 관심에도 불구하고, 부정확한 정보제공과 정보유출의 우려가 생성형 AI 도입을 저해하는 주된 요인으로 나타났다. 이를 개선하기 위해 본 논문에서는 검색-증강 생성(Retrieval-Augmented Generation, RAG) 구조 기반의 질의응답시스템을 설계·구현하였다. 제안 방법은 한국어 문장 임베딩을 사용해 지식 데이터베이스를 구축하고, 최적화된 검색으로 질문 관련 정보를 찾아 생성형 언어 모델에게 제공된다. 또한, 이용자가 지식 데이터 베이스를 직접 관리하여 변경되는 업무 정보를 효율적으로 업데이트하도록 하고, 시스템이 폐쇄망에서 동작할 수 있도록 설계하여 기업의 기밀 정보의 유출 가능성을 낮추었다. 국내 기업 등 조직에서 생성형 AI를 도입하고 활용하고자 할 때 본 연구가 유용한 참고자료가 되길 기대한다.

의학문서 질의응답을 위한 정답 스닛핏 검색 (Answer Snippet Retrieval for Question Answering of Medical Documents)

  • 이현구;김민경;김학수
    • 정보과학회 논문지
    • /
    • 제43권8호
    • /
    • pp.927-932
    • /
    • 2016
  • 온라인 의학 문서의 폭발적 증가와 함께 질의응답 시스템에 대한 필요성이 늘어나고 있다. 최근에는 기계학습에 기반 한 질의응답 모델들이 다양한 영역에서 좋은 결과를 보여 왔다. 그러나 의학 영역에서 질의응답 모델들은 학습 데이터의 부족으로 인해 여전히 정보 검색 기술에 기반을 두고 있다. 본 논문에서는 다양한 정보검색 기술에 기반 한 의학문서 질의응답용 정답 스닛핏 검색 모델을 제안한다. 제안 모델은 먼저 클러스터 기반 검색 기술을 이용하여 의학 문서로부터 많은 정답 후보 문장을 검색한다. 그리고 다양한 문장 검색 기술들에 기반 한 정답 후보 문장 재순위화 모델을 사용하여 신뢰성 있는 정답 스닛핏을 생성한다. BioASQ 4b 데이터를 이용한 실험에서 제안 모델은 기존 모델보다 좋은 성능(MAP 0.0604)을 보였다.

대화형 음성 지원을 통한 지능형 검색 시스템 (Intelligent Retrieval System with Interactive Voice Support)

  • 문규진;우요섭
    • 재활복지공학회논문지
    • /
    • 제9권1호
    • /
    • pp.29-35
    • /
    • 2015
  • 본 논문에서는 음성인식을 통해 상품검색을 도와주는 지능형 검색 시스템을 제안한다. 제안하는 시스템은 음성인식과정에서 잘못 인식된 어휘를 자동으로 수정하기 위해 어휘간의 관계를 이용한다. 본 연구에서는 제안하는 시스템의 유용성을 확인하기 위해 시스템을 시뮬레이션 할 수 있는 어플리케이션을 구현하였다. 실험 결과 간단한 유저 인터페이스를 통해 음성인식이 잘못된 어휘를 바로잡아 상품검색에 도움을 주는 것을 확인할 수 있었다.

  • PDF

An Intelligent Search Modeling using Avatar Agent

  • Kim, Dae Su
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제4권3호
    • /
    • pp.288-291
    • /
    • 2004
  • This paper proposes an intelligent search modeling using avatar agent. This system consists of some modules such as agent interface, agent management, preprocessor, interface machine. Core-Symbol Database and Spell Checker are related to the preprocessor module and Interface Machine is connected with Best Aggregate Designer. Our avatar agent system does the indexing work that converts user's natural language type sentence to the proper words that is suitable for the specific branch information retrieval. Indexing is one of the preprocessing steps that make it possible to guarantee the specialty of user's input and increases the reliability of the result. It references a database that consists of synonym and specific branch dictionary. The resulting symbol after indexing is used for draft search by the internet search engine. The retrieval page position and link information are stored in the database. We experimented our system with the stock market keyword SAMSUNG_SDI, IBM, and SONY and compared the result with that of Altavista and Google search engine. It showed quite excellent results.

계층적 클러스터링과 문장 적합성 피드백을 이용한 상담사례 검색 시스템 (Counseling Case Retrieval System Using Hierarchical Clustering and Sentence Relevance Feedback)

  • 김승일;곽희규;김수형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
    • /
    • pp.172-174
    • /
    • 1999
  • 본 논문에서는 카운셀링을 원하는 사용자가 카운셀러와 전자메일을 통해 상담을 원할 때 사용자의 상담 내용에 근거하여 유사한 사례를 검색해 주는 시스템을 제안한다. 제안방법은 문서의 계층적 클러스터링과 용어 적합성 피드백을 상담 사례 검색 시스템에 적용시켜, 상담사례에 나타나는 단어의 출현 빈도와 유사도를 통해 트리 구조를 형성하고, 이 트리 구조를 통한 하향 탐색을 수행한다. 하향 탐색을 하는 도중 노드의 매칭함수의 값이 서로 유사하여 노드 선택이 어려울 경우, 사용자에게 질의를 통해 용어를 제시하고, 사용자의 피드백을 통해 입력된 사연 내용의 가중치를 개선하여 내용에 가장 부합되는 문서를 탐색한다.

  • PDF

한국어 Hedge 문장 인식을 위한 태깅 말뭉치 및 단서어구 패턴 구축 (Constructing Tagged Corpus and Cue Word Patterns for Detecting Korean Hedge Sentences)

  • 정주석;김준혁;김해일;오성호;강신재
    • 한국지능시스템학회논문지
    • /
    • 제21권6호
    • /
    • pp.761-766
    • /
    • 2011
  • Hedge는 불확실함을 나타내는 언어적 표현으로, 저자가 자신의 글에 내포된 내용이 불확실하거나 의심이 갈 때 사용한다. 이러한 불확실성 때문에 hedge가 포함된 문장은 사실이 아닌 문장으로 간주된다. 문장이 사실인지 아닌지를 판단하는 것은 여러 응용에서 사용될 수 있는데, 정보검색, 정보추출, 질의응답 등의 응용분야에서 전처리 과정으로 사용되어, 보다 정확한 결과를 얻게 한다. 본 논문에서는 한국어 hedge 말뭉치를 구축하고, 이로부터 hedge 단서 어구들을 추출하여 일반화된 단서어구 패턴을 구축한 후, 한국어 hedge 인식 실험을 하였다. 실험을 통하여 78.6%의 F1-measure값을 얻을 수 있었다.

문장 및 단어 중요도를 통한 한국어 문서 연관 이미지 검색 (Relevant Image Retrieval of Korean Documents based on Sentence and Word Importance)

  • 김남규;강신재
    • 한국산학기술학회논문지
    • /
    • 제20권3호
    • /
    • pp.43-48
    • /
    • 2019
  • 텍스트로만 이루어진 글에서 알지 못하는 단어가 나온다면, 글을 읽는 도중 집중이 되지 않고 내용을 이해함에 있어 어려움이 생긴다. 또한 이미 알고 있는 단어라도 아이들의 경우 경험이 적기 때문에 글에서 상황을 묘사하는 표현이 생소하거나 애매하다면 머릿속에 떠올리기 힘들다. 이에 본 논문에서는 글을 이해를 돕고 독자의 흥미를 증가시키기 위해서 글의 텍스트들을 분석하여 중요하다고 판단되는 내용을 선택하고, 이 내용과 가장 관련 있는 이미지를 웹에서 자동으로 가져와 연결하여 보여주는 시스템을 구현하고자 한다. 시스템의 구현은 글을 문단 단위로 나누어 글을 분석하고, 문단마다 중요한 문장을 선택한 후, 중요한 문장 내에서 이 문장을 가장 잘 표현할 수 있는 중요한 단어들을 선택하여 웹에서 연관 이미지를 검색하고, 검색된 이미지 결과를 이전에 나눈 각 문단마다 연결시켜준다. 실험으로 글에서 중요한 문장을 선택하는 방법과 문장 내 중요한 단어를 선택하는 방법을 제시하였다. 실험한 결과, 선택된 이미지 3개와 해당 중요 문장과의 연관 여부를 정확률로 평가하였을 때 60%의 성능을 얻을 수 있었다.

형태소 분석기를 이용한 키워드 검색 기반 한국어 텍스트 명령 시스템 (Keyword Retrieval-Based Korean Text Command System Using Morphological Analyzer)

  • 박대근;이완복
    • 한국융합학회논문지
    • /
    • 제10권2호
    • /
    • pp.159-165
    • /
    • 2019
  • 딥러닝을 기반으로 한 음성 인식 기술이 상용 제품에 적용되기 시작했지만, 음성 인식으로 분석된 텍스트를 효율적으로 처리할 방법이 없기 때문에 VR 컨텐츠에서 그 적용 예를 찾아 보기는 쉽지 않다. 본 논문은 문장의 형태소를 분석하는 형태소 분석기와 챗봇 개발에 주로 이용되는 검색 기반 모델(Retrieval-Based Model)을 활용하여 명령어를 효율적으로 인식하고 대응할 수 있는 한국어 텍스트 명령 시스템을 제안하는 것을 목적으로 한다. 실험 결과 제안한 시스템은 문자열 비교 방식과 같은 동작을 하기 위해 16%의 명령어만 필요했으며, Google Cloud Speech와 연동하였을 때 60.1%의 성공률을 보였다. 실험 결과를 통해 제안한 시스템이 문자열 비교 방식보다 효율적이라는 것을 알 수 있다.

퍼지이론을 이용한 자동문서 요약 기술 (Automatic Document Summary Technique Using Fuzzy Theory)

  • 이상훈;문승진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권12호
    • /
    • pp.531-536
    • /
    • 2014
  • 인터넷에서 사용 가능한 수많은 정보로 인해서 대용량의 문서를 다루는 기술은 점차 그 필요성이 증가되어 왔지만, 효과적으로 문서 내 정보를 처리하기 위한 기술의 문제는 여전히 풀어야 할 과제로 남아 있다. 자동문서 요약 기술은 문서 내 중요한 부분을 유지하고, 중복된 내용을 제거함으로써 이러한 대용량의 문서를 처리하는 데 중요한 방법으로 인식되어 왔다. 본 논문에서는 이러한 요약문을 만들 때 중요도를 결정하는 문제를 해결하기 위해서 퍼지 이론을 이용한 문서 요약 기술을 제안한다. 제안된 요약 기술은 중요도를 결정하는 여러 특징들의 애매모호한 문제를 해결하고, 그 실험결과는 기존의 다른 방법과 비교해서 전반적으로 높은 결과를 보인다.