• 제목/요약/키워드: 검색 모델

검색결과 1,663건 처리시간 0.034초

검색모델과 LLM의 상호작용을 활용한 사고사슬 기반의 한국어 질의응답 (Interactions of Retriever and LLM on Chain-of-Thought Reasoning for Korean Question Answering)

  • 박민준;심묘섭;민경구;최주영;정해민;최정규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.618-621
    • /
    • 2023
  • 최근 거대언어모델(LLM)이 기계 번역 및 기계 독해를 포함한 다양한 문제들에서 높은 성능을 보이고 있다. 특히 프롬프트 기반의 대규모 언어 모델은 사고사슬 방식으로 적절한 프롬프팅을 통해 원하는 형식의 답변을 생성할 수 있으며 자연어 추론 단계에서도 높은 정확도를 보여주고 있다. 그러나 근본적으로 LLM의 매개변수에 질문에 관련된 지식이 없거나 최신 정보로 업데이트 되지 않은 경우 추론이 어렵다. 이를 해결하기 위해, 본 연구는 검색문서와 생성모델의 상호작용을 통해 답변하는 한국어 질의응답 모델을 제안한다. 검색이 어려운 경우 생성형 모델을 통해 질문과 관련된 문장을 생성하며, 이는 다시 검색모델과 추론 과정에서 활용된다. 추가로 "판단불가"라는 프롬프팅을 통해 모델이 답변할 수 없는 경우를 스스로 판단하게 한다. 본 연구결과에서 GPT3를 활용한 사고사슬 모델이 63.4의 F1 점수를 보여주며 생성형 모델과 검색모델의 융합이 적절한 프롬프팅을 통해 오픈-도메인 질의응답에서 성능의 향상을 보여준다.

  • PDF

스마트폰에서의 3차원 모델 검색을 위한 전처리 기법 (Preprocessing for 3D Model Retrieval on Smartphone)

  • 손기원;이승재;이만희;박인구
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2013년도 하계학술대회
    • /
    • pp.68-69
    • /
    • 2013
  • 본 논문에서는 스마트폰에서 한 장의 깊이 영상을 이용하여 내용기반 3 차원 모델 검색 기법을 범용적으로 수행하기 위한 깊이 영상 전처리 기법을 제안한다. 우선 모바일 증강현실 플랫폼 중 하나인 Vuforia 를 이용하여 다수의 영상 취득과 동시에 스마트폰 카메라의 외부 인자들을 추정한다. 그 후 취득된 영상과 외부 인자들을 이용하여 Multi-View Stereo 기법을 통해 깊이 영상을 추정한다. 이렇게 추정된 깊이 영상은 3 차원 모델 검색 기법의 질의 깊이 영상으로 활용되어 3 차원 모델 검색 기법의 입력으로 활용할 수 있다. 실험 결과 본 논문에서 제안하는 전처리 기법으로 추정된 깊이 영상을 이용하였을 경우 3 차원 모델 검색의 범용성이 확장되고 3 차원 모델 검색이 올바르게 수행된 것을 확인하였다.

  • PDF

분산 USN 디렉토리 서비스를 위한 메타데이타 검색 모델 (Metadata Search Model for the Distributed USN Directory Service)

  • 강경구;강지훈;김보라;박지혜;안성제;유현석;한재일
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2008년도 춘계학술대회
    • /
    • pp.425-430
    • /
    • 2008
  • USN의 발전으로 인해 인간 중심의 정보화 사회에서 사물 간에도 정보들을 유기적으로 결합하여 활용하는 유비쿼터스 컴퓨팅 사회로 급격히 변모하고 있다. 이러한 유비쿼터스 컴퓨팅 인프라를 성공적으로 구축하기 위해서는 센서노드에 대한 기술의 발전과 함께 USN 미들웨어에 대한 연구가 필요하다. USN의 핵심기술 중 하나인 USN 미들웨어는 시스템 소프트웨어로써 USN 응용에서 USN 계층의 자원과 데이타를 쉽게 활용할 수 있도록 다양한 기본 서비스를 제공한다. USN 디렉토리 서비스는 이와 같은 USN 미들웨어의 핵심 컴포넌트로서 USN 응용이 필요로 하는 USN 자원에 대한 정보를 검색하는 기능을 수행한다. 분산된 USN 자원에 대한 메타데이타의 효율적인 검색은 분산된 환경에서의 USN 디렉토리 서비스의 핵심요소이며 최근 이에 대한 연구가 보이고 있다. 분산 USN 디렉토리 서비스에서의 메타데이타 검색 모델은 크게 중앙 집중식(Centralized) 모델, 계층식(Hierarchical) 모델, P2P(Peer-to-Peer) 모델이 있다. 그러나 현재 메타데이타 검색 모델에 대한 연구는 원하는 메타데이타를 찾기 위한 서버 검색 회수만을 대상으로 하고 있으며 실제 단말 간 응답시간에 영향을 미치는 지연시간은 고려하지 않고 있다. 본 논문은 실제 단말 간 응답시간에 영향을 미치는 검색회수와 지연시간을 고려한 하이브리드 모델을 제안하고, 하이브리드 모델이 계층 모델에서 검색 시 불필요한 검색횟수의 증가와 P2P 모델의 광범위한 지역에서 응답시간이 증가하게 되는 단점을 개선할 수 있음을 보인다.

  • PDF

색인어 정규화 및 응답 필터링을 이용한 검색기반 채팅 모델 (Retrieval-based Chat Model using Index-Term Normalization and Answer Filtering)

  • 이현구;김민경;김진태;김학수;이연수;최맹식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.197-200
    • /
    • 2017
  • 채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

  • PDF

색인어 정규화 및 응답 필터링을 이용한 검색기반 채팅 모델 (Retrieval-based Chat Model using Index-Term Normalization and Answer Filtering)

  • 이현구;김민경;김진태;김학수;이연수;최맹식
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.197-200
    • /
    • 2017
  • 채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

  • PDF

XML 문서의 내용기반 검색을 위한 인덱싱 모델 및 색인어의 가중치 부여 (Indexing Model and Weight Assignment on Keywords for Contents based Retrieval in XML Documents)

  • 한예지;한창우;서동혁;김수희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.103-105
    • /
    • 2004
  • 본 논문에서는 XML 문서의 내용을 효율적으로 검색하기 위해 필요한 메타데이터의 스키마몰 개발하고 이론 바탕으로 구축되는 내용기반 인덱싱 모델을 제안한다. 제안하는 내용기반 인덱싱 모델은 엘리먼트타입에 따라 랭킹 검색과 불리언 검색을 지원한다. 랭킹 검색 결과의 재현도와 정확도를 높이기 위해, 검색 결과의 출력 기준 노드가 리프 노드와 내부 노드인 경우를 구별하여 색인어에 대한 가중치를 부여하고, 이를 이용하여 질의와 엘리먼트간의 유사도를 계산하는 방법을 제안한다.

  • PDF

DART: 검색 모델 기술을 사용한 데이터 증강 방법론 연구 (DART: Data Augmentation using Retrieval Technique)

  • 이승준;서재형;이정섭;강명훈;문현석;박찬준;정다현;이재욱;박기남;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.313-319
    • /
    • 2022
  • 최근 BERT와 같은 트랜스포머 (Transformer) 기반의 모델이 natural language understanding (NLU)와 같은 여러 자연어 처리 태스크에서 좋은 성능을 보인다. 이러한 모델은 여전히 대용량의 학습을 요구한다. 일반적으로, 데이터 증강 기법은 low-resource 환경을 개선하는 데 도움을 준다. 최근 생성 모델을 활용해 합성 데이터를 생성해 데이터를 증강하는 시도가 이루어졌다. 이러한 방법은 원본 문장과 의미론적 유사성을 훼손하지 않으면서 어휘와 구조적 다양성을 높이는 것을 목표로 한다. 본 논문은 task-oriented 한 어휘와 구조를 고려한 데이터 증강 방법을 제안한다. 이를 위해 검색 모델과 사전 학습된 생성 모델을 활용한다. 검색 모델을 사용해 학습 데이터셋의 입력 문장과 유사한 문장 쌍을 검색 (retrieval) 한다. 검색된 유사한 문장 쌍을 사용하여 생성 모델을 학습해 합성 데이터를 생성한다. 본 논문의 방법론은 low-resource 환경에서 베이스라인 성능을 최대 4% 이상 향상할 수 있었으며, 기존의 데이터 증강 방법론보다 높은 성능 향상을 보인다.

  • PDF

P-norm, RF, LCAF를 이용한 정보검색에 관한 연구 (A Study on Information Retrieval Using P-norm, RF, LCAF)

  • 김영천;이재훈;박병권;이성주
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2002년도 춘계학술대회 및 임시총회
    • /
    • pp.95-99
    • /
    • 2002
  • 정보검색에서 가장 중요하면서도 어려운 문제 중의 하나는 사용자가 원하는 정보를 찾기위한 효율적인 질의를 작성하는 일이다 순수한 부을 검색 시스템은 문서와 질의 사이의 유사도를 나타내는 문서값을 계산할 수 없기 때문에, 검색된 문서들을 질의를 만족하는 정보에 따라 정렬할 수 없다. 부을 검색 시스템의 이러한 단점을 보완하는 방법으로 P-norm 모델이 개발되었다. 본 논문에서는 높은 검색 효과를 제공하는 지역적 문맥 분석 피드백을 이용한 전보검색 모델을 제안한다. 제안한 지역적 문맥 분석 피드백모델이 적합성 피드백이나 P-norm 모델보다 우수함을 설명하고, 또한 성능 비교를 통하여 이를 입증한다

  • PDF

지역적 문맥 분석 피드백을 이용한 웹 정보검색에 관한 연구 (A Study on Information Retrieval of Web Using Local Context Analysts Feedback)

  • 김영천;이성주
    • 한국지능시스템학회논문지
    • /
    • 제14권6호
    • /
    • pp.745-751
    • /
    • 2004
  • 순수한 부울 검색 시스템은 문서와 질의 사이의 유사 도를 나타내는 문서 값을 계산할 수 없기 때문에 검색된 문서들을 질의를 만족하는 정보에 따라 정렬할 수 없다. 부울 검색 시스템의 이러한 단점을 보완하는 방법으로 MMM 모델, Paice 모델 P-norm 모델이 개발되었다. 이러한 방법들은 부울 연산자를 유연하게 연산하는 공통된 특성을 지니고 있다. 본 논문에서는 높은 검색 효과를 제공하는 지역적 문맥 분석 피드백(Local Context Analysis Feedback)을 이용한 웹 정보 검색 모델을 이용한다. 지역적 문맥 분석 피드백 모델의 연산 특성이 MMM(Max and Min Model), Paice, p-norm 모델보다 우수함을 설명하고, 또한 성능 비교를 통하여 이를 입증한다.

질의분해 적합성 피드백을 이용한 정보검색에 관한 연구 (A Study on Information Retrieval Using Query Splitting Relevance Feedback)

  • 김영천;박병권;이성주
    • 한국지능시스템학회논문지
    • /
    • 제11권3호
    • /
    • pp.252-257
    • /
    • 2001
  • 순수한 부울 검색 시스템은 문서와 질의 사이의 유사도를 나타내는 문서값을 계산할 수 없기 때문에, 검색된 문서들을 질의를 만족하는 정보에 따라 정렬할 수 없다. 부울 검색 시스템의 이러한 단점을 보완하는 방법으로 MMM 모델, Paice 모델, P-norm 모델이 개발되었다. 이러한 방법들은 부울 연산자를 유연하게 연산하는 공통된 특성을 지니고 있다. 본 논문에서는 높은 검색 효과를 제공하는 질의분해 적합성 피드백(QSRF)를 이용한 정보 검색 모델을 제안한다. 질의 분해 적합성 피드백 모델의 연산 특성이 MMM, Paice, P-norm 모델보다 우수함을 설명하고, 또한 성능 비교를 통하여 이를 입증한다.

  • PDF