• Title/Summary/Keyword: 문장검색

Search Result 255, Processing Time 0.023 seconds

Syntactic Analysis and Keyword Expansion for Performance Enhancement of Information Retrieval System (정보 검색 시스템의 성능 향상을 위한 구문 분석과 검색어 확장)

  • Yoon Sung-Hee
    • Proceedings of the KAIS Fall Conference
    • /
    • 2004.06a
    • /
    • pp.139-142
    • /
    • 2004
  • 자연어 질의 문장을 입력하는 방법은 정보 검색 시스템 사용자에게 아주 이상적인 인터페이스이다. 검색을 위해 색인어를 입력하거나 불리언 질의식을 사용하는 것에 비해 훨씬 친밀하지만, 동일한 의도의 검색 요구에 대해서도 개인의 성향에 따라서 다양한 형태나 구조의 자연어 질의문장으로 입력될 수 있는 본질적인 특성이 있다. 본 논문은 자연어 질의문장을 입력으로 하는 검색 시스템을 위해 사용자의 입력 질의 문장을 분석하고 검색어를 확장하는 다중 검색 기법을 제안한다. 질의 문장에 대한 형태소 분석 및 구문 분석을 수행하고, 구문 트리를 순회하여 구조적으로 연관된 복합명사를 조합하거나 분할하고 이형 표기 용어와 축약 표기 용어들을 확장하여 다중 검색함으로써 재현율과 정확도를 높일 수 있다.

  • PDF

A Construction of Indexing System for Sentence Retrieval (문장 검색을 위한 색인시스템 구축 : 초 .중등 학생의 한국어 및 영어 문장을 중심으로)

  • 이태영
    • Journal of the Korean Society for information Management
    • /
    • v.20 no.1
    • /
    • pp.145-163
    • /
    • 2003
  • An indexing language were studied to construct the sentences and paragraphs providing system aided to write a Korean or English composition. The indexing language includes the index terms like noun, predicate, and adverb. and also various index symbols. The subject name and the keyword Included the symbols, which Indicate the connectives between clauses in a sentence, is used as the access point. The search results show this system will be effective with large database and developed retrieval methods.

Concept and Attribute based Answer Retrieval (개념 속성 기반 정보 검색)

  • Yun Bo-Hyun;Seo Chang-ho
    • Journal of the Korea Society of Computer and Information
    • /
    • v.10 no.3 s.35
    • /
    • pp.1-10
    • /
    • 2005
  • This paper presents the information retrieval system which can retrieve the most appropriate answer sentence for user queries by using the concept and the attribute for the knowledge retrieval. The system analyzes the user query into the Boolean queries with the concept and the attribute and then retrieve the relevant documents in the indexing set of answer documents. Users can retrieve the relevant answer sentences from the relevant documents. For this, the answer documents indexed by the concept and the attribute are segmented by each sentence respectively. Thus, the segmented sentences are analyzed into the concept and the attribute of which the relevance degree with indexing units of documents is evaluated. Then, the system indexes the location of answer sentences. In the experiment, we evaluate the performance of our answer retrieval system against 100 user queries and show the experimental results.

  • PDF

Phrase search using posting file in Korean Information Retrieval System (Posting File을 이용한 구절 검색 방법)

  • 박대원;박민식;박진희;권혁철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.384-386
    • /
    • 2000
  • Posting file은 문서 내의 색인어와 색인어의 위치 정보-문장번호, 어절 번호 등으로 구성한 문서별 색인어 역파일(inverted file)이다. 본 논문에서는 posting file을 구성하고 이를 정보검색시스템에 적용하여 색인어의 어절 거리 계산에 의해 구절 검색이 가능한 정보검색시스템을 소개한다. 또한 사용자 질의문과 가장 유사한 문장을 검색결과 대표문장으로 제시하여 사용자가 검색결과를 쉽게 확인할 수 있는 방법을 제시한다.

  • PDF

An Effective Snippet Generation Method using Text Summarization Techniques based on Pseudo Relevance Feedback (유사 적합성 피드백 기반의 문서 요약 기법을 이용한 효과적인 스니펫 생성)

  • An, Hong-Guk;Ko, Young-Joong;Seo, Jung-Yun
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02a
    • /
    • pp.174-181
    • /
    • 2007
  • 정보 검색의 결과로 나타나는 요약문을 스니펫(snippet)이라 한다. 사용자는 자신이 원하는 정보를 얻기 위해 문서를 검색하는데, 이 때 스니펫은 사용자가 원하는 문서를 찾는데 중요한 역할을 한다. 본 논문에서는 정보검색 분야에서 높은 성능을 보이는 유사 적합성 피드백을 자동 문서 요약에 맞게 적용하여 높은 성능의 스니펫 생성 시스템을 구현한다. 우선, 사용자의 질의가 포함된 문장들을 일차적으로 요약 문장 후보로 추출한다. 그리고 추출된 문장 후보로부터 명사들을 질의 후보로 고려한다. 각 문장이 질의의 포함 여부에 따라 문장의 적합성을 판단하게 되고, 유사 적합성 피드백 확률 모델에 적용한 후 질의 후보들의 가중치를 추정하여 가중치 순위를 통해 확장할 질의들을 결정한다. 확장된 질의들과 기존의 질의들의 가중치를 합산하여 각 문장의 순위를 매기게 되고 가장 높은 순위의 문장들이 스니펫으로 제시된다. 논문에서 제안한 기법은 추가적인 핵심 질의들을 자동으로 확장하여 중요한 문장을 추출할 수 있다. 이 연구를 위해서 일반 상용 정보 검색 서비스에서 제공하는 스니펫을 수집하였고 이들의 정확도와 시스템의 정확도를 비교하였다. 실험 결과를 통해 살펴본 제안된 시스템의 성능은 상용 정보 검색기에서 제공되고 잇는 스니펫의 정확도 보다 우수한 성능을 보였다.

  • PDF

The Design and Implementation of an Information Retrieval System Using Lexico-Semantic Pattern and Ontology (어휘 의미 패턴(Lexico-Semantic Pattern)과 온톨로지를 이용한 정보검색기의 설계 및 구현)

  • Kim, Byoung-Woo;Ko, Young-Joong
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02a
    • /
    • pp.957-962
    • /
    • 2007
  • 본 논문에서 제안하는 정보 검색기는 일반적인 불리언(Boolean) 질의를 통해서 정보를 검색하는 것이 아니라, 문장으로 입력된 질의형태의 패턴을 분석하여 그에 맞는 정보를 직접 제공하는 것에 목적을 둔다. 이를 위해 어휘 의미 패턴(Lexical Semantic Pattern)과 온톨로지(Ontology) 기술이 정보검색기 개발에 적용되었다. 제안된 시스템에서는 다양한 형태로 표현된 문장 질의를 어휘 의미 패턴을 사용해서 문장의 질의 패턴을 추출하고 사용자 질의를 하나의 온톨로지(Ontology) 추론 질의와 매칭함으로써 질의에 대한 정확한 해답을 추출할 수 있다. 또한, 자연어 문장 입력에 대한 검색 질의 생성기를 구축하고 온톨로지로 표현된 지식을 사용하여 정보검색기 질의를 자동으로 확장함으로써 더욱 정확한 정보 검색 결과를 만들어 낼 수 있다.

  • PDF

Sentence Similarity Measurement Method Using a Set-based POI Data Search (집합 기반 POI 검색을 이용한 문장 유사도 측정 기법)

  • Ko, EunByul;Lee, JongWoo
    • KIISE Transactions on Computing Practices
    • /
    • v.20 no.12
    • /
    • pp.711-716
    • /
    • 2014
  • With the gradual increase of interest in plagiarism and intelligent file content search, the demand for similarity measuring between two sentences is increasing. There is a lot of researches for sentence similarity measurement methods in various directions such as n-gram, edit-distance and LSA. However, these methods have their own advantages and disadvantages. In this paper, we propose a new sentence similarity measurement method approaching from another direction. The proposed method uses the set-based POI data search that improves search performance compared to the existing hard matching method when data includes the inverse, omission, insertion and revision of characters. Using this method, we are able to measure the similarity between two sentences more accurately and more quickly. We modified the data loading and text search algorithm of the set-based POI data search. We also added a word operation algorithm and a similarity measure between two sentences expressed as a percentage. From the experimental results, we observe that our sentence similarity measurement method shows better performance than n-gram and the set-based POI data search.

An Analysis of Identity of Meaning in Korean Sentence For Questions-Query System (의문문 질의 시스템을 위한 한국어 문장의 의미적 동일성 분석)

  • Park, Hong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.59-64
    • /
    • 1998
  • 본 논문은 변형된 한국어 문장에 대해 변형 이전의 문장과의 의미적 동일성을 분석하여 한국어 의문문 질의어의 문형과 상이한 문형의 한국어 문장도 정보검색시 검색 대상문에 포함시켜 검색 정확도를 높임으로써 의문문 질의 시스템의 성능을 향상시키는 것에 연구의 초점을 맞추고 있다. 한국어 문장에서 주로 나타나는 피동화에 의한 변형, 분열문에 의한 변형, 명사화에 의한 변형, 어순 재배치에 의한 변형 등의 특성에 대해 알아보고 의문문 질의 시스템에서 그들 각각의 변형을 인식하여 변형 이전의 문장과 동일한 의미의 문장으로 처리하는 방법에 대해서 자세히 살펴보았다.

  • PDF

Contrastive Learning of Sentence Embeddings utilizing Semantic Search through Re-Ranker of Cross-Encoder (문장 임베딩을 위한 Cross-Encoder의 Re-Ranker를 적용한 의미 검색 기반 대조적 학습)

  • Dongsuk Oh;Suwan Kim;Kinam Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.473-476
    • /
    • 2022
  • 문장 임베딩은 문장의 의미를 고려하여 모델이 적절하게 의미적인 벡터 공간에 표상하는 것이다. 문장 임베딩을 위해 다양한 방법들이 제안되었지만, 최근 가장 높은 성능을 보이는 방법은 대조적 학습 방법이다. 대조적 학습을 이용한 문장 임베딩은 문장의 의미가 의미적으로 유사하면 가까운 공간에 배치하고, 그렇지 않으면 멀게 배치하도록 학습하는 방법이다. 이러한 대조적 학습은 비지도와 지도 학습 방법이 존재하는데, 본 논문에서는 효과적인 비지도 학습방법을 제안한다. 기존의 비지도 학습 방법은 문장 표현을 학습하는 언어모델이 자체적인 정보를 활용하여 문장의 의미를 구별한다. 그러나, 하나의 모델이 판단하는 정보로만 문장 표현을 학습하는 것은 편향적으로 학습될 수 있기 때문에 한계가 존재한다. 따라서 본 논문에서는 Cross-Encoder의 Re-Ranker를 통한 의미 검색으로부터 추천된 문장 쌍을 학습하여 기존 모델의 성능을 개선한다. 결과적으로, STS 테스크에서 베이스라인보다 2% 정도 더 높은 성능을 보여준다.

  • PDF

Deep Learning based Sentence Analysis for Query Generation (검색어 생성을 위한 딥 러닝 기반 문장 분석 연구)

  • Na, Seong-Won;Yoon, Kyoungro
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.06a
    • /
    • pp.336-337
    • /
    • 2018
  • 최근 이미지의 Visual 정보를 추출하고 Multi label 분류를 통해 나온 결과의 상관관계를 modeling하여 문장으로 출력하는 CNN-RNN 아키텍처가 많은 발전을 이뤘다. 이 아키텍처의 출력은 이미지의 정보가 요약되어 문장으로 표현되기 때문에 Semantic정보가 풍부하여 유사 콘텐츠 검색에도 사용 가능하다. 하지만 결과 문장에 사람이 포함 되면 광범위한 검색 결과를 얻게 되고 부정확한 결과를 초래하게 된다. 이에 본 논문에서는 문장에서 사람을 인식하여 Identity를 부여함으로써 검색어를 좀 더 구체적으로 생성하고자 한다. 이 문제를 해결하기 위해 자연어 처리의 분야 중 하나인 개체명 인식(Named Entity Recognition) 문제로 다루며, 가장 많이 사용되고 있는 모델인 Bidirectional-LSTM-CRF와 CoNLL2003 dataset을 사용하여 수행 한다.

  • PDF