• Title/Summary/Keyword: Query Expansion

Search Result 130, Processing Time 0.024 seconds

A Study on the Conceptual Modeling and Implementation of a Semantic Search System (시맨틱 검색 시스템의 개념적 모형화와 그 구현에 대한 연구)

  • Hana, Dong-Il;Kwonb, Hyeong-In;Chong, Hak-Jin
    • Journal of Intelligence and Information Systems
    • /
    • v.14 no.1
    • /
    • pp.67-84
    • /
    • 2008
  • This paper proposes a design and realization for the semantic search system. The proposed model includes three Architecture Layers of a Semantic Search System ; (they are conceptually named as) the Knowledge Acquisition, the Knowledge Representation and the Knowledge Utilization. Each of these three Layers are designed to interactively work together, so as to maximize the users' information needs. The Knowledge Acquisition Layer includes index and storage of Semantic Metadata from various source of web contents(eg : text, image, multimedia and so on). The Knowledge Representation Layer includes the ontology schema and instance, through the process of semantic search by ontology based query expansion. Finally, the Knowledge Utilization Layer includes the users to search query intuitively, and get its results without the users'knowledge of semantic web language or ontology. So far as the design and the realization of the semantic search site is concerned, the proposedsemantic search system will offer useful implications to the researchers and practitioners so as to improve the research level to the commercial use.

  • PDF

Disease Prediction By Learning Clinical Concept Relations (딥러닝 기반 임상 관계 학습을 통한 질병 예측)

  • Jo, Seung-Hyeon;Lee, Kyung-Soon
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.11 no.1
    • /
    • pp.35-40
    • /
    • 2022
  • In this paper, we propose a method of constructing clinical knowledge with clinical concept relations and predicting diseases based on a deep learning model to support clinical decision-making. Clinical terms in UMLS(Unified Medical Language System) and cancer-related medical knowledge are classified into five categories. Medical related documents in Wikipedia are extracted using the classified clinical terms. Clinical concept relations are established by matching the extracted medical related documents with the extracted clinical terms. After deep learning using clinical knowledge, a disease is predicted based on medical terms expressed in a query. Thereafter, medical terms related to the predicted disease are selected as an extended query for clinical document retrieval. To validate our method, we have experimented on TREC Clinical Decision Support (CDS) and TREC Precision Medicine (PM) test collections.

Search Re-ranking Through Weighted Deep Learning Model (검색 재순위화를 위한 가중치 반영 딥러닝 학습 모델)

  • Gi-Taek An;Woo-Seok Choi;Jun-Yong Park;Jung-Min Park;Kyung-Soon Lee
    • The Transactions of the Korea Information Processing Society
    • /
    • v.13 no.5
    • /
    • pp.221-226
    • /
    • 2024
  • In information retrieval, queries come in various types, ranging from abstract queries to those containing specific keywords, making it a challenging task to accurately produce results according to user demands. Additionally, search systems must handle queries encompassing various elements such as typos, multilingualism, and codes. Reranking is performed through training suitable documents for queries using DeBERTa, a deep learning model that has shown high performance in recent research. To evaluate the effectiveness of the proposed method, experiments were conducted using the test collection of the Product Search Track at the TREC 2023 international information retrieval evaluation competition. In the comparison of NDCG performance measurements regarding the experimental results, the proposed method showed a 10.48% improvement over BM25, a basic information retrieval model, in terms of search through query error handling, provisional relevance feedback-based product title-based query expansion, and reranking according to query types, achieving a score of 0.7810.

Question Analysis and Expansion based on Semantics (의미 기반의 질의 분석 및 확장)

  • Shin, Seung-Eun;Park, Hee-Guen;Seo, Young-Hoon
    • The Journal of the Korea Contents Association
    • /
    • v.7 no.7
    • /
    • pp.50-59
    • /
    • 2007
  • This paper describes a question analysis and expansion based on semantics for on efficient information retrieval. Results of all information retrieval systems include many non-relevant documents because the index cannot naturally reflect the contents of documents and because queries used in information retrieval systems cannot represent enough information in user's question. To solve this problem, we analyze user's question semantically, determine the answer type, and extract semantic features. And then we expand user's question using them and syntactic structures which are used to represent the answer. Our similarity is to rank documents which include expanded queries in high position. Especially, we found that an efficient document retrieval is possible by a question analysis and expansion based on semantics on natural language questions which are comparatively short but fully expressing the information demand of users.

Query Expansion of Video Retrieval System using Domain Ontology and Word Embedding (도메인 온톨로지와 워드임베딩을 활용한 영상검색 시스템의 질의어 확장)

  • Hahm, Gyeong-June;Kwak, Chang-Uk;Kim, Sun-Joong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2017.06a
    • /
    • pp.245-247
    • /
    • 2017
  • 기존 콘텐츠를 활용 및 조합하여 새로운 콘텐츠를 제작하는 개인 사용자가 늘어나고 있는 추세다. 사용자가 원하는 내용이 담긴 영상 콘텐츠를 활용하기 위해서는 이를 지원하는 영상 검색 시스템이 필요하다. 하지만 기존의 영상 검색 시스템은 키워드 매칭을 기반으로 하고 있기 때문에 사용자가 원하는 영상을 찾지 못하는 경우가 많다. 본 연구에서는 이러한 문제를 해결하기 위해 사용자의 검색 의도를 보다 정확하게 표현할 수 있는 질의어 확장 방법을 제시하고 있다. 제시하는 방법은 도메인 온톨로지와 워드 임베딩 결과를 이용하여 질의어와 의미적으로 밀접히 관련된 단어를 추가하고 확장된 질의어를 이용하여 검색을 수행하게 된다. 이를 통해 사용자는 만족할만한 검색 결과를 얻을 수 있게 된다. 구현한 시스템을 이용하여 질의어가 확장되는 과정을 보임으로써 본 연구에서 제시하고 있는 방법에 대한 평가를 수행하였다.

  • PDF

User Query Expansion Through Keyword Similarity Ranking Algorithm Us ins Cluster ing Methods (클러스터링 기법을 이용한 키워드 유사도 순위화 알고리즘에 따른 사용자 질의 확장)

  • 이상훈;김기태
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.479-481
    • /
    • 2003
  • 본 논문에서는 여러 가지 클러스터링 기법들을 사용하여 키워드 유사도롤 순위화하여 사용자의 질의를 확장하는 기법을 제안한다. 클러스터링 기법에는 연관(Association) 클러스터링, 메트릭(Metric) 클러스터링, 스칼라(Scalar) 클러스터링 기법을 사용하고, 이들간의 가중치를 적절히 조절하여 검색 시스템을 만든다. 사용자의 질의가 주어졌을 때, 질의 키워드와 연관된 키워드들을 순위화 하여 사용자에게 보여주고, 사용자의 추가입력을 받아서 질의를 확장한다. 사용자가 적당한 질의어로 판단하여 확장된 질의로 검색을 수행할 때까지 이 과정을 반복한다. 실험에서 사용한 문헌집합은 Korea Herald의 2003년 1월과 2월의 경제 관련 기사들을 수집하여 사용하였고, 실험을 거쳐서 질의를 확장한 결과 만족할 만한 결과가 도출되었다.

  • PDF

Query Expansion Using Term Reweighting for Vector Model (벡터모델에서 용어 가중치 재부여를 이용한 질의 확장)

  • 김영천;이재훈;문유미;박병권;이성주
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2001.12a
    • /
    • pp.23-26
    • /
    • 2001
  • 순수한 부울 검색 시스템은 문서와 질의 사이의 유사도를 나타내는 문서값을 계산할 수 없기 때문에, 검색된 문서들을 질의를 만족하는 정보에 따라 정렬할 수 없다. 부울 검색 시스템의 이러한 단점을 보완하는 방법으로 MMM 모델, Paice 모델, p-norm 모델이 개발되었다. 본 논문에서는 높은 검색 효과를 제공하는 벡터모델에서 용어 가중치 재부여를 이용한 정보검색 모델을 제안한다. 벡터모델에서 용어 가중치 재부여를 이용한 질의 확장 모델의 연산 특성이 MMM, Paice, p-norm 모델보다 우수함을 설명하고, 또한 성능 비교를 통하여 이를 입증한다.

  • PDF

Design of Block-based Modularity Architecture for Machine Learning (머신러닝을 위한 블록형 모듈화 아키텍처 설계)

  • Oh, Yoosoo
    • Journal of Korea Multimedia Society
    • /
    • v.23 no.3
    • /
    • pp.476-482
    • /
    • 2020
  • In this paper, we propose a block-based modularity architecture design method for distributed machine learning. The proposed architecture is a block-type module structure with various machine learning algorithms. It allows free expansion between block-type modules and allows multiple machine learning algorithms to be organically interlocked according to the situation. The architecture enables open data communication using the metadata query protocol. Also, the architecture makes it easy to implement an application service combining various edge computing devices by designing a communication method suitable for surrounding applications. To confirm the interlocking between the proposed block-type modules, we implemented a hardware-based modularity application system.

Query Term Expansion and Reweighting using Term Co-Occurrence Similarity and Fuzzy Inference (용어 발생 유사도와 퍼지 추론을 이용한 질의 용어 확장 및 가중치 재산정)

  • Kim, Ju-Yeon;Kim, Byeong-Man
    • Journal of KIISE:Software and Applications
    • /
    • v.27 no.9
    • /
    • pp.961-972
    • /
    • 2000
  • 본 논문에서는 사용자의 적합 피드백을 기반으로 적합 문서들에서 발생하는 용어들과 초기 질의어간의 발생 빈도 유사도 및 퍼지 추론을 이용하여 용어의 가중치를 산정하는 방법에 대하여 제안한다. 피드백 문서들에서 발생하는 용어들 중에서 불용어를 제외한 모든 용어들을 질의어로 확장될 수 있는 후보 용어들로 선택하고, 발생 빈도 유사성을 이용한 초기 질의어-후보 용어의 관련 정도, 용어의 IDF, DF 정보를 퍼지 추론에 적용하여 후보 용어의 초기 질의어에 대한 최종적인 관련 정도를 산정 하였으며, 피드백 문서들에서의 가중치와 관련 정도를 결합하여 후보 용어들의 가중치를 산정 하였다. 본 논문에서는 성능을 평가하기 위하여 KT-set 1.0과 KT-set 2.0을 사용하였으며, 성능의 상대적인 평가를 위하여 Dec-Hi 방법, 용어 분포 유사도를 이용한 방법, 퍼지 추론을 이용한 방법들을 정확률-재현률을 사용하여 평가하였다.

  • PDF

Parallel Information Retrieval with Query Expansion (질의 확장을 이용한 병렬 정보 검색)

  • 정유진
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.103-105
    • /
    • 2002
  • 이 논문에서는, PC 클러스터 환경에서 질의 확장을 사용하는 정보 검색 시스템 (IR)을 설계하고 구현한 내용을 기술한다. 이 정도 검색 시스템은 문서 집합을 저장하고, 문서 집합은 역색인 파인 (IIF)로 색인되고, 랭킹 방법으로 벡터 모델을 사실하며, 질의 확장 방법으로 코사인 유사도를 사용한다. 질의 확장이란 사용자가 준 원래의 질의에 연관된 단어를 추가하여 검색 효율을 향상시키는 것이다. 여기서 제안하는 병렬 정보 검색 시스템에서는 역색인 과일은 여러 개로 분활되는데 lexical 분할 방법과 greedy 분할 방법을 사용한다. 사용자의 질의가 들어오면 질의확장을 하여 여러 개의 단어로 이루어진 확장된 질의가 만들어 지는데 이 확장된 질의를 구성하는 단어들은 각 단어와 연관된 IIF를 가지고 있는 노드에 보내어져서 병렬로 처리된다. 실험을 통하여 병렬 IR 시스템의 성능이 질의 확장과 IIF의 두 가지 분한 방법에 의해 어떻게 영향을 받는지 보인다. 실험에는 표준 한국어 테스트 말뭉치인 EKSET과 KTSET을 사용하였다. 실험에 따르면 greedy 분활 방법이 lexical 분할 방법에 비해 20%정도의 성능 향상을 보였다.

  • PDF