• 제목/요약/키워드: Random query

검색결과 51건 처리시간 0.021초

An Enhanced Searching Algorithm over Unstructured Mobile P2P Overlay Networks

  • Shah, Babar;Kim, Ki-Il
    • Journal of information and communication convergence engineering
    • /
    • 제11권3호
    • /
    • pp.173-178
    • /
    • 2013
  • To discover objects of interest in unstructured peer-to-peer networks, the peers rely on flooding query messages which create incredible network traffic. This article evaluates the performance of an unstructured Gnutella-like protocol over mobile ad-hoc networks and proposes modifications to improve its performance. This paper offers an enhanced mechanism for an unstructured Gnutella-like network with improved peer features to better meet the mobility requirement of ad-hoc networks. The proposed system introduces a novel caching optimization technique and enhanced ultrapeer selection scheme to make communication more efficient between peers and ultrapeers. The paper also describes an enhanced query mechanism for efficient searching by applying multiple walker random walks with a jump and replication technique. According to the simulation results, the proposed system yields better performance than Gnutella, XL-Gnutella, and random walk in terms of the query success rate, query response time, network load, and overhead.

요약된 Partitioned-Layer Index: Partitioned-Layer Index의 임의 접근 횟수를 줄이는 Top-k 질의 처리 방법 (Abstracted Partitioned-Layer Index: A Top-k Query Processing Method Reducing the Number of Random Accesses of the Partitioned-Layer Index)

  • 허준석
    • 한국멀티미디어학회논문지
    • /
    • 제13권9호
    • /
    • pp.1299-1313
    • /
    • 2010
  • Top-k 질의는 데이터베이스에서 사용자가 가장 원하는 k개의 객체를 구하는 질의이다. Top-k 질의를 효율적으로 처리하는 대표적인 연구로 Partitioned-Layer Index (간단히, PL-index) 방법이 있다. PL-index는 데이터베이스를 여러 개의 더 작은 데이터베이스로 분할하고 각 분할된 데이터베이스에 대해 sublayer들의 list (간단히, sublayer list)를 구성한다. 이때, 분할된 데이터베이스에 대해서 top-i 결과가 될 수 있는 객체들을 그 분할된 데이터베이스에 대한 i번째 sublayer로 구성한다. 그리고 주어진 질의에 맞춰 그 sublayer list들을 병합함으로써 질의 결과를 구한다. PL-index는 질의 처리 시 데이터베이스로부터 읽어 들이는 객체의 개수가 매우 작다는 장점을 가지지만, sublayer list들을 병합할 때에 임의 접근(random access)이 많이 발생하기 때문에 디스크 기반의 데이터베이스 환경에서 질의 처리 성능이 저하된다. 이에 본 논문에서는 임의 접근 횟수를 줄임으로써 디스크 기반의 데이터베이스 환경에서 PL-index의 질의 처리 성능을 크게 향상시키는 요약된(Abstracted) Partitioned-Layer Index (간단히, APL一index)를 제안한다. 먼저, PL-index의 각 sublayer를 가상의 (점) 객체로 요약함으로써 sublayer list들을 이러한 점 객체들의 list들(즉, APL-index)로 변형한다. 그리고 APL-index에 대해 질의 처리를 가상으로 수행하여 실제 질의 처리 시 접근할 sublayer를 예측한다, 그리고 예측된 sublayer들을 sublayer list별로 한꺼번에 읽어 들임으로 PL-index에서 발생하는 임의 접근 횟수를 줄인다. 합성 데이터와 실제 데이터에 대한 실험을 통하여 제안한 APL-index가 PL-index의 임의 접근 횟수를 크게 줄일 수 있음을 보인다.

A Query Randomizing Technique for breaking 'Filter Bubble'

  • Joo, Sangdon;Seo, Sukyung;Yoon, Youngmi
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.117-123
    • /
    • 2017
  • The personalized search algorithm is a search system that analyzes the user's IP, cookies, log data, and search history to recommend the desired information. As a result, users are isolated in the information frame recommended by the algorithm. This is called 'Filter bubble' phenomenon. Most of the personalized data can be deleted or changed by the user, but data stored in the service provider's server is difficult to access. This study suggests a way to neutralize personalization by keeping on sending random query words. This is to confuse the data accumulated in the server while performing search activities with words that are not related to the user. We have analyzed the rank change of the URL while conducting the search activity with 500 random query words once using the personalized account as the experimental group. To prove the effect, we set up a new account and set it as a control. We then searched the same set of queries with these two accounts, stored the URL data, and scored the rank variation. The URLs ranked on the upper page are weighted more than the lower-ranked URLs. At the beginning of the experiment, the difference between the scores of the two accounts was insignificant. As experiments continue, the number of random query words accumulated in the server increases and results show meaningful difference.

A Prediction-based Energy-conserving Approximate Storage and Query Processing Schema in Object-Tracking Sensor Networks

  • Xie, Yi;Xiao, Weidong;Tang, Daquan;Tang, Jiuyang;Tang, Guoming
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제5권5호
    • /
    • pp.909-937
    • /
    • 2011
  • Energy efficiency is one of the most critical issues in the design of wireless sensor networks. In object-tracking sensor networks, the data storage and query processing should be energy-conserving by decreasing the message complexity. In this paper, a Prediction-based Energy-conserving Approximate StoragE schema (P-EASE) is proposed, which can reduce the query error of EASE by changing its approximate area and adopting predicting model without increasing the cost. In addition, focusing on reducing the unnecessary querying messages, P-EASE enables an optimal query algorithm to taking into consideration to query the proper storage node, i.e., the nearer storage node of the centric storage node and local storage node. The theoretical analysis illuminates the correctness and efficiency of the P-EASE. Simulation experiments are conducted under semi-random walk and random waypoint mobility. Compared to EASE, P-EASE performs better at the query error, message complexity, total energy consumption and hotspot energy consumption. Results have shown that P-EASE is more energy-conserving and has higher location precision than EASE.

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF

디클러스터된 공간 데이터베이스에서 다중 질의의 병렬 처리 (Parallel Processing of Multiple Queries in a Declustered Spatial Database)

  • 서영덕;박영민;전봉기;홍봉희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권1호
    • /
    • pp.44-57
    • /
    • 2002
  • 다중 공간 질의는 동시에 2개 이상 수행되는 영역 질의로 정의되며 인터넷 기반 지도 보기 응용의 주요 연산이 되므로, 질의 처리 속도의 개선을 위해서 병렬로 처리되어야 하고 질의 처리 비용 중 큰 비중을 차지하는 디스크 입출력 시간을 최대한 줄일 필요가 있다. 그런데 다중 CPU/다중 디스크 구조상에서 디클러스터링을 수행하더라고, 다중 공간 질의를 처리하는 도중 질의 간 임의 탐색이 발생하여 디스크 입출력 시간이 증가하는 문제점이 있다. 이 논문에서는 디클러스터된 공간 데이터베이스에서 다중 공간 질의를 처리할 때 발생하는 문제점인 질의 간 임의 탐색을 분석하고, 해결 방안으로 질의 스케줄링 기법을 제시하였다. 질의 스케줄링 기법은 질의 간 관련성을 이용해서 질의 우선 순위를 조정해서 질의 간 임의 탐색을 해결하는 방법으로써, 질의간의 공간 및 시간 관련성 부여를 위해 질의 간 위치 관련성과 질의 대기 시간을 이용하였다. 실험 결과, 질의 스케줄링을 수행하면 디스크 캐쉬의 적중률이 최대 34% 향상되어 디스크 입출력 비용을 최대 6%까지 줄일 수 있어 다중 공간 질의 처리 시의 성능을 개선할 수 있는 것으로 나타났다.

TAKES: Two-step Approach for Knowledge Extraction in Biomedical Digital Libraries

  • Song, Min
    • Journal of Information Science Theory and Practice
    • /
    • 제2권1호
    • /
    • pp.6-21
    • /
    • 2014
  • This paper proposes a novel knowledge extraction system, TAKES (Two-step Approach for Knowledge Extraction System), which integrates advanced techniques from Information Retrieval (IR), Information Extraction (IE), and Natural Language Processing (NLP). In particular, TAKES adopts a novel keyphrase extraction-based query expansion technique to collect promising documents. It also uses a Conditional Random Field-based machine learning technique to extract important biological entities and relations. TAKES is applied to biological knowledge extraction, particularly retrieving promising documents that contain Protein-Protein Interaction (PPI) and extracting PPI pairs. TAKES consists of two major components: DocSpotter, which is used to query and retrieve promising documents for extraction, and a Conditional Random Field (CRF)-based entity extraction component known as FCRF. The present paper investigated research problems addressing the issues with a knowledge extraction system and conducted a series of experiments to test our hypotheses. The findings from the experiments are as follows: First, the author verified, using three different test collections to measure the performance of our query expansion technique, that DocSpotter is robust and highly accurate when compared to Okapi BM25 and SLIPPER. Second, the author verified that our relation extraction algorithm, FCRF, is highly accurate in terms of F-Measure compared to four other competitive extraction algorithms: Support Vector Machine, Maximum Entropy, Single POS HMM, and Rapier.

Random Forest 분류기와 Bag-of-Feature 특징 히스토그램을 이용한 의료영상 자동 분류 및 검색 (Medical Image Classification and Retrieval Using BoF Feature Histogram with Random Forest Classifier)

  • 손정은;고병철;남재열
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권4호
    • /
    • pp.273-280
    • /
    • 2013
  • 본 논문에서는 의료영상의 특성을 반영하여 픽셀 그래디언트의 방향 값을 특징으로 하는 OCS-LBP (Oriented Center Symmetric Local Binary Patterns) 특징을 개발하고 BoF(Bag-of-Feature)와 Random Forest 분류기를 이용한 영상 검색 방법을 제안한다. 학습영상에서 추출된 특징 값은 code book 으로 군집화 되고, 각 영상들은 code book을 통해 의미 있는 새로운 차원인 BoF특징으로 변환된다. 이렇게 추출된 BoF특징은 Random Forest 분류기에 적용되고 학습된 분류기에 의해 유사한 특성을 갖는 N개의 클래스별로 분류되게 된다. 질의 영상이 입력되면 동일한 OCS-LBP특징이 추출되고 code book을 통해 BoF특징이 추출된다. 전통적인 내용기반 영상검색과는 다르게, 본 논문에서는 질의 영상에서 추출된 BoF특징이 학습된 Random Forest에 적용되어 가장 유사한 K-근접 이웃 (K-nearest neighbor) 클래스들을 선택하고 선택된 클래스들에 포함된 영상들에 대해서만 질의 영상과의 BoF 유사도 측정을 통해 최종 유사한 영상을 검색하게 된다. 실험결과에서 본 논문에서 제안하는 방법은 빠르고 우수한 검색 성능을 보여 주었다.

음악 정보검색 시스템을 위한 효율적인 특징 벡터 추출에 관한 연구 (A Study on the Efficient Feature Vector Extraction for Music Information Retrieval System)

  • 윤원중;이강규;박규식
    • 한국음향학회지
    • /
    • 제23권7호
    • /
    • pp.532-539
    • /
    • 2004
  • 본 논문에서는 Classic, Hiphop, Jazz, Rock 4개의 장르로 곡을 구분하여 각 장르별 60곡씩 총 240곡의 음악 DB를 대상으로 예제 질의 (QBE) 방식의 음악 정보 검색 시스템을 제안하였다. 제안된 시스템은 입력 질의로부터 spectral centroid, rolloff, flux등 STFT기반의 특징들과 MFCC, LPC, Beat 정보 등의 총 60차의 특징 벡터들을 추출한후 Euclidean 유사도를 측정해서 DB내의 해당 음악을 검색한다. 실제 검색에 사용되는 특징 벡터는 SFS (Sequential Forward Selection) 기법을 사용하여 10차 특징 벡터로 최적화 되며 검색 실험결과 평균 84% Hit Rate 와 0.63 MRR의 성공률을 보이고 있어 기존의 연구 결과보다 약 10%이상의 성능 향상을 보였다. 한편 본 논문에서는 실제 시스템 사용 환경을 고려하여 임의 질의 구간과 임의 질의 길이에 대한 시스템 성능 평가를 수행하였으며 실험 결과 이러한 임의성에 기인한 검색 성능의 불안정성을 지적하였다.

데이터 샘플링을 통한 각 기반 공간 분할 병렬 스카이라인 질의처리 기법 (Data Sampling-based Angular Space Partitioning for Parallel Skyline Query Processing)

  • 정재화
    • 컴퓨터교육학회논문지
    • /
    • 제18권5호
    • /
    • pp.63-70
    • /
    • 2015
  • 상호 연관되는 복잡한 데이터 조건이 존재하는 환경에서 스카이라인 질의는 의사결정 시스템 등 폭넓은 애플리케이션 활용 가능성으로 다양한 분야에서 연구되어 왔다. 중앙집중식 환경에서 스카이라인 질의처리 기법이 초기에 제안되었으며 최근 대량의 다차원 데이터에 대해 데이터 공간을 분할하여 맵/리듀스 플랫폼 상에서 병렬적으로 처리하는 기법이 제안되었다. 그러나 현재까지의 기법이 비균등적 실행과 높은 중복 작업으로 효율성이 저하된다는 문제점을 배경으로 본 논문에서는 랜덤 샘플링을 통해 데이터 분포를 추정하여 비균등 분할 문제를 해결하고 각 기반의 데이터 공간을 분할하여 스카이라인 처리 과정에서 중복 작업을 최소화한 새로운 기법 MR-DEAP를 제안한다. 마지막으로 다양한 환경에서의 실험결과 제안된 기법이 다른 각 기반 분할과 그리드 분할 기법보다 우수한 것을 입증하였다.