• Title/Summary/Keyword: 병렬검색

Search Result 153, Processing Time 0.025 seconds

Design and Performance Analysis of a Parallel Cell-Based Filtering Scheme using Horizontally-Partitioned Technique (수평 분할 방식을 이용한 병렬 셀-기반 필터링 기법의 설계 및 성능 평가)

  • Chang, Jae-Woo;Kim, Young-Chang
    • The KIPS Transactions:PartD
    • /
    • v.10D no.3
    • /
    • pp.459-470
    • /
    • 2003
  • It is required to research on high-dimensional index structures for efficiently retrieving high-dimensional data because an attribute vector in data warehousing and a feature vector in multimedia database have a characteristic of high-dimensional data. For this, many high-dimensional index structures have been proposed, but they have so called ‘dimensional curse’ problem that retrieval performance is extremely decreased as the dimensionality is increased. To solve the problem, the cell-based filtering (CBF) scheme has been proposed. But the CBF scheme show a linear decreasing on performance as the dimensionality. To cope with the problem, it is necessary to make use of parallel processing techniques. In this paper, we propose a parallel CBF scheme which uses a horizontally-partitioned technique as declustering. In order to maximize the retrieval performance of the proposed parallel CBF scheme, we construct our parallel CBF scheme under a SN (Shared Nothing) cluster architecture. In addition, we present a data insertion algorithm, a rage query processing one, and a k-NN query processing one which are suitable for the SN cluster architecture. Finally, we show that our parallel CBF scheme achieves better retrieval performance in proportion to the number of servers in the SN cluster architecture, compared with the conventional CBF scheme.

Improved Parallel Computation for Extended Edit Distances (개선된 확장편집거리 병렬계산)

  • Kim, Youngho;Sim, Jeong Seop
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.62-65
    • /
    • 2014
  • 근사문자열매칭 알고리즘은 검색엔진, 컴퓨터보안, 생물정보학 등 많은 분야에서 연구되고 있다. 근사문자열매칭에서는 거리함수를 이용하여 오차를 측정한다. 거리함수로는 해밍거리, 편집거리, 확장편집거리 등이 있다. 이때 확장편집거리는 mn) 시간과 공간에 계산할 수 있으며, 최근 m개의 쓰레드를 이용하여 O(m+n) 시간과 O(mn) 공간을 이용한 병렬알고리즘이 제시되었다. 본 논문에서는 기존의 확장편집거리를 계산하는 병렬알고리즘을 개선한 효율적인 병렬알고리즘을 제시한다. 기존의 병렬알고리즘을 최적화하고, 기존의 병렬알고리즘, 전역메모리만 사용한 최적화된 병렬알고리즘, 공유메모리를 활용한 최적화된 병렬알고리즘의 수행시간을 비교한다. 실험 결과, 개선된 병렬알고리즘이 기존의 병렬알고리즘보다 전처리단계에서 16 ~ 63배 이상, 모든 단계에 대해 19 ~ 24배 이상 빠른 수행시간을 보였다.

대용량 그래프에서의 삼각형 검색 연구: 알고리즘과 응용

  • Park, Ha-Myeong;Gang, Yu
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.58-66
    • /
    • 2014
  • 본 고에서는 다양한 네트워크를 표현하는 그래프에서 삼각형을 검색하는 알고리즘과 그 응용을 다룬다. 삼각형은 그래프에서 서로가 연결된 세 정점의 집합을 의미한다. 삼각형 검색 문제는 폭 넓은 응용이 가능하기 때문에 데이터 마이닝, 네트워크 분석 등 다양한 분야에서 중요하고 기본적인 문제로서 인식되어왔다. 삼각형 검색 문제의 중요성이 널리 인식되면서 여러 알고리즘이 제안 되어 왔지만, 최근의 소셜 네트워크, 웹 등의 크기가 방대해 기존의 방법은 이러한 네트워크를 분석하기가 사실상 불가능하다. 최근 맵리듀스를 활용한 분산/병렬 처리를 통해 대용량 그래프에서 삼각형을 검색하는 알고리즘들이 여럿 제안되었다. 본 논문에서는 지금까지 제안된 알고리즘들을 설명하고 삼각형 검색의 응용에 대해서 소개한다.

Design of a scalable general-purpose parallel associative processor using content-addressable memory (Content-Addressable Memory를 이용한 확장 가능한 범용 병렬 Associative Processor 설계)

  • Park, Tae-Geun
    • Journal of the Institute of Electronics Engineers of Korea SD
    • /
    • v.43 no.2 s.344
    • /
    • pp.51-59
    • /
    • 2006
  • Von Neumann architecture suffers from the interface between the central processing unit and the memory, which is called 'Von Neumann bottleneck' In this paper, we propose a scalable general-purpose associative processor (AP) based on content-addressable memory (CAM) which solves this problem and is suitable for the search-oriented applications. We propose an efficient instruction set and a structural scalability to extend for larger applications. We define twelve instructions and provide some reduced instructions to speed up which execute two instructions in a single instruction cycle. The proposed AP performs in a bit-serial, word-parallel fashion and can be considered as a 32-bit general-purpose parallel processor with a massively parallel SIMD structure. We design and simulate a maximum/minumum search greater-than/less-than search, and parallel addition to verify the proposed architecture. The algorithms are executed in a constant time O(k) regardless of the number of input data.

Design of High-dimensional Index Structures for SAN Environment (SAN 환경에 적합한 고차원 색인 구조 설계)

  • 박춘서;신재룡;송석일;복경수;유재수;신범주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.86-88
    • /
    • 2000
  • SAN(Storage Area Network)이 최근 대용량 데이터를 효율적으로 관리하기 위한 차세대 저장 장치로 각광받고 있다. 이 SAN에는 이미지, 동영상, 지도, 캐드 데이터와 같은 대용량의 고차원 특징을 갖는 데이터들이 저장되어 관리 될 것이다. 따라서 SAN 환경에서 이들을 보다 빠르고 정확하게 검색할 수 있는 효율적인 고차원 색인구조가 필요하다. SAN 환경은 저장 장치를 공유하는 형태의 병렬 환경이라 볼 수 있다. 이 논문에서는 SAN의 병렬성을 충분히 이용해서 고차원 데이터를 색인할 수 있는 방법을 제안한다. 제안하는 고차원 색인 구조는 하나의 노드를 여러 디스크에 분산시켜 팬-아웃을 증가시키고 트리의 높이를 줄임으로서 검색성능을 향상시킨다. 또한 범위 질의와 K-최근접 질의 수행시 병렬성을 최대화하는 방법을 제안한다.

  • PDF

A Parallel IP Address Lookup Scheme for High-Speed Packet Forwarding Engine (고속의 패킷 포워딩 엔진을 위한 병렬 IP 주소 검색 기법)

  • Park, Jae-Hyung;Jang, Ik-Hyeon;Kim, Jin-Soo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04b
    • /
    • pp.1297-1300
    • /
    • 2002
  • 포워딩 엔진은 외부 인터페이스를 통해서 들어오는 패킷에 대해서 IP 주소를 기반으로 목적지로 향하는 다음 홉을 결정한다. 이러한 고속의 패킷 처리를 위한 포워딩 엔진을 설계함에 있어서 IP 주소 탐색은 중요한 요인이다. 본 논문에서는 검색경로 압축 트라이에 기반한 IP 주소 탐색 알고리즘을 병렬화 하는 기법을 제시한다. 제시된 병렬화를 통해서 IP 주소 탐색의 메모리 접근 횟수글 줄일 수 있으며, 고성능의 패킷 포워딩 엔진에 적용할 수 있다.

  • PDF

VIA-Based PC Cluster System for Efficient Information Retrieval (효율적인 정보 검색을 위한 VIA 기반 PC 클러스터 시스템)

  • Kang, Na-Young;Chung, Sang-Hwa;Jang, Han-Kook
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.29 no.10
    • /
    • pp.539-549
    • /
    • 2002
  • PC cluster-based Information Retrieval (IR) systems improve their performances by parallel processing of query terms using cluster nodes. However TCP/IP based communication used to exchange data between cluster nodes prevents the performance from being improved further. The user-level communication mechanisms solve the problem by eliminating the time-consuming kernel access in exchanging data between cluster nodes. The Virtual Interface Architecture (VIA) is one of the representative user-level communication mechanisms which provide low latency and high bandwidth. In this paper, we propose a VIA-based parallel IR system on a PC cluster. The IR system is implemented using the following three communication methods: Sealable Coherent Interface (SCI) based VIA, MPI on SCI based VIA, MPI on Fast Ethernet based VIA. Through experiments, the performances of the three methods are analyzed in various aspects.

Aligning Word Correspondence in Korean-Japanese Parallel Texts (한국어-일본어 정렬 기법 연구)

  • Kim, Tae-Wan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04a
    • /
    • pp.293-296
    • /
    • 2001
  • 병렬 코퍼스의 확보가 과거에 비해 용이하게 됨에 따라 기계번역, 다국어 정보 검색 등 언어처리시스템에 사용하기 위한 대역 사전 구축의 도구로서 정렬(Alignment) 기법에 대한 연구가 필요하다. 본 논문에서는 한국어-일본어 병렬 코퍼스를 이용한 정렬 기법에 관하여 제안한다.

  • PDF

A Scalable Index for Content-based Retrieval of Large Scale Multimedia Data (대용량 멀티미디어 데이터의 내용 기반 검색을 위한 고확장 지원 색인 기법)

  • Choi, Hyun-HWa;Lee, Mi-Young;Lee, Kyu-Chul
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2009.05a
    • /
    • pp.726-730
    • /
    • 2009
  • The proliferation of the web and digital photography has drastically increased multimedia data and has resulted in the need of the high quality internet service based on the moving picture like user generated contents(UGC). The keyword-based search on large scale images and video collections is too expensive and requires much manual intervention. Therefore the web search engine may provide the content-based retrieval on the multimedia data for search accuracy and customer satisfaction. In this paper, we propose a novel distributed index structure based on multiple length signature files according to data distribution. In addition, we describe how our scalable index technique can be used to find the nearest neighbors in the cluster environments.

  • PDF

A Search Agent System for Distributed Component Repository (분산 컴포넌트 저장소를 위한 검색 에이전트 시스템)

  • 원성재;박서영;우치수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.567-569
    • /
    • 2000
  • 소프트웨어 부품 라이브러리나 소프트웨어 저장소(Repository)는 소프트웨어 재사용의 중요한 역할을 해왔고, 인터넷과 웹을 통한 그 검색 수요가 증가하고 있을 뿐 아니라. 개발되는 컴포넌트(Component)의 숫자도 급속도로 증가 하고 있다. 본 논문에서는 웹 기반 검색 엔진과 에이전트(Agent) 시스템을 결합해서 분산된 컴포넌트 저장소의 컴포넌트 정보를 통합 검색할 수 있는 검색 시스템을 제안한다. 웹 기반 검색을 통한 일반 사용자들의 컴포넌트 검색요구를 충족시키고, 모빌 에이전트(Mobile Agent)의 기능을 이용하여 효율적인 분산 저장소의 정보 검색 시스템의 구조를 구현한다. 또한 모빌 에이전트(Mobile Agent)로 구현된 검색 에이전트의 사용으로, 오프라인(Off-line)상태에서의 검색과 분산 저장소의 병렬 검색을 가능하게 하여 분산 저장소 검색의 성능을 높이고, 기존의 분산된 저장소와 검색 시스템간의 쉬운 결합 구조를 제안한다.

  • PDF