• 제목/요약/키워드: Hash Table

검색결과 137건 처리시간 0.019초

완전해싱을 위한 DHP 연관 규칙 탐사 알고리즘의 개선 방안 (Improvement of DHP Association Rules Algorithm for Perfect Hashing)

  • 이형봉
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권2호
    • /
    • pp.91-98
    • /
    • 2004
  • DHP 연관 규칙 탐사 알고리즘은 후보 빈발 항목 집합들에 대한 계수를 유지하기 위한 해쉬트리의 크기를 가능한 한 줄이기 위하여, 독립된 직접 해쉬 테이블을 미리 준비해 놓았다가 후보 빈발 항목 집합을 생성할 때 적용함으로써 전지 효과를 얻는다. 이 때 직접 해쉬 테이블의 크기가 클수록 전지효과는 커지며, 특히 길이 2인 후보 빈발 항목 집합을 생성하는 단계에서의 전지 효과는 알고리즘 전체의 성능을 좌우할 만큼 큰 영향을 발휘한다. 따라서 급속도로 보편화되고 있는 대용량 주기억장치 시스템 추세에 따라 단계 2에서의 직접 해쉬 테이블 크기의 극단적인 증가에 대한 시도가 이루어지고 있으며, 이러한 것 중의 하나가 완전 해쉬 테이블이다. 그러나 단계 2에서의 완전 해쉬 테이블을 사용할 경우, 이를 단순히 기존 DHP 알고리즘에 적용하여 버켓 크기(|H$_2$|)만을 재 설정하는 것 보다, DHP 알고리즘 자체를 조금 변경했을 때 약 20% 이상의 추가 성능 이득을 얻을 수 있음이 밝혀졌다. 이 논문에서는 단계 2에서의 완전 해쉬 테이블의 타당성을 조명해 본 후, 그 특성을 충분히 활용하도록 DHP를 개선한 PHP 알고리즘을 제안하며 그 결과를 실험적 환경에서 검증한다.

NUMA 시스템에 최적화된 병렬 해시 테이블 (Concurrent Hash Table Optimized for NUMA System)

  • 최재용;정내훈
    • 한국게임학회 논문지
    • /
    • 제20권5호
    • /
    • pp.89-98
    • /
    • 2020
  • MMO 게임 서버에서는 성능을 높이기 위해 NUMA(Non-Uniform Memory Access) 구조를 사용해 하드웨어를 구성하는 경우가 많다. 또한 내부 자료구조로 삽입, 삭제와 탐색에 소요되는 시간이 짧은 해시 테이블과 같은 자료구조를 많이 사용한다. 본 논문은 NUMA 구조에 최적화된 해시 테이블을 제안하여, NUMA 시스템을 사용하는 게임 서버의 성능을 더 높일 수 있도록 한다. 제안된 해시 테이블을 4 소켓 NUMA 시스템에서 실험한 결과, 기존의 고성능 해시 테이블에 비해 최대 2배의 성능 향상을 확인할 수 있었다.

Approaches for Improving Bloom Filter-Based Set Membership Query

  • Lee, HyunYong;Lee, Byung-Tak
    • Journal of Information Processing Systems
    • /
    • 제15권3호
    • /
    • pp.550-569
    • /
    • 2019
  • We propose approaches for improving Bloom filter in terms of false positive probability and membership query speed. To reduce the false positive probability, we propose special type of additional Bloom filters that are used to handle false positives caused by the original Bloom filter. Implementing the proposed approach for a routing table lookup, we show that our approach reduces the routing table lookup time by up to 28% compared to the original Bloom filter by handling most false positives within the fast memory. We also introduce an approach for improving the membership query speed. Taking the hash table-like approach while storing only values, the proposed approach shows much faster membership query speed than the original Bloom filter (e.g., 34 times faster with 10 subsets). Even compared to a hash table, our approach reduces the routing table lookup time by up to 58%.

고성능 네트워크 침입방지시스템을 위한 개선된 시그니처 해싱 알고리즘 (An Improved Signature Hashing Algorithm for High Performance Network Intrusion Prevention System)

  • 고중식;곽후근;왕정석;권희웅;정규식
    • 정보처리학회논문지C
    • /
    • 제16C권4호
    • /
    • pp.449-460
    • /
    • 2009
  • 시그니처 해싱 알고리즘[9]은 해시 테이블을 사용하여 네트워크 침입방지시스템(Intrusion Prevention System)을 위한 빠른 패턴 매칭 속도를 제공한다. 시그니처 해싱 알고리즘은 모든 규칙에서 2 바이트를 선택하여 해쉬 값을 구한 후 해쉬 테이블에 링크시킨다. 이렇게 하여 패턴매칭 시에 실제 검사하는 규칙의 개수를 줄임으로써 성능이 향상되는 장점을 가진다. 그러나 규칙의 개수와 상관관계가 증가할 경우 같은 해쉬값을 가지는 규칙의 개수가 증가하여 성능이 떨어지는 단점이 있다. 본 논문에서는 시그니처 해싱 알고리즘의 단점을 보완하기 위해 규칙의 개수와 상관관계에 무관하게 모든 규칙을 해쉬 테이블 상에 고르게 분포시키는 방법을 제안한다. 제안된 방법에서는 해쉬 테이블에 규칙을 링크하기 전에 해당 해쉬 값에 링크된 규칙이 있는지 검사한다. 만약 링크된 규칙이 없으면 해당 해쉬 값에 규칙을 링크하고, 링크된 규칙이 있으면 다른 위치에서 해쉬 값을 다시 계산한다. 제안한 방법은 리눅스커널 모듈 형태로 PC에서 구현하였고, 네트워크 성능 측정 툴인 Iperf를 이용하여 실험하였다. 실험 결과에 의하면 기존 방식에서는 시그니처 개수 및 규칙의 상관관계가 증가함에 따라 성능이 저하되었지만, 본 논문에서 제안한 방식은 시그니처 개수와 규칙의 상관관계에 무관하게 일정한 성능을 유지하였다

공간 데이터 웨어하우스에서 해쉬 테이블을 이용한 데이터큐브의 생성 기법 (Data Cube Generation Method Using Hash Table in Spatial Data Warehouse)

  • 이연;김형선;유병섭;이재동;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권11호
    • /
    • pp.1381-1394
    • /
    • 2006
  • 축적된 데이터를 기반으로 의사결정을 지원하는 데이터 웨어하우스에서 빠른 응답을 제공하기 위하여 데이터큐브 생성기법에 대한 많은 연구가 진행되었다. 대표적으로 다차원 배열을 사용한 기법과 hyper-tree를 기반으로 하는 H-cubing 기법이 연구되었다. 하지만 전자는 다차원 집계 연산에 필요한 모든 데이터를 배열로 저장하여 데이터의 양이 많아질수록 메모리 사용이 증가하였으며 후자는 hyper-tree를 기반으로 모든 튜플을 트리로 구축하여 트리 구축비용이 증가하였다. 본 논문에서는 데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터큐브 생성 기법을 제안한다. 제안 기법은 데이터큐브 생성 시 가중치 맵핑 테이블과 레코드 해쉬 테이블을 사용하여 다차원 데이터의 저장될 레코드 순서를 빠르게 찾아 저장한다. 따라서 데이터큐브의 생성속도가 향상되며 해쉬 테이블 만을 유지하여 메모리 사용량이 감소한다. 이는 성능평가를 통해 기존 기법보다 데이터의 빠른 검색과 데이터큐브 생성 요청에 빠른 응답을 보였다.

  • PDF

URL Prefix 해시 트리를 이용한 URL 목록 검색 속도 향상 (Fast URL Lookup Using URL Prefix Hash Tree)

  • 박창욱;황선영
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권1호
    • /
    • pp.67-75
    • /
    • 2008
  • 본 논문에서는 URL 목록 기반 웹사이트 컨텐츠 필터링 시스템에서 효율적인 URL 목록 검색 방식을 제안한다. 제안된 방식은 URL prefix 형태로 변환된 URL 목록을 해시 트리 형식으로 표현하여 한번의 트리 검색으로 URL 검색을 수행한다. 그 결과 단일 해시 테이블 방식의 중복 탐색을 제거하였다. 실험 결과 제안된 검색 방식은 세그먼트의 개수에 따라 단일 해시 테이블 방식에 비해 $62%{\sim}210%$의 성능 향상을 보인다.

DHP 연관 규칙 탐사 알고리즘을 위한 효율적인 해싱 메카니즘 (An Efficient Hashing Mechanism of the DHP Algorithm for Mining Association Rules)

  • 이형봉
    • 정보처리학회논문지D
    • /
    • 제13D권5호
    • /
    • pp.651-660
    • /
    • 2006
  • Apriori 알고리즘에 기반 한 연관 규칙 탐사 알고리즘들은 후보 빈발 항목 집합의 계수 관리를 위한 자료구조로 해시 트리를 사용하고, 많은 시간이 그 해시 트리를 검색하기 위해 소요된다. DHP 연관 규칙 탐사 알고리즘은 해시 트리에 대한 검색 시간을 절약하기 위해 검색 대상인 후보 빈발 항목 집합의 개수를 최대한 줄이고자 노력한다. 이를 위해 사전에 예비 후보 빈발 항목 집합에 대한 간편 계수를 실시한다. 이 때, 예비 계수에 필요한 계산 부담을 줄이기 위해 아주 간단한 직접 해시 테이블 사용을 권고한다. 이 논문에서는 DHP 연관 규칙 탐사 알고리즘의 단계 2에서 사전 전지를 위해 사용되는 직접 해시 테이블 $H_2$와 모든 단계에서 후보 빈발 항목 집합의 계수를 위해 사용되는 해시 트리 $C_k$에 적용될 수 있는 효율적인 해싱 메카니즘을 제안하고 검증한다. 검증 결과 일반적인 단순 제산(mod) 연산 방법을 사용했을 때보다 제안 방법을 적용했을 경우 최대 82.2%, 평균 18.5%의 성능 향상이 얻어지는 것으로 나타났다.

클러스터링 해쉬 테이블을 이용한 다차원 선박 USN 스트림 데이터의 효율적인 처리 (Efficient Processing of Multidimensional Vessel USN Stream Data using Clustering Hash Table)

  • 송병호;오일환;이성로
    • 대한전자공학회논문지SP
    • /
    • 제47권6호
    • /
    • pp.137-145
    • /
    • 2010
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 그러나, 센서 네트워크에서 대용량 스트림 데이터를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이터를 전송하고 분석하는 것은 어렵고 효율적이지 못하다. 그러므로, 연속적으로 입력되는 데이터를 사전에 분류하여 특성에 따라 선택적으로 데이터를 처리하는 데이터 분류 기법이 요구된다. 본 논문에서는 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 다중 Support Vector Machine(SVM) 알고리즘을 이용하여 사전 분류(pre-clustering)한 후 요약된 정보를 해쉬 테이블로 관리하는 효율적인 처리 기법을 제안한다. 해쉬테이블을 이용하여 다차원 스트림 데이터의 저장될 레코드 순서를 빠르게 찾아 저장 및 검색함으로서 처리 속도가 향상되고 메모리에 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 35,912개의 데이터 집합을 사용하여 실험한 결과 제안 기법의 정확도와 처리 성능이 향상되었다.

휴대용 저장장치 시스템을 위한 Clustered Flash Translation Layer (A Clustered Flash Translation Layer for Mobile Storage Systems)

  • 박광희;김덕환
    • 대한전자공학회논문지SD
    • /
    • 제45권3호
    • /
    • pp.94-100
    • /
    • 2008
  • 컴팩트 플래시 메모리와 같은 휴대용 저장장치 표준에서는 플래시 메모리 시스템 소프트웨어인 FTL(Flash Translation Layer)이 필요하다. 본 논문에서는 논리 주소를 물리 주소로 빠르게 변환하기 위해 Clustered Hash Table과 2단계 소프트웨어 캐시 기법을 사용하여 FTL을 설계하였다. 실험 결과 본 논문에서 제안한 CFTL이 잘 알려진 NFTL과 AFTL보다 각각 13%, 8% 이상 주소 변환 성능이 빠르고 AFTL보다 메모리 사용량을 75% 이상 감소시켰다.

모바일 애드 혹 네트워크에서 분산 해쉬 테이블 기반의 서비스 탐색 기법 (Distributed Hash Table based Service Discovery in Mobile Ad Hoc Network)

  • 정재훈;이승학;김남기;윤현수
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권1호
    • /
    • pp.91-97
    • /
    • 2008
  • Ad hoc 네트워크에서 필요한 서비스를 사용하려면 먼저 원하는 서비스를 어떤 노드가 제공하는지, 또한 이런 서비스를 호출하려면 어떠한 방법을 사용해야 하는지 등의 정보를 알아내야 한다. 본 논문에서는 이러한 문제점들을 해결할 수 있는 DHT(Distributed Hash Table) 기반의 서비스 발견 프로토콜을 제안한다. 제안하는 프로토콜은 중앙 룩업 서버를 요구하지 않고 멀티캐스트나 플러딩을 사용하지 않기 때문에 확장성을 지닌다. 성능평가 결과, 제안하는 프로토콜은 확장성이 있고 기존의 서비스 탐색 프로토콜에 비해 나은 성능을 가짐을 알 수 있었다.