• 제목/요약/키워드: hash table

검색결과 137건 처리시간 0.024초

비트-벡터 해시 테이블을 이용한 효율적인 다중 스트림 조인 알고리즘 (An Efficient M-way Stream Join Algorithm Exploiting a Bit-vector Hash Table)

  • 권태형;김현규;이유원;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.297-306
    • /
    • 2008
  • MJoin은 변화가 잦은 데이타 스트림의 조인을 효율적으로 수행하기 위한 방법으로 소개되었다. MJoin은 다중 스트림의 처리가 가능하도록 대칭적 해시 알고리즘을 확장한 것으로, 각 입력 튜플마다 모든 해시 테이블에 동일한 키를 지닌 튜플이 존재하는지 반복적으로 체크한다. 그러나, 조인 선택율이 낮고 조인되는 데이타 스트림의 수가 많을 경우, 이러한 체크 과정의 성능은 조인되는 데이타 스트림의 조인순서에 많은 영향을 받게 된다. 본 논문에서는 MJoin처럼 대칭적 해시 알고리즘을 기본으로 하지만, 이러한 체크 과정을 조인순서에 상관없이 상수 시간에 처리하는 BiHT-Join 알고리즘을 제안한다. BiHT-Join은 스트림에 있는 튜플의 존재 유무를 비트-벡터로 유지하며, 이를 비교하는 것으로 조인의 성공/실패를 판단한다. 따라서, BiHT-Join은 이 판단을 기준으로 조인이 성공하는 튜플만 해시 조인을 수행함으로 조인 효율을 높일 수 있다. 우리는 실험을 통해 BiHT-Join이 다중 데이타 스트림 조인에서 MJoin에 비해 더 나은 성능을 제공한다는 것을 보인다.

IP 주소 검색에서 블룸 필터를 사용한 다중 해싱 구조 (Multiple Hashing Architecture using Bloom Filter for IP Address Lookup)

  • 박경혜;임혜숙
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권2호
    • /
    • pp.84-98
    • /
    • 2009
  • 라우터의 포워팅 성능을 향상시키기 위해 많은 IP 주소 검색 알고리즘들이 연구되어 오고 있다. 기존에 제안된 블룸 필터를 이용한 IP 주소 검색 구조는 프리픽스 길이별로 블룸 필터 및 해시 테이블을 따로 가지고 있어 구현이 복잡하며, 프리픽스 길이 별 해시 테이블의 개수를 줄이기 위하여 프리적스의 복사가 불가피한 단점을 지닌다. 멀티 다중 해시 테이블을 이용한 병렬 해싱 구조는 프리픽스의 길이별로 해시 테이블을 구성하고, 다중 해싱 함수를 사용하여 모든 프리픽스 길이에 대하여 병렬 검색하는 구조로서 검색 성능이 뛰어나나 병렬 검색 구조이므로 구현이 또한 복잡하다. 본 논문에서는 단일 블룸 필터에 다양한 길이의 프리픽스를 모두 저장하는 통합 블룸 필터와 단일 테이블에 모든 길이의 프리픽스를 모두 저장하는 통합 다중-해시 테이블을 사용하여 구현이 간단하면서도 검색성능이 뛰어난 새로운 IP 주소 검색 구조를 제안한다. 실제 백본 라우터에서 쓰이는 데이타를 이용하여 시뮬레이션을 수행한 결과 $15000{\sim}220000$개의 엔트리를 갖는 라우팅 테이블에 대하여 평균 1.04-1.17번의 메모리 접근으로 IP 주소검색이 가능함을 보였다.

SSD 스토리지 시스템에서 PRAM 캐시를 이용한 데이터 중복제거 기법 (Data Deduplication Method using PRAM Cache in SSD Storage System)

  • 이승규;김주경;김덕환
    • 전자공학회논문지
    • /
    • 제50권4호
    • /
    • pp.117-123
    • /
    • 2013
  • 최근 클라우드 스토리지 환경에서 전통적인 스토리지장치인 하드디스크를 대체하여 SSD(Solid-State Drive)의 사용량이 증가하고 있다. SSD는 기계적인 동작이 없어 빠른 입출력 성능을 가지는 반면 덮어쓰기가 불가능한 특성을 가지고 있어 공간 효율성을 위한 관리가 중요하다. 이와 같은 마모도 특성을 갖는 SSD의 공간 효율성을 효과적으로 관리하기 위해 데이터 중복제거 기법을 이용한다. 하지만 데이터 중복제거 기법은 데이터 청킹, 해싱, 해시값 검색과정 연산을 포함하기 때문에 오버헤드가 발생하는 문제점이 있다. 본 논문에서는 SSD 스토리지 시스템에서 PRAM 캐시를 이용한 데이터 중복제거 기법을 제안한다. 제안한 방법은 DRAM의 1차 해시테이블에 PRAM에 캐싱된 데이터를 위한 해시값들을 저장하고, LRU(Least Recently Used)기법을 이용하여 관리한다. PRAM의 2차 해시테이블에는 SSD 스토리지에 저장된 데이터에 대한 해시값들을 저장하고, DRAM의 1차 해시테이블에 대한 백업을 PRAM에 유지함으로써 전원 손실등에 대비하여 신뢰성을 향상시킬 수 있다. 실험결과, 제안하는 기법은 기존의 DRAM에 모든 해시값들을 저장하여 관리하는 기법보다 SSD의 쓰기 횟수 및 연산시간을 워크로드별 평균 44.2%, 38.8%의 감소 효과를 보였다.

비정기적 데이터 수집 모드에 기반한 효율적인 홈 네트워크 서비스 제어 시스템의 설계 (An Adaptive Chord for Minimizing Network Traffic in a Mobile P2P Environment)

  • 우현제;이미정
    • 정보처리학회논문지C
    • /
    • 제16C권6호
    • /
    • pp.773-782
    • /
    • 2009
  • 분산 해쉬 테이블(DHT : Distributed Hash Table) 기반의 P2P는 기존 Unstructured P2P 방식의 단점을 보완하기 위한 방식이다. DHT 알고리즘을 사용하면 빠른 데이터 검색을 할 수 있고, 피어 개수에 무관하게 검색 효율을 유지할 수 있다. DHT 방식의 피어들은 라우팅 테이블을 최신으로 유지하기 위해 주기적으로 메시지를 보낸다. 모바일 환경의 경우, DHT방식의 피어들은 라우팅 테이블을 최신으로 유지하고 요청 실패를 줄이기 위해서 빠른 주기로 메시지를 보내야 한다. 하지만 이로 인해, 네트워크의 트래픽은 증가하게 된다. 본 연구자들은 기존 연구에서 리액티브 라우팅 테이블 업데이트 방식을 이용하여 기존 Chord에서의 라우팅 테이블 업데이트에 따른 부하를 줄이는 기법을 제안하였으나, 초당 요청 메시지 개수가 많아지게 되면 기존의 방식보다 트래픽 양이 많아지게 되는 단점을 가진다. 이에 본 논문에서는 전체 네트워크의 트래픽을 줄이기 위한 적응적인 라우팅 테이블 업데이트 방식을 제안한다. 본 연구자들은 제안된 방법에서 초당 요청 메시지의 개수에 따라 라우팅 테이블 업데이트 방식을 바꾸는 것을 제안하였다. 적응적인 Chord는 초당 요청 메시지의 개수가 어느 임계값보다 작아지면 리액티브 Chord를 사용하고, 그 반대의 경우에는 기존의 Chord를 사용하는 방식이다. 실험은 버클리 대학에서 만들어진 Chord 시뮬레이터(I3)를 이용하여 수행하였고, 실험을 통하여 제안된 방식이 기존 방식에 비해 성능이 향상되었음을 확인하였다.

모바일 P2P 환경에서 네트워크 트래픽을 최소화한 적응적인 Chord (An Adaptive Chord for Minimizing Network Traffic in a Mobile P2P Environment)

  • 윤영효;곽후근;김정길;정규식
    • 정보처리학회논문지C
    • /
    • 제16C권6호
    • /
    • pp.761-772
    • /
    • 2009
  • 분산 해쉬 테이블(DHT : Distributed Hash Table) 기반의 P2P는 기존 Unstructured P2P 방식의 단점을 보완하기 위한 방식이다. DHT 알고리즘을 사용하면 빠른 데이터 검색을 할 수 있고, 피어 개수에 무관하게 검색 효율을 유지할 수 있다. DHT 방식의 피어들은 라우팅 테이블을 최신으로 유지하기 위해 주기적으로 메시지를 보낸다. 모바일 환경의 경우, DHT방식의 피어들은 라우팅 테이블을 최신으로 유지하고 요청 실패를 줄이기 위해서 빠른 주기로 메시지를 보내야 한다. 하지만 이로 인해, 네트워크의 트래픽은 증가하게 된다. 본 연구자들은 기존 연구에서 리액티브 라우팅 테이블 업데이트 방식을 이용하여 기존 Chord에서의 라우팅 테이블 업데이트에 따른 부하를 줄이는 기법을 제안하였으나, 초당 요청 메시지 개수가 많아지게 되면 기존의 방식보다 트래픽 양이 많아지게 되는 단점을 가진다. 이에 본 논문에서는 전체 네트워크의 트래픽을 줄이기 위한 적응적인 라우팅 테이블 업데이트 방식을 제안한다. 본 연구자들은 제안된 방법에서 초당 요청 메시지의 개수에 따라 라우팅 테이블 업데이트 방식을 바꾸는 것을 제안하였다. 적응적인 Chord는 초당 요청 메시지의 개수가 어느 임계값보다 작아지면 리액티브 Chord를 사용하고, 그 반대의 경우에는 기존의 Chord를 사용하는 방식이다. 실험은 버클리 대학에서 만들어진 Chord 시뮬레이터(I3)를 이용하여 수행하였고, 실험을 통하여 제안된 방식이 기존 방식에 비해 성능이 향상되었음을 확인하였다.

Robust Music Identification Using Long-Term Dynamic Modulation Spectrum

  • Kim, Hyoung-Gook;Eom, Ki-Wan
    • The Journal of the Acoustical Society of Korea
    • /
    • 제25권2E호
    • /
    • pp.69-73
    • /
    • 2006
  • In this paper, we propose a robust music audio fingerprinting system for automatic music retrieval. The fingerprint feature is extracted from the long-term dynamic modulation spectrum (LDMS) estimation in the perceptual compressed domain. The major advantage of this feature is its significant robustness against severe background noise from the street and cars. Further the fast searching is performed by looking up hash table with 32-bit hash values. The hash value bits are quantized from the logarithmic scale modulation frequency coefficients. Experiments illustrate that the LDMS fingerprint has advantages of high scalability, robustness and small fingerprint size. Moreover, the performance is improved remarkably under the severe recording-noise conditions compared with other power spectrum-based robust fingerprints.

Anticipatory I/O Management for Clustered Flash Translation Layer in NAND Flash Memory

  • Park, Kwang-Hee;Yang, Jun-Sik;Chang, Joon-Hyuk;Kim, Deok-Hwan
    • ETRI Journal
    • /
    • 제30권6호
    • /
    • pp.790-798
    • /
    • 2008
  • Recently, NAND flash memory has emerged as a next generation storage device because it has several advantages, such as low power consumption, shock resistance, and so on. However, it is necessary to use a flash translation layer (FTL) to intermediate between NAND flash memory and conventional file systems because of the unique hardware characteristics of flash memory. This paper proposes a new clustered FTL (CFTL) that uses clustered hash tables and a two-level software cache technique. The CFTL can anticipate consecutive addresses from the host because the clustered hash table uses the locality of reference in a large address space. It also adaptively switches logical addresses to physical addresses in the flash memory by using block mapping, page mapping, and a two-level software cache technique. Furthermore, anticipatory I/O management using continuity counters and a prefetch scheme enables fast address translation. Experimental results show that the proposed address translation mechanism for CFTL provides better performance in address translation and memory space usage than the well-known NAND FTL (NFTL) and adaptive FTL (AFTL).

  • PDF

가상 메시 오버레이 네트워크상에서의 P2P VOD 서비스를 위한 클러스터 세그먼트 인덱스 기법 (Clustered Segment Index Scheme for P2P VOD Service on Virtual Mesh Overlay Network)

  • 림펑언;최황규
    • 전기학회논문지
    • /
    • 제65권6호
    • /
    • pp.1052-1059
    • /
    • 2016
  • Video-on-Demand(VoD) is one of the most popular media streaming which attracted many researchers' attention. VMesh is one of the most cited works in the field of the VoD system. VMesh is proposed to solve the problem of random seeking functionality. However, a large number of the DHT(Distributed Hash Table) searches in VMesh is sill the main problem which needs to be solved. In order to reduce the number of the DHT searches, the clustered segment index(CSI) scheme is proposed. In this scheme, the video segments are divided into clusters. The segment information of the video segments, which are clustered into the same cluster, are stored in the same clustered segment index that can be searched by using the hash key. Each peer also can request the required segments by using this clustered segment index. The experiment results show that the number of the DHT searches in the proposed scheme is less than that of VMesh even in case of peers leave and join the network or peers perform the fast forward/backward operations.

대용량 주기억장치 시스템에서 효율적인 연관 규칙 탐사 알고리즘 (An Efficient Algorithm For Mining Association Rules In Main Memory Systems)

  • 이재문
    • 정보처리학회논문지D
    • /
    • 제9D권4호
    • /
    • pp.579-586
    • /
    • 2002
  • 본 논문은 대용량 주기억장치를 가진 시스템에 적합한 연관 규칙 탐사 알고리즘에 관한 연구이다. 이를 위하여 먼저 기존의 잘 알려진 알고리즘인 DHP, Partition 방법을 대용량 주기억장치를 가진 시스템에서 효율적으로 동작하도록 확장하였고, 다음 Partition 방법에 대해서 해쉬 테이블과 비트맵 기법을 적용하여 Partition 방법을 개선하는 방법을 제안하였다. 제안된 알고리즘은 실험적 환경에서 DHP와 성능이 비교되었으며, 제안하는 알고리즘이 확장된 DHP보다 최대 65%까지 성능 개선 효과가 있음을 보인다.

유연성을 갖는 분산 해쉬 테이블 기반의 피어 투 피어 인터넷 텔레포니 서비스의 구현 (Implementation of a Flexible Peer-to-Peer Internet Telephony Service Using an Underlying DHT)

  • 이주호;김재봉;정충교
    • 산업기술연구
    • /
    • 제26권B호
    • /
    • pp.199-206
    • /
    • 2006
  • Internet telephony provides voice communication services with added flexibility for multimedia extension at a lower cost compared to traditional telephone systems. We implemented an internet telephony system as an overlay network without a centralized server, using a distributed hash table (DHT). Compared to the current server-based internet telephony system, our system is fault-tolerant, scalable, and can be flexible extended to various services and advanced to integrated service. To demonstrate the high flexibility of our DHT-based internet telephony system, we made our system cooperate with web servers. Web users can check up others' online stales and establish voice communication sessions to online users at a mouse click. This technology can be applied to more complex services such as multimedia messaging or video conference service.

  • PDF