• 제목/요약/키워드: Hash table

검색결과 137건 처리시간 0.022초

Scalable Blockchain Storage Model Based on DHT and IPFS

  • Chen, Lu;Zhang, Xin;Sun, Zhixin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권7호
    • /
    • pp.2286-2304
    • /
    • 2022
  • Blockchain is a distributed ledger that combines technologies such as cryptography, consensus mechanism, peer-to-peer transmission, and time stamping. The rapid development of blockchain has attracted attention from all walks of life, but storage scalability issues have hindered the application of blockchain. In this paper, a scalable blockchain storage model based on Distributed Hash Table (DHT) and the InterPlanetary File System (IPFS) was proposed. This paper introduces the current research status of the scalable blockchain storage model, as well as the basic principles of DHT and the InterPlanetary File System. The model construction and workflow are explained in detail. At the same time, the DHT network construction mechanism, block heat identification mechanism, new node initialization mechanism, and block data read and write mechanism in the model are described in detail. Experimental results show that this model can reduce the storage burden of nodes, and at the same time, the blockchain network can accommodate more local blocks under the same block height.

Sorting Cuckoo: 삽입 정렬을 이용한 Cuckoo Hashing의 입력 연산의 성능 향상 (Sorting Cuckoo: Enhancing Lookup Performance of Cuckoo Hashing Using Insertion Sort)

  • 민대홍;장룡호;양대헌;이경희
    • 한국통신학회논문지
    • /
    • 제42권3호
    • /
    • pp.566-576
    • /
    • 2017
  • 키-값 저장소(key-value store)는 Redis, Memcached 등의 다양한 NoSQL 데이터베이스에 응용되어 그 우수성을 보였다. 그리고 키-값 저장소 응용프로그램은 대부분의 환경에서 삽입 연산(insert) 보다 탐색 연산(lookup)이 많이 발생하기 때문에 탐색의 성능이 중요하다. 하지만 기존의 응용프로그램은 해시 테이블을 링크 리스트(linked list) 형태로 유지하기 때문에 탐색 연산이 느릴 수 있다. 따라서 탐색 연산을 상수 시간 내에 완료할 수 있는 쿠쿠 해싱(cuckoo hashing)이 학계의 주목을 받기 시작했고, 그 후 메모리 사용률이 더 높은 버킷화 쿠쿠 해싱(Bucketized Cuckoo Hashing, BCH)이 제안되었다. 본 논문에서는 BCH 구조를 기반으로 하여 삽입 정렬 방법으로 데이터를 입력하는 Sorting Cuckoo를 소개한다. Sorting Cuckoo를 이용하면 데이터가 정렬된 상태에서 탐색을 수행하기 때문에 상대적으로 적은 메모리 접근을 통해 키의 존재 여부를 판단할 수 있으며, 메모리 점유율(load factor)이 높을수록 BCH보다 탐색의 성능이 좋아진다. 실험 결과에 의하면 Sorting Cuckoo는 메모리 점유율이 95%인 상황에서 BCH보다 천만 번의 negative 탐색(데이터가 존재하지 않는 탐색)에서는 최대 25%(약 1900만회), 천만 번의 positive 탐색(데이터가 존재하는 탐색)에서는 최대 10%(약 400만 회)만큼 더 적은 메모리 접근을 이용하였다.

ECDSA 하드웨어 가속기가 내장된 보안 SoC (A Security SoC embedded with ECDSA Hardware Accelerator)

  • 정영수;김민주;신경욱
    • 한국정보통신학회논문지
    • /
    • 제26권7호
    • /
    • pp.1071-1077
    • /
    • 2022
  • 타원곡선 암호 (elliptic curve cryptography; ECC) 기반의 공개키 기반구조 구현에 사용될 수 있는 보안 SoC(system-on-chip)를 설계하였다. 보안 SoC는 타원곡선 디지털 서명 알고리듬 (elliptic curve digital signature algorithm; ECDSA)용 하드웨어 가속기가 AXI4-Lite 버스를 통해 Cortex-A53 CPU와 인터페이스된 구조를 갖는다. ECDSA 하드웨어 가속기는 고성능 ECC 프로세서, SHA3 (secure hash algorithm 3) 해시 코어, 난수 생성기, 모듈러 곱셈기, BRAM (block random access memory), 그리고 제어 FSM (finite state machine)으로 구성되며, 최소의 CPU 제어로 ECDSA 서명 생성과 서명 검증을 고성능으로 연산할 수 있도록 설계되었다. 보안 SoC를 Zynq UltraScale+ MPSoC 디바이스에 구현하여 하드웨어-소프트웨어 통합 검증을 하였으며, 150 MHz 클록 주파수로 동작하여 초당 약 1,000번의 ECDSA 서명 생성 또는 서명 검증 연산 성능을 갖는 것으로 평가되었다. ECDSA 하드웨어 가속기는 74,630개의 LUT (look-up table)와 23,356개의 플립플롭, 32kb BRAM 그리고 36개의 DSP (digital signal processing) 블록의 하드웨어 자원이 사용되었다.

MapReduce와 시공간 데이터를 이용한 빅 데이터 크기의 이동객체 갱신 횟수 감소 기법 (Update Frequency Reducing Method of Spatio-Temporal Big Data based on MapReduce)

  • 최용권;백성하;김경배;배해영
    • Spatial Information Research
    • /
    • 제20권2호
    • /
    • pp.137-153
    • /
    • 2012
  • 지금까지 대규모의 이동객체 관리를 위해 갱신 비용을 감소시킬 수 있는 인덱스 기법들이 제안되었다. 이동객체 인덱스는 빈번하게 위치정보가 변화하는 이동객체를 관리하기 위해 주기적으로 갱신 되어야 하기 때문이다. 그러나 이러한 기법들은 이동객체의 수가 현저히 증가하는 경우 인덱스의 갱신 가능범위를 초과하는 부하가 발생한다. 본 논문에서는 이처럼 기존의 처리 가용량을 초과하는 빅 데이터 크기의 이동객체에서 발생하는 갱신요청들을 MapReduce와 기존 인덱스기법을 조합하여 감소시키는 기법을 제안한다. 이 기법에서는 수많은 이동객체에서 발생하는 갱신요청들을 MapReduce를 이용하여 각각의 이동객체 별로 그룹화하는 방법을 사용한다. 각 이동객체 별로 그룹화 데이터들의 최신의 데이터와 가장 오래된 데이터를 비교하여 갱신여부를 판단하고 최신의 요청만 갱신하도록 하여 전체 갱신 횟수를 크게 감소시킨다. 갱신이 지연된 경우 기존의 갱신요청들을 가지고 있는 해시 테이블에 일정기간 보관하여 지연된 갱신요청이 분실되지 않고 지속적으로 갱신되도록 한다. 실험을 통해 제안한 기법을 적용한 경우와 적용하지 않은 경우를 비교해 전체 갱신 횟수 및 갱신 비용이 감소되는 것을 알 수 있다.

분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 Cloaking 영역 설정 기법 (A Efficient Cloaking Region Creation Scheme using Hilbert Curves in Distributed Grid Environment)

  • 이아름;엄정호;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권1호
    • /
    • pp.115-126
    • /
    • 2009
  • 최근 무선 통신과 모바일 측위 기술의 발전으로 위치 기반 서비스(Location-Based Service)의 이용이 확산되었다. 그러나 위치 기반 서비스에서 사용자는 사용자의 정확한 위치를 가지고 데이터베이스 서버에 질의를 요청하기 때문에, 사용자의 위치 정보가 상대방에게 노출될 수 있다. 따라서 모바일 사용자에 의한 안전한 위치기반 서비스의 사용을 위해서는 사용자의 개인 정보 보호 방법이 요구된다. 이를 위해 본 논문에서는 위치기반 서비스에서 사용자의 위치정보를 보호하기 위하여, 분산 그리드 환경에서 힐버트 커브를 이용한 효율적인 cloaking 영역 설정 기법을 제안한다. 제안하는 기법은 K-anonymity를 만족하는 cloaking 영역을 생성하기 위해 힐버트 커브의 특성을 분석하고 이를 통해 이웃 셀의 힐버트 커브값을 계산하여 최소화된 cloaking 영역을 설정한다. 아울러, 네트워크 통신비용을 줄이기 위해 분산 해쉬 테이블 구조인 Chord를 사용한다. 마지막으로 성능평가를 통해서 제안하는 기법이 기존의 그리드 기반 cloaking 기법보다 우수함을 보인다.

  • PDF

시공간 집계정보를 위한 Aggregation R-tree 기반의 하이브리드 인덱스 (A Hybrid Index based on Aggregation R-tree for Spatio-Temporal Aggregation)

  • 유병섭;배해영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권5호
    • /
    • pp.463-475
    • /
    • 2006
  • 교통 관리 시스템과 같은 응용에서는 공간 데이타 웨어하우스의 공간 계층을 이용한 분석을 수행하는데, 이러한 분석에서는 주로 단순한 집계정보만을 요구한다. 공간 계층 기반의 집계정보 제공을 위하여 기존의 연구들은 공간 인덱스를 사용한 해결방법을 제시하였는데, 대부분의 연구들은 공간 인덱스 중 가장 널리 이용되는 R-tree를 확장한 방법을 이용하였다. 그러나 단순히 현재 집계 정보만을 제공하여 수년에 걸친 분석을 요구하는 교통 정책에 대하여 의사결정을 지원할 수 없었다. 본 논문에서는 과거의 집계정보까지 관리할 수 있는 aR-tree(Aggregation R-tree)기반의 하이브리드 인덱스를 제안한다. 제안 기법은 aR-tree를 이용하여 공간 계층과 현재시점의 집계정보를 제공하며, 시간 구조체를 이용한 정렬 해쉬 테이블로 시간 계층과 과거의 집계정보를 제공한다. 따라서 제안기법은 시공간 분석을 통한 효율적인 의사결정을 지원하며, 이는 현재의 교통 분석 및 과거를 통한 교통 정책 결정을 가능하게 한다.

Server-Side 방식의 상황 인식 기반 선박 USN 미들웨어 구현 및 설계 (A Design and Implementation Vessel USN Middleware of Server-Side Method based on Context Aware)

  • 송병호;송익호;김종화;이성로
    • 대한전자공학회논문지SP
    • /
    • 제48권2호
    • /
    • pp.116-124
    • /
    • 2011
  • 본 논문에서는 해양 환경의 특성을 고려하여 선박 환경에 적합한 방식으로 Server-side 방식에 따른 선박 USN 미들웨어를 구현하였다. 다중 질의 처리 모듈에서는 선박USN에 구성된 다차원 센서 스트림 데이터를 효율적으로 처리하기 위해서 최적화된 질의 계획으로 Mjoin 질의와 해쉬 테이블을 이용한 최적화 방법을 제시하고 모듈을 구성하였다. 상황 인식 관리 모듈에서는 해양의 특성을 고려하여 선박의 상황을 인식하고 관리하는 방법을 제시하였고 SVM 알고리즘을 이용하여 위험 상황을 판단하였다. 제안한 SVM 알고리즘을 이용하여 각 상황별로 5,000 건의 데이터를 입력 받아 실험한 결과 화재 상황과 선체 위험 상황에 대한 평균 정확도는 87.5%, 85.1%를 보였고, 측정 결과를 전송하여 선박 USN 모니터링 시스템을 구현하였다.

데이터 베이스 특성에 따른 효율적인 데이터 마이닝 알고리즘 (An Efficient Data Mining Algorithm based on the Database Characteristics)

  • 박지현;고찬
    • Journal of the Korean Society for Industrial and Applied Mathematics
    • /
    • 제10권1호
    • /
    • pp.107-119
    • /
    • 2006
  • 인터넷과 웹 기술 발전에 따라 데이터베이스에 축적되는 자료의 양이 급속히 늘어나고 있다. 데이터베이스의 응용 범위가 확대되고 대용량 데이터베이스로부터 유용한 지식을 발견하고자 하는 데이터 마이닝(Data Mining) 기술에 대한 연구가 활발하게 진행되고 있다. 기존의 알고리즘들은 대부분 후보 항목 집합들을 줄임과 동시에 데이터베이스의 크기를 줄이는 방법으로 발전해 오고 있다. 그러나 후보 항목집합들을 줄이는 노력이나 데이터베이스의 크기를 줄이는 방법들이 빈발 항목집합들을 생성하는 전 과정에서 필요로 하지는 않는다. 그러한 방법들이 어느 과정에서는 시간을 줄이는데 효과가 있지만 다른 과정에서는 오히려 그러한 방법들을 적용하는데 더 많은 시간이 소요되기 때문이다. 본 논문에서는 트랜잭션들의 길이가 짧거나 데이터베이스를 이루는 항목들의 수가 비교적 적은 트랜잭션 데이터베이스에서 해슁 기법을 사용하여 데이터베이스를 한 번 스캔하고 동시에 각 트랜잭션에서 발생 가능한 모든 부분집합들을 해쉬 테이블에 저장함으로써 최소 지지도에 영향을 받지 않고 기존의 알고리즘보다 더 짧은 시간에 빈발항목집합을 발견할 수 있는 효과적인 연관 규칙 탐사 알고리즘을 제안하고 실험하였다.

  • PDF

세그먼트 기반의 XML 문서 필터링 (XML Document Filtering based on Segments)

  • 권준호;;문봉기;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.368-378
    • /
    • 2008
  • 최근 XML 문서 필터링에 기반한 출판-구독(publish-subscribe) 시스템이 많은 관심을 받고 있다. 전형적인 출판-구독 시스템에서, 구독자들은 XPath 언어로 명세된 프로파일로 자신들의 관심을 표현하고, 새로운 내용들은 사용자 프로파일에 대하여 매칭 여부를 판단하여 관심을 가지고 있는 사용자들에게만 배달된다. 구독자의 수와 그들의 프로파일이 증가할수록, 시스템의 확장성이 출판-구독 시스템의 중요한 성공 요소가 된다. 이 논문에서는 FiST 시스템을 확장한 세그먼트 기반의 XML 문서 필터링 시스템인 SFiST 시스템을 제안한다. SFiST 시스템은 XML 문서 필터링에서 중복된 처리를 없애기 위해서 가지형 패턴의 사용자 프로파일에서 세그먼트를 추출하여 해시 기반의 세그먼트 테이블에 저장하고 유지한다. 이 세그먼트는 사용자 프로파일을 터스 시퀀스 형태로 표현하는데 이용되고, 효율적인 필터링을 위한 컴팩트 시퀀스 인덱스에도 사용된다. 실험을 통하여 세그먼트 기반의 SFiST 시스템이 이전의 연구인 FiST 시스템보다 좋은 성능을 가지고 있음을 보였다.

데이터의 최단 거리 전송을 위한 가상 주소 라우팅 프로토콜 (Virtual Address Routing Protocol for The Shortest Path Transmission of Data)

  • 김지원;조태환;최상방
    • 한국통신학회논문지
    • /
    • 제42권1호
    • /
    • pp.50-63
    • /
    • 2017
  • 무선 센서 네트워크에서 사용되는 센서 노드는 배터리, 메모리 등의 제한된 자원을 가지고 있기 때문에 이를 효율적으로 사용하기 위한 라우팅 프로토콜이 요구된다. 본 논문에서는 싱크 노드와 센서 노드 간에 최단 전송 경로로 데이터를 전송할 수 있도록 보장하는 VAP(Virtual Address Protocol)를 제안한다. VAP는 각 노드에 이웃노드와 연관된 가상 주소와 보조 주소를 할당하고, 목적지 노드의 주소와 이웃 노드의 주소를 비교하여 최단 전송 경로를 찾아 데이터를 전송한다. 또한, 네트워크 토폴로지에서 노드가 삭제되거나 추가된 경우 재할당 알고리즘을 사용하여 노드에 주소를 할당한다. VAP를 기존의 라우팅 프로토콜과 비교한 결과, 노드간의 주소가 중복되지 않아 전송 경로 및 메모리 자원의 사용이 최소화되고, 최적의 전송 경로를 이용하여 데이터를 전송하므로 데이터의 전송 지연 시간이 감소한 것을 확인할 수 있었다.