• Title/Summary/Keyword: 해쉬테이블

Search Result 59, Processing Time 0.04 seconds

Efficient Creation of Data Cube Using Hash Table in Data Warehouse (데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법)

  • Kim Hyungsun;You Byeongseob;Lee JaeDong;Bae Haeyoung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.211-213
    • /
    • 2005
  • 데이터 웨어하우스는 축적된 대량의 데이터를 분석하여 의사결정을 지원하는 시스템이다. 의사결정을 위한 대량의 데이터 분석은 많은 비용을 요구하므로, 질의 처리 성능을 높이고 의사 결정자에게 빠른 응답을 제공하는 효율적인 데이터 큐브 생성 기법이 연구되었다. 기존 기법으로는 Multiway Array 기법과 H-Cubing 기법이 있다. Multiway Array 기법은 다차원 집계 연산에 필요한 모든 데이터를 배열로 저장하는 것으로 데이터의 양이 많아질수록 메모리 사용이 증가한다. H-Cubing 기법은 Hyper-Tree를 기반으로 튜플을 트리로 구축하므로 모든 튜플을 트리로 구축해야 하는 비용이 증가한다. 본 논문에서는 데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법을 제안한다. 제안 기법은 데이터 큐브 생성 시 필드 해쉬 테이블과 레코드 해쉬 테이블을 사용한다. 필드 해쉬 테이블은 저장될 레코드 순서 계산을 위하여 각 필드에 대해 레벨 값을 해쉬 테이블로 관리한다. 레코드 해쉬 테이블은 데이터 큐브 테이블에 저장될 레코드의 순서와 데이터 큐브 테이블에 저장하기 위한 임시 레코드의 위치를 관리한다. 필드 해쉬 테이블을 이용하여 다차원 데이터의 저장될 레코드 순서를 빠르게 찾아 저장함으로서 데이터 큐브의 생성속도가 향상된다. 또한 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 따라서 해쉬 테이블의 사용으로 데이터의 빠른 검색과 데이터 큐브 생성 요청에 빠른 응답이 가능하다.

  • PDF

Improvement of DHP Association Rules Algorithm for Perfect Hashing (완전해싱을 위한 DHP 연관 규칙 탐사 알고리즘의 개선 방안)

  • 이형봉
    • Journal of KIISE:Databases
    • /
    • v.31 no.2
    • /
    • pp.91-98
    • /
    • 2004
  • DHP mining association rules algorithm maintains previously independent direct hash table to reduce the sire of hash tree containing the frequency number of each candidate large itemset. It performs pruning by using the direct hash table when the hash tree is constructed. The mort large the size of direct hash table increases, the higher the effort of pruning becomes. Especially, the effect of pruning in phase 2 which generate 2-large itemsets is so high that it dominates the overall performance of DHP algorithm. So, following the speedy trends of producing VLM(Very Large Memory) systems, extreme increment of direct hash table size is being tried and one of those trials is perfect hash table in phase 2. In case of using perfect hash table in phase 2, we found that some rearrangement of DHP algorithm got about 20% performance improvement compared to simply |H$_2$| reconfigured DHP algorithm. In this paper, we examine the feasibility of perfect hash table in phase 2 and propose PHP algorithm, a rearranged DHP algorithm, which uses the characteristics of perfect hash table sufficiently, then make an analysis on the results in experimental environment.

Data Cube Generation Method Using Hash Table in Spatial Data Warehouse (공간 데이터 웨어하우스에서 해쉬 테이블을 이용한 데이터큐브의 생성 기법)

  • Li, Yan;Kim, Hyung-Sun;You, Byeong-Seob;Lee, Jae-Dong;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.9 no.11
    • /
    • pp.1381-1394
    • /
    • 2006
  • Generation methods of data cube have been studied for many years in data warehouse which supports decision making using stored data. There are two previous studies, one is multi-way array algorithm and the other is H-cubing algorithm which is based on the hyper-tree. The multi-way array algorithm stores all aggregation data in arrays, so if the base data is increased, the size of memory is also grow. The H-cubing algorithm which is based on the hyper-tree stores all tuples in one tree so the construction cost is increased. In this paper, we present an efficient data cube generation method based on hash table using weight mapping table and record hash table. Because the proposed method uses a hash table, the generation cost of data cube is decreased and the memory usage is also decreased. In the performance study, we shows that the proposed method provides faster search operation time and make data cube generation operate more efficiently.

  • PDF

An Improved Signature Hashing Algorithm for High Performance Network Intrusion Prevention System (고성능 네트워크 침입방지시스템을 위한 개선된 시그니처 해싱 알고리즘)

  • Ko, Joong-Sik;Kwak, Hu-Keun;Wang, Jeong-Seok;Kwon, Hui-Ung;Chung, Kyu-Sik
    • The KIPS Transactions:PartC
    • /
    • v.16C no.4
    • /
    • pp.449-460
    • /
    • 2009
  • The signature hashing algorithm[9] provides the fast pattern matching speed for network IPS(Intrusion Prevention System) using the hash table. It selects 2 bytes from all signature rules and links to the hash table by the hash value. It has an advantage of performance improvement because it reduces the number of inspecting rules in the pattern matching. However it has a disadvantage of performance drop if the number of rules with the same hash value increases when the number of rules are large and the corelation among rules is strong. In this paper, we propose a method to make all rules distributed evenly to the hash table independent of the number of rules and corelation among rules for overcoming the disadvantage of the signature hashing algorithm. In the proposed method, it checks whether or not there is an already assigned rule linked to the same hash value before a new rule is linked to a hash value in the hash table. If there is no assigned rule, the new rule is linked to the hash value. Otherwise, the proposed method recalculate a hash value to put it in other position. We implemented the proposed method in a PC with a Linux module and performed experiments using Iperf as a network performance measurement tool. The signature hashing method shows performance drop if the number of rules with the same hash value increases when the number of rules are large and the corelation among rules is strong, but the proposed method shows no performance drop independent of the number of rules and corelation among rules.

Efficient Processing of Multidimensional Vessel USN Stream Data using Clustering Hash Table (클러스터링 해쉬 테이블을 이용한 다차원 선박 USN 스트림 데이터의 효율적인 처리)

  • Song, Byoung-Ho;Oh, Il-Whan;Lee, Seong-Ro
    • Journal of the Institute of Electronics Engineers of Korea SP
    • /
    • v.47 no.6
    • /
    • pp.137-145
    • /
    • 2010
  • Digital vessel have to accurate and efficient mange the digital data from various sensors in the digital vessel. But, In sensor network, it is difficult to transmit and analyze the entire stream data depending on limited networks, power and processor. Therefore it is suitable to use alternative stream data processing after classifying the continuous stream data. In this paper, We propose efficient processing method that arrange some sensors (temperature, humidity, lighting, voice) and process query based on sliding window for efficient input stream and pre-clustering using multiple Support Vector Machine(SVM) algorithm and manage hash table to summarized information. Processing performance improve as store and search and memory using hash table and usage reduced so maintain hash table in memory. We obtained to efficient result that accuracy rate and processing performance of proposal method using 35,912 data sets.

Hash Table based Collaborative Filtering Agent for personalized Item Recommendation (개인화 상품 추천을 위한 해쉬테이블 기반 협력 필터링 에이전트)

  • Lee, Eun-Young;Cho, Dong-Sub
    • Proceedings of the KIEE Conference
    • /
    • 2001.07d
    • /
    • pp.2792-2794
    • /
    • 2001
  • 인터넷은 정보의 바다로 표현할 만큼 방대하며, 이러한 넘치는 정보 속에서 사용자에게 필요한 정보들을 추출하여 사용자들의 효율성과 만족도를 높이는 것이 개인화 정책이고, 결과적으로 전자상거래 사이트에서의 판매의 증가를 이루기 위해 필요한 것이다. 따라서 개개인의 특성에 맞춘 개인화 서비스가 현재의 인터넷에서 제공하는 효율성을 뛰어넘을 수 있는 새로운 해결점으로 주목받고 있다. 본 논문에서는 기존의 협력 필터링(Collaborative filtering) 방법을 개선하여 사용자의 선호도(preference)를 결정하고, 이를 토대로 알맞은 아이템 추천 서비스를 사용자에게 제공하는 해쉬테이블 기반 협력 필터링 에이전트(Hash Table based Collaborative Filtering Agent)를 제안하고자 한다. 이를 통하여 기존의 사용자 또는 처음 방문한 사용자에게도 사이트를 방문하는데 만족도와 효율성을 높이도록 하는 것이 목표이다.

  • PDF

A Study on Secure XML Documents in Internet ]Environments (인터넷 환경에서 안전한 XML 문서에 관한 연구)

  • 홍성표;박영옥;조애리;유혁선;이준
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.11a
    • /
    • pp.95-99
    • /
    • 2003
  • XML은 SGML(Standard Generalized Markup Language)의 간략화된 버전으로 SGML의 확장성, 구조, 검증의 특성을 계승하고 있다. 이런 장점으로 XML은 발표된 이래로 인터넷 상의 자료표현의 표준으로 각광받고 있다. 그러나, XML은 문서의 데이터 포맷 표현을 향상시키는데 중점을 두고 만들어졌기 때문에 문서변조 및 데이터 삭제 등의 공격에 취약한 문제점을 가지고 있다. 이러한 문제점에 대한 해결책으로 XML 전자 서명, XML 암호화 기법, XML 접근 제어와 같은 다양한 해결책이 제시되었다. 본 논문에서는 XML 문서에만 전자서명을 첨부하는 것이 아니라, DTD에 전자 서명을 첨부하는 방법을 제안하였다. 먼저 DTD파일을 끝까지 읽으면서 파싱을 하고 여기서 추출되는 엘리먼트나 속성, 엔티티들을 해쉬테이블에 저장한다. 파싱이 종료되면 해쉬 테이블을 읽어 들여서 메시지 다이제스트를 수행한다. 수행 후 이를 개인 키와 합성하여 전자 서명을 생성한다.

  • PDF

HBR-tree : An Efficient Current Location Data Indexing Mechanism for Location Based Services (HBR-tree : 위치 기반 서비스를 위한 효과적인 현재 위치 인덱싱 기법)

  • 윤재관;홍동숙;한기준
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2004.03a
    • /
    • pp.11-16
    • /
    • 2004
  • 최근 PDA와 같은 모바일 장치와 무선 인터넷의 사용이 확대되고, GPS의 개발로 인하여 위치 기반 서비스가 활발히 연구되고 있다. 그러나, 위치 기반 서비스의 중요한 요소인 이동 객체는 이동에 따른 갱신 비용이 높기 때문에 이전의 디스크 기반의 GIS에서 사용되던 인덱스를 이용하는 것은 효과적 이 지 못하다. 본 논문에서는 위치 기반 서비스를 위한 효과적인 현재 위치 데이타 처리를 위해 공간 해쉬 인덱스와 R-tree 인덱스를 결합한 형태인 HB(Hash Based)R-tree 인덱스를 개발하였다. HBR-tree 인덱스는 위치 기반 서비스에서 이동 객체의 위치 데이타가 빈번하게 갱신된다는 특징을 이용하여 갱신 작업은 HBR-tree 인덱스의 공간 해쉬 테이블 내에서 처리하고, 생성된 공간 해쉬 테이블을 이용하여 R-tree 인덱스를 구성함으로써 빠른 검색 질의 처리가 가능하고 갱신 비용을 줄일 수 있다는 장점이 있다.

  • PDF

Ship Stream Data Processing Techniques To Which The SVM (SVM을 적용한 선박 스트림 데이터 처리 기법)

  • Yang, Jin Ho;Poudel, Prasis;Acharya, Shree Krishna;Subedi, Sagun;Jeong, Min-A;Lee, Seong-Ro
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1202-1204
    • /
    • 2015
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 본 논문에서는 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 다중 Support Vector Machine(SVM) 알고리즘을 이용하여 사전 분류(pre-clustering)한 후 요약된 정보를 해쉬 테이블로 관리하는 효율적인 처리 기법을 제안한다. 해쉬 테이블을 이용하여 다차원 스트림 데이터의 저장될 레코드 순서를 빠르게 찾아 저장 및 검색함으로서 처리 속도가 향상되고 메모리에 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 35,912개의 데이터 집함을 사용하여 실험한 결과 제안 기법의 정확도와 처리 성능이 향상되었다.