• 제목/요약/키워드: 직접 해싱

검색결과 9건 처리시간 0.019초

대규모 파일 시스템을 위한 동적 해싱 디렉토리 (Dynamic Hashing Directories for Large File Srstems)

  • 김신우;이용규
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
    • /
    • pp.616-619
    • /
    • 2004
  • 최근 대용량 데이터의 저장과 검색을 요구하는 파일시스템이 필요하게 됨에 따라, 별도의 서버를 두지 않고 분산된 클라이언트가 메타데이터를 직접 관리하면서 모든 저장 장치들에 접근할 수 있는 SAN 기반 리눅스 클러스터 파일시스템의 연구가 활발하게 진행 중에 있다. 이러한 대규모 파일 시스템을 위해서는 동적 해싱을 이용한 디렉토리 관리가 요구되므로, 본 논문에서는 그 중 확장 해싱 디렉토리 구조와 선형 해싱 디렉토리 구조를 설계 및 구현하고, 구현된 시스템을 이용하여 성능평가를 통해 두 디렉토리 구조의 성능을 분석한다. 비교 분석 결과, 파일의 삽입 성능에서는 선형 해싱 기반의 디렉토리가 우수하였으나, 공간 활용면에서는 확장 해싱 기반의 디렉토리가 우수한 성능을 보였다.

  • PDF

DHP 연관 규칙 탐사 알고리즘을 위한 해싱 메커니즘 최적화 (An Optimization of Hashing Mechanism for the DHP Association Rules Mining Algorithm)

  • 이형봉;권기현
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권8호
    • /
    • pp.13-21
    • /
    • 2010
  • DHP 연관 규칙 탐사 알고리즘의 가장 큰 특징은 단계 k-1에서 k 개의 항목으로 구성된 해시 키 조합에 대한 계수를 미리 실시하고, 이를 단계 k에서 후보 빈발 항목 집합을 구성할 때 전지 정보로 활용하여 그 크기를 줄임으로써 성능을 개선한다는 점에 있다. 이 때, 모든 해시 키 조합에 대한 계수를 독립적으로 관리할 수 있다면 가장 이상적이나, 메모리 소요가 너무 많으므로 여러 개의 해시 키 조합들이 계수 공간을 공유하는 직접 해싱 메커니즘을 활용한다. 그러나, 연관 규칙 탐사 알고리즘의 특성상 해시 키 조합의 분포 공간이 불규칙하여 해싱 함수에 일반적인 단순 제산 연산을 사용할 경우 직접 해싱의 효율이 저하된다. 이 논문에서는 단계 3을 위한 길이 3인 해시 키 공간을 연속되는 정수 공간으로 사상하여 직접 해싱의 효율을 극대화시키는 사상 완전 해싱 함수를 제안한다. 42개의 시험 데이터 유형을 대상으로 실험한 결과 제안된 해싱 함수는 기존 방법보다 평균 7.3%, 최대 16.9%의 성능 개선 효과가 있는 것으로 나타났고, 특히 평균 거래 길이, 평균 빈발 항목 집합의 크, 전체 항목의 개수 등이 클수록 성능 개선 정도가 높았다.

가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인 (Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure)

  • 박상근;박순영;김명근;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

DHP 연관 규칙 탐사 알고리즘을 위한 효율적인 해싱 메카니즘 (An Efficient Hashing Mechanism of the DHP Algorithm for Mining Association Rules)

  • 이형봉
    • 정보처리학회논문지D
    • /
    • 제13D권5호
    • /
    • pp.651-660
    • /
    • 2006
  • Apriori 알고리즘에 기반 한 연관 규칙 탐사 알고리즘들은 후보 빈발 항목 집합의 계수 관리를 위한 자료구조로 해시 트리를 사용하고, 많은 시간이 그 해시 트리를 검색하기 위해 소요된다. DHP 연관 규칙 탐사 알고리즘은 해시 트리에 대한 검색 시간을 절약하기 위해 검색 대상인 후보 빈발 항목 집합의 개수를 최대한 줄이고자 노력한다. 이를 위해 사전에 예비 후보 빈발 항목 집합에 대한 간편 계수를 실시한다. 이 때, 예비 계수에 필요한 계산 부담을 줄이기 위해 아주 간단한 직접 해시 테이블 사용을 권고한다. 이 논문에서는 DHP 연관 규칙 탐사 알고리즘의 단계 2에서 사전 전지를 위해 사용되는 직접 해시 테이블 $H_2$와 모든 단계에서 후보 빈발 항목 집합의 계수를 위해 사용되는 해시 트리 $C_k$에 적용될 수 있는 효율적인 해싱 메카니즘을 제안하고 검증한다. 검증 결과 일반적인 단순 제산(mod) 연산 방법을 사용했을 때보다 제안 방법을 적용했을 경우 최대 82.2%, 평균 18.5%의 성능 향상이 얻어지는 것으로 나타났다.

SAN 환경 대용량 파일 시스템을 위한 디렉토리 구조 비교 (Comparison of Directory Structures for SAN Based Very Large File Systems)

  • 김신우;이용규
    • 한국전자거래학회지
    • /
    • 제9권1호
    • /
    • pp.83-104
    • /
    • 2004
  • 최근 전자상거래시스템을 비롯하여 대용량 데이터의 저장과 검색을 요구하는 정보시스템들이 광범위하게 활용되고 있다. 이에 맞추어 클라이언트가 메타데이터를 직접 관리하며 데이터에 접근할 수 있는 SAN 환경의 리눅스클러스터 파일시스템이 연구되고 있으며, 파일의 빠른 검색을 위해 확장 해시 기반의 세미플랫 디렉토리 구조가 제안되었다[1]. 본 연구에서는 리눅스 환경에서 확장 해시 기반의 세미플랫 디렉토리를 설계 및 구현하였으며, 구현된 시스템의 실용성을 평가하기 위하여 B+ 트리 기반의 디렉토리 구조를 함께 구현하여 성능을 비교하였다. 디렉토리의 성능을 비교 분석한 결과, 파일의 삽입, 삭제, 검색 성능에서는 확장 해싱 기반의 디렉토리가 우수하였으나, 전체 파일의 목록을 정렬하는 데는 B+ 트리 기반의 디렉토리가 더 우수한 성능을 보였다.

  • PDF

무선센서노드의 센싱 데이터 필터링을 사용한 메모리 관리 기법에 대한 연구 (A Study on the memory management techniques using Sensing Data Filtering of Wireless sensor nodes)

  • 강연이;김황래
    • 한국산학기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.1633-1639
    • /
    • 2010
  • 최근 무선센서 네트워크가 다양한 용도로 활용되고 있고 이에 대한 연구가 활발히 진행되고 있다. 무선센서 네트워크의 여러 가지 제약 사항 중에서도 에너지 소모를 줄이기 위한 방법들이 활발하게 연구되고 있는데 대표적인 예로 에너지 소모를 줄이고 전송 효율을 높이기 위한 클러스터를 이용한 연구 방법을 볼 수 있다. 클러스터방식의 연구는 센서노드를 클러스터로 구성하여 그 중에서 클러스터 헤드를 뽑아서 주변노드가 가지고 있는 센싱 정보를 모아서 싱크노드에 전송을 한다. 클러스터 헤드로 뽑힌 센서노드의 에너지 소모가 너무 많게 되어 클러스터 헤드로 사용된 센서노드는 수명이 짧아지게 되어 다른 센서노드로 대체를 해야 하다. 본 논문에서는 클러스터-메쉬 방식의 단점을 보완할 수 있으면서, 메모리를 효율적으로 관리할 수 있는 센싱 데이터 필터링하는 방식에 대하여 제안한다. 필터링 방식은 센싱 데이터를 그대로 보관하는 기존방식과 달리 센싱 데이터를 필터링 시스템에 먼저 보내서 해싱 알고리즘에 의해 직접 해싱 테이블에 저장할 주소를 계산을 하고 계산된 주소에 센싱 데이터를 저장하도록 하는 방식으로 중복 발생한 센싱 데이터는 저장되지 않도록 하고 중복되지 않은 데이터만 해싱 테이블에 필터링하여 저장하도록 하는 방식이다.

대용량 파일 시스템을 위한 디렉토리 구조 비교 (Comparison of Directory Structures for Large File Systems)

  • 김신우;이현석;이용규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.455-458
    • /
    • 2003
  • 최근 데이터가 대용량화됨에 따라 이를 저장할 파일시스템이 필요하게 되었다. 이에 별도의 서버를 두 지 않고 분산된 클라이언트가 메타데이터를 직접 관리하면서 모든 저장 장치들에 접근할 수 있는 SAN 기반 리녹스 클러스터 파일시스템의 연구가 활발히 진행 중에 있다. 그러나, 이와 같은 대규모의 파일 시스템에서 일반 UNIX 시스템과 같은 디렉토리 구조를 갖게 되면, 파일 탐색 시 순차검색으로 인하여 많은 시간이 걸리게 된다. 그리므로, 이러한 문제를 해결하고자, 본 논문에서는 SAN 기반 리녹스 클라스터 파일 시스템을 위한 확장 해싱 디렉토리와 B+ 트리 디렉토리 구조를 설계 및 구현하고, 실행 환경에 따라 적합한 구조를 선택할 수 있도록 하기 위하여 성능평가를 통해 두 디렉토리 구조를 비교 분석한다.

  • PDF

완전해싱을 위한 DHP 연관 규칙 탐사 알고리즘의 개선 방안 (Improvement of DHP Association Rules Algorithm for Perfect Hashing)

  • 이형봉
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권2호
    • /
    • pp.91-98
    • /
    • 2004
  • DHP 연관 규칙 탐사 알고리즘은 후보 빈발 항목 집합들에 대한 계수를 유지하기 위한 해쉬트리의 크기를 가능한 한 줄이기 위하여, 독립된 직접 해쉬 테이블을 미리 준비해 놓았다가 후보 빈발 항목 집합을 생성할 때 적용함으로써 전지 효과를 얻는다. 이 때 직접 해쉬 테이블의 크기가 클수록 전지효과는 커지며, 특히 길이 2인 후보 빈발 항목 집합을 생성하는 단계에서의 전지 효과는 알고리즘 전체의 성능을 좌우할 만큼 큰 영향을 발휘한다. 따라서 급속도로 보편화되고 있는 대용량 주기억장치 시스템 추세에 따라 단계 2에서의 직접 해쉬 테이블 크기의 극단적인 증가에 대한 시도가 이루어지고 있으며, 이러한 것 중의 하나가 완전 해쉬 테이블이다. 그러나 단계 2에서의 완전 해쉬 테이블을 사용할 경우, 이를 단순히 기존 DHP 알고리즘에 적용하여 버켓 크기(|H$_2$|)만을 재 설정하는 것 보다, DHP 알고리즘 자체를 조금 변경했을 때 약 20% 이상의 추가 성능 이득을 얻을 수 있음이 밝혀졌다. 이 논문에서는 단계 2에서의 완전 해쉬 테이블의 타당성을 조명해 본 후, 그 특성을 충분히 활용하도록 DHP를 개선한 PHP 알고리즘을 제안하며 그 결과를 실험적 환경에서 검증한다.

가중치 기반 웰빙식품 정보 검색 시스템 (Weight-based Wellbeing Food Retrieval System)

  • 편광범;윤은일;류근호
    • 인터넷정보학회논문지
    • /
    • 제11권3호
    • /
    • pp.75-86
    • /
    • 2010
  • 건강에 대한 관심이 높아지면서 웰빙 관련 정보의 필요성이 중요해졌다. 웰빙 정보검색은 인터넷 검색 엔진이나 블로그, 개인 홈페이지 또는 대중매체를 이융한다. 하지만, 웰빙 식품에 관한 정보는 구하기 어렵다. 그래서 검색엔진은 웰빙식품에 대한 정보검색이 필요하게 되었다. 본 논문은 가중치기반의 웰빙식품 검색엔진을 설계하고 구현한다. 수많은 페이지를 탐색해 웰빙 식품 키워드가 포함되어있으면 이것을 식별하여 가중치를 추가하는 방식이다. 사용자가 키워드를 이용하여 검색하면 웰빙 관련 페이지가 우선적으로 나올 수 있게 구현했다. 웰빙관련 식품의 식별에 사용되는 키워드들은 사전형식으로 되어있다. 그래서 삽입, 삭제, 수정이 가능하다. 역 파일은 직접파일인 해싱 방식으로 저장한다. 본 논문의 엔진을 이용하여 성능평가를 한 결과 웰빙식품 키워드에 대하여 타 검색엔진에 비해 5~15%의 향상된 결과를 보였다. 본 논문에서는 검색엔진의 설계방식과 웰빙식품에 특화된 랭킹선정방식을 제안한다.