• 제목/요약/키워드: Hash Table

검색결과 137건 처리시간 0.026초

블룸 필터를 사용한 길이에 대한 2차원 이진검색 패킷 분류 알고리즘 (Two-Dimensional Binary Search on Length Using Bloom Filter for Packet Classification)

  • 최영주;임혜숙
    • 한국통신학회논문지
    • /
    • 제37권4B호
    • /
    • pp.245-257
    • /
    • 2012
  • 패킷 분류는 인터넷 라우터가 수행하는 가장 중요한 기능 중 하나로써 들어오는 모든 패킷을 선 속도로 처리하기를 요구한다. 영역분할을 사용한 사분트라이 구조에 길이 별 이진 검색을 적용한 알고리즘은 2차원 필드를 동시에 검색하면서 검색영역을 반으로 줄여나갈 수 있으므로 매우 효율적인 구조이다. 하지만 트라이의 레벨에 노드가 없는 경우에도 해시 테이블에 접근하는 문제점이 존재한다. 따라서 본 논문에서는 해시 메모리로의 불필요한 접근을 줄이기 위해서 영역분할을 사용한 사분 트라이의 길이별 이진 검색에 블룸 필터를 적용하는 패킷분류 구조를 제안한다. 현재 사용되는 ACL, FW, IPC 룰 타입의 1000, 5000, 10000개의 룰 셋으로 실험한 결과, 블룸 필터를 적용함으로써 검색 성능이 21~33%까지 향상되는 결과를 얻었다.

계층적 P2P에서의 근거리 기반 효율적 자원관리 기법 (A Locality based Resource Management Scheme for Hierarchical P2P Overlay Network in Ubiquitous Computing)

  • 홍충표;김정길;김신덕
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권1호
    • /
    • pp.89-95
    • /
    • 2013
  • 유비쿼터스 분야에서는 다양한 형태의 P2P 시스템을 분산환경을 위하여 연구하고 있다. 분산해쉬테이블(DHT)기반의 P2P 시스템은 부하조절을 통한 효율적 기법으로 제시되고 있는 반면 이동성과 근거리 기반의 자원 활용을 보장하지는 못하는 문제점을 가지고 있다. 본 연구에서는 이를 극복하기 위하여 이동상황에서의 근거리 기반 P2P 시스템 (MLH-Net)을 제안한다. 이는 이동성에 기반하여 두 개의 계층으로 이루어져 있다. 상위 계층의 경우 super node를 통한 전체적인 관리를 담당하며, 하위 계층의 경우 일반 노드의 망으로 구성되어 있다. 제시하는 방법을 종래의 JXTA 및 Chord 와 비교 실험 한 결과 node의 발견 시 메시지 이동 hop은 JXTA 대비 13% 및 Chord 대비 69% 감소되었으며, 네트워크 거리의 경우도 각각 17% 및 83% 감소되는 효과를 확인 하였다.

DHT 기반의 P2P 네트워크에서 사용자 행동양식 및 파일 오염에 관한 측정 연구 (A Measurement Study of User Behavior and File Pollution in DHT-based P2P Networks)

  • 신규용;유진철;이종덕
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권3호
    • /
    • pp.131-140
    • /
    • 2011
  • 부패한 파일을 공유하거나, 인덱스 정보에 잘못된 인덱스 레코드를 삽입하는 등의 파일 오염문제는 대다수의 파일 공유 P2P 시스템들의 실질적인 문제가 되어 왔다. 이러한 파일 오염은 사용자들로 하여금 다운받아도 전혀 득이 되지 않는 오염된 파일들을 다운받도록 하거나, 존재하지 않는 파일들에 대한 비생산적인 다운로드 시도를 유도한다. 파일 오염은 네트워크 자원을 낭비할 뿐만 아니라, 사용자들의 활발한 참여를 제한하기 때문에 적절하게 대처하지 못한다면 향후 파일 공유 P2P 시스템 (혹은 비슷한 분산 환경 정보 공유 어플리케이션)의 성공을 기약하기 힘들다. 따라서 효과적인 오염방지 메커니즘의 개발이 시급하다. 본 논문은 대표적인 DHT (distributed hash table) 기반 P2P 시스템인 Kad 네트워크에서 사용자 행동양식 및 파일 오염에 대한 측정 연구를 통해 향후 효과적인 파일 오염방지 메커니즘을 개발하고자 하는 연구자들에게 실질적으로 활용 가능한 정보를 제공한다.

효율적인 탐색을 위한 위상 인지 Chord 시스템 (Topology-aware Chord system for efficient lookup)

  • 김진홍;조인준;김승해
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 추계종합학술대회
    • /
    • pp.89-92
    • /
    • 2005
  • 현재까지 중앙집중형 시스템인 Napster와 비구조적 시스템인 Gnutella가 P2P 애플리케이션의 주종을 이룬다. 중앙집중형 시스템과 비구조적 시스템은 네트워크의 규모가 커질 경우 시스템이 정상적인 동작을 하지 못하는 문제점을 안고 있다. 이러한 확장성 문제를 해결하기 위해 구조적 P2P 시스템이 활발히 연구되고 있다. 그 대표적인 시스템으로 Chord, CAN, Pastry, Tapestry가 있다. 그러나 구조적 P2P 시스템은 분산 해쉬 테이블을 사용함으로써 물리적인 근접 노드를 인식하지 못하는 문제점을 가진다. 노드를 IP가 아닌 해쉬값으로 식별하기 때문에 해당 노드의 물리적 위치를 알지 못하기 때문이다. 제안하는 시스템은 Chord에서 근거리 네트워크의 개념을 이용하여 근접 노드를 간의 통신을 가능하게 한다. 이로 인해 기존의 Chord 시스템보다 효율적인 탐색을 할 수 있도록 한다. 또한 Chord 네트워크에서의 통신을 서브 네트워크로 분산시킴으로써 인터넷 트래픽을 줄이는 효과를 볼 수 있다.

  • PDF

A Data Mining Approach for Selecting Bitmap Join Indices

  • Bellatreche, Ladjel;Missaoui, Rokia;Necir, Hamid;Drias, Habiba
    • Journal of Computing Science and Engineering
    • /
    • 제1권2호
    • /
    • pp.177-194
    • /
    • 2007
  • Index selection is one of the most important decisions to take in the physical design of relational data warehouses. Indices reduce significantly the cost of processing complex OLAP queries, but require storage cost and induce maintenance overhead. Two main types of indices are available: mono-attribute indices (e.g., B-tree, bitmap, hash, etc.) and multi-attribute indices (join indices, bitmap join indices). To optimize star join queries characterized by joins between a large fact table and multiple dimension tables and selections on dimension tables, bitmap join indices are well adapted. They require less storage cost due to their binary representation. However, selecting these indices is a difficult task due to the exponential number of candidate attributes to be indexed. Most of approaches for index selection follow two main steps: (1) pruning the search space (i.e., reducing the number of candidate attributes) and (2) selecting indices using the pruned search space. In this paper, we first propose a data mining driven approach to prune the search space of bitmap join index selection problem. As opposed to an existing our technique that only uses frequency of attributes in queries as a pruning metric, our technique uses not only frequencies, but also other parameters such as the size of dimension tables involved in the indexing process, size of each dimension tuple, and page size on disk. We then define a greedy algorithm to select bitmap join indices that minimize processing cost and verify storage constraint. Finally, in order to evaluate the efficiency of our approach, we compare it with some existing techniques.

플래시 메모리를 위한 효율적인 선반입과 비동기 쓰기 기법 (Efficient Prefetching and Asynchronous Writing for Flash Memory)

  • 박광희;김덕환
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권2호
    • /
    • pp.77-88
    • /
    • 2009
  • 휴대용 저장장치로 각광 받고 있는 NAND 플래시 메모리의 용량이 커지면서 기존의 파일시스템과 플래시 메모리 컨트롤러 간의 중간 매개체 역할을 해주는 FTL(Flash Translation Layer)의 주소 변환 및 수명 관리 기법이 점차 중요해지고 있다. 본 논문에서는 연속적인 논리 주소 요청이 물리 주소가 인접한 경우의 값을 기록하는 연속성 카운터를 제안하여 주소 변환 횟수를 감소 시켰으며 이와 함께 자주 쓰이는 주소의 페이지들을 미리 주 메모리에 선반입하여 플래시 메모리의 입출력 성능을 향상시켰다. 또한 쓰기 빈도가 높은 주소를 예측하고 잦은 쓰기를 방지하기 위해 2비트 쓰기 예측과 비동기 쓰기 기법을 제시하여 쓰기 성능과 플래시 메모리의 수명을 향상 시켰다. 실험 결과 본 논문에서 제안하는 CFTL(Clustered Flash Translation Layer)이 기존 FTL들보다 주소 변환 성능이 최대 20%, 쓰기 시간을 최대 50% 이상 감소시켰다.

블룸 필터와 최적화를 이용한 SSD-Insider 알고리즘의 탐지 성능 향상 (AdvanSSD-Insider: Performance Improvement of SSD-Insider using BloomFilter with Optimization)

  • 김정현;정창훈;양대헌;이경희
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제15권5호
    • /
    • pp.7-19
    • /
    • 2019
  • 랜섬웨어(ransomware)는 사용자 데스크톱의 파일들을 암호화한 뒤, 복호화 비용을 요구하는 악성 프로그램이다. 랜섬웨어 공격의 빈도와 피해금액은 매년 증가하고 있기 때문에 랜섬웨어 예방과 탐지 및 복구 시스템이 필요하다. 본 논문에서는 Baek 등이 제안한 랜섬웨어 탐지 알고리즘인 SSD-Insider가 덮어쓰기 검사를 위해 사용하는 해시테이블을 블룸 필터로 교체한 AdvanSSD-Insider 알고리즘을 제안한다. 실험 결과 AdvanSSD-Insider 알고리즘은 SSD-Insider 알고리즘에 비해 메모리 사용량이 최대 90%, 수행시간이 최대 77% 감소하였고 동일한 탐지 정확도를 얻었다. 또한 SSD-Insider 알고리즘과 동일한 조건의 메모리 사용량으로 AdvanSSD-Insider 알고리즘은 10배 더 긴 시간을 관찰할 수 있으며, 이를 통해 기존에 탐지하기 어려웠던 랜섬웨어에 대해 탐지 정확도가 증가하는 결과를 얻었다.

AR/VR 마이크로 디스플레이 환경을 고려한 JPEG-LS 플랫폼 개발 (A Development of JPEG-LS Platform for Mirco Display Environment in AR/VR Device.)

  • 박현문;장영종;김병수;황태호
    • 한국전자통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.417-424
    • /
    • 2019
  • AR/VR 디바이스에서 무손실 이미지 압축을 위한 JPEG-LS(: LosSless) 코덱에서 SBT 기반 프레임 압축기술로 메모리와 지연을 줄이는 설계를 제안하였다. 제안된 JPEG 무손실 코덱은 주로 콘텍스트 모형화 및 업데이트, 픽셀과 오류 예측 그리고 메모리 블록으로 구성된다. 모든 블록은 실시간 영상처리를 위해 파이프라인 구조를 가지며, LOCO-I 압축 알고리즘에 SBT 코딩기반의 개선된 2차원 접근방식을 사용한다. 제시한 STB-FLC기법을 통해 Block-RAM 사이즈를 기존 유사연구보다 1/3로 줄이고 예측(prediction) 블록의 병렬 설계는 처리속도에 향상을 가져올 수 있었다.

비균등 메모리 접근 구조에서의 효율적인 그룹화 집단 연산의 처리 (Efficient Processing of Grouped Aggregation on Non-Uniformed Memory Access Architecture)

  • 최성준;민준기
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.14-27
    • /
    • 2018
  • 최근, 대칭형 다중 처리 (SMP: Symmetric Multiprocessing) 구조에서 발생하는 메모리 병목 현상을 보완하기 위하여 비균등 메모리 접근 구조 (NUMA: Non-Uniform Memory Access) 구조가 제시되었다. 또한, 집단 연산자는 데이터의 특성 및 요약 정보를 제공하는 주요 연산자로써, 집단 연산자의 효율성은 전체 시스템의 성능에 매우 큰 영향을 미친다. 따라서, 본 논문에서는 NUMA 구조에서 효율적으로 집단 연산을 처리할 수 있는 기법을 제안한다. 제안 기법은 분할 단계와 합병 단계로 구성되며, 분할 단계에서 그룹 속성에 따라서 대상 릴레이션을 부분 릴레이션들로 분할한다. 따라서, 각 쓰레드가 독립적으로 부분 릴레이션에 대하여 집단 연산을 수행할 수 있으므로 합병 단계에서 원격 메모리 접속이 발생하지 않도록 하였다. 또한, 합병 단계에서는 각 쓰레드가 지역 해시 테이블을 이용하여 집단 연산을 수행하도록 하고 쓰레드들이 생성한 집단 연산 결과들을 하나로 병합하는데 잠금 경쟁이 발생하지 않도록 하여 처리 성능을 향상하였다.

기계학습 분산 환경을 위한 부하 분산 기법 (Load Balancing Scheme for Machine Learning Distributed Environment)

  • 김영관;이주석;김아정;홍지만
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.25-31
    • /
    • 2021
  • 기계학습이 보편화되면서 기계학습을 활용한 응용 개발 또한 활발하게 이루어지고 있다. 또한 이러한 응용 개발을 지원하기 위한 기계학습 플랫폼 연구도 활발하게 진행되고 있다. 그러나 기계학습 플랫폼 연구가 활발하게 진행되고 있음에도 불구하고 기계학습 플랫폼에 적절한 부하 분산에 관한 연구는 아직 부족하다. 따라서 본 논문에서는 기계학습 분산 환경을 위한 부하 분산 기법을 제안한다. 제안하는 기법은 분산 서버를 레벨 해시 테이블 구조로 구성하고 각 서버의 성능을 고려하여 기계학습 작업을 서버에 할당한다. 이후 분산 서버를 구현하여 실험하고 기존 해싱 기법과 성능을 비교하였다. 제안하는 기법을 기존 해싱 기법과 비교하였을 때 평균 약 26%의 속도 향상을 보였고, 서버에 할당되지 못하고 대기하는 작업의 수가 약 38% 이상 감소함을 보였다.