• 제목/요약/키워드: Data Locality

검색결과 237건 처리시간 0.03초

데이터의 지역성을 이용한 빈발구간 항목집합 생성방법 (A Method for Generating Large-Interval Itemset using Locality of Data)

  • 박원환;박두순
    • 한국멀티미디어학회논문지
    • /
    • 제4권5호
    • /
    • pp.465-475
    • /
    • 2001
  • 최근에 대용량의 데이터베이스로부터 연관규칙을 발견하고자 하는 연구가 활발하며, 수량항목에도 적용할 수 있도록 이들 방법을 확장하는 연구도 소개되고 있다. 본 논문에서는 수량항목을 이진 항목으로 변환하기 위하여 빈발구간 항목집합을 생성할 때, 수량 항목의 정의 영역 내에서 특정 영역에 집중하여 발생하는 특성인 지역성을 이용하는 방법을 제안한다. 이 방법은 기존의 방법보다 많은 수의 세밀한 빈발구간 항목들을 생성할 수 있을 뿐만 아니라 세밀도를 판단하여 활용할 수 있는 생성순서 정보도 포함하고 있어, 원 데이터가 가지고 있는 특성의 손실을 최소화할 수 있는 특징이 있다. 인구센서스 등 실 데이터를 사용한 성능평가를 통하여 기존의 방법보다 우수함을 보였다.

  • PDF

이차원 블록 구조에 근거한 선인출 기법 (A Multimedia Data Prefetching Based on 2 Dimensional Block Structure)

  • 김석주
    • 한국멀티미디어학회논문지
    • /
    • 제7권8호
    • /
    • pp.1086-1096
    • /
    • 2004
  • 스트리밍 데이터를 다루는 멀티미디어 응용의 경우 캐시 관리 측면에서 데이터의 시간적 지역성이 약하여 캐시의 효율이 감소하게 된다. 이는 캐시에 적재된 데이터가 대부분 다시 사용되지 않고 바뀌게 됨을 의미한다. 반면에 이러한 데이터들은 참조 명령에 따른 규칙적인 접근 패턴을 갖고 있는 경우가 많다. 이 논문에서는 약한 시간적 지역성을 나타내는 멀티미디어 응용 데이터에서도 통상적으로 내재된 메모리 참조의 규칙성을 적극적으로 활용하기 위해 동적 등차 참조 선인출 기법의 기능과 함께 이차원 배열 형식(블록)을 찾을 수 있는 방법을 제안한다. 제안된 방법은 블록 구조를 인식하고 이에 따라 선인출 주소를 계산 하므로 블록 참조 예측 기법 (BRPT: block-reference-prediction-technique)이라고 명한다. BRPT는 새로운 규칙으로 인해 선인출 기구가 더 복잡하지만 블록 패턴이 많은 응용의 경우 메모리 참조 시간을 크게 줄이는 것을 확인하였다.

  • PDF

Minimum Bandwidth Regenerating Codes Based on Cyclic VFR Codes

  • Wang, Jing;Wang, Shuxia;Wang, Tiantian;Zhang, Xuefei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권7호
    • /
    • pp.3583-3598
    • /
    • 2019
  • In order to improve the reliability and repair efficiency of distributed storage systems, minimum bandwidth regenerating (MBR) codes based on cyclic variable fractional repetition (VFR) codes are constructed in this thesis, which can repair failed nodes accurately. Specifically, in order to consider the imbalance of data accessed by the users, cyclic VFR codes are constructed according to that data with different heat degrees are copied in different repetition degrees. Moreover, we divide the storage nodes into groups, and construct MBR codes based on cyclic VFR codes to improve the file download speed. Performance analysis and simulation results show that, the repair locality of a single node failure is always 2 when MBR codes based on cyclic VFR codes are adopted in distributed storage systems, which is obviously superior to the traditional MBR codes. Compared with RS codes and simple regenerating codes, the proposed MBR codes based on cyclic VFR codes have lower repair locality, repair complexity and bandwidth overhead, as well as higher repair efficiency. Moreover, relative to FR codes, the MBR codes based on cyclic VFR codes can be applicable to more storage systems.

동적으로 할당된 구조체를 위한 압축된 필드 재배치 (Compact Field Remapping for Dynamically Allocated Structures)

  • 김정은;한환수
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권10호
    • /
    • pp.1003-1012
    • /
    • 2005
  • 내장형 시스템과 범용 시스템의 가장 큰 차이는 유한한 전력인 배터리를 사용한다는 것과 대용량의 디스크를 사용하지 않고 메모리에 의존한다는 것이다. 특히 멀티미디어 데이타를 처리하는 응용프로그램이 늘어감에 따라 메모리 사용량이 기하급수적으로 증가하고 있어서 메모리가 성능과 에너지 소비의 병목지점으로 작용하게 되었다. 따라서 데이타 접근 비용을 줄이고자 하는 시도가 많이 이루어지고 있다. 대부분의 프로그램은 지역성을 갖는다. 지역성은 한번 참조된 데이타가 조만간 다시 참조된다는 시간적 지역성(temporal locality)과 근접한 곳에 할당된 데이타끼리 함께 참조된다는 공간적 지역성(spatial locality)으로 나눌 수 있다. 최근의 많은 임베디드시스템은 이 두 가지 지역성을 이용한 캐시 메모리를 사용함으로써 메모리 접근 시간을 대폭 줄이고 있다. 우리는 이 논문에서 낭비되는 메모리 공간을 줄이고, 캐시 실패율(cache miss rate)과 프로그램 수행시간을 줄일 수 있도록 구조체 형식의 데이타를 항목(field)별로 재배치시키는 알고리즘을 제안하고자 한다. 이 알고리즘은 동적으로 할당되는 구조체의 각 필드를 압축된 형태로 모아서 재배치함으로써, 실험에서 사용한 Olden 벤치마크의 Ll캐시 실패는 평균 $13.9\%$를, L2 캐시 실패는 평균 $15.9\%$를 이전 연구들보다 줄일 수 있었다. 수행시간 또한 이전의 방법보다 평균 $10.9\%$ 줄인 결과를 얻을 수 있었다.

데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법 (A Distributed SPARQL Query Processing Scheme Considering Data Locality and Query Execution Path)

  • 김병훈;김대윤;고건식;노연우;임종태;복경수;이병엽;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.275-283
    • /
    • 2017
  • 시맨틱 웹 서비스의 증가로 인해 RDF 데이터가 대용량화되고 있다. 대용량 RDF 데이터를 효율적으로 활용하기 위하여 다양한 분산 저장 및 질의 처리기법들이 연구되고 있다. 본 논문에서는 대용량 RDF 데이터의 데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법을 제안한다. 제안하는 기법은 질의 처리 시의 조인 비용 및 통신비용을 감소시키기 위해 분산 저장된 RDF 데이터의 지역성 및 질의 수행 경로를 고려한다. 분산 환경에서 SPARQL 질의를 처리할 때 데이터 지역성을 고려하여 WHERE절을 기준으로 해당 질의를 여러 개의 서브 질의로 분할한다. 제안하는 기법은 분할된 서브 질의들을 인덱스를 통해 연관 노드들끼리 그룹화 하여 처리함으로써 데이터 통신비용을 감소시킬 수 있다. 또한 그룹 화된 서브 질의 처리 시 불필요한 조인 및 대기 시간을 감소시키기 위해 데이터 파싱 비용, 노드별 데이터 통신량 및 대기 시간 등을 고려한 효율적인 질의 수행 경로를 생성한다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법보다 우수함을 보인다.

히스토그램 시퀀스 구성을 위한 공간 지역성 보존 척도 (Spatial Locality Preservation Metric for Constructing Histogram Sequences)

  • 이정곤;김범수;문양세;최미정
    • 정보화연구
    • /
    • 제10권1호
    • /
    • pp.79-91
    • /
    • 2013
  • 본 논문은 히스토그램 시퀀스(histogram sequence)에 저차원 변환을 적용할 때, 어떤 공간 채움 곡선(space filling curve: SFC)의 성능이 가장 좋은지를 판단하는 체계적인 평가방법을 제안한다. 히스토그램 시퀀스는 이미지를 주어진 SFC에 따라 시계열 형태로 표현한 것을 말한다. 히스토그램 시퀀스는 매우 고차원이므로 저장 및 검색이 매우 어렵다. 효율적인 저장 및 검색을 위해서 시계열 저차원 변환의 하한을 사용할 수 있는데, 이 하한의 성능은 SFC의 종류에 따라 큰 영향을 받게 된다. 본 논문에서는 히스토그램 시퀀스를 저차원 변환할 때 어떤 SFC의 성능이 좋은지를 평가하기 위해, "히스토그램 시퀀스에서 엔트리들이 인접하면 이미지에서도 해당 셀들이 인접해야 한다"는 공간지역성(spatial locality)의 개념을 제안한다. 다음으로, 공간 지역성을 정량적으로 평가할 수 있는 공간 지역성 보존 척도(spatial locality preservation metric)를 제안하고, 이를 계산하기 위한 정형적인 방법을 제시한다. 본 논문에서는 공간 지역성 보존 척도 측면에서 총 다섯 가지의 SFC를 평가하고, 이 평가 결과가 실제 이미지 매칭의 저차원 변환 성능 평가와 유사함을 확인한다. 또한, 저차원 변환 기반의 k-NN(k-nearest neighbors) 검색을 실험하여, 공간 지역성 보존 척도가 가장 낮은 힐버트-오더가 k-NN 검색에서도 가장 좋은 성능을 보임을 통해, 제안한 공간 지역성 보존 척도의 유용성을 입증한다.

내장형 시스템을 위한 선택적 뱅크 알고리즘을 이용한 데이터 캐쉬 시스템 (Data Cache System based on the Selective Bank Algorithm for Embedded System)

  • 정보성;이정훈
    • 정보처리학회논문지A
    • /
    • 제16A권2호
    • /
    • pp.69-78
    • /
    • 2009
  • 캐쉬의 성능을 향상시키는 가장 효과적인 방법은 프로그램 수행 특성에 내재되어 있는 시간적 (temporal locality) 지역성과 공간적 지역성(spatial locality)을 활용하는 것이다. 본 논문은 프로그램 수행 특성에 적합한 시간적/공간적 지역성을 이용하기 위한 뱅크 선택 메커니즘을 가진 고성능 저전력 캐쉬 구조를 제안하였다. 제안하는 캐쉬 시스템은 다른 블록 크기와 다른 연관도를 가지는 두개의 캐쉬로 구성되어 진다. 즉 작은 블록 크기를 지원하는 직접사상 구조의 주 캐쉬(main direct-mapped cache)와 큰 블록을 지원하는 완전연관 버퍼 (fully associative buffer)로 구성되어 진다. 특히 주 캐쉬는 저전력을 위해 2-뱅크로 구성되며, 완전연관 버퍼에서 선택되어진 작은 블록은 제안된 뱅크 선택 알고리즘에 의해 주 캐쉬의 뱅크에 저장된다. 제안된 뱅크 선택 알고리즘과 3비트 상태 비트를 이용하여 시간적 지역성이 높은 데이터들을 주 캐쉬에 선택적으로 저장함으로써 고성능의 효과를 얻을 수 있었다. 제안된 알고리즘은 또한 충돌 미스 (conflict miss)와 캐쉬 오염 (cache pollution)을 효과적으로 줄여준다. 시뮬레이션 결과에 따르면, 평균 접근 실패율의 경우 Mibench 응용군에 대해 Victim 캐쉬에 비해 23%, STAS 캐쉬에 비해 32%의 감소효과를 보여준다. 평균 메모리 접근 시간의 경우 Victim 캐쉬에 비해 14%, STAS 캐쉬에 비해 18%의 감소효과를 얻을 수 있었다. 에너지 소비의 관점에서도 제안된 캐쉬 시스템은 Victim 캐쉬와 STAS 캐쉬에 비해 약 10% 감소 효과를 얻을 수 있었다.

완전다분할그래프 기반 이진 부분접속복구 부호 (Binary Locally Repairable Codes from Complete Multipartite Graphs)

  • 김정현;남미영;송홍엽
    • 한국통신학회논문지
    • /
    • 제40권9호
    • /
    • pp.1734-1740
    • /
    • 2015
  • 본 논문은 분산 저장 시스템에서 기존의 부분접속수를 일반화한 개념인 결합 부분접속수를 소개하고, 결합 부분접속수($r_1$=2, $r_2$=3 or 4)를 만족하는 부호 설계 방식을 제안한다. 결합 부분접속수란 다양한 수의 노드 손실을 복구하기 위해 필요한 노드 수 집합을 의미한다. 제안된 방식은 완전다분할그래프를 사용하여 부호 설계를 단순화한다. 또한 제안된 방식으로 임의의 양의 정수 t에 대해 (2,t)-가용도를 갖는 이진 부분접속복구 부호를 설계할 수 있다. 즉, 1개 노드 손실 시 t개의 서로소인 복구 집합으로부터 각각 복구가 가능하며, 이때 각 복구 집합의 크기는 최대 2이다. 이러한 성질은 핫 데이터의 병렬처리를 가능하게 하므로 분산 저장 시스템에서 중요한 의미를 갖는다.

플래시 변환 계층에서 시간적 지역성을 이용하여 쓰기 요청을 처리하는 효율적인 페이지 레벨 매핑 알고리듬 (An Efficient Page-Level Mapping Algorithm for Handling Write Requests in the Flash Translation Layer by Exploiting Temporal Locality)

  • 이해룡;황선영
    • 한국통신학회논문지
    • /
    • 제41권10호
    • /
    • pp.1167-1175
    • /
    • 2016
  • 본 논문에서는 플래시 메모리의 FTL에서 페이지 매핑 기법을 기반으로 소거횟수를 줄이는 알고리듬을 제안한다. 제안된 알고리듬은 버퍼에서 매 쓰기요청들의 가중치들을 유지하고 이용하여 현재 쓰여질 요청의 시간적 지역성의 정도를 판단한다. 시간적 지역성을 효율적으로 이용하여 핫 요청을 판단하기 위해 현재 쓰여질 요청은 실험적으로 정한 기준점보다 높은 시간적 지역성을 가져야 한다. 반면 LRU 알고리듬을 이용한 FTL에서는 새로 쓰여질 요청을 항상 시간적 지역성이 높은 요청으로 판단하여 데이터를 순차적으로 저장하지만 제안된 알고리듬을 사용하여 판단된 핫 요청들의 데이터는 핫 블록에 집중적으로 저장한다. 핫 블록에 저장된 데이터들은 웜 블록의 데이터들보다 자주 업데이트되어 Garbage Collection 수행 시 핫 블록들 중 무효한 페이지가 많은 블록이 주로 희생블록으로 선택되므로 소거연산의 시작을 지연시켜 전체 소거횟수를 줄인다. 임의적인 요청을 위주로 하는 실제 I/O시스템에서 추출한 트레이스 파일들을 적용하여 검증한 결과, 기존의 LRU 알고리듬을 사용하는 경우에 비해 소거횟수는 9.3% 줄어들었다.

데이타 배치 방식에 따른 캐쉬 일관성 유지 기법의 성능 평가 (Performance Evaluation of Cache Coherence Scheme for Data Allocation Methods)

  • 이동광;권혁성;안병철
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권6호
    • /
    • pp.592-598
    • /
    • 2000
  • 분산 공유 메모리(Distributed Shared Memory) 시스템에서 데이타 참조의 지역성은 시스템 성능에 중요한 영향을 미친다. 데이타 참조의 지역성을 고려하여 적절하게 데이타를 배치할 경우 전체적인 시스템 성능 향상을 가질 수 있다. 본 논문에서는 데이타 배치 방식을 효과적으로 적용할 수 있는 동적제한 디렉터리 기법에서 성능을 평가한다. 데이타 배치 방식 정보는 동적 제한 디렉터리 기법에서 존재 비트를 효과적으로 이용할 수 있다. 그리고 적절한 존재 비트의 사용은 메모리 오버헤드를 줄이고 디렉터리 풀을 효율적으로 사용하므로 성능을 향상시킬 수 있다. 성능 평가를 위해 서로 다른 공유 특성을 가진 3개의 응용 프로그램으로 모의 실험하였다. 모의 실험 결과 최적 배치 방식은 3.6 배의 성능을 향상시킬 수 있다.

  • PDF