• 제목/요약/키워드: Data Locality

검색결과 237건 처리시간 0.034초

Locality-Conscious Nested-Loops Parallelization

  • Parsa, Saeed;Hamzei, Mohammad
    • ETRI Journal
    • /
    • 제36권1호
    • /
    • pp.124-133
    • /
    • 2014
  • To speed up data-intensive programs, two complementary techniques, namely nested loops parallelization and data locality optimization, should be considered. Effective parallelization techniques distribute the computation and necessary data across different processors, whereas data locality places data on the same processor. Therefore, locality and parallelization may demand different loop transformations. As such, an integrated approach that combines these two can generate much better results than each individual approach. This paper proposes a unified approach that integrates these two techniques to obtain an appropriate loop transformation. Applying this transformation results in coarse grain parallelism through exploiting the largest possible groups of outer permutable loops in addition to data locality through dependence satisfaction at inner loops. These groups can be further tiled to improve data locality through exploiting data reuse in multiple dimensions.

Reversible data hiding algorithm using spatial locality and the surface characteristics of image

  • Jung, Soo-Mok;On, Byung-Won
    • 한국컴퓨터정보학회논문지
    • /
    • 제21권8호
    • /
    • pp.1-12
    • /
    • 2016
  • In this paper, we propose a very efficient reversible data hiding algorithm using spatial locality and the surface characteristics of image. Spacial locality and a variety of surface characteristics are present in natural images. So, it is possible to precisely predict the pixel value using the locality and surface characteristics of image. Therefore, the frequency is increased significantly at the peak point of the difference histogram using the precisely predicted pixel values. Thus, it is possible to increase the amount of data to be embedded in image using the spatial locality and surface characteristics of image. By using the proposed reversible data hiding algorithm, visually high quality stego-image can be generated, the embedded data and the original cover image can be extracted without distortion from the stego-image, and the embedding data are much greater than that of the previous algorithm. The experimental results show the superiority of the proposed algorithm.

Locality-Sensitive Hashing Techniques for Nearest Neighbor Search

  • Lee, Keon Myung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제12권4호
    • /
    • pp.300-307
    • /
    • 2012
  • When the volume of data grows big, some simple tasks could become a significant concern. Nearest neighbor search is such a task which finds from a data set the k nearest data points to queries. Locality-sensitive hashing techniques have been developed for approximate but fast nearest neighbor search. This paper introduces the notion of locality-sensitive hashing and surveys the locality-sensitive hashing techniques. It categories them based on several criteria, presents their characteristics, and compares their performance.

영상의 지역성과 인접 픽셀 차분 시퀀스를 이용하는 가역 데이터 임베딩 기법 (Reversible Data Embedding Algorithm Using the Locality of Image and the Adjacent Pixel Difference Sequence)

  • 정수목
    • 한국정보전자통신기술학회논문지
    • /
    • 제9권6호
    • /
    • pp.573-577
    • /
    • 2016
  • 본 논문에서는 영상의 지역성과 인접 픽셀 차분시퀀스를 이용하는 가역 데이터 임베딩 기법을 제안하였다. 자연영상에는 일반적으로 지역성이 존재한다. 영상의 지역성을 이용하여 인접한 픽셀 값을 예측하는 기법을 기존의 기법인 APD(Adjacent Pixel Difference) 기법에 적용하여 임베딩 가능한 데이터 량을 증가 시키고 다양한 레벨로 데이터 임베딩을 가능하게 하는 가역 데이터 임베딩 기법을 제안하였다. 실험결과를 통하여 제안된 기법의 우수성을 확인하였다.

Enhanced Locality Sensitive Clustering in High Dimensional Space

  • Chen, Gang;Gao, Hao-Lin;Li, Bi-Cheng;Hu, Guo-En
    • Transactions on Electrical and Electronic Materials
    • /
    • 제15권3호
    • /
    • pp.125-129
    • /
    • 2014
  • A dataset can be clustered by merging the bucket indices that come from the random projection of locality sensitive hashing functions. It should be noted that for this to work the merging interval must be calculated first. To improve the feasibility of large scale data clustering in high dimensional space we propose an enhanced Locality Sensitive Hashing Clustering Method. Firstly, multiple hashing functions are generated. Secondly, data points are projected to bucket indices. Thirdly, bucket indices are clustered to get class labels. Experimental results showed that on synthetic datasets this method achieves high accuracy at much improved cluster speeds. These attributes make it well suited to clustering data in high dimensional space.

Correlated Locality Data Distribution Policy for Improving Performance in SSD

  • Park, Jung Kyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제21권2호
    • /
    • pp.1-7
    • /
    • 2016
  • In this paper, we propose in this paper present a novel locality data allocation policy as COLD(Correlated Locality Data) allocation policy. COLD is defined as a set of data that will be updated together later. By distributing a COLD into a NAND block separately, it can preserve th locality. In addition, by handling multiple COLD simultaneously, it can obtain the parallelism among NAND chips. We perform two experiment to demonstrate the effectiveness of the COLD data allocation policy. First, we implement COLD detector, and then, analyze a well-known workload. And we confirm the amount of COLD found depending on the size of data constituting the COLD. Secondly, we compared the traditional page-level mapping policy and COLD for garbage collection overhead in actual development board Cosmos OpenSSD. Experimental results have shown that COLD data allocation policy is significantly reduces the garbage collection overhead. Also, we confirmed that garbage collection overhead vary depending on the COLD size.

Locality-Sensitive Hashing for Data with Categorical and Numerical Attributes Using Dual Hashing

  • Lee, Keon Myung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제14권2호
    • /
    • pp.98-104
    • /
    • 2014
  • Locality-sensitive hashing techniques have been developed to efficiently handle nearest neighbor searches and similar pair identification problems for large volumes of high-dimensional data. This study proposes a locality-sensitive hashing method that can be applied to nearest neighbor search problems for data sets containing both numerical and categorical attributes. The proposed method makes use of dual hashing functions, where one function is dedicated to numerical attributes and the other to categorical attributes. The method consists of creating indexing structures for each of the dual hashing functions, gathering and combining the candidates sets, and thoroughly examining them to determine the nearest ones. The proposed method is examined for a few synthetic data sets, and results show that it improves performance in cases of large amounts of data with both numerical and categorical attributes.

SLAM : 공간 데이타의 공간적 근접성을 이용한 효율적인 버퍼관리기법 (SLAM : An Efficient Buffer Management Strategy using Spatial Locality of Spatial Data)

  • 안재용;민준기;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권5호
    • /
    • pp.393-403
    • /
    • 2002
  • 데이타베이스 관리시스템에서 중요한 문제중의 하나는 효율적인 버퍼관리이다. 데이터베이스 관리시스템에서 객체를 디스크에서 읽어오는 작업은 많은 비용을 필요로 하기 때문에 시스템의 성능을 향상시키기 위해서는 디스크 I/O의 횟수를 최소화하는 것이 매우 중요하다. 지금까지 디스크 I/O 횟수를 줄이기 위한 많은 버퍼관리기법들이 제안되었지만, 그 기법들은 시간적 근접성만을 고려하기 때문에 공간적 근접성도 존재하는 공간데이타베이스 환경에서는 좋은 성능을 보여주지 못했다. 본 논문에서는 공간데이타베이스의 시간적 근접성과 공간적 근접성을 동시에 고려하는 새로운 버퍼관리기법인 Spatial Locality Area Measure(SLAM) 기법을 제안한다. 제안한 버퍼관리기법은 SLM-tree와 M-LRU, 두 개의 구조체로 구성되었으며 공간데이타베이스 환경에서의 다양한 버퍼크기와 참조빈도에 대한 실험에서 뛰어난 성능을 보여준다.

공간 시간 근접성을 이용한 효율적인 버퍼 관리 기법 (An Efficient Buffer Management Technique Using Spatial and Temporal Locality)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제16D권2호
    • /
    • pp.153-160
    • /
    • 2009
  • 효율적인 버퍼 관리는 시스템의 성능과 밀접한 관련이 있다. 따라서 다양한 버퍼 관리 기법들에 대한 많은 연구가 진행되어 왔다. 그러나 많은 제안된 기법들의 대부분은 시간 근접성만을 고려하고 있다. 공간 데이터베이스와 같은 환경에서는 시간 근접성뿐 만 아니라, 유사한위치에 있는 공간 객체들은 서로 같이 접근 될 가능성이 높다는 공간 근접성도 존재한다. 따라서, 본 논문에서는 공간 데이터베이스 환경에서 시간근접성과 공간 근접성을 같이 효과적으로 고려하는 버퍼 관리 기법인BEAT를 제안한다. 실제 데이터와 가상 데이터를 이용한 실험 결과는 BEAT의 효율성을 보인다.

고성능 데이터 캐시 메모리 구조 (High Performance Data Cache Memory Architecture)

  • 김홍식;김정길
    • 한국산학기술학회논문지
    • /
    • 제9권4호
    • /
    • pp.945-951
    • /
    • 2008
  • 공간적 지역성(spatial locality) 및 시간적 지역성(temporal locality)을 동시에 향상시킬 수 있는 새로운 고성능 데이터 캐시 구조를 제안한다. 제안된 캐시 메모리는 하드웨어 프리패치 유닛과 큰 블록 크기를 갖는 직접사상(DM: direct mapped) 캐시와 작은 블록 크기를 갖는 완전 사상(FA: fully associative) 캐시의 하위 캐시 유닛으로 구성된다. 공간적 지역성은 블록 데이터를 패치하여 직접 사상 캐시에 저장함으로써 보장되며, DM 캐시 히트가 발생한 경우에 그 이웃 데이터 블록을 프리패치 함으로써 최적화 된다. 시간적 지역성은 작은 블록 데이터가 DM 캐시로부터 제거 될때 그 블록의 과거 기록에 따라서 중요한 데이터는 완전사상 캐시에 저장함으로써 보장된다. Spec2000 벤치 마크 프로그램에 대한 실험 결과에 의하면 제안된 캐시 구조는 비슷한 크기의 직접사상 캐쉬, 4웨이 연관사상(4 way set associative cache) 및 SMI(selective-mode intelligent cache) 캐쉬 [8]등의 기존의 구조에 비해서 미스 비율(miss rate)을 평균적으로 $12.53\sim23.62%$ 그리고 AMAT(average memory access time)를 평균적으로 $14.67\sim18.60%$ 줄일 수 있음을 증명하였다.