• 제목/요약/키워드: Data hit rate

검색결과 85건 처리시간 0.03초

CPC: A File I/O Cache Management Policy for Compute-Bound Workloads

  • Bahn, Hyokyung
    • International journal of advanced smart convergence
    • /
    • 제11권2호
    • /
    • pp.1-6
    • /
    • 2022
  • With the emergence of the new era of the 4th industrial revolution, compute-bound workloads with large memory footprint like big data processing increase dramatically. Even in such compute-bound workloads, however, we observe bulky I/Os while loading big data from storage to memory. Although file I/O cache plays a role of accelerating the performance of storage I/O, we found out that the cache hit rate in such environments is not improved even though we increase the file I/O cache capacity because of some special I/O references generated by compute-bound workloads. To cope with this situation, we propose a new file I/O cache management policy that improves the cache hit rate for compute-bound workloads significantly. Trace-driven simulations by replaying file I/O reference logs of compute-bound workloads show that the proposed cache management policy improves the cache hit rate compared to the well-acknowledged CLOCK algorithm by a large margin.

A Novel Method of Improving Cache Hit-rate in Hadoop MapReduce using SSD Cache

  • Kim, Jong-Chan;An, Jae-Hoon;Kim, Young-Hwan;Jeon, Ki-Man
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권8호
    • /
    • pp.1-6
    • /
    • 2015
  • The MapReduce Program of Hadoop Distributed File System operates on any unspecified nodes due to distributed-parallel process and block replicate for data stability. Since it is difficult to guarantee the cache locality when a Solid State Drive is used as a cache in hadoop, cache hit-rate is decreased. In this paper, we suggest a method to improve cache hit rate by pre-loading the input data of the MapReduce onto the SSD cache. To perform this method, we estimated the blocks that are used on each node by using capacity scheduler and block metadata. Eventually we could increase the performance of SSD cache by loading the blocks onto SSD cache before the Map Task run.

프로야구 경기에서 안타의 독립성에 대한 연구 (Study for independence of hits in professional baseball games)

  • 김병수;박영욱;장나영
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권6호
    • /
    • pp.1421-1428
    • /
    • 2013
  • 본 논문의 목적은 프로야구 경기에서 각 타석에서의 안타 여부가 이전 타석에서의 결과와 관련이 있는지를 살펴보는 것이다. 이를 위해 한국프로야구 8개 구단의 2011년 정규리그 자료를 이용하였다. 타석별로 안타에 대한 조건부 확률과 리프트를 구하여 본 결과 특정 타석의 타율이 이전 타석에서의 안타 여부에 따라 크게 달라지지 않는다는 것을 확인 할 수 있었다. 특정 타석과 이전 타석의 결과 에 대한 독립성검정과 특정 타석의 결과와 이전 모든 타석에서의 무안타 여부와의 독립성검정을 보면 거의 대부분의 검정에서 종속으로 볼 수 없다는 결과를 얻었다. 따라서 각 타석에서의 안타 여부는 이전 타석의 안타 여부와 관련성이 아주 적거나 서로 독립적인 관계에 있다고 결론 내릴 수 있다.

내장형 시스템을 위한 에너지-성능 측면에서 효율적인 2-레벨 데이터 캐쉬 구조의 설계 (Energy-Performance Efficient 2-Level Data Cache Architecture for Embedded System)

  • 이종민;김순태
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권5호
    • /
    • pp.292-303
    • /
    • 2010
  • 온칩(on-chip) 캐쉬는 외부 메모리로의 접근을 감소시키며 빈번하게 접근되기 때문에 내장형 시스템의 성능과 에너지 소비 측면에서 중요한 역할을 한다. 본 논문에서는 내장형 시스템에 맞추어 설계된 2-레벨 데이터 캐쉬 메모리 구조를 제안하고자 한다. 레벨1(L1) 캐쉬의 구성으로 작은 크기, 직접시장(direct-mapped) 그리고 바로쓰기(write-through)를 채용한다. 대조적으로 레벨2(L2) 캐쉬는 보통의 캐쉬 크기와 집합연관(set-associativity) 그리고 나중쓰기(write-back) 정책을 채용한다. 결과적으로 L1 캐쉬는 빠른 접근 시간을 가지며 (한 사이클 이내) L2 캐쉬는 전체 캐쉬의 미스율(global miss rate)을 낮추는데 효과적이다. 작은 크기의 L1 데이터 캐쉬로 인한 증가된 캐쉬 미스율(miss rate)을 줄이기 위해 ECP(Early Cache hit Predictor)기법을 제안하였다. 제안된 ECP기법은 L1 캐쉬 히트 예측을 통해서 요청된 데이터가 L1 캐쉬에 있는지 예측할 수 있으며 추가적으로, ALU를 필요로 하지 않고 빠르게 유효주소(effective address)계산을 할 수 있다. 또한, 두 캐쉬 계층간 바로쓰기(write-through) 정책에서 오는 빈번한 L2 캐쉬 접근으로 인한 에너지 소비를 줄이기 위해 지정웨이 쓰기(one-way write) 기법을 제안하였다. 제안된 지정웨이 쓰기 기법을 이용하면 바로쓰기 정책으로 인한 L1 캐쉬에서 L2 캐쉬로의 쓰기 접근시 태그(tag) 비교 과정을 거치지 않고 하나의 지정된 웨이를 바로 접근할 수 있다. 사이클 단위 정확도의 시뮬레이터와 내장형 벤치마크를 이용한 실험 결과 본 논문에서 제안한 2-레벨 데이터 캐쉬 메모리 구조는 평균적으로 3.6%의 성능향상과 50%의 데이터 캐쉬 에너지 소비를 감소 시켰다.

머신러닝을 이용한 항공기 수리부속 예측 모델의 실증적 연구 (An Empirical Study on Aircraft Repair Parts Prediction Model Using Machine Learning)

  • 이창호;김웅이;최연철
    • 한국항공운항학회지
    • /
    • 제26권4호
    • /
    • pp.101-109
    • /
    • 2018
  • In order to predict the future needs of the aircraft repair parts, each military group develops and applies various techniques to their characteristics. However, the aircraft and the equipped weapon systems are becoming increasingly advanced, and there is a problem in improving the hit rate by applying the existing demand prediction technique due to the change of the aircraft condition according to the long term operation of the aircraft. In this study, we propose a new prediction model based on the conventional time-series analysis technique to improve the prediction accuracy of aircraft repair parts by using machine learning model. And we show the most effective predictive method by demonstrating the change of hit rate based on actual data.

리눅스 상에서 멀티미디어 데이타를 고려한 지역 버퍼 할당 기법 (A Local Buffer Allocation Scheme for Multimedia Data on Linux)

  • 신동재;박성용;양지훈
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권4호
    • /
    • pp.410-419
    • /
    • 2003
  • 리눅스와 같은 범용 운영체제의 버퍼 캐시(buffer cache)는 전역적(global) 블록 교체 및 미리읽기(read ahead) 정책 등을 사용하여 파일 블록을 관리한다. 따라서, 참조의 지역성(locality)을 가지지 않고 다양한 소비율(consumption rate)을 갖고 있는 멀티미디어 데이타의 경우 캐시 시스템의 적중률이 낮을 뿐만 아니라 미리읽기의 특성으로 인하여 필요보다 과도하게 버퍼를 소비하기도 한다. 본 논문에서는 리눅스 상에서 멀티미디어 데이타를 위한 새로운 버퍼 할당 기법을 설계하고 구현하였다. 제안된 방법에서는 멀티미디어 파일마다 독립적인 미리읽기 캐시를 유지하며 미리읽기 그룹의 크기를 소비율에 비례하도록 동적으로 조절한다. 이는 공정한 자원 분배가 이루어지도록 하며, 버퍼의 소비량을 최적화되도록 한다. 본 논문에서는 구현된 시스템과 최신의 리눅스 커널 2.4.17 버전 상에서 각각 소비되는 버퍼 수와 캐시 적중률을 실험을 통하여 비교함으로써 시스템의 성능을 평가한다.

영상처리 기술을 활용한 레이저 유도폭탄 명중률 예측 알고리즘 (Hit Rate Prediction Algorithm for Laser Guided Bombs Using Image Processing)

  • 안영환;이상훈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권3호
    • /
    • pp.247-256
    • /
    • 2015
  • 걸프전 이후 항공력은 전쟁 승리의 핵심 역할을 수행하였다. 하지만 레이저 유도폭탄, 전자광학 장비 같은 첨단무기들은 기상 조건이 맞지 않으면 그 효과가 크게 떨어진다. 따라서 레이저 유도폭탄이 할당된 항공기는 기상 악화 시 무장교체가 이루어져야 한다. 하지만 현재까지 무장교체 시기에 대한 객관적인 기준은 없다. 따라서 본 논문에서는 구름 영상을 처리하여 레이저 유도폭탄의 명중률을 예측하는 알고리즘을 제안한다. 알고리즘의 정확도를 검증하기 위해 레이저 유도폭탄에 영향을 미칠 수 있는 기상 상황을 모의 비행장비에 적용하고 모의 무장투하를 실시하여 데이터를 수집 및 분석하였다. 모의 비행장비에 적용한 기상 조건과 유사한 구름 영상을 제작하여 알고리즘에 적용한 결과 대부분의 기상 조건에서 레이저 유도폭탄의 명중률을 정확하게 예측할 수 있음을 확인하였다.

최근 경제위기들과 ASEAN 주요국의 무역 (Recent Economic Crises and Foreign Trade in Major ASEAN Countries)

  • 원용걸
    • 동남아시아연구
    • /
    • 제20권3호
    • /
    • pp.41-64
    • /
    • 2010
  • The recent global financial crisis triggered by the sub-prime mortgage debacle in the United States hit hard most ASEAN countries that have just recovered from the unprecedented economic crisis ten years ago. This paper, using individual time-series and panel data from 1990 to 2009, intends to investigate and compare the impacts of the two aforementioned economic crises on trade in the four developing ASEAN countries that encompass Indonesia, Malaysia, the Philippines and Thailand. In doing so, the paper traces the behaviors of main macroeconomic variables before and after the crises on graphs, and then estimates classical export and import demand functions that include real exchange rate, home and foreign GDPs as explanatory variables. In the estimation functions, two dummy variables are added to consider the effects of the two economic crises separately. Individual country data analyses reveal that by and large the 1997 economic crisis seems hit those ASEAN countries' exports and imports harder than the recent global financial crisis. Surprisingly the recent financial crisis turns out more or less statistically insignificant for those countries' export and import performances. The fixed effect model estimation using panel data of those four ASEAN countries also shows that the 1997 economic crisis had affected exports and imports of those countries negatively while the recent global financial crisis was not statistically significant. These results indicate that overall the effect from the 1997 crisis was more devastating than that of the recent global crisis for those ASEAN countries.

내로우 값을 이용한 상변화 메모리상에서의 에너지 소모 절감 기법 (Reducing Method of Energy Consumption of Phase Change Memory using Narrow-Value Data)

  • 김영웅
    • 한국인터넷방송통신학회논문지
    • /
    • 제15권2호
    • /
    • pp.137-143
    • /
    • 2015
  • 과거 30년 동안 메모리 생산의 경제성 이유로 주 메모리 핵심 제품으로 사용된 DRAM의 단점을 극복할 수 있는 대체 기술로 PRAM 기술이 제안되어 왔다. 본 논문에서는 PRAM의 내로우 값을 이용하여 쓰기 동작을 줄임으로써 에너지 소모를 절감할 수 있는 기법을 제안한다. 이를 위해 내로우 값을 이용한 데이터 압축 방법을 기술하고, PRAM의 아키텍쳐 구조를 설정하고, Simplescalar 3.0e 시뮬레이터와 SPEC CPU2000 벤치마크를 사용하여 실험한다. 본 연구의 실험 결과에 의하면 제안된 기법을 사용할 경우 PRAM의 데이터 히트율은 39.4%에서 67.7%로 증가하였으며, 에너지 소모율은 9.2% 감소하였다. 제안된 기법을 사용하기 위해서는 공간 오버헤드가 워드 당 3.13% 발생하며 약간의 추가적인 하드웨어 모듈이 필요하다.

Personalized Product Recommendation Method for Analyzing User Behavior Using DeepFM

  • Xu, Jianqiang;Hu, Zhujiao;Zou, Junzhong
    • Journal of Information Processing Systems
    • /
    • 제17권2호
    • /
    • pp.369-384
    • /
    • 2021
  • In a personalized product recommendation system, when the amount of log data is large or sparse, the accuracy of model recommendation will be greatly affected. To solve this problem, a personalized product recommendation method using deep factorization machine (DeepFM) to analyze user behavior is proposed. Firstly, the K-means clustering algorithm is used to cluster the original log data from the perspective of similarity to reduce the data dimension. Then, through the DeepFM parameter sharing strategy, the relationship between low- and high-order feature combinations is learned from log data, and the click rate prediction model is constructed. Finally, based on the predicted click-through rate, products are recommended to users in sequence and fed back. The area under the curve (AUC) and Logloss of the proposed method are 0.8834 and 0.0253, respectively, on the Criteo dataset, and 0.7836 and 0.0348 on the KDD2012 Cup dataset, respectively. Compared with other newer recommendation methods, the proposed method can achieve better recommendation effect.