• Title/Summary/Keyword: 쓰기 증폭

Search Result 10, Processing Time 0.027 seconds

A Study on the Analysis of RocksDB Parameters Based on Machine Learning to Improve Database Performance (데이터베이스 성능 향상을 위한 기계학습 기반의 RocksDB 파라미터 분석 연구)

  • Jin, Huijun;Choi, Won Gi;Choi, Jonghwan;Sung, Hanseung;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.69-72
    • /
    • 2020
  • Log Structured Merged Tree(LSM-Tree)구조를 사용하여 빠른 데이터 쓰기 성능을 보유한 RocksDB에는 쓰기 증폭과 공간 증폭 현상이 발생한다. 쓰기 증폭은 과도한 쓰기 연산을 유발하여 데이터 처리 성능 저하와 플래시 메모리 기반 장치의 수명 저하를 초래하며, 공간 증폭은 데이터 저장 공간 점유로 인한 저장 공간 부족 문제를 야기한다. 본 논문에서는 쓰기 증폭과 공간 증폭 완화를 위해 RocksDB 의 성능에 영향 주는 주요 파라미터를 추출하고, 기계학습 기법인 랜덤 포레스트를 사용하여 추출한 파라미터가 쓰기 증폭과 공간 증폭에 미치는 영향을 분석하였다. 실험결과 쓰기 증폭과 공간 증폭에 영향을 많이 주는 주요 요소를 선별하였고 다른 파라미터에 대비해서 성능 격차가 61.7% 더 나타낸 것을 발견하였다.

A Study on WAF reduction and SST file size on RocksDB (RocksDB에서 SST 파일에 따른 WAF 감소에 관한 연구)

  • Cho, Minsoo;Choi, Wongi;Park, Sang Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.709-712
    • /
    • 2017
  • RocksDB는 Facebook에서 LevelDB를 기반으로 개발한 임베디드 key-value 스토리지 엔진이다. Log structured tree(LSM-tree)를 기본구조로 사용하는 RocksDB는 데이터를 레벨단위로 저장한다. 지속적인 데이터 입력으로 인하여 레벨의 크기를 초과하게 되면 하위 레벨의 SST 파일과 병합을 통해 하위레벨로 내려 보낸다. 이 과정에서 디바이스의 부가적인 쓰기가 발생한다. 본 논문에서는 RocksDB의 디스크영역에 있는 SST 파일의 크기가 디바이스의 쓰기 증폭에 미치는 영향을 분석하였다. SST 파일크기변화에 따른 디바이스의 쓰기 증폭과 성능변화를 측정하고 비교하였다. 실험결과를 통해 SST의 크기가 작을수록 쓰기 증폭이 줄었지만 디바이스의 쓰기와 읽기 성능이 감소하는 것을 확인하였다. 결과적으로 쓰기 증폭을 줄이고 성능을 최대화 하기 위해서는 이 둘의 트레이드오프를 파악하고 분석하여 시스템에 맞는 최적의 SST 파일 크기를 찾아야한다.

Analysis Model of Write Amplification Factor on Flash Memory (플래시 메모리에서 쓰기 증폭 인자 분석 모델)

  • Lee, Sang-Yup;Kim, Se-Woog;Jeon, Jeong-Ho;Choi, Jong-Moo;Yang, Joong-Seob;Mo, Yeon-Jin;Shin, Young-Kyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.551-554
    • /
    • 2011
  • 덮어쓰기 제약(overwirte limitation)과 삭제 횟수 제한(limitted erase cycle)이 있는 플래시 메모리의 특징이 의하여, 플래시 메모시는 시스템에서 요청한 쓰기 요청보다 많은 수의 쓰기 연산을 수행하게 되는데, 시스템에서 요청한 쓰기요청과 실제 쓰기 연산 간의 비율을 쓰기 증폭 인자(Write Amplification Factor, 이후 WAF)라 한다. WAF는 성능과 신뢰성에 중요한 요소로 본 논문에서는 WAF를 예측 할 수 있는 분석모델을 제안한다. 제안된 모델은 페이지 사상 FTL, 블록 사상 FTL, 혼합 사상 FTL 등 다양한 FTL에서 WAF를 예측 할 수 있으며, 예측에 사용되는 매개 변수로 이용율(utilization), 무작위율(randomness), 연관도(Associativity)만을 사용하여 단순하다는 특성이 있다. 본 논문은 실제 Linux 환경에서 측정한 WAF와 비교 분석 결과 제안된 모델이 WAF를 정확히 예측 할 수 있음을 발견하였다.

Development of Chinese Character Writing Recognition For Chinese Character Edutainment Contents (한자 에듀테인먼트 콘텐츠를 위한 한자쓰기인식기능개발)

  • Park, Hwa-Jin;Min, So-Young;Lee, Ha-Na;Park, Young-Ho
    • Journal of Digital Contents Society
    • /
    • v.10 no.4
    • /
    • pp.529-536
    • /
    • 2009
  • Interest in Chinese edutainment contents product has been increasing with the importance of Chinese Education Recently, empirical education with some fun activities is in the limelight breaking the traditional passive learning. Due to a such social necessity, we develop web-based Chinese Edutainment Contents for children, utilizing multimedia functions. Especially since writing Education is very important in learning chinese characters, we also developed a writing recognition function which checks the order of making strokes in writing Chinese character. Different from the existing outline area-based writing system, it determines if the character is well-written comparing to the prestored reference points in each Chinese characters, after recognizing the order of strokes and extracting peculiar points.

  • PDF

The Transition of Reading/Writing Culture and Emerging Digital Contents-Focusing on Bakhtin's "The prose of everyday life" (읽기/쓰기 문화의 변천에 따른 디지털 콘텐츠의 부상(浮上) : 바흐친의 '일상생활의 산문'을 중심으로)

  • Gu, Mo-Ni-Ka
    • Journal of Digital Contents Society
    • /
    • v.12 no.3
    • /
    • pp.371-382
    • /
    • 2011
  • Reading and writing in the past make noble significance in 'narration', in other words, in 'the creation of narration', through the process of 'recording'; but in the modern times, it engenders controversies over narration and linearity. In other words, reading/writing in digital era, is devalued as the simple arrangement of test or the connection of vast information without narration nor linearity. However, the reading/writing through text and hypertext reading is not the phenomenon which should be criticized because of the lack of narration or linearity-not only the lack of narration and linearity -, a process of social and cultural transition; it should be revalued as a result. The change of reading and writing methods will inevitably accompany the layers, status, significance and value of the contents; thus it makes more sense, when the reading and writing methods in digital contents are approached as new pop culture phenomenon. This is the "The prose of everyday life", based on pop culture and "The society of Conversation", based on communication; proposed 'Digitelling' ; this is the reason why we should pay attention to the digital contents, created infinitely by the citizens of the world, as new mass-culture phenomenon.

자체 증폭에 의하여 저 전압 구동이 가능한 이중 게이트 구조의 charge trap flash (CTF) 타입의 메모리

  • Jang, Gi-Hyeon;Jang, Hyeon-Jun;Park, Jin-Gwon;Jo, Won-Ju
    • Proceedings of the Korean Vacuum Society Conference
    • /
    • 2013.02a
    • /
    • pp.185-185
    • /
    • 2013
  • 반도체 트랜지스터의 집적화 기술이 발달하고 소자가 나노미터 크기로 집적화 됨에 따라 문턱 전압의 변동, 높은 누설 전류, 문턱전압 이하에서의 기울기의 열화와 같은 단 채널 효과가 문제되고 있다. 이러한 문제점들은 비 휘발성 플래시 메모리에서 메모리 윈도우의 감소에 따른 retention 특성을 저하시킨다. 이중 게이트 구조의 metal-oxide-semiconductor field-effect-transistors (MOSFETs)은 이러한 단 채널 효과 중에서도 특히 문턱 전압의 변동을 억제하기 위해 제안되었다. 이중 게이트 MOSFETs는 상부 게이트와 하부 게이트 사이의 capacitive coupling을 이용하여 문턱전압의 변동의 제어가 용이하다는 장점을 가진다.기존의 플래시 메모리는 쓰기 및 지우기 (P/E) 동작, 그리고 읽기 동작이 채널 상부의 컨트롤 게이트에 의하여 이루어지며, 메모리 윈도우 및 신뢰성은 플로팅 게이트의 전하량의 변화에 크게 의존한다. 이에 따라 메모리 윈도우의 크기가 결정되고, 높은 P/E 전압이 요구되며, 터널링 산화막에 인가되는 높은 전계에 의하여 retention에서의 메모리 윈도우의 감소와 산화막의 물리적 손상을 초래하기 때문에 신뢰성 및 수명을 열화시키는 원인이 된다. 따라서 본 연구에서는, 상부 게이트 산화막과 하부 게이트 산화막 사이의 capacitive coupling 효과에 의하여 하부 게이트로 읽기 동작을 수행하면 메모리 윈도우를 크게 증폭시킬 수 있고, 이에 따라 동작 전압을 감소시킬 수 있는 이중 게이트 구조의 플래시 메모리를 제작하였다. 그 결과, capacitive coupling 효과에 의하여 크게 증폭된 메모리 윈도우를 얻을 수 있음을 확인하였고, 저전압 구동 및 신뢰성을 향상시킬 수 있음을 확인하였다.

  • PDF

NVM-based Write Amplification Reduction to Avoid Performance Fluctuation of Flash Storage (플래시 스토리지의 성능 지연 방지를 위한 비휘발성램 기반 쓰기 증폭 감소 기법)

  • Lee, Eunji;Jeong, Minseong;Bahn, Hyokyung
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.16 no.4
    • /
    • pp.15-20
    • /
    • 2016
  • Write amplification is a critical factor that limits the stable performance of flash-based storage systems. To reduce write amplification, this paper presents a new technique that cooperatively manages data in flash storage and nonvolatile memory (NVM). Our scheme basically considers NVM as the cache of flash storage, but allows the original data in flash storage to be invalidated if there is a cached copy in NVM, which can temporarily serve as the original data. This scheme eliminates the copy-out operation for a substantial number of cached data, thereby enhancing garbage collection efficiency. Experimental results show that the proposed scheme reduces the copy-out overhead of garbage collection by 51.4% and decreases the standard deviation of response time by 35.4% on average.

Design and Evaluation of a High-performance Key-value Storage for Industrial IoT Environments (산업용 IoT 환경을 위한 고성능 키-값 저장소의 설계 및 평가)

  • Han, Hyuck
    • The Journal of the Korea Contents Association
    • /
    • v.21 no.7
    • /
    • pp.127-133
    • /
    • 2021
  • In industrial IoT environments, sensors generate data for their detection targets and deliver the data to IoT gateways. Therefore, managing large amounts of real-time sensor data is an essential feature for IoT gateways, and key-value storage engines are widely used to manage these sensor data. However, key-value storage engines used in IoT gateways do not take into account the characteristics of sensor data generated in industrial IoT environments, and this limits the performance of key-value storage engines. In this paper, we optimize the key-value storage engine by utilizing the features of sensor data in industrial IoT environments. The proposed optimization technique is to analyze the key, which is the input of a key-value storage engine, for further indexing. This reduces excessive write amplification and improves performance. We implement our optimization scheme in LevelDB and use the workload of the TPCx-IoT benchmark to evaluate our proposed scheme. From experimental results we show that our proposed technique achieves up to 21 times better than the existing scheme, and this shows that the proposed technique can perform high-speed data ingestion in industrial IoT environments.

The 4bit Cell Array Structure of PoRAM and A Sensing Method for Drive this Structure (PoRAM의 4bit 셀 어레이 구조와 이를 동작시키기 위한 센싱 기법)

  • Kim, Jung-Ha;Lee, Sang-Sun
    • Journal of the Institute of Electronics Engineers of Korea SD
    • /
    • v.44 no.6 s.360
    • /
    • pp.8-18
    • /
    • 2007
  • In this paper, a 4bit cell way structure of PoRAM and the sensing method to drive this structure are researched. PoRAM has a different operation from existing SRAM and DRAM. The operation is that when certain voltage is applied between top electrode and bottom electrode of PoRAM device we can classify the cell state by measuring cell current which is made by changing resistance of the cell. In the decoder selected by new-addressing method in the cell array, the row decoder is selected "High" and the column decoder is selected "Low" then certain current will flow to the bit-line. Because this current is detect, in order to make large enough current, the voltage sense amplifier is used. In this case, usually, 1-stage differential amplifier using current mirror is used. Furthermore, the detected value at the cell is current, so a diode connected NMOSFET, that is, a device resistor is used at the input port of the differential amplifier to converter current into voltage. Using this differential amplifier, we can classify the cell states, erase mode is "Low" and write mode is "High", by comparing the input value, Vin, that is a product of current value multiplied by resistor value with a reference voltage, Vref.

Block Allocation Method for Efficiently Managing Temporary Files of Hash Joins on SSDs (SSD상에서 해시조인 임시 파일의 효과적인 관리를 위한 블록 할당 방법)

  • Joontae, Kim;Sangwon, Lee
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.11 no.12
    • /
    • pp.429-436
    • /
    • 2022
  • Temporary files are generated when the Hash Join is performed on tables larger than the memory. During the join process, each temporary file is deleted sequentially after it completes the I/O operations. This paper reveals for that the fallocate system call and file deletion-related trim options significantly impact the hash join performance when temporary files are managed on SSDs rather than hard disks. The experiment was conducted on various commercial and research SSDs using PostgreSQL, a representative open-source database. We find that it is possible to improve the join performance up to 3 to 5 times compared to the default combination depending on whether fallocate and trim options are used for temporary files. In addition, we investigate the write amplification and trim command overhead in the SSD according to the combination of the two options for temporary files.