• Title/Summary/Keyword: chunk

Search Result 109, Processing Time 0.032 seconds

Leveraged BMIS Model for Cloud Risk Control

  • Song, YouJin;Pang, Yasheng
    • Journal of Information Processing Systems
    • /
    • v.10 no.2
    • /
    • pp.240-255
    • /
    • 2014
  • Cloud computing has increasingly been drawing attention these days. Each big company in IT hurries to get a chunk of meat that promises to be a whopping market in the future. At the same time, information is always associated with security and risk problems. Nowadays, the handling of these risks is no longer just a technology problem, with a good deal of literature focusing on risk or security management and framework in the information system. In this paper, we find the specific business meaning of the BMIS model and try to apply and leverage this model to cloud risk. Through a previous study, we select and determine the causal risk factors in cloud service, which are also known as CSFs (Critical Success Factors) in information management. Subsequently, we distribute all selected CSFs into the BMIS model by mapping with ten principles in cloud risk. Finally, by using the leverage points, we try to leverage the model factors and aim to make a resource-optimized, dynamic, general risk control business model for cloud service providers.

De-Duplication Performance Test for Massive Data (대용량 데이터의 중복제거(De-Duplication) 성능 실험)

  • Lee, Choelmin;Kim, Jai-Hoon;Kim, Young Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.271-273
    • /
    • 2012
  • 중복 제거(De-duplication) 여러 데이터를 저장한 스토리지에서 같은 내용을 담고 있는 파일자체나 블록단위의 chunk 등을 찾아 중복된 내용을 제거하여 중복된 부분은 하나의 데이터 단위를 유지함으로써 스토리지 공간을 절약할 수 있다. 본 논문에서는 실험적인 데이터가 아닌 실제 업무 환경에서 적용될만한 대용량의 데이터 백업을 가정한 상황에 대해 중복 제거 기법을 테스트해봄으로써 중복제거율과 성능을 측정하였으며 이를 시각적으로 표현하는 방법을 제안함으로써 평가자 및 사용자가 알아보기 쉽게 하였다.

HRSF: Single Disk Failure Recovery for Liberation Code Based Storage Systems

  • Li, Jun;Hou, Mengshu
    • Journal of Information Processing Systems
    • /
    • v.15 no.1
    • /
    • pp.55-66
    • /
    • 2019
  • Storage system often applies erasure codes to protect against disk failure and ensure system reliability and availability. Liberation code that is a type of coding scheme has been widely used in many storage systems because its encoding and modifying operations are efficient. However, it cannot effectively achieve fast recovery from single disk failure in storage systems, and has great influence on recovery performance as well as response time of client requests. To solve this problem, in this paper, we present HRSF, a Hybrid Recovery method for solving Single disk Failure. We present the optimal algorithm to accelerate failure recovery process. Theoretical analysis proves that our scheme consumes approximately 25% less amount of data read than the conventional method. In the evaluation, we perform extensive experiments by setting different number of disks and chunk sizes. The results show that HRSF outperforms conventional method in terms of the amount of data read and failure recovery time.

Chunk Placement Scheme on Distributed File System Using Deduplication File System (중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

Analysis of chunk server load balancing and suggest an efficient technique on Distributed FileSystem (분산 파일시스템 청크서버 로드밸런싱 기법 비교분석 및 제안)

  • Choi, Kyu-Pile;Lee, Se-Ho;Eom, Young-Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.115-117
    • /
    • 2013
  • 빅데이터 시대가 도래하고 네트워크가 발달함에 따라 다수의 클라이언트와 서버가 통신하며 사용하는 데이터량이 급증하고 있다. 과도한 데이터 부하를 해결하는 방법 중 여러 서버로 부하를 분산하는 기법을 로드밸런싱이라고 하며 이 기법에 따라 데이터가 서버에 분산되는 방식이 달라진다. 본 논문에서는 현재 사용중인 다양한 로드밸런싱 기법에 대해 분석하고 보다 효율적인 기법을 제안한다. 그리고 오픈소스 기반의 분산 파일 시스템 중 하나인 Moose File System에 제안한 기법을 적용한 경우의 효과에 대해 논의한다.

Routing Scheme with Autonomous Prediction based Clustering in Wireless Ad Hoc Network (무선 애드혹 네트워크에서의 클러스터 기반 자동 예측 라우팅 프로토콜)

  • Lee, Young-Jun;Kim, Sung-chun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.459-460
    • /
    • 2009
  • 과거 네트워크는 물리적 회선을 이용한 유선 네트워크 기반의 연구를 통하여 각 노드간의 통신을 수행하였다. 하지만 시대가 흐름에 따라 통신환경이 유선 네트워크에서 무선 네트워크 기반의 통신으로 이동하였으며 그에 관한 연구가 활발히 진행되고 있다. 특히 clustering routing 기법은 무선 네트워크 환경에서의 한계였던 에너지 소모 문제를 보완하는 기법으로서 각광받고 있다. LS2RP는 이동성이 심한 Ad Hoc 네트워크 환경에서 CH가 backup을 통해 해당 cluster를 벗어날 경우를 대비한다. 하지만 CH가 cluster를 벗어난 이후 data chunk 결합을 통한 ID database 복구와 CH 재선정을 수행하기 때문에 그동안 network의 사용이 불가능해진다는 문제점을 가지고 있다. 따라서 본 논문에서는 CH의 이동을 예측하여 미리 sub CH를 선정하여 네트워크의 안정성을 강화하는 기법을 제시한다. 시뮬레이션 수행 결과 이동성에 따른 control traffic 측면에서 기존의 LS2RP에 비해 12% 더 높은 performance를 보이고 있음을 알 수 있었다.

Natural Language Inference using Dependency Parsing (의존 구문 분석을 활용한 자연어 추론)

  • Kim, Seul-gi;Kim, Hong-Jin;Kim, Hark-Soo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.189-194
    • /
    • 2021
  • 자연어 추론은 두 문장 사이의 의미 관계를 분류하는 작업이다. 본 논문에서 제안하는 의미 추론 방법은 의존 구문 분석을 사용하여 동일한 구문 정보나 기능 정보를 가진 두 개의 (피지배소, 지배소) 어절 쌍에서 하나의 어절이 겹칠 때 두 피지배소를 하나의 청크로 만들어주고 청크 기준으로 만들어진 의존 구문 분석을 사용하여 자연어 추론 작업을 수행하는 방법을 의미한다. 이러한 의미 추론 방법을 통해 만들어진 청크와 구문 구조 정보를 Biaffine Attention을 사용하여 한 문장에 대한 청크 단위의 구문 구조 정보를 반영하고 구문 구조 정보가 반영된 두 문장을 Bilinear을 통해 관계를 예측하는 시스템을 제안한다. 실험 결과 정확도 90.78%로 가장 높은 성능을 보였다.

  • PDF

Bactericidal Effects of Hypochlorous Acid Water against Vibrio parahaemolyticus Contaminated on Raw Fish and Shellfish (어패류에 오염된 장염비브리오균(Vibrio parahemolyticus)에 대한 차아염소산수의 살균효과)

  • Kim, Hee-Yun;Choi, Jin-Kyung;Shin, Il-Shik
    • Korean Journal of Food Science and Technology
    • /
    • v.47 no.6
    • /
    • pp.719-724
    • /
    • 2015
  • The bactericidal effects of strongly acidic hypochlorous acid water (StAHA) and slightly acidic hypochlorous acid water (SlAHA) against Vibrio parahaemolyticus contaminated on surface of raw fish and shellfish were examined. V. parahaemolyticus contaminated with about 7.0 log CFU/g on the meat chunk of olive flounder (Paralichthys olivaceus), and yellow tail (Seriola quinqueradiata), and 4.0 log CFU/g on the shucked scallop (Patinopecten yessoensis) were not detected after washing with StAHA and SlAHA at a ratio of 30:1 on a sample weight basis. However, 1.0 log CFU/g of V. parahaemolyticus was survived on shucked oyster (Crassostrea gigas) under same treatment conditions. The bactericidal effects of acidic hypochlorous acid water against V. parahaemolyticus contaminated on surface of shucked oyster were not as effective as those against V. parahaemolyticus contaminated on surface of meat chunk of olive flounder, yellow tail, and shucked scallop. Such differences can be attributed to the complicated surface conformation of oyster.

De-duplication of Parity Disk in SSD-Based RAID System (SSD 기반의 RAID 시스템에서 패리티 디스크의 중복 제거)

  • Yang, Yu-Seok;Lee, Seung-Kyu;Kim, Deok-Hwan
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.50 no.1
    • /
    • pp.105-113
    • /
    • 2013
  • RAID systems have been widely used by connecting several disks in parallel structure. to resolve the delay and bottleneck of data I/O. Recently, SSD based RAID systems are emerging since SSDs have better I/O performance than HDD. However, endurance and power consumption problems due to frequent write operation in SSD based RAID system should be resolved. In this paper, we propose a de-duplication method of parity disk in SSD based RAID system with expensive update cost. The proposed method segments chunk of parity data into small pieces and removes duplicate data, therefore, it can reduce wear-leveling and power consumption by decreasing write operation for duplicated parity data. Experimental results show that bit update rate of the proposed method is 16% in total disk, 31% in parity disk less than that of existing method in RAID-6 system using EVENODD erasure code, and the power consumption of the proposed method is 30% less than that of existing method. Besides the proposed method is 12% in total disk, 32% in parity disk less than that of existing method in RAID-5 system, and the power consumption of the proposed method is 36% less than that of existing method.

Novel schemes of CQI Feedback Compression based on Compressive Sensing for Adaptive OFDM Transmission

  • Li, Yongjie;Song, Rongfang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.5 no.4
    • /
    • pp.703-719
    • /
    • 2011
  • In multi-user wireless communication systems, adaptive modulation and scheduling are promising techniques for increasing the system throughput. However, a mass of wireless recourse will be occupied and spectrum efficiency will be decreased to feedback channel quality indication (CQI) of all users in every subcarrier or chunk for adaptive orthogonal frequency division multiplexing (OFDM) systems. Thus numerous limited feedback schemes are proposed to reduce the system overhead. The recently proposed compressive sensing (CS) theory provides a new framework to jointly measure and compress signals that allows less sampling and storage resources than traditional approaches based on Nyquist sampling. In this paper, we proposed two novel CQI feedback schemes based on general CS and subspace CS, respectively, both of which could be used in a wireless OFDM system. The feedback rate with subspace CS is greatly decreased by exploiting the subspace information of the underlying signal. Simulation results show the effectiveness of the proposed methods, with the same feedback rate, the throughputs with subspace CS outperform the discrete cosine transform (DCT) based method which is usually employed, and the throughputs with general CS outperform DCT when the feedback rate is larger than 0.13 bits/subcarrier.