• 제목/요약/키워드: Data Provisioning

검색결과 112건 처리시간 0.023초

An Adaptive Workflow Scheduling Scheme Based on an Estimated Data Processing Rate for Next Generation Sequencing in Cloud Computing

  • Kim, Byungsang;Youn, Chan-Hyun;Park, Yong-Sung;Lee, Yonggyu;Choi, Wan
    • Journal of Information Processing Systems
    • /
    • 제8권4호
    • /
    • pp.555-566
    • /
    • 2012
  • The cloud environment makes it possible to analyze large data sets in a scalable computing infrastructure. In the bioinformatics field, the applications are composed of the complex workflow tasks, which require huge data storage as well as a computing-intensive parallel workload. Many approaches have been introduced in distributed solutions. However, they focus on static resource provisioning with a batch-processing scheme in a local computing farm and data storage. In the case of a large-scale workflow system, it is inevitable and valuable to outsource the entire or a part of their tasks to public clouds for reducing resource costs. The problems, however, occurred at the transfer time for huge dataset as well as there being an unbalanced completion time of different problem sizes. In this paper, we propose an adaptive resource-provisioning scheme that includes run-time data distribution and collection services for hiding the data transfer time. The proposed adaptive resource-provisioning scheme optimizes the allocation ratio of computing elements to the different datasets in order to minimize the total makespan under resource constraints. We conducted the experiments with a well-known sequence alignment algorithm and the results showed that the proposed scheme is efficient for the cloud environment.

플래시 메모리 기반 저장장치에서 프로비저닝을 위한 효율적인 자원 최적화 기법 (An Efficient Resource Optimization Method for Provisioning on Flash Memory-Based Storage)

  • 이현섭
    • 사물인터넷융복합논문지
    • /
    • 제9권4호
    • /
    • pp.9-14
    • /
    • 2023
  • 최근 엔터프라이즈 및 데이터 센터에서는 급격하게 증가하고 있는 빅데이터를 관리하기 위한 자원 최적화 연구가 활발하게 진행되고 있다. 특히 고정 할당된 저장 자원과 비교하여 많은 자원을 할당하는 씬프로비저닝은 초기 비용을 줄이는 효과가 있으나 실제로 사용하는 자원이 증가할수록 비용의 효과는 감소하고 자원을 할당하기 위한 관리 비용이 증가하는 문제가 있다. 본 논문에서는 플래시 메모리의 물리적 블록을 단일 비트 셀과 다중 비트 셀로 구분하여 하이브리드 기법으로 포맷하고, 빈번하게 사용하는 핫 데이터와 사용량이 적은 콜드 데이터를 구분하여 관리하는 기법을 제안한다. 제안하는 기법은 씩프로비저닝과 같이 물리적으로 자원과 할당된 자원이 동일하여 추가적인 비용 증가 없이 사용할 수 있으며, 사용량이 적은 자원을 다중 비트 셀 블록에 관리하여 씬프로비저닝과 같이 일반적인 저장장치보다 더 많은 자원을 할당할 수 있는 장점이 있다. 마지막으로 시뮬레이션을 기반으로 실험을 통해 제안하는 기법의 자원 최적화 효과를 측정하였다.

Auto Regulated Data Provisioning Scheme with Adaptive Buffer Resilience Control on Federated Clouds

  • Kim, Byungsang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권11호
    • /
    • pp.5271-5289
    • /
    • 2016
  • On large-scale data analysis platforms deployed on cloud infrastructures over the Internet, the instability of the data transfer time and the dynamics of the processing rate require a more sophisticated data distribution scheme which maximizes parallel efficiency by achieving the balanced load among participated computing elements and by eliminating the idle time of each computing element. In particular, under the constraints that have the real-time and limited data buffer (in-memory storage) are given, it needs more controllable mechanism to prevent both the overflow and the underflow of the finite buffer. In this paper, we propose an auto regulated data provisioning model based on receiver-driven data pull model. On this model, we provide a synchronized data replenishment mechanism that implicitly avoids the data buffer overflow as well as explicitly regulates the data buffer underflow by adequately adjusting the buffer resilience. To estimate the optimal size of buffer resilience, we exploits an adaptive buffer resilience control scheme that minimizes both data buffer space and idle time of the processing elements based on directly measured sample path analysis. The simulation results show that the proposed scheme provides allowable approximation compared to the numerical results. Also, it is suitably efficient to apply for such a dynamic environment that cannot postulate the stochastic characteristic for the data transfer time, the data processing rate, or even an environment where the fluctuation of the both is presented.

생태계서비스 평가를 위한 공간 수준별 측정지표 선정 - 공급서비스를 중심으로 - (The Selection of Measurement Indicators by Spatial Levels for Ecosystem Services Assessment - Focused on the Provisioning Service -)

  • 정필모;김정인;여인애;주우영;이경은
    • 한국환경복원기술학회지
    • /
    • 제24권6호
    • /
    • pp.67-87
    • /
    • 2021
  • Provisioning service, which is one of the ecosystem service functions, means goods and services such as food and fuel that people get from ecosystem. Provisioning functions are closely related to the primary industry, a sector of economy. Excessive demand and use of human society can cause trade-offs among regulation, cultural, and supporting services. Therefore, it is important to perform evaluation ecosystem services periodically and to monitor the time series fluctuations to identify the impact of provisioning services on other ecosystem services (trade-off) and to maintain sustainable provisioning service. When it comes to the precise assessment of provisioning service, it is necessary to get the statistical data and standardize indicators and methods. In this study, indicators and methods, which are applicable to the spatial level of national-local-protected areas, were derived through literature analysis and expert survey. The result of this study implies that provisioning services measurement by spatial level improve the efficiency of the establishment of environmental conservation plans by whose purpose.

Resource Management Strategies in Fog Computing Environment -A Comprehensive Review

  • Alsadie, Deafallah
    • International Journal of Computer Science & Network Security
    • /
    • 제22권4호
    • /
    • pp.310-328
    • /
    • 2022
  • Internet of things (IoT) has emerged as the most popular technique that facilitates enhancing humans' quality of life. However, most time sensitive IoT applications require quick response time. So, processing these IoT applications in cloud servers may not be effective. Therefore, fog computing has emerged as a promising solution that addresses the problem of managing large data bandwidth requirements of devices and quick response time. This technology has resulted in processing a large amount of data near the data source compared to the cloud. However, efficient management of computing resources involving balancing workload, allocating resources, provisioning resources, and scheduling tasks is one primary consideration for effective computing-based solutions, specifically for time-sensitive applications. This paper provides a comprehensive review of the source management strategies considering resource limitations, heterogeneity, unpredicted traffic in the fog computing environment. It presents recent developments in the resource management field of the fog computing environment. It also presents significant management issues such as resource allocation, resource provisioning, resource scheduling, task offloading, etc. Related studies are compared indifferent mentions to provide promising directions of future research by fellow researchers in the field.

대규모 분산 컴퓨팅 환경에서 확장성을 고려한 실시간 데이터 공급 기법 (Scalable Data Provisioning Scheme on Large-Scale Distributed Computing Environment)

  • 김병상;윤찬현
    • 정보처리학회논문지A
    • /
    • 제18A권4호
    • /
    • pp.123-128
    • /
    • 2011
  • 본 논문은 원격지간의 연결된 대규모 분산 환경에서 데이터 분석 작업의 실행을 위해 필수적으로 고려되는 데이터 전송 부하를 감소시키는 기법을 제안한다. 계산 노드들이 밀집된 지역 인근에 다수의 데이터 노드를 배치시킴으로서 계산 노드들이 단일 데이터센터가 아닌 자신과 인접한 데이터 노드에 접근하여 작업을 수행함으로서 전송부하를 감소시키고 확장성을 증가시키는 것이 가능하다. 따라서 본 논문은 지역적으로 분산된 데이터 노드들의 데이터 처리율을 기반으로 실시간 데이터 공급을 수행함으로서 전송 지연을 최소화 할 수 있는 이론적인 모델과 시뮬레이션을 통한 성능 평가를 수행한다. 제안된 기법은 PRAGMA 그리드 테스트베드에서 실험을 통하여 성능의 우수성을 검증하였다.

Time-Efficient Event Processing Using Provisioning-to-Signaling Method in Data Transport Systems Requiring Multiple Processors

  • Kim, Bup-Joong;Ryoo, Jeong-dong;Cho, Kyoungrok
    • ETRI Journal
    • /
    • 제39권1호
    • /
    • pp.41-50
    • /
    • 2017
  • In connection-oriented data transport services, data loss can occur when a service experiences a problem in its end-to-end path. To resolve the problem promptly, the data transport systems providing the service must quickly modify their internal configurations, which are distributed among different locations within each system. The configurations are modified through a series of problem (event) handling procedures, which are carried out by multiple control processors in the system. This paper proposes a provisioning-to-signaling method for inter-control-processor messaging to improve the time efficiency of event processing. This method simplifies the sharing of the runtime event, and minimizes the time variability caused by the amount of event data, which results in a decrease in the latency time and an increase in the time determinacy when processing global events. The proposed method was tested for an event that required 4,000 internal path changes, and was found to lessen the latency time of global event processing by about 50% compared with the time required for general methods to do the same; in addition, it reduced the impact of the event data on the event processing time to about 30%.

PCIA 클라우드 서비스 모델링 및 자원 구성에 따른 성능 영향도 분석 (PCIA Cloud Service Modeling and Performance Analysis of Physical & Logical Resource Provisioning)

  • 윤빈풍;곽종욱
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권2호
    • /
    • pp.1-10
    • /
    • 2014
  • 클라우드 컴퓨팅은 융통성 있는 연산능력과 대량의 데이터를 분석하는 효과적인 환경을 제공한다. 본 논문에서는 공용 클라우드를 위한 새로운 타입의 자원 배치 구조를 정의하고 이를 PCIA라고 명명한다. 아울러, PCIA 구조에서 서비스 모델에 대해 소개하며, 이를 위한 클라우드 명명 기법도 제시한다. 제안된 클라우드 시스템은 어플리케이션의 다양한 특징에 따라 사용자의 가상 자원 요구에 기반하는 적절한 물리적 자원을 선택하게 된다. 이를 통해 자원 제공의 변화에 따른 성능 변화의 연관성 및 클라우드 시스템의 효과적 구축을 위한 시스템 구성 요소의 영향도를 분석하며, 클라우드 서비스 제공자와 사용자 양쪽 모두에게 중요한 리소스 프로비져닝의 주요 기준을 제시한다.

SDH 기반 광 전달망에서 연결 설정을 위한 집중형 제어 체계에 관한 연구 (Centralized Scheme for the Provisioning Control in the Synchronous Optical Transport Network)

  • 강동우;김달원;조규섭;예병호
    • 한국통신학회논문지
    • /
    • 제30권11B호
    • /
    • pp.707-721
    • /
    • 2005
  • 폭발적으로 증가하는 데이터 트래픽을 수용하기 위해 광 전송망이 핵심적인 해결책으로 부각되고 있으며, 대규모의 광 전달망에서 사용자가 원하는 대역폭의 단대단 연결을 실시간 수준으로 제공하기 위한 제어구조 관련 연구가 요구되고 있다. 이러한 문제 해결을 위해, IETF와 ITU-T에서는 차세대 통합 전달망의 연결 제공 시간을 단축시키기 위한 제어 평면에 대한 연구를 의욕적으로 진행하고 있으며, 그러한 연구들은 기본적으로 분산형 제어체계에 기반하고 있다. 본 연구에서는 집중형 제어 체계가 분산형에 비해 가지고 있는 고유한 장점들을 광 전달망 상에 활용하기 위한 연구로서, 광 전달망의 연결 제어에 대한 집중형 제어 체계의 적용 가능성을 조사하고, 새로운 제어 구조의 형태와 제어 절차를 제안하였다. 또한 제안한 구조에 대한 IETF의 기존 라우팅 프로토콜과 시그널링 프로토콜의 활용 가능성을 검토하고 필요한 보완 부분에 대해 제시하였다.

클라우드 환경에서 기대 값 기반의 동적 자원 예측 기법 (Resource Prediction Technique based on Expected Value in Cloud Computing)

  • 최영호;임유진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권3호
    • /
    • pp.81-84
    • /
    • 2015
  • 클라우드 서비스는 다양한 장점들 덕분에 현대 IT 사업에서 주목을 받고 있다. 클라우드 환경에서 사용자의 요구는 동적이기 때문에 서비스 제공자는 사용자 요구량을 예측하고 이를 기반으로 자원을 제공하는 VM(Virtual Machine) 프로비저닝 기법이 필요하다. VM 프로비저닝은 사용자의 QoS를 만족시키고 자원 관리 비용을 최소화하여 서비스 제공자의 이득을 최대화하는 것을 목적으로 한다. 본 논문에서는 효율적인 VM 프로비저닝을 위해 사용자의 자원 요구량을 예측하고, 이를 기반으로 서비스 제공자의 총 경비에 대한 기대 값을 최소화시키기 위한 새로운 VM 프로비저닝 기법을 제안한다. 또한 제안 기법의 성능 분석을 위하여 실제 데이터를 이용하여 자원 요구 예측량과 자원 제공량을 계산하고, 이를 다른 기법들과 비교함으로써 제안 기법이 서비스 제공자의 총 경비를 최소화함을 보여준다.