• 제목/요약/키워드: Load-aware

검색결과 91건 처리시간 0.021초

클러스터 웹 서버 상에서 히스토그램 변환을 이용한 내용 기반 부하 분산 기법 (A Content-Aware toad Balancing Technique Based on Histogram Transformation in a Cluster Web Server)

  • 홍기호;권춘자;최황규
    • 인터넷정보학회논문지
    • /
    • 제6권2호
    • /
    • pp.69-84
    • /
    • 2005
  • 최근 인터넷 사용자의 기하급수적 증가에 따라 저렴한 가격의 고성능 대용량 클러스터 웹 서버 시스템에 관심이 증대되고 있다. 클러스터 웹 서버 시스템은 저렴한 비용. 높은 확장성과 가용성 등의 장점과 더불어 대규모 사용자에 대한 성능의 극대화를 목적으로 연구 개발되고 있으며, 최근에는 성능 향상을 위한 내용 기반의 부하 분산 기법에 관심이 모아지고 있다. 본 논문에서는 이러한 클러스터 웹 서버 상에서 사용자의 접근 빈도와 파일의 크기를 고려하여 각 서버 노드에 부하를 균등하게 할당하는 새로운 내용 기반의 부하 분산 기법을 제안한다. 제안된 기법은 웹 서버 로그의 각 URL 항목에 해시 함수를 적용하여 얻어지는 해시 값에 그 빈도와 전송된 파일의 크기를 고려한 누적 히스토그램을 생성한다. 사용자 요청은 (해시 값-서버 노드) 매핑에 의한 히스토그램 변환 과정을 통하여 각 서버 노드에 균등하게 할당된다. 제안된 기법은 누적 히스토그램을 주기적으로 갱신함으로써 동적으로 클러스터 웹 서버 시스템의 부하를 고르게 분산시킬 수 있으며, 또한 서버 노드의 캐시를 활용함으로써 전체 클러스터 시스템의 성능을 향상시킬 수 있다. 시뮬레이션을 통한 성능 분석에서 제안된 기법은 전통적인 라운드 로빈 방법보다는 월등히 우수함을 보이고, 기존의 내용 기반 WARD 방법보다는 약 $10\%$ 정도의 우수한 성능을 나타낸다.

  • PDF

무선 이동 애드 혹 네트워크에서 트래픽 부하를 고려한 리액티브 라우팅 기술 (Traffic Load-aware Reactive Routing Scheme in Wireless Mobile Ad hoc Network)

  • 고성원
    • 조명전기설비학회논문지
    • /
    • 제21권6호
    • /
    • pp.109-116
    • /
    • 2007
  • 이동 애드 혹 네트워크(mobile ad hoc network)에서 적용되는 대부분의 라우팅 기술은 트래픽 부하를 고려하지 않아 네트워크 혼잡을 야기한다. 또한 이로 인해 트래픽 전송 성능을 저하시키고 네트워크 구성 노드들의 생존시간을 감소시킨다. 이를 해결하기 위해 본 논문에서는 모바일 애드 혹 네트워크에서 각 노드의 트래픽 상황을 고려한 리액티브(reactive) 경로 설정 기법을 제안한다. 제안하는 방안은 라우팅 경로 탐색 과정에서 노드의 트래픽 상황을 추정하여 과도한 트래픽이 집중될 경우 해당 노드를 중간 노드로 하는 라우팅 경로 생성을 억제한다. 특히 각 노드 단위로 신규 경로 설정 절차를 수행하기 때문에, 네트워크 전반에 걸친 트래픽 상황을 수집할 필요가 없다. 모의시험을 통해 제안하는 방안이 네트워크 전반에 트래픽을 잘 분산시키고 성능을 향상시키는 것을 보인다.

A Dynamic QoS Adjustment Enabled and Load-balancing-aware Service Composition Method for Multiple Requests

  • Wu, Xiaozhu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권3호
    • /
    • pp.891-910
    • /
    • 2021
  • Previous QoS-aware service composition methods mainly focus on how to generate composite service with the optimal QoS efficiently for a single request. However, in the real application scenarios, there are multiple service requests and multiple service providers. It is more important to compose services with suboptimal QoS and maintain the load balance between services. To solve this problem, in this paper, we propose a service composition method, named as dynamically change and balancing composition method (DCBC). It assumes that the QoS of service is not static, and the services can adjust the value of QoS to gain more opportunities to be selected for composition. The method mainly includes two steps, which are the preprocessing step and the service selection step. In the preprocessing step, a backward global best QoS calculation is performed which regarding the static and dynamic QoS respectively; then guided by the global QoS, the feasible services can be selected efficiently in the service selection step. The experiments show that the DCBC method can not only improve the overall quality of composite services but also guarantee the fulfill ratio of requests and the load balance of services.

Job-aware Network Scheduling for Hadoop Cluster

  • Liu, Wen;Wang, Zhigang;Shen, Yanming
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권1호
    • /
    • pp.237-252
    • /
    • 2017
  • In recent years, data centers have become the core infrastructure to deal with big data processing. For these big data applications, network transmission has become one of the most important factors affecting the performance. In order to improve network utilization and reduce job completion time, in this paper, by real-time monitoring from the application layer, we propose job-aware priority scheduling. Our approach takes the correlations of flows in the same job into account, and flows in the same job are assigned the same priority. Therefore, we expect that flows in the same job finish their transmissions at about the same time, avoiding lagging flows. To achieve load balancing, two approaches (Flow-based and Spray) using ECMP (Equal-Cost multi-path routing) are presented. We implemented our scheme using NS-2 simulator. In our evaluations, we emulate real network environment by setting background traffic, scheduling delay and link failures. The experimental results show that our approach can enhance the Hadoop job execution efficiency of the shuffle stage, significantly reduce the network transmission time of the highest priority job.

Apache Storm에서 지역성을 고려한 효율적인 트래픽 분배 (Efficient Locality-Aware Traffic Distribution in Apache Storm)

  • 손시운;이상훈;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권12호
    • /
    • pp.677-683
    • /
    • 2017
  • Apache Storm이란 대표적인 실시간 분산 처리 시스템으로써, 분산 서버를 통해 실시간 데이터를 빠르게 처리하는 특징을 갖는다. 기존에 Storm은 다수의 서버에 트래픽을 분배할 때, 셔플(Shuffle) 그룹핑은 처리 지연 문제가 발생하며 이를 개선한 로컬(Local-or-Shuffle) 그룹핑은 트래픽이 특정 노드에 편중되는 문제가 발생할 수 있다. 본 논문은 이러한 기존 Storm 그룹핑에서 발생할 수 있는 문제를 해결하기 위한 지역성 고려(Locality-aware) 그룹핑을 제안한다. 실험에서는 제안하는 지역성 고려 그룹핑이 기존의 셔플 그룹핑 및 로컬 그룹핑에 비해 우수함을 확인하였다. 본 논문은 기존의 Storm의 한계점인 지역성과 로드 밸런싱을 동시에 고려한 우수한 결과라 사료된다.

자율학습기반의 에너지 효율적인 클러스터 관리에서의 성능 개선 (Performance Improvement of an Energy Efficient Cluster Management Based on Autonomous Learning)

  • 조성철;정규식
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권11호
    • /
    • pp.369-382
    • /
    • 2015
  • 에너지 절감형 서버 클러스터에서는 에너지 절감을 고려하지 않는 기존 서버 클러스터에 비해 서비스 품질을 보장하면서 전력소비를 절감하는 것을 목표로 하며, 현재의 부하를 처리하는 데 필요한 최소수의 서버들만 ON 하도록 고정 주기 또는 가변 주기로 서버들의 전원모드를 조정한다. 이에 대한 기존 연구들은 전력을 절감하거나 열을 낮추는데 노력해왔지만 에너지 효율성을 잘 고려하지 못했다. 본 논문에서는 기존 자율학습기반의 서버 전원 모드 제어 방법의 단위전력당 성능과 QoS를 높이기 위한 에너지 효율적인 클러스터 관리기법을 제안한다. 제안 방법은 다중임계기반의 자율학습 방법과 전력소모 예측 방법을 결합한 서버 전원 모드 제어이다. 일반적인 부하 상황에서는 다중임계 학습기반의 서버 전원 모드 제어를 적용하고, 급변하는 부하 상황에서는 예측기반의 서버 전원 모드 제어가 적용된다. 일반적 상황과 급변하는 상황의 구별은 현재의 사용자 요청과 관찰된 과거 몇 분의 사용자 요청의 비율에 따라 이루어진다. 또한, 동적종료 기법을 추가로 적용해 서버가 OFF 하는 데 소요되는 시간을 단축한다. 제안 방법은 16대 서버로 구성된 클러스터 환경에서 3가지 부하 패턴을 이용하여 실험을 수행한다. 다중임계 학습, 예측, 동적종료를 함께 이용한 실험에서 단위전력당 성능(유효응답 수)과 표준화된 QoS 측면에서 가장 우수한 결과를 보여준다. 제안하는 방법과 파라미터 로드된 단일임계 학습을 비교할 때 뱅킹 부하패턴, 실제 부하패턴, 가상 부하패턴에서 단위전력당 유효응답 수가 각각 1.66%, 2.9%, 3.84% 향상되고, QoS 관점에서는 각각 0.45%, 1.33%, 8.82% 향상되었다.

구조적 피어-투-피어 시스템에서 동적 피어 참여 기반의 효율적인 로드 밸런싱 (An Efficient Load Balancing with the Dynamic Participation of Peers in the Structured Peer-to-Peer System)

  • 송진우;최연오;양성봉
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (D)
    • /
    • pp.235-237
    • /
    • 2006
  • 최근 분산 해쉬 테이블(Distributed Hash Table)을 이용한 구조적 P2P(peer-to-peer) 시스템에서 로드 밸런싱에 관한 연구가 활발하게 진행되고 있다. 일반적으로 P2P 시스템에서의 피어들은 빈번하게 참여하는 동시에 탈퇴하기도 하기 때문에 로드의 불균형이 심화되는 문제점이 있다. 본 논문에서는 구조적 P2P 시스템에서 피어의 참여와 탈퇴 시 발생하는 가상서버의 이동을 효과적으로 관리하는 기법인 PALB(Peer Activity-aware Load Balancing)를 제안한다. 제안하는 PALB는 피어의 참여, 탈퇴 시에 발생하는 로드 불균형을 해결하기 위하여 적절한 수의 가상서버를 가장 적합한 피어에게 분산시킨다. 또한 이전 연구에서 제안한 OLAB(Object Lifetime-aware Load Balancing)와 함께 사용하여 로드 밸런싱 성능을 향상시킬 수 있다. PALB의 성능 평가를 위하여 동적 P2P 시스템 환경을 구성하였고, 피어와 오브젝트의 랜덤 데이터 셋을 이용하여 시뮬레이션을 수행하였다. 시뮬레이션 결과 PALB가 기존의 시스템에 비하여 더 적은 비용으로 더 나은 로드 밸런싱을 수행함을 확인하였다. 또한 OLAB와 동시에 사용하였을 경우, 매우 뛰어난 성능을 보임을 확인하였다.

  • PDF

Many-objective joint optimization for dependency-aware task offloading and service caching in mobile edge computing

  • Xiangyu Shi;Zhixia Zhang;Zhihua Cui;Xingjuan Cai
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권5호
    • /
    • pp.1238-1259
    • /
    • 2024
  • Previous studies on joint optimization of computation offloading and service caching policies in Mobile Edge Computing (MEC) have often neglected the impact of dependency-aware subtasks, edge server resource constraints, and multiple users on policy formulation. To remedy this deficiency, this paper proposes a many-objective joint optimization dependency-aware task offloading and service caching model (MaJDTOSC). MaJDTOSC considers the impact of dependencies between subtasks on the joint optimization problem of task offloading and service caching in multi-user, resource-constrained MEC scenarios, and takes the task completion time, energy consumption, subtask hit rate, load variability, and storage resource utilization as optimization objectives. Meanwhile, in order to better solve MaJDTOSC, a many-objective evolutionary algorithm TSMSNSGAIII based on a three-stage mating selection strategy is proposed. Simulation results show that TSMSNSGAIII exhibits an excellent and stable performance in solving MaJDTOSC with different number of users setting and can converge faster. Therefore, it is believed that TSMSNSGAIII can provide appropriate sub-task offloading and service caching strategies in multi-user and resource-constrained MEC scenarios, which can greatly improve the system offloading efficiency and enhance the user experience.

Web Server Cluster Load Balancing

  • Kyung Sung;Kim, Seok-Soo
    • Journal of information and communication convergence engineering
    • /
    • 제2권2호
    • /
    • pp.106-109
    • /
    • 2004
  • This study designs a load balancer via direct routing that share a virtual service on a single IP address in the Linux system and suggests an efficient load balancing method to improve transmission speed in the web server cluster environment. It will increase performance and scalability with fast packet transfer and removing bottleneck problem by using TCP Splicing and Content-Aware Distributor method. This method is expected to be the noticeable technology that provides an important interface, which make application services for e-commerce effectively be applied to high-speed network infrastructure. At this time, it is required to study further on the optimum balancing method in the web server cluster environment so as to apply the hybrid (optimum load balancing method by software and hardware) method and improve the reuse of security cession based on high-speed TCP connections.

Performance Analysis of Buffer Aware Scheduling for Video Services in LTE Network

  • Lin, Meng-Hsien;Chen, Yen-Wen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권9호
    • /
    • pp.3594-3610
    • /
    • 2015
  • Recent advancements in broadband wireless communication technologies enable mobile users to receive video streaming services with various smart devices. The long term evolution (LTE) network provides high bandwidth and low latency for several emerging mobile applications. This paper proposes the buffer aware scheduling (BAS) approach to schedule the downlink video traffic in LTE network. The proposed BAS scheme applies the weighting function to heuristically adjust the scheduling priority by considering the buffer status and channel condition of UE so as to reduce the time that UE stays in the connected state without receiving data. Both of 1080P and 2160P resolution video streaming sources were applied for exhaustive simulations to examine the performance of the proposed scheme by comparing to that of the fair bandwidth (FB) and the best channel quality indicator (CQI) schemes. The simulation results indicate that the proposed BAS scheme not only achieves better performance in power saving, streaming delivery time, and throughput than the FB scheme while maintaining the similar performance as the best CQI scheme in light traffic load. Specifically, the proposed scheme reduces streaming delivery time and generates less signaling overhead than the best CQI scheme when the traffic load is heavy.