• 제목/요약/키워드: Scalability Problem

검색결과 273건 처리시간 0.032초

Web Server Cluster Load Balancing

  • Kyung Sung;Kim, Seok-Soo
    • Journal of information and communication convergence engineering
    • /
    • 제2권2호
    • /
    • pp.106-109
    • /
    • 2004
  • This study designs a load balancer via direct routing that share a virtual service on a single IP address in the Linux system and suggests an efficient load balancing method to improve transmission speed in the web server cluster environment. It will increase performance and scalability with fast packet transfer and removing bottleneck problem by using TCP Splicing and Content-Aware Distributor method. This method is expected to be the noticeable technology that provides an important interface, which make application services for e-commerce effectively be applied to high-speed network infrastructure. At this time, it is required to study further on the optimum balancing method in the web server cluster environment so as to apply the hybrid (optimum load balancing method by software and hardware) method and improve the reuse of security cession based on high-speed TCP connections.

k-NN Join Based on LSH in Big Data Environment

  • Ji, Jiaqi;Chung, Yeongjee
    • Journal of information and communication convergence engineering
    • /
    • 제16권2호
    • /
    • pp.99-105
    • /
    • 2018
  • k-Nearest neighbor join (k-NN Join) is a computationally intensive algorithm that is designed to find k-nearest neighbors from a dataset S for every object in another dataset R. Most related studies on k-NN Join are based on single-computer operations. As the data dimensions and data volume increase, running the k-NN Join algorithm on a single computer cannot generate results quickly. To solve this scalability problem, we introduce the locality-sensitive hashing (LSH) k-NN Join algorithm implemented in Spark, an approach for high-dimensional big data. LSH is used to map similar data onto the same bucket, which can reduce the data search scope. In order to achieve parallel implementation of the algorithm on multiple computers, the Spark framework is used to accelerate the computation of distances between objects in a cluster. Results show that our proposed approach is fast and accurate for high-dimensional and big data.

A FE2 multi-scale implementation for modeling composite materials on distributed architectures

  • Giuntoli, Guido;Aguilar, Jimmy;Vazquez, Mariano;Oller, Sergio;Houzeaux, Guillaume
    • Coupled systems mechanics
    • /
    • 제8권2호
    • /
    • pp.99-109
    • /
    • 2019
  • This work investigates the accuracy and performance of a $FE^2$ multi-scale implementation used to predict the behavior of composite materials. The equations are formulated assuming the small deformations solid mechanics approach in non-linear material models with hardening plasticity. The uniform strain boundary conditions are applied for the macro-to-micro transitions. A parallel algorithm was implemented in order to solve large engineering problems. The scheme proposed takes advantage of the domain decomposition method at the macro-scale and the coupling between each subdomain with a micro-scale model. The precision of the method is validated with a composite material problem and scalability tests are performed for showing the efficiency.

A MapReduce-based Artificial Neural Network Churn Prediction for Music Streaming Service

  • Chen, Min
    • International Journal of Computer Science & Network Security
    • /
    • 제22권1호
    • /
    • pp.55-60
    • /
    • 2022
  • Churn prediction is a critical long-term problem for many business like music, games, magazines etc. The churn probability can be used to study many aspects of a business including proactive customer marketing, sales prediction, and churn-sensitive pricing models. It is quite challenging to design machine learning model to predict the customer churn accurately due to the large volume of the time-series data and the temporal issues of the data. In this paper, a parallel artificial neural network is proposed to create a highly-accurate customer churn model on a large customer dataset. The proposed model has achieved significant improvement in the accuracy of churn prediction. The scalability and effectiveness of the proposed algorithm is also studied.

클라우드 네이티브 환경에서 네트워킹 및 보안을 위한 eBPF 기술 동향 (eBPF Technology Trends for Networking and Security in Cloud-native)

  • 신용윤;신지수;박철희;박종근
    • 전자통신동향분석
    • /
    • 제37권5호
    • /
    • pp.62-69
    • /
    • 2022
  • In a situation where applications determine business competitiveness, they cannot respond to varying customer requirements without the cloud's flexibility and scalability. Companies have begun seeking ways to enjoy the advantages of the cloud fully, and the concept of "Cloud Native" is emerging as a solution to the problem. Cloud Native is now a target of interest in the market. Microservice and serverless functions can play a vital role in cloud-native architecture. Microservice arranges applications into various independent services, each offering certain functionality through mutual networking. eBPF is attracting attention as a cloud-native networking solution that quickly supports microservice features that repeat creation/deletion. This study identifies the characteristics of eBPF-based networking and evaluates cloud-native networking and secure networking using eBPF.

Peer-to-Peer Video-on-Demand with Distributed Cache

  • Ren, Jian-Ji;Lee, Jae-kee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.655-658
    • /
    • 2007
  • It is difficult to provide a video on demand (VoD) service to a large number of users via the Internet. This is due to the characteristics of VoD, which require a large bandwidth for a long playing time. The Peer-to-Peer (P2P) concept is proposed to increase the scalability of the VoD service. Many studies have been undertaken to solve this problem. But its success is still quite limited technically, these research have been deployed in a rush, mostly based on practicality and instability. A system which uses a distributed VoD streaming scheme over P2P network is proposed to support media streaming.

무선 인터넷을 위한 캐시 서버 클러스터 환경에서 캐시 이용률 기반의 스케줄링 (Scheduling based on Cache Utilization in a Cache Server Cluster for Wireless Internet)

  • 곽후근;정규식
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제34권9호
    • /
    • pp.435-444
    • /
    • 2007
  • 웹 페이지를 캐싱하는 것은 웹 하부 구조 상에서 중요한 역할을 한다. 캐싱 서비스의 효과는 제안된 대역폭을 가지는 무선 하부 구조 상에서 더욱 중요하게 여겨진다. 큰 규모의 하부 구조에서는 캐싱에서 발생할 수 있는 확장성과 요청 집중 현상(Hot-Spot) 문제를 해결하기 위해 서버들을 클러스터로 구성한다. 이에 본 논문에서는 무선 인터넷 프록시 서버 클러스터 환경에서 캐시 이용률 기반의 스케줄링 기법을 제안한다. 제안된 방법은 클라이언트의 요청을 캐시 서버 클러스터로 균일하게 분포시키고 요청 몰림 현상을 해결하기 위해 캐시 이용률을 이용하였다. 제안된 방법은 리눅스 클러스터 상에서 구현하였고, 실제로 사용되는 다양한 웹 traces들을 이용하여 실험을 수행하였다. 16대의 캐시 서버에서 수행된 실험결과는 제안된 해싱 기법이 요청 집중 현상을 해결하면서, 기존에 많이 사용되는 방법들에 비해 45%에서 114%까지 성능이 향상됨을 확인하였다.

분산 환경에서의 협력적 여과를 위한 멀티 에이전트 프레임워크 (A Multi-Agent framework for Distributed Collaborative Filtering)

  • 지애띠;연철;이승훈;조근식;김흥남
    • 지능정보연구
    • /
    • 제13권3호
    • /
    • pp.119-140
    • /
    • 2007
  • 추천 시스템은 정보의 홍수 속에서 사용자로 하여금 자신에게 더욱 가치 있고 흥미로운 정보를 선별할 수 있도록 돕는 자동화된 정보 여과 시스템이다. 최근 분산 컴퓨팅 환경에 대한 연구가 활발히 진행되면서, 지금까지의 중앙 서버에서 모든 정보를 관리하는 중앙 집중 방식의 추천 시스템에서 P2P 환경의 접근 방식으로 선회하고 있다. 협력적 여과는 상업적인 추천 시스템에서 가장 많이 사용하는 정보 여과 기법이지만, 그 성공에도 불구하고 확장성(scalability)과 데이터의 희박성(sparsity), 악의적인 사용자의 공격(shilling attack)에 대한 방어 등에 관련된 여러 제약을 갖는다. 중앙 집중 방식에서 분산된 방식으로의 변화는 추천의 신뢰성과 개인 정보의 남용 가능성에 관련한 문제점을 일부 해결할 수 있으나, 조작된 사용자 프로파일을 사용하여 추천을 조작하려는 의도를 갖는 악의적인 사용자의 공격에는 중앙 집중 방식과 마찬가지로 취약할 수 있다. 본 논문에서는 개인 정보의 오남용과 악의적인 사용자의 공격에 관련된 문제점을 해결하고, 분산된 환경에서 효과적인 협력적 여과를 수행하여 추천의 성능과 정확성을 높이기 위한 멀티 에이전트 기반의 추천 프레임워크를 제안한다. 추천의 신뢰성을 높이기 위해 사용자간의 신뢰 정보를 사용하며, 각 사용자의 개인 에이전트와 이동 에이전트간의 정보교환을 통해 효과적으로 신뢰 정보를 전파하고 분산된 유사도 계산의 효율성을 높였다.

  • PDF

공유 캐시 디렉토리 기반의 무선 인터넷 프록시 서버 클러스터 (A Shared Cache Directory based Wireless Internet Proxy Server Cluster)

  • 곽후근;정규식
    • 정보처리학회논문지A
    • /
    • 제13A권4호
    • /
    • pp.343-350
    • /
    • 2006
  • 본 논문에서는 무선 인터넷 프록시 서버 클러스터를 사용하여 무선 인터넷의 문제와 요구들을 캐싱(Caching), 압축(Distillation) 및 클러스터(Clustering)를 통하여 해결하려고 한다. 무선 인터넷 프록시 서버 클러스터에서 고려되어야 하는 것은 시스템적인 확장성, 단순한 구조, 캐시간 협동성(Cooperative Caching), Hot Spot에 대한 처리 등이다. 본 연구자들은 기존 연구에서 시스템적인 확장성과 단순한 구조를 가지는 CD-A라는 구조를 제안하였으나 캐시간 협동성이 없다는 단점을 가진다. 이의 개선된 구조로 해쉬를 이용하여 사용자의 요청을 처리하는(캐시간 협동성을 가지는) 구조를 생각해 볼 수 있으나 이 역시 Hot Spot(과부하) 을 처리할 수 없다는 단점을 가진다. 이에 본 논문에서는 시스템적인 확장성, 단순한 구조, 캐시간 협동성, Hot Spot(과부하)을 처리할 수 있는 공유 캐시 디렉토리 기반의 무선 인터넷 프록시 서버 클러스터를 제안한다. 제안된 방법은 하나의 캐시 디렉토리를 공유하는 방법으로 기존 구조의 장점과 캐시간 협동성 및 Hot Spot(과부하)을 처리할 수 있다는 장점을 가진다. 16대의 컴퓨터를 사용하여 실험을 수행하였고 실험 결과 Hot Spot(과부하) 상황에서 제안된 방법이 높은 성능 향상을 가짐을 확인하였다.

무효전력 보상을 포함하는 새로운 회전형 변압기 계통 연계 시스템 (New VFT Grid-Connection System Including Reactive Power Compensation)

  • 오정식;박태식;김성환;곽노홍;박장현
    • 전기전자학회논문지
    • /
    • 제23권1호
    • /
    • pp.143-150
    • /
    • 2019
  • Back-to Back HVDC 방식을 사용한 비동기 계통연계 기술은 고조파 발생, 높은 비용 및 낮은 확장성의 문제를 가지고 있으며, 이러한 문제를 해결하기 위하여 회전형 변압기를 이용한 비동기 계통 연계 기술에 대한 연구가 활발히 진행되고 있다. 그러나 회전형 변압기의 인덕턴스 성분으로 인한 무효전력이 발생되고 별도의 무효전력 보상설비의 추가 설치에 대한 문제가 필연적으로 발생된다. 따라서 본 논문에서는 회전형 변압기를 사용한 비동기 계통 연계 시스템의 필수요소인 정류용 AC-DC 컨버터를 유효전력 공급뿐만 아니라 무효전력을 보상할 수 있도록 설계함으로서 기존의 회전형 변압기의 무효전력 보상 문제를 해결하고자 하며, 제안된 방식은 시뮬레이션을 통해 성능을 검증하였다.