• 제목/요약/키워드: distributed processing

검색결과 2,324건 처리시간 0.025초

Tabu 탐색 기법을 이용한 분산 컴퓨팅 시스템 설계 (Design of Distributed Computer Systems Using Tabu Search Method)

  • 홍진원;김재련
    • 산업경영시스템학회지
    • /
    • 제18권36호
    • /
    • pp.143-152
    • /
    • 1995
  • This paper determines the allocation of computers and data files to minimize the sum of processing and communication costs which occur in processing jobs at each node. The problem of optimally configuring a distributed computer system belongs to the class of NP-Complete problems and the object function of this paper is nonlinear function and is hard to solve. This paper seeks the solution of distributed processing system by Tabu Search. Firstly, it presents the method of generating the starting solution proper to the distributed processing system. Secondly, it develops the method of searching neighborhood solutions. Finally, it determines the Tabu restriction appropriate to the distributed processing system. According to the experimental results, this algorithm solves a sized problems in reasonable time and is effective in the convergence of the solution. The algorithm developed in this paper is also applicable to the general allocation problems of the distributed processing system.

  • PDF

빅데이터를 위한 H-RTGL 기반 단일 분류기 분산 처리 프레임워크 설계 (Design of Distributed Processing Framework Based on H-RTGL One-class Classifier for Big Data)

  • 김도균;최진영
    • 품질경영학회지
    • /
    • 제48권4호
    • /
    • pp.553-566
    • /
    • 2020
  • Purpose: The purpose of this study was to design a framework for generating one-class classification algorithm based on Hyper-Rectangle(H-RTGL) in a distributed environment connected by network. Methods: At first, we devised one-class classifier based on H-RTGL which can be performed by distributed computing nodes considering model and data parallelism. Then, we also designed facilitating components for execution of distributed processing. In the end, we validate both effectiveness and efficiency of the classifier obtained from the proposed framework by a numerical experiment using data set obtained from UCI machine learning repository. Results: We designed distributed processing framework capable of one-class classification based on H-RTGL in distributed environment consisting of physically separated computing nodes. It includes components for implementation of model and data parallelism, which enables distributed generation of classifier. From a numerical experiment, we could observe that there was no significant change of classification performance assessed by statistical test and elapsed time was reduced due to application of distributed processing in dataset with considerable size. Conclusion: Based on such result, we can conclude that application of distributed processing for generating classifier can preserve classification performance and it can improve the efficiency of classification algorithms. In addition, we suggested an idea for future research directions of this paper as well as limitation of our work.

대용량 데이터의 분산 처리를 위한 클라우드 컴퓨팅 환경 최적화 및 성능평가 (Optimization and Performance Analysis of Cloud Computing Platform for Distributed Processing of Big Data)

  • 홍승태;신영성;장재우
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.55-71
    • /
    • 2011
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 한편 GIS 기술의 성장과 더불어 급격히 증가하고 있는 공간 데이터를 효율적으로 활용하기 위해서는, 클라우드 컴퓨팅을 이용한 대용량 공간데이터의 분산 처리가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 데이터 처리 기법에 대해 살펴보고, 분산 데이터 처리 기법 성능 개선을 위한 최적화 요구사항을 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 분산 데이터 처리 기법의 성능 최적화에 대한 성능평가를 수행한다.

Development of a CUBRID-Based Distributed Parallel Query Processing System

  • Kim, Hyeong-Il;Yang, HyeonSik;Yoon, Min;Chang, Jae-Woo
    • Journal of Information Processing Systems
    • /
    • 제13권3호
    • /
    • pp.518-532
    • /
    • 2017
  • Due to the rapid growth of the amount of data, research on bigdata processing has been highlighted. For bigdata processing, CUBRID Shard is able to support query processing in parallel way by dividing the database into a number of CUBRID servers. However, CUBRID Shard can answer a user's query only when the query is required to gain accesses to a single CUBRID server, instead of multiple ones. To solve the problem, in this paper we propose a CUBRID based distributed parallel query processing system that can answer a user's query in parallel and distributed manner. Finally, through the performance evaluation, we show that our proposed system provides 2-3 times better performance on query processing time than the existing CUBRID Shard.

실시간 네트워크 모니터링을 적용한 PDP 시스템의 성능 평가 (Performance Evaluation of PDP System Using Realtime Network Monitoring)

  • 송은하;정재홍;정영식
    • 정보처리학회논문지A
    • /
    • 제11A권3호
    • /
    • pp.181-188
    • /
    • 2004
  • 인터넷 기반 분산/병렬 처리 시스템인 PDP(Parallel/Distributed Processing)는 인터넷의 유휴상태 호스트들을 이용하여 대용량 작업을 병렬로 처리해서 전체 수행 시간을 감소시킨다. 본 연구에서는 실시간 네트워크 모니터링을 활용하여 수시로 변화하는 네트워크 환경에 적응하여 병렬/분산 처리되는 방안을 제안한다. 실시간 네트워크 모니터링 정보를 PDP 주요 핵심 알고리즘들에 적용하여 네트워크 과부하 및 결함으로 발생하는 작업 지연 요소에 적응적으로 대처함으로써 전체 성능이 향상됨을 보인다.

분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘 (Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment)

  • 양현식;장미영;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제16권7호
    • /
    • pp.667-680
    • /
    • 2016
  • 하둡 맵리듀스와 같은 분산 컴퓨팅 플랫폼이 개발됨에 따라, 기존 단일 컴퓨터 상에서 수행되는 질의 처리 기법을 분산 컴퓨팅 환경에서 효율적으로 수행하는 것이 필요하다. 특히, 주어진 두 데이터 집합에서 유사도가 높은 모든 데이터 쌍을 탐색하는 유사 조인 질의를 분산 컴퓨팅 환경에서 수행하려는 연구가 있어 왔다. 그러나 분산 병렬 환경에서의 기존 유사 조인 질의처리 기법은 데이터 전송 비용만을 고려하기 때문에 클러스터 간에 비균등 연산 부하 분산의 문제점이 존재한다. 본 논문에서는 분산 컴퓨팅 환경에서 효율적인 유사 조인 처리를 위한 행렬 기반 부하 분산 알고리즘을 제안한다. 제안하는 알고리즘은 클러스터의 균등 부하 분산을 위해 행렬을 이용하여 예상되는 연산 부하를 측정하고 이에 따라 파티션을 생성한다. 아울러, 클러스터에서 질의 처리에 사용되지 않는 데이터를 필터링함으로서 연산 부하를 감소시킨다. 마지막으로 성능 평가를 통해 제안하는 알고리즘이 기존 기법에 비해 질의 처리 성능 측면에서 우수함을 보인다.

객체 활성화를 이용한 분산 영상처리 (Distributed Image Preprocessing using Object Activation)

  • 허진경
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권1호
    • /
    • pp.87-92
    • /
    • 2011
  • 영상처리시 처리 요구 되는 영상데이터의 크기에 비례하여 시스템의 부담은 더욱 더 증가하게 된다. 특히 클라이언트로부터 전송되는 영상 데이터를 실시간으로 서버에서 분석하여 처리하는 원격 영상처리 시스템에서는 처리해야 할 데이터가 집중되는 서버 측에는 데이터의 병목현상이 발생하게 되고, 데이터의 병목현상은 시스템의 성능을 저하시킬 수 있다. 이를 해결하기 위해 여러 대의 서버를 두어 처리하는 단순 분산처리를 사용하여 해결 할 수 있으나, 이는 그만큼의 비용 부담을 가져올 수 있다. 본 논문에서는 영상 데이터 처리의 병목현상을 해결하기 위한 분산 시스템에 객체 활성화 기술을 접목시킨 새로운 형태의 분산 영상 처리를 제안하고자 한다. 제안한 방법은 영상 전처리 작업을 최적화 된 시스템에 의해 처리하게 하여 더 높은 성능을 가져올 수 있다. 또한 최적화된 서버의 오류로 인해 정상적으로 동작하지 않을 경우를 대비하여, 네트워크 내의 유휴서버를 활용하여 서비스를 제공할 수 있다.

Distributed Collision-Resolvable Medium Access Control for Wireless LANs with Interference Cancellation Support

  • Shen, Hu;Lv, Shaohe;Wang, Xiaodong;Zhou, Xingming
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권8호
    • /
    • pp.2691-2707
    • /
    • 2014
  • Medium access control is critical in wireless networks for efficient spectrum utilization. In this paper, we introduce a novel collision resolution method based on the technique of known interference cancellation, and propose a new MAC protocol named as CR-MAC, in which AP tries to decode all the collided data packets by combining partial retransmissions and known interference cancellation. As the collided transmissions are fully utilized, less retransmission is required, especially in a crowded network. The NS-2simulation and MATLAB numerical results show that, under various network settings, CR-MAC performs much better than the IEEE 802.11 DCF in terms of the aggregation throughput and the expected packet delay.

분산 시맨틱웹 환경에서의 온톨로지 데이터 처리 기법 연구 (Ontology data processing method in distributed semantic web environment)

  • 김병곤;오성균
    • 디지털콘텐츠학회 논문지
    • /
    • 제9권2호
    • /
    • pp.277-284
    • /
    • 2008
  • 인터넷 서비스가 일반화되고 복잡해지면서 차세대 인터넷 서비스인 시맨틱웹의 중요한 구성요소로 활발히 연구되고 있는 분야가 온톨로지이다. 현재까지의 많은 연구들은 중앙 집중형 사이트에서의 온톨로지 구축을 통한 데이터의 통합에 관한 연구가 대부분이었다. 그러나 인터넷 환경은 기본적으로 분산 데이터 환경이며, 이러한 분산된 사이트의 모든 데이터를 대상으로 질의를 처리해야 한다. 이때 사이트간의 온톨로지 분산 데이터 처리에 대한 해결 기법들이 없이는 빠른 변화에 대응할 수 있는 차세대 시맨틱웹 구축을 기대할 수 없다. 본 연구는 분산된 인터넷 환경에서 각기 다른 방법으로 구축되어 있는 온톨로지간의 관계를 OWL언어가 지니는 확장요소를 이용하여 온톨로지 요소간의 분산관계를 기술하여 통합 질의 처리가 가능한 시스템을 구축하는 방법을 제시한다.

  • PDF

실시간 분산 시스템을 위한 동적 트랜잭션 처리 (Dynamic Transaction Processing in Distributed Real-Time Systems)

  • 윤용익
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권6호
    • /
    • pp.738-747
    • /
    • 1999
  • 본 논문에서는 분산 실시간 시스템의 특징인 분산 처리 과정의 신뢰성을 지원하기 위한 동적 트랜잭션 처리 구조를 연구하였다. 실시간 분산 처리 환경에서 동적으로 발생하는 실시간 분산 트랜잭션 처리를 위하여 트랜잭션 내에 필수적인 3가지 언어적 특성들을 제시하였다. 첫째는 트랜잭션 내에 실시간 시스템의 가장 중요한 특징인 시간적인 제약 조건들을 정의 할 수 있는 방안을 제시하고, 둘째는 비동기적인 처리 성격을 지닌 실시간 특성을 고려한 비동기적 트랜잭션 처리 방법을 제시한다. 또한, 분산 처리 과정에서 발생되는 예외 사항들을 처리하기 위하여 긴급성을 고려한 다중레벨 우선순위 스케줄링 (Multi-Level Priotiry Scheduling)이라 부르는 트랜잭션 스케줄링 방안을 제시한다. 그리고, 제시한 실시간 분산 트랜잭션 처리 구조의 타당성 및 가능성을 입증하기 위한 실시간 트랜잭션 처리 과정을 시물레이션을 통하여 제시한 언어적 특성에 대한 고려 사항들을 보여준다.Abstract We propose a dynamic transaction processing model that supports a reliability for distributed real-time processing. For the dynamic processing in distributed real-time transaction systems, we suggest three features that are defined in programming language. First, we propose a specification model to explicitly define the time constraints, needs in real-time distributed processing. Second, we describe an asynchronous transaction processing mechanism based on the real-time characteristics. So, we suggest three communication primitives to support asynchronous transaction processing. Lastly, a scheduling policy based on urgent transaction is suggested to manage the exception occurred during the distributed processing. This scheduling policy is called multi-level priotiry scheduling (MPLS). Based on three features and scheduling policy, we describe a direction to manage a dynamic transaction processing in distributed real-time systems.