• Title/Summary/Keyword: 분산 처리

Search Result 4,213, Processing Time 0.032 seconds

Optimization and Performance Analysis of Cloud Computing Platform for Distributed Processing of Big Data (대용량 데이터의 분산 처리를 위한 클라우드 컴퓨팅 환경 최적화 및 성능평가)

  • Hong, Seung-Tae;Shin, Young-Sung;Chang, Jae-Woo
    • Spatial Information Research
    • /
    • v.19 no.4
    • /
    • pp.55-71
    • /
    • 2011
  • Recently, interest in cloud computing which provides IT resources as service form in IT field is increasing. As a result, much research has been done on the distributed data processing that store and manage a large amount of data in many servers. Meanwhile, in order to effectively utilize the spatial data which is rapidly increasing day by day with the growth of GIS technology, distributed processing of spatial data using cloud computing is essential. Therefore, in this paper, we review the representative distributed data processing techniques and we analyze the optimization requirements for performance improvement of the distributed processing techniques for a large amount of data. In addition, we uses the Hadoop and we evaluate the performance of the distributed data processing techniques for their optimization requirements.

DVM and DESPL for the distributed environment (분산환경에 적용될수 있는 DVM 및 DESPL의 제안)

  • 양일등;이석희;김성열
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.160-162
    • /
    • 2003
  • 컴퓨터의 파워가 증대됨에 따라 데이터의 처리속도도 증가했지만 더불어 사회의 복잡도가 증가함에 따라 처리해야 할 데이터도 증가하고있다. 이에 병렬처리, 클러스터, P2P, 그리드등 분산된 컴퓨터들의 파워를 하나로 묶어 이러한 문제를 처리하려는 움직임이 있다. 하지만 이러한 연구들은 최종사용자들에게 분산환경에 대한인지를 요구하고 있어 개발에 어려움이 있다. 또한 일반 프로그래밍 언어로 개발된 프로그램을 분산된 환경에서 실행하는 것은 쉽지 않다. 이에 언어적인 차원에서 분산환경을 지원하는 DVM 및 DESPL을 제안하고자 한다.

  • PDF

Integrated Modeling of Distributed Object-Oriented Systems (다수모델을 이용한 객체지향적 분산처리 시스템의 디자인 방법)

  • Lee, Sang-Bum
    • The Transactions of the Korea Information Processing Society
    • /
    • v.3 no.5
    • /
    • pp.1103-1111
    • /
    • 1996
  • The design of distrbuted systems is difficult to achieve as the execution patterns of distrbuted systems are typically more complex than those of non- distributed systems. Thus, research toward the development of design methods for distributed systems is quitely needed. As object-oriented systems and distrbuted systems share similar properties, the combination of these two is somehow natural. In this work, a design of distributed systems is introduced. The goal of the method in this paper is to provide assistance to the process of specifying a formal object- oriented specification from graphical representation specification inputs such as data flow diagrams, state transition diagrams and Petri nets. It addresses the extraction of objects, operations and reationshipsfrom the problem domain with emphasis on the specification of the characteristics of distributed systems. This object identification method is supported by a knowledge base that provides for the automated analysis and reasoning about objects and their relationsships. The final object model is represented in a format which provides a formal mechanism for reprsenting the object information.

  • PDF

Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment (분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘)

  • Yang, Hyeon-Sik;Jang, Miyoung;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.16 no.7
    • /
    • pp.667-680
    • /
    • 2016
  • As distributed computing platforms like Hadoop MapReduce have been developed, it is necessary to perform the conventional query processing techniques, which have been executed in a single computing machine, in distributed computing environments efficiently. Especially, studies on similarity join query processing in distributed computing environments have been done where similarity join means retrieving all data pairs with high similarity between given two data sets. But the existing similarity join query processing schemes for distributed computing environments have a problem of skewed computing load balance between clusters because they consider only the data transmission cost. In this paper, we propose Matrix-based Load-balancing Algorithm for efficient similarity join query processing in distributed computing environment. In order to uniform load balancing of clusters, the proposed algorithm estimates expected computing cost by using matrix and generates partitions based on the estimated cost. In addition, it can reduce computing loads by filtering out data which are not used in query processing in clusters. Finally, it is shown from our performance evaluation that the proposed algorithm is better on query processing performance than the existing one.

Hierarchical P2P Model for CPU sharing (CPU공유를 위한 계층적 P2P 모델)

  • 윤기철;임대영;김길용
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.394-396
    • /
    • 2001
  • 지금까지의 분산 컴퓨팅 시스템은 클라이언트의 요청을 서버에서 분산 처리하는 방식이었으나 SETI는 피어투피어 기술을 이용하여 이와 반대로 서버의 요청을 클라이언트에서 분산처리하는 방식을 취하고 있다. 여기서 데이터의 요청과 분산처리가 모두 클라이언트에서 이루어지는 분산시스템을 구성해볼 수 있다. 본 논문에서는 피어투피어 모델에 분산컴퓨팅을 적용하여, 기존 모델의 문제점을 해결한 새로운 피어투피어 모델을 제시해보고자 한다.

  • PDF

Implementation of Networked Virtual Environment by Using Effective Java Multi-Thread Parallelism (효과적인 자바 다중 쓰레드 병렬처리를 이용한 네트워크 가상환경의 구현)

  • Kim, Woo-Yeal;Park, Jong-Koo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.829-832
    • /
    • 2004
  • 대단위(large-scale) 가상현실 시스템이나 가상현실 시스템의 구성요소가 네트워크(일반적인 통신망)를 통하여 분산되어 있는 경우를 네트워크 가상현실 시스템(Net-VE : Networked Virtual Environment)이라 한다. 가상현실의 환경을 분산 처리하는 경우 가상현실 시각의 공유방법, 분산시스템의 구성방법, 저속 혹은 고속통신망을 통한 대량의 데이터를 전송하는 방법, 가상현실 내의 이용자의 상호작용 방법, 데이터 공유방법, 분산처리 방법 등 가상현실 기술에 부가하여 통신망기술, 프로토콜 공학, 분산 처리기술 등 다양한 주변 기술이 필요하다. 따라서 본 논문에서는 더 유연성 있고 모듈러한 네트워크 가상 환경을 구축하는데 있어 효율적인 객체 지향 프로그래밍 기술인 자바의 다중 쓰레드 병렬처리 기법을 사용하고자 한다. 자바의 쓰레드 구조를 사용함으로써 네트워크 가상환경에서 여러 클라이언트에서 요청하는 데이터를 네트워크를 통한 지연에 대한 효과적인 대안으로서 자바의 다중 쓰레드 병렬처리 기법을 제안하고자 한다.

  • PDF

Design and Implementation of Distributed XQuery Query Processor using Distributed ORDBMSs (분산 객체 관계 데이터베이스 시스템을 이용한 분산 XQuery 질의 처리기 설계 및 구현)

  • Lee, Jae-Min;Jang, Gun-Up;Hong, Eui-Kyeong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10c
    • /
    • pp.55-59
    • /
    • 2007
  • 최근 컴퓨팅 환경은 인터넷 환경의 웹을 기반으로 한 분산 컴퓨팅 환경으로 변화하고 있다. 그에 따라 XML 문서의 사용과 XML 문서의 양이 급속하게 증가하였으며, 언제나 쉽게 필요한 XML 문서에 접근할 수 있어야 한다. 또한 다양한 형태로 분산 저장된 XML 문서에서 원하는 데이터를 추출하고 변환하며, 단편화된 XML 데이터를 통합하는 작업들이 필요하게 된다. 따라서 XML 문서를 분산 객체 관계 데이터베이스 시스템에 효율적으로 저장하는 시스템을 개발하고, 분산 저장된 XML 문서에서 사용자가 필요한 정보를 검색할 수 있도록 하기 위해 XQuery 질의어를 지원하는 연구가 필요하다. 본 논문에서는 분산 객체 관계 데이터베이스 시스템에 저장된 XML 데이터를 접근할 수 있도록 하기 위해 XPath를 분산 SQL로 변환하여 실행하는 분산 XPath 의 처리기를 확장하여 XQuery를 분산 SQL로 변환하여 실행하는 분산 XQuery 질의 처리기를 설계 및 구현하였다.

  • PDF

A Study On Recommend System Using Co-occurrence Matrix and Hadoop Distribution Processing (동시발생 행렬과 하둡 분산처리를 이용한 추천시스템에 관한 연구)

  • Kim, Chang-Bok;Chung, Jae-Pil
    • Journal of Advanced Navigation Technology
    • /
    • v.18 no.5
    • /
    • pp.468-475
    • /
    • 2014
  • The recommend system is getting more difficult real time recommend by lager preference data set, computing power and recommend algorithm. For this reason, recommend system is proceeding actively one's studies toward distribute processing method of large preference data set. This paper studied distribute processing method of large preference data set using hadoop distribute processing platform and mahout machine learning library. The recommend algorithm is used Co-occurrence Matrix similar to item Collaborative Filtering. The Co-occurrence Matrix can do distribute processing by many node of hadoop cluster, and it needs many computation scale but can reduce computation scale by distribute processing. This paper has simplified distribute processing of co-occurrence matrix by changes over from four stage to three stage. As a result, this paper can reduce mapreduce job and can generate recommend file. And it has a fast processing speed, and reduce map output data.

A Design and Implementation of Sample Distributed Virtual Machine for Distributed Environment (분산환경을 위한 Sample Distributed Virtual Machine 설계 및 구현)

  • Yang, Il-Deung;Lee, Seok-Hee;Kim, Soeng-Ryeol
    • The KIPS Transactions:PartA
    • /
    • v.11A no.4
    • /
    • pp.251-256
    • /
    • 2004
  • By large quantity supply of high efficiency computers, various kind of distributed resource has been extravagant around. Use this distributed resource, if exclude concept of systems by each field, module, operation and administration then we can use it into minimum expense. Hereupon, accommodate some among contents that is proposed through 'Proposal of DVM and DESPL that have apply in distributed environment' and designs and implements SDVM. The user who use SDVM can use into minimum expense without concept of distributed environment.

Parallel Distributed Spatial Join Method using R+ -tree In Distributed Spatial Database Systems (분산 공간 데이터베이스 시스템에서 R+-tree를 이용한 병렬 분산 공간 죠인 기법)

  • 김종현;김재홍;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.67-69
    • /
    • 2002
  • 여러 사이트에서 구축된 공간 데이터를 효율적으로 관리 및 공유하기 위해서는 대용량의 정보를 처리할 수 있는 분산 공간 데이터베이스 시스템의 사용이 필수적이다. 이러한 분산 공간 데이터베이스 시스템상에서의 분산 공간 죠인 질의는 공간 데이터의 대용량성과 그 복잡성으로 인하여 공간 연산의 지펴져 부하와 네트워크상의 전송 부하를 발생시킨다. 이러한 문제를 해결하기 위해 세미죠인 기반의 공간 죠인 기법들이 제안되었으나 공간 죠인 연산을 특정 서버에서만 수행하여 병목현상을 발생시키기 때문에 결국 질의 처리시간이 증가된다. 본 논문은 이러한 분산 공간 데이터베이스 시스템에서 수행 비용이 많이 드는 원격 사이트간의 공간 죠인 연산에 대해 R+-tree 공간 색인을 사용하여 병렬적으로 수행하는 기법을 제안한다. 본 기법은 R+-tree 공간 색인을 이용하여 공간 죠인 연산의 대상이 되는 릴레이션들을 중첩이 없는 두개의 릴레이션들로 분할한 후 질의 수행에 참여하는 두 서버에 죠인 연산을 분배하고 병렬적으로 처리하여 결과들을 병합한 다음 클라이언트에게 전송만다. 본 기법은 릴레이션을 분할하여 각 서버에서 공간 죠인 연산을 병렬적으로 처리하므로 처리 비용을 절반으로 감소시키며. R+-tree의 영역에 해당하는 객체들만 죠인 연산에 참여하게 함으로써 네트워크 전송 비용을 감소시킨다

  • PDF