• 제목/요약/키워드: Distributed Processing Platform

검색결과 130건 처리시간 0.026초

CORBA 환경에서 실시간 응용을 자원을 위한 분산 객체그룹 플랫폼의 설계 및 구현 (A Design and Implementation of Distributed Object Group Platform for Supporting Real-Time Application in CORBA Environments)

  • 김명희;이재완;주수종
    • 한국정보처리학회논문지
    • /
    • 제7권4호
    • /
    • pp.1062-1072
    • /
    • 2000
  • The applications developing in distributed object computing enviroments are faced with the difficulties for managing various lots of distributed objects. Also, because the most multimedia service, like video, audio, and so forth, must be satisfied itself with real-time constraints, the users also are feeling with necessary to apply real-time mechanisms to distributed multimedia services. The goal of this paper is to solve the problems for managing distributed objects, and to be easy to develop complex applications that can provide real-time services. To do this, we designed and implemented a real-time object group platform that can be placed between applications and CORBA. This platform is extended the existing object group model[13,14] added to the scheduler and timer object components for supporting real-time concept. We designed the components for platform by using James Rumbaugh object modeling technology that consists of object, function, and dynamic model. And then we described the detailed interfaces of the components by IDL, and implemented our real-time object group's platform using OrbixMT 22 which is the IONA Technologies' ORB product. Finally, we showed the execution procedures of the schduler object of each components in a real-time object group platform.

  • PDF

A Study on a Distributed Data Fabric-based Platform in a Multi-Cloud Environment

  • Moon, Seok-Jae;Kang, Seong-Beom;Park, Byung-Joon
    • International Journal of Advanced Culture Technology
    • /
    • 제9권3호
    • /
    • pp.321-326
    • /
    • 2021
  • In a multi-cloud environment, it is necessary to minimize physical movement for efficient interoperability of distributed source data without building a data warehouse or data lake. And there is a need for a data platform that can easily access data anywhere in a multi-cloud environment. In this paper, we propose a new platform based on data fabric centered on a distributed platform suitable for cloud environments that overcomes the limitations of legacy systems. This platform applies the knowledge graph database technique to the physical linkage of source data for interoperability of distributed data. And by integrating all data into one scalable platform in a multi-cloud environment, it uses the holochain technique so that companies can easily access and move data with security and authority guaranteed regardless of where the data is stored. The knowledge graph database mitigates the problem of heterogeneous conflicts of data interoperability in a decentralized environment, and Holochain accelerates the memory and security processing process on traditional blockchains. In this way, data access and sharing of more distributed data interoperability becomes flexible, and metadata matching flexibility is effectively handled.

도커 기반의 실시간 데이터 연계 및 처리 환경을 고려한 빅데이터 관리 플랫폼 개발 (Development of Big-data Management Platform Considering Docker Based Real Time Data Connecting and Processing Environments)

  • 김동길;박용순;정태윤
    • 대한임베디드공학회논문지
    • /
    • 제16권4호
    • /
    • pp.153-161
    • /
    • 2021
  • Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.

객체그룹 기반의 분산환경에서 교육용 VDB 시스템의 설계 및 구현 (Design and Implementation of An Educational VDB System in Distributed Environments Based on Object Groups)

  • 유경택;이현철;주수종
    • 한국정보처리학회논문지
    • /
    • 제6권11호
    • /
    • pp.3034-3045
    • /
    • 1999
  • For efficiently providing multimedia services, distributed computing environments are specified the requirements of various services and distributed object platforms applied an object-oriented technology by TINA Consortium and OMG CORBA. Because multimedia service applications are becoming large and distributing, their servicing managing interfaces among objects are being complicated. In order to solve these defects, it is necessary to suggest a new object grouping model and specify object service/management requirements can be introduced under the object groups. We have been developed the distributed object group platform that can group all individual objects by the relating services and can supply trading functions for interconnecting between distributed objects or object groups. In this paper, we designed and implemented the Virtual Drawing Board for remote equational services on the distributed object group platform we mentioned above. As results, we designed a basic structure and service interfaces, and showed execution procedures of VDB system consisted of distributed objects and objects groups for educational services. For supporting distributed services of VDB system, we used three kinds of tools as follows; IONA orbix 2.2 of CORBA compliance as an object middleware, OrbixTrader 1.0 for interconnection of distributed objects, and the OGTG we developed for interconnection of distributed object groups and checking access rights of objects included in an arbitrary object group.

  • PDF

분산 환경에서 멀티미디어 실시간 스트리밍을 위한 패키지 설계 (A Package Design for Multimedia Live Streaming in Distributed Environment)

  • 서봉근;김윤호
    • 한국멀티미디어학회논문지
    • /
    • 제9권4호
    • /
    • pp.490-504
    • /
    • 2006
  • 분산 환경에서 멀티미디어 라이브 스트리밍을 지원하는 멀티미디어 서비스를 구현하기 위해서는 다양한 플랫폼에 분산되어 있는 객체들을 제어하고, 멀티캐스트를 지원하지 않는 네트워크 환경에서 다수의 수신자에게 멀티미디어를 전송하는 것이 필요하다. 본 논문에서는 분산 객체 기술인 RMI와 멀티미디어 전송/처리에 사용하는 JMF를 확장하여 분산 환경에서 1:N 의 멀티미디어 라이브 스트리밍을 지원하는 DLS (Distributed Live Streaming) 패키지를 제안한다. 효율적인 분산 처리를 위해 전송과 제어를 분리하여 설계한 자바 기반의 DLS 패키지는 1:N의 전송을 지원하고 플랫폼 독립적인 멀티미디어 서비스의 개발에 적용이 가능하다.

  • PDF

Research on the Sharing Strategy of Electronic Book Resources in Universities in the Internet Era

  • Guiya Gao
    • Journal of Information Processing Systems
    • /
    • 제19권5호
    • /
    • pp.590-601
    • /
    • 2023
  • University books are an important information resource. University book resources can be shared not only in the traditional paper form, but also electronic form under the background of the Internet. In order to better manage the sharing of electronic book resources in universities, this study put forward three resource sharing strategies: centralized sharing strategy, distributed sharing strategy, and centralized-distributed sharing strategy by analyzing the combined development of books and the Internet as well as the significance and development of book resource sharing. The centralized sharing strategy, however simple, was difficult to handle large traffic; while the resource nodes were independent and self-consistent, the distributed sharing strategy was not easy to find and had a high repetition rate. Combining the advantages of both strategies, the centralized-distributed sharing strategy was more suitable for the heterogeneous form of university book sharing. Finally, a teaching resources sharing platform for university libraries was designed based on the strategy of centralized and distributed sharing, and three interfaces including platform login, resource search, and resource release were displayed. The results of the simulated comparison experiment showed that centralized and distributed sharing strategies had limitations in resource searching and had low efficiencies; the efficiency of the centralized strategy reduced with an increase in search subjects; however, the centralized-distributed sharing strategy was able to search more resources efficiently and main stability.

멀티쓰레드 기반 병렬처리 구조를 이용한 TMN 에이젼트 플랫폼 설계 및 구현 (Design and Implementation of a TMN Agent Platform based on a Multi-thread Parallel Processing Architecture)

  • 김성우;김영탁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권6호
    • /
    • pp.793-800
    • /
    • 1999
  • TMN Agent Platform은 망 요소의 운영상태와 자원들을 GDMO에 따라 관리객체(Managed Object : MO)로 모델링 하고, 자원들의 현재 상태를 유지하며, 관리자(Manager)로부터의 망 관리 기능 요구에 따라 조작된다. 그러므로, 에이전트의 성능향상은 전체적인 통신망 관리의 성능향상에 직접적인 영향을 미친다.본 논문에서는 TMN 에이전트의 기능요구 사항을 분석하고, 이를 토대로 성능향상을 위해 멀티스레드 기법을 사용하는 병렬 처리 구조의 TMN Agent Platform의 기능구조를 제시한다. 또한 에이전트와 다양한 자원들간의 효율적인 메시지전달을 위한 체계를 제시하며, 구현된 TMN Agent Platform의 성능을 분석한다.Abstract TMN Agent manages the operational status and real-resources of network elements, such as switching nodes and transmission systems. It performs the requested management functions from manager and maintains consistent status data of real-resource. The performance of agent system affects directly the performance of network management operation. If the agent is implemented by sequential processing scheme with single process, the agent processing can be delayed or blocked according to the status of real-resources. This problem can be solved by parallel and distributed processing scheme.To improve the processing performance of TMN Agent, we propose a TMN Agent Platform's functional architecture that is based on parallel processing with multi-tread and effective message transferring scheme between agent and various real-resource. We analyze the performance of the implemented TMN Agent Platform.

하둡 플랫폼을 이용한 대량의 스몰파일 처리방법 (Processing Method of Mass Small File Using Hadoop Platform)

  • 김창복;정재필
    • 한국항행학회논문지
    • /
    • 제18권4호
    • /
    • pp.401-408
    • /
    • 2014
  • 하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.

대용량 데이터의 분산 처리를 위한 클라우드 컴퓨팅 환경 최적화 및 성능평가 (Optimization and Performance Analysis of Cloud Computing Platform for Distributed Processing of Big Data)

  • 홍승태;신영성;장재우
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.55-71
    • /
    • 2011
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 한편 GIS 기술의 성장과 더불어 급격히 증가하고 있는 공간 데이터를 효율적으로 활용하기 위해서는, 클라우드 컴퓨팅을 이용한 대용량 공간데이터의 분산 처리가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 데이터 처리 기법에 대해 살펴보고, 분산 데이터 처리 기법 성능 개선을 위한 최적화 요구사항을 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 분산 데이터 처리 기법의 성능 최적화에 대한 성능평가를 수행한다.

Spark SQL 기반 고도 분석 지원 프레임워크 설계 (Design of Spark SQL Based Framework for Advanced Analytics)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권10호
    • /
    • pp.477-482
    • /
    • 2016
  • 기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.