• 제목/요약/키워드: Distributed Processing Platform

검색결과 130건 처리시간 0.024초

하둡 분산 파일시스템에서의 유연한 노드 관리를 위한 지연된 블록 복제 기법 (Delayed Block Replication Scheme of Hadoop Distributed File System for Flexible Management of Distributed Nodes)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제12권2호
    • /
    • pp.367-374
    • /
    • 2017
  • 본 논문에서는 빅 데이터 처리를 위한 플랫폼인 하둡이 가지고 있는 분산 노드 관리 기법의 문제점을 분석하고 하둡 분산 파일시스템에서 노드 관리를 유연하게 처리하기 위한 기법을 제안한다. 기존의 방법은 클러스터에 포함된 노드가 일시적으로 연결되지 않는 경우 이를 즉시 고장으로 판정함으로 인해 클러스터를 동적으로 구성하지는 못하는 문제가 있다. 본 논문에서 제안하는 지연된 블록 복제 기법은 연결이 끊어진 노드가 추후 클러스터에 쉽게 편입될 수 있도록 노드의 제거를 최대한 지연함으로써 노드 관리의 유연성을 제공한다. 실험을 통해 제안하는 기법이 클러스터의 규모가 변화하는 환경에서 분산 처리 성능에 영향을 거의 미치지 않으면서도 노드 관리의 유연성을 증대시키는 것을 입증한다.

철도 안전관제 통합콘솔에서의 실시간 감시 및 통제를 위한 DDS 적용방안 연구 (A Study on DDS (Data Distribution Service) Application for Real-time Monitoring and Control in Operation Console of the Railway Safety Control Platform)

  • 소재걸;신광호;안진
    • 한국도시철도학회논문집
    • /
    • 제6권4호
    • /
    • pp.279-286
    • /
    • 2018
  • 최근 열차운행의 안전을 실시간으로 감시하고 통제를 통해 사고 및 위험을 예방하는 안전관제 플랫폼의 연구가 진행 중에 있다. 초기 설계에서 기존 분산된 안전 데이터의 통합에 따른 대용량 데이터의 실시간 처리를 위하여 분산 네트워크를 지원하는 DDS통신 방식을 채택하였으나, 안전관제 플랫폼 내부의 서버와 콘솔 간 통신은 기존의 TCP소켓통신을 그대로 적용하였다. TCP소켓통신의 경우 1대1 통신으로 안전관제 테스트베드의 소규모 시스템을 위한 데이터 처리는 가능하지만, 추후 전국으로 확대되면 방대한 데이터로 인해 통신 트래픽이 발생하는 경우 대처가 어렵게 된다. 본 논문에서는 안전관제 플랫폼의 서버와 콘솔 간 인터페이스 방식을 분산네트워크를 지원하는 DDS통신으로 제안하였으며, TCP소켓방식과 DDS방식의 데모를 구현하고 처리량 및 속도 비교 분석을 수행하였다. 그 결과, DDS통신을 적용하는 경우 향후 변경될 수 있는 시스템에 대비하여 확장성과 유연성이 개선된다는 사실을 도출하였다.

A Distributed Real-time 3D Pose Estimation Framework based on Asynchronous Multiviews

  • Taemin, Hwang;Jieun, Kim;Minjoon, Kim
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권2호
    • /
    • pp.559-575
    • /
    • 2023
  • 3D human pose estimation is widely applied in various fields, including action recognition, sports analysis, and human-computer interaction. 3D human pose estimation has achieved significant progress with the introduction of convolutional neural network (CNN). Recently, several researches have proposed the use of multiview approaches to avoid occlusions in single-view approaches. However, as the number of cameras increases, a 3D pose estimation system relying on a CNN may lack in computational resources. In addition, when a single host system uses multiple cameras, the data transition speed becomes inadequate owing to bandwidth limitations. To address this problem, we propose a distributed real-time 3D pose estimation framework based on asynchronous multiple cameras. The proposed framework comprises a central server and multiple edge devices. Each multiple-edge device estimates a 2D human pose from its view and sendsit to the central server. Subsequently, the central server synchronizes the received 2D human pose data based on the timestamps. Finally, the central server reconstructs a 3D human pose using geometrical triangulation. We demonstrate that the proposed framework increases the percentage of detected joints and successfully estimates 3D human poses in real-time.

빅데이터 처리 및 분석을 위한 Rhipe 플랫폼 (Rhipe Platform for Big Data Processing and Analysis)

  • 정병호;신지은;임동훈
    • 응용통계연구
    • /
    • 제27권7호
    • /
    • pp.1171-1185
    • /
    • 2014
  • R과 Hadoop의 통합환경인 Rhipe 개발로 인해 분산처리 환경 하에서 대용량 데이터 분석이 가능해졌다. 본 논문에서는 Rhipe을 이용하여 실제 데이터와 모의실험 데이터에서 다양한 데이터 크기에 따라 다중 회귀분석을 구현하였다. Hadoop의 가상분산 모드(pseudo-dstributed mode)와 완전분산 모드(fully-distributed mode) 구축 시스템 비교에서 완전분산 모드 시스템이 가상분산 모드 시스템보다 처리 속도가 빠르고 데이터 노드의 수가 많을수록 계산 시간이 점점 줄어드는 것을 알 수 있었다. 또한, 제안된 Rhipe 플랫폼의 성능을 평가하기 위해 기본 R 패키지인 stats와 bigmemory 상에서 유용한 biglm 패키지와 처리 속도를 비교하였다. 실험결과 Rhipe은 데이터의 크기가 클수록 map task 개수가 증가되고 동시에 병렬 처리로 인해 다른 패키지들보다 빠른 처리속도를 보였다.

Efficient Process Network Implementation of Ray-Tracing Application on Heterogeneous Multi-Core Systems

  • Jung, Hyeonseok;Yang, Hoeseok
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제5권4호
    • /
    • pp.289-293
    • /
    • 2016
  • As more mobile devices are equipped with multi-core CPUs and are required to execute many compute-intensive multimedia applications, it is important to optimize the systems, considering the underlying parallel hardware architecture. In this paper, we implement and optimize ray-tracing application tailored to a given mobile computing platform with multiple heterogeneous processing elements. In this paper, a lightweight ray-tracing application is specified and implemented in Kahn process network (KPN) model-of-computation, which is known to be suitable for the description of real-time applications. We take an open-source C/C++ implementation of ray-tracing and adapt it to KPN description in the Distributed Application Layer framework. Then, several possible configurations are evaluated in the target mobile computing platform (Exynos 5422), where eight heterogeneous ARM cores are integrated. We derive the optimal degree of parallelism and a suitable distribution of the replicated tasks tailored to the target architecture.

분산객체 시스템을 위한 관계형 데이터베이스 연동도구의 개발 (Development of a CASE Tool on Relational Databases for Distributed Object Systems)

  • 박우창
    • 한국정보처리학회논문지
    • /
    • 제7권1호
    • /
    • pp.20-28
    • /
    • 2000
  • 분산 데이터베이스 시스템은 여러 곳에 이질적인 데이터 소스가 존재하는 정보환경에서 데이터가 처리되는 시스템이다. OMG에 의하여 제시된 CORBA는 이 기종의 분산 환경 하에서 플랫폼에 대해 독립성을 가지고 응용프로그램들을 통합하여 상호 연동할 수 있는 표준으로 제시되었다. 본 논문은 이러한 환경에서 CORBA 객체를 통해 인터페이스 방식에 의한 코드생성을 통하여 분산된 관계형 데이터베이스의 상호작동을 돕는 소프트웨어 도구를 개발한다. 본 논문에서 개발된 도구는 관계형 데이터베이스의 스키마를 관리하고, 스키마에 해당하는 테이블에 대한 CORBA IDL 인터페이스를 생성하며, $C^{++}$ stub에 따른 비교 등 인터페이스 방식에 관한 몇 가지 성능을 실험하고 평가하였다. 개발된 도구는 관계형 데이터베이스 상호 연동에 필요한 코드를 제공함으로써 분산 정보검색 시스템, 데이터 웨어하우징 등의 응용에 사용할 수 있다.

  • PDF

MapReduce 분산 데이터처리 플랫폼에 기반한 모바일 디바이스 UX 분석 (UX Analysis for Mobile Devices Using MapReduce on Distributed Data Processing Platform)

  • 김성숙;김성규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권9호
    • /
    • pp.589-594
    • /
    • 2013
  • 웹의 특징인 개방과 공유의 사고방식이 더욱 일반화 되면서 개발자 뿐 만 아니라 사용자가 직접 발생시키는 데이터도 복합적으로 늘어나고 있는 실정이다. 이러한 상황에서 모바일 디바이스 User eXperience(UX) 분석에서 다른 무엇보다도 디바이스에 기록되는 대용량의 로그 기록에서 필요한 데이터들을 자동으로 요약 정리해 주는 기법이 필요하다. 이에, 본 논문에서는 분석하고자 하는 모바일 디바이스 특성에 맞게 사전에 로그 데이터 속성에 대한 정의를 먼저하고, 직접 이를 반영한 사용자의 로그를 수집하여 저장하였다. 또한, 발생되는 대용량의 로그 기록에 기초한 UX를 분석하고자 다양한 로그 데이터 타입을 설정 및 처리할 수 있는 Hadoop(하둡)에서 제공하는 MapReduce 기법을 활용하여 데이터를 분산 처리하였다. 이를 통해, Map과 Reduce의 다양한 조합으로 대용량의 모바일 디바이스에서 발생되는 로그 데이터 셋에서 복잡한 스키마를 단순화시켜 분산 데이터 처리 환경에 맞게 UX 분석 방안을 제시하였다.

Architecture of Interactive Multimedia Service Platform for the Integration of Broadcasting and Telecommunication Service

  • Park, Young-Duk;Park, Taesang
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1997년도 Proceedings International Workshop on New Video Media Technology
    • /
    • pp.55-60
    • /
    • 1997
  • Innovation on digital compression technology, high speed networking technology, digital broadcasting technology and distributed processing technology provides new interactive multimedia service that integrates telecommunication, broadcasting, and computer application. To meet the new trends, we focus our research direction to integrate the telecommunication services and the broadcasting services. For this purpose, we designed and implemented an interactive multimedia service platform based on the DAVIC specification. Our research results in the development of integrated interactive services and its experience will be feedback to the field trial service that will be launched from next year. In this paper, we will describe the overall architecture and system implementation results of the interactive multimedia service platform.

  • PDF

분산 객체 컴퓨팅 환경에서 실시간 협약 및 적응 스트림 서비스를 위한 QoS 통합 플랫폼의 구축 (The Construction of QoS Integration Platform for Real-time Negotiation and Adaptation Stream Service in Distributed Object Computing Environments)

  • 전병택;김명희;주수종
    • 한국정보처리학회논문지
    • /
    • 제7권11S호
    • /
    • pp.3651-3667
    • /
    • 2000
  • 최근 인터넷 기반의 분산 멀티미디어 환경에서 가장 성장하는 기술로는 스트림 서비스 기술과 분산 객체 기술을 꼽을 수 있다. 특히, 분산 객체 기술에 스트림 서비스 기술을 통합하려는 연구들이 진행되고 있다. 이 기술들은 다양한 스트림 서비스 관리 모델과 프로토콜의 연구에서 적용되고 있다. 그러나, 기존에 제시된 관리 모델들은 스트림 전송의 서비스 질(QoS)에 대한 지원이 미흡하다. 또한, 서비스 질에 관련된 기능들이 특정 응용 서비스의 부속 모듈로 개발됨에 따라, 확장이나 재사용을 지원할 수 없는 문제점을 나타내고 있다. 이를 해결하기 위해 본 논문에서는 분산 객체 기술을 적용하여 확장 및 재사용이 용이하고 스티림의 서비스의 질을 보장하는 QoS 통합 플랫폼을 제안했다. 제안된 플랫폼의 구조는 사용자 제어 모듈, QoS 관리 모듈 및 스트림 객체의 세가지 컴포넌트로 구성된다. 스트림 객체는 TCP/IP 상에서 RTP 패킷을 송·수신 기능을 한다. 사용자 제어 모듈은 CORBA 객체를 이용하여 스트림 객체들을 제어한다. QoS 관리 모듈은 사용자 제어 모듈간에 서비스 질을 유지하는 관리 기능을 한다. QoS xd합 플랫폼의 구축을 위해 관련 모듈들을 독립적으로 구현하고, 이들이 CORBA 환경에서 플랫폼 독립성, 상호운용성, 이식성을 갖도록 그들간에 인터페이스들을 IDL로 정의하였다. 제안된 플랫폼의 구현을 위해 Solaris 2.5/2.7에 호환되는 OrbixWeb 3.1c, 자바언어와 Java Media Framework API 2.0, Mini-SQL1.0.16 및 관련 이미지 캡쳐보드 및 영상카메라를 사용하였다. 본 플랫폼의 기능검증을 위한 결과로서, 플랫폼 상에서 스트림 서비스가 진행되는 동안, 클라이언트와 서버의 GUI를 통해 위에서 기술한 모듈들의 수행결과와 QoS 제어 과정으로부터 얻어지는 수치적 데이터를 보였다.

  • PDF

분산 컴퓨팅 환경하에서의 데이타 자원 관리 (Data Resource Management under Distributed Computing Environment)

  • 조희경;안중호
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1994년도 DB산업기술 활성화를 위한 학술대회 및 기술 심포지움
    • /
    • pp.105-129
    • /
    • 1994
  • The information system of corporations are facing a new environment expressed by miniaturization, decentralization and Open System. It is therefore of utmost importance for corporations to adapt flexibly th such new environment by providing for corresponding changes to their existing information systems. The objectives of this study are to identify this new environment faced by today′s information system and develop effective methods for data resource management under this new environment. In this study, it is assumed that the new environment faced by information systems can be specified as Distributed Computing Environment, and in order to achieve such system, presents Client/server architecture as its representative computing structure, This study defines Client/server architecture as a computing architecture which specialize the fuctionality of the client system and the server system in order to have an application distribute and perform cooperative processing at the best platform. Furthermore, from among the five structures utilized in Client/server architecture for distribution and cooperative processing of application between server and client this study presents two different data management methods under the Client/server environment; one is "Remote Data Management Method" which uses file server or database server and. the other is "Distributed Data Management Method" using distributed database management system. The result of this study leads to the conclusion that in the client/server environment although distributed application is assumed, the data could become centralized (in the case of file server or database server) or decentralized (in the case of distributed database system) and the data management method through a distributed database system where complete responsibility and powers with respect to control of data used by the user are given not only is it more adaptable to modern flexible corporate environment, but in terms of system operation, it presents a more efficient data management alternative compared to existing data management methods in terms of cutting costs.

  • PDF