• 제목/요약/키워드: Distributed Processing Platform

검색결과 130건 처리시간 0.026초

분산 딥러닝 모델 개발을 위한 고수준 분석 플랫폼 (High-level Analytics Platform for Development of Distributed Deep Learning Model)

  • 박경석;유찬희;;엄정호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.804-806
    • /
    • 2020
  • 딥러닝(deep learning)은 기계학습 알고리즘 중 가장 널리 활용되고 있는 알고리즘이다. 딥러닝 기술은 산업, 과학, 국방 및 공공 부문을 비롯하여 거의 모든 분야에서 폭넓게 확산되고 있다. 그러나 기계학습 기술에 대한 이해와 프로그래밍 지식이 부족할 경우 자유롭게 활용하는 데는 제약이 따르고 있으며 빅데이터를 활용하여 일반 이용자들이 직접 분산 학습 모형을 개발하고 배포하는 데 어려움이 발생하고 있다. 이러한 요구를 충족시키기 위해 딥러닝 프레임워크의 저수준 API를 추상화하여 고수준 분석과 분산 딥러닝을 지원하고 일반 이용자들이 실무적으로 복잡한 딥러닝 기술을 활용할 수 있는 기술을 개발하였다. 플랫폼 개발과 함께 중요하게 고려해야 하는 요소 중 하나로 플랫폼의 배포와 확장성 역시 고려되어야 한다. 본 플랫폼은 조직 내 계산 자원을 이용하여 플랫폼을 배포할 수 있으며 상용 클라우드 서비스와 연동하여 배포할 수 있도록 설계됨에 따라 환경의 제약 없이 유연한 서비스 제공이 가능하다.

클라우드 기반 지리공간정보를 활용한 작전상황 혼합현실 가시화 시스템 설계 (Design of Mixed Reality Visualization System for Operational Situation Using Cloud-based Geospatial Information)

  • 장영찬;박재일;조은지;곽송연;신상헌
    • 한국군사과학기술학회지
    • /
    • 제27권1호
    • /
    • pp.60-69
    • /
    • 2024
  • The importance of geospatial information is increasingly highlighted in the defense domain. Accurate and up-to-date geospatial data is essential for situational awareness, target analysis, and mission planning in millitary operations. The use of high-resolution geospatial data in military operations requires large storage and fast image processing capabilities. Efficient image processing is required for tasks such as extracting useful information from satellite images and creating 3D terrain for mission planning, In this paper, we designed a cloud-based operational situation mixed reality visualization system that utilizes large-scale geospatial information distributed processed on a cloud server based on the container orchestration platform Kubernetes. We implemented a prototype and confirmed the suitability of the design.

대용량 데이터 처리를 위한 고속 분산 인메모리 플랫폼 기반 재귀적 질의 알고리즘들의 구현 및 비교분석 (A Comparative Analysis of Recursive Query Algorithm Implementations based on High Performance Distributed In-Memory Big Data Processing Platforms)

  • 강민서;김재성;이재길
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.621-626
    • /
    • 2016
  • 재귀적 질의 알고리즘은 소셜네트워크 서비스의 도달가능 질의와 같은 많은 응용프로그램에 사용된다. 하지만 최근에 소셜네트워크 서비스의 규모가 커짐에 따라 그래프 데이터의 크기 또한 커지고 있다. 따라서 재귀적 질의 알고리즘을 싱글 머신에서 가동하는 것이 거의 불가능해졌다. 본 논문에서는 이러한 문제점을 해결하기 위해서 고속 분산 인메모리 플랫폼인 스파크와 트위스터에서 재귀적 질의 알고리즘을 구현하였다. 구현된 알고리즘은 아마존 EC2 머신 50대에서 Real-world 데이터 셋인 LiveJournal과 ClueWeb으로 실험하였다. 실험결과 상대적으로 노드 수는 적고 평균 차수(degree)는 높은 LiveJournal 데이터 셋에서는 스파크에서 구현된 재귀적 알고리즘의 성능이 트위스터의 것보다 좋았다. 그리고 상대적으로 노드 수는 많고 평균 차수는 낮은 ClueWeb 데이터 셋에서는 트위스터에서 구현된 재귀적 알고리즘의 성능이 스파크의 것보다 좋았다.

사용자 맞춤형 분산 컴퓨팅을 위한 컨테이너 기반 클러스터 관리 시스템 (Container-based Cluster Management System for User-driven Distributed Computing)

  • 박주원;함재균
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권9호
    • /
    • pp.587-595
    • /
    • 2015
  • 전통적으로 고에너지 물리, 해양, 기상, 천문 우주 등 다양한 과학 분야에서 수천 코어 이상의 CPU를 사용하는 대규모 워크플로우 지원을 요구하고 있으며 이를 위해 대부분 슈퍼컴퓨터와 같은 클러스터 기반의 대용량 시스템이 활용되고 있다. 이러한 시스템은 다수의 사용자 및 기관에 의해 공유되고 있으며, 사용자들의 다양한 요구 사항으로 인해 시스템 운영 및 관리에 많은 어려움이 있다. 본 논문에서는 가상화로 인한 성능 저하 문제를 최소화하고 사용자가 원하는 환경을 동적으로 제공하기 위해 컨테이너 기반 클러스터 관리 플랫폼 방안을 제시하고 구축 사례를 소개한다. 본 논문의 의의는 다음 3가지로 볼 수 있다. 먼저, 컨테이너 기반 가상화 기술과 스케줄러 기능을 연동하여 큰 성능 저하 없이 대규모의 과학워크플로우 지원을 위한 클러스터 구성 및 관리 방안을 제시하였다. 둘째, Docker 와 HTCondor를 활용하여 제시된 방안을 손쉽게 구축한 사례를 소개하였다. 셋째, 널리 활용되는 벤치마크 툴을 이용하여 Docker 성능을 검증하였으며, 다양한 프로그램 언어로 구현된 몬테카를로 시뮬레이션을 통해 과학 워크플로우 지원 예제를 제시하였다.

분산환경에서 동적 메시지 교환을 위한 룰 기반 JMS 메시지 라우팅 시스템 (A Rule-based JMS Message Routing System for Dynamic Message Communication in based Distributed Systems)

  • 조풍연;최재현;박제원;이남용
    • 한국전자거래학회지
    • /
    • 제13권3호
    • /
    • pp.1-20
    • /
    • 2008
  • 오늘날 컴퓨팅 환경은 과거에 비해 매우 분산되어 있으며 다양한 시스템과 연결되고 통합되는 동적인 구성을 필요로 한다. 대부분의 기업들은 이를 위해 객체지향적인 메시지 송수신 체계인 MOM(Message Oriented Middleware) 시스템을 사용하여 원격의 시스템과의 통신채널을 구성하고 송수신 정보를 XML 메시지로 주고받고 있다. 그러나 대부분의 MOM 시스템들은 송수신 메시지로 사용되는 XML을 처리함에 있어 XML 메시지의 동적 변환 및 라우팅을 지원하지 않아 기업 시스템의 효율성과 유지보수성을 저하 시키고 있다. 이에 본 논문에서는 가장 널리 사용되고 있는 MOM 시스템인 JMS를 기반으로 동적 XML 메시지 변환 및 라우팅을 지원하기 위한 룰 기반의 라우팅 시스템인 RMRS(Rule-based Message Routing System)를 제안한다. RMRS는 룰 기반 이벤트 처리를 위해 사용되는 ECA(Event- Condition-Action)룰을 확장하여 분산 시스템 구현 시에 빈번하게 발생하는 라우팅 처리를 XML 변환과 함께 동적으로 처리할 수 있도록 한다. 이것은 내부적으로 메시지가 라우팅 되기 전에 수신한 메시지의 성격에 따라 XML 메시지의 변환을 수행할 수 있도록 설계되어 있어, 이를 바탕으로 MOM 시스템을 구축할 경우, XML 메시지의 동적 변환 및 라우팅을 효과적으로 구현할 수 있다.

  • PDF

중앙 집중식 OPC UA 서버와 통합 된 CPPS 아키텍처에 관한 연구 (A Study on CPPS Architecture integrated with Centralized OPC UA Server)

  • 조규종;장수환;정종필
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권3호
    • /
    • pp.73-82
    • /
    • 2019
  • 스마트팩토리를 구축하기 위해서는 CPPS(Cyber Physical Production System)의 구축은 필수적으로 동반되어야 하는 중요한 시스템이다. CPPS를 통해서 물리적 공장을 디지털 기반의 사이버 세상으로 옮겨오고 이를 지능적, 자율적으로 모니터링하고 제어하는 것이 스마트팩토리의 실체이다. 하지만 기존에 제시된 CPPS의 아키텍처들은 추상적인 모델링 형태의 아키텍처만 제시하고 있으며, 스마트팩토리에서 데이터를 수 집 교환을 위한 국제 표준인 OPC UA Framework(Open Platform Communication Unified Architecture)을 CPPS의 기본적인 체계로 적용한 연구는 부족하였다. 이에 아키텍처 구성 실제 공장에 적용 가능한 CPPS 아키텍처로 분산되어진 필드 데이터를 수집하여 중앙에 집중화 된 서버에서 집중된 데이터 처리가 되어야만 클라우드와 IoT를 모두 포함할 수 있는 CPPS를 구현 가능하다. 본 연구에서는 중앙 처리 OPC UA Framework을 준수한 OPC UA를 기술 체계를 기반으로 중앙의 OPC UA Server를 통해 CPPS 아키텍처를 구현하고 OPC UA 모델링 처리를 통해 CPPS 논리 프로세스와 데이터 처리 프로세스가 자동으로 생성되는 방법을 포함한 CPPS 아키텍처를 제안하고 모델 공장을 실제로 구현하여 그 성능과 가용성에 대해서 연구하였다.

Ad Hoc한 대화 정책을 지원하는 멀티 에이전트 플랫폼에 관한 연구 (A Multi-Agent Platform Capable of Handling Ad Hoc Conversation Policies)

  • 안형준
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1177-1188
    • /
    • 2004
  • 멀티 에이전트 시스템은 분산 환경에서 독립된 소프트웨어 개체들의 지능형 협력 작업을 지원하기 위해 개발되었으며 많은 응용 환경에서 사용되어지고 있다. 멀티 에이전트 시스템의 협력을 위해서는 에이전트간에 미리 협의된 형태의 프로토콜인 대화 정책(Conversation Policy; Interaction Protocol)이 사용된다. 현재의 동적인 인터넷 전자시장 환경에서는 거래의 형태가 변화함에 따라 대화 정책이 자주 바뀔 수 있으며 따라서 Ad Hoc한 형태의 대화 정책의 중요성이 커지고 있다. 기존의 에이전트 플랫폼은 몇 개의 표준 혹은 미리 정해진 대화 정책만을 허용함으로써 Ad Hoc한 대화 정책에 대해서는 에이전트 시스템을 일부 새로 구현해주어야 하는 번거로움과 비효율성이 존재한다. 본 연구에서는 그러한 Ad Hoc한 대화 정책을 지원하는 에이전트 플랫폼을 설계하며 그 프로토타입 시스템을 제시한다. 제시된 시스템은 교환 및 해석을 위한 대화 정책 모델, 새로운 대화 정책을 처리하기 위한 메타 대화 처리 부분, 그리고 대화 정책을 런타임시에 교환하고 해석하여 실제 에이전트들이 적응성 있는 상거래 및 협력을 할 수 있도록 하는 메커니즘을 포함한다.

융합현실에서 콘텐츠 네트워킹을 위한 모바일 기반 보안 중계 설계 (Design of Mobile-based Security Agent for Contents Networking in Mixed Reality)

  • 김동현;임재현;김석수
    • 융합정보논문지
    • /
    • 제9권3호
    • /
    • pp.22-29
    • /
    • 2019
  • ICT 기술의 발전으로 인하여 융합현실 콘텐츠는 단순한 3차원 콘텐츠만을 보여주는 서비스 플랫폼에서 센서 정보, 공유 정보등 다양한 정보 등을 가시화하여 제공함으로서 다양한 산업분야에서 서비스 제공을 위한 기술로서 활용되어지고 있다. 제공되는 정보와 콘텐츠가 증가함에 따라 증강되는 오브젝트의 리소스를 네트워크로 전송하여 어플리케이션을 경량화하는 연구들이 진행되고 있다. 네트워크를 통해 리소스를 제공하기 위해서는 패턴 정보, 콘텐츠 정보, 센서 정보 등 다양한 정보들을 처리하기 위한 서버들이 클라우드 환경에서 구축되어야 한다. 그러나 클라우드 환경에서 실시간으로 송수신되는 데이터를 인증하기 위해서는 그 처리과정이 길기 때문에 랜더링 과정에서 딜레이 현상이 발생하여 QoS가 떨어지는 문제가 있다. 따라서 본 연구에서는 센서 정보, 3차원 모델 등 다양한 콘텐츠를 제공해주는 융합현실 서비스의 증강 콘텐츠를 제공해주는 클라우드 서버를 분산하고 분산된 서버간 중계를 통하여 신뢰된 데이터를 처리하는 시간을 단축하기 위한 시스템을 설계하였다.

쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현 (Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity)

  • 김영아;김계희;김현주;김창근
    • 융합정보논문지
    • /
    • 제10권10호
    • /
    • pp.1-8
    • /
    • 2020
  • 최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

그리드 컴퓨팅을 위한 온톨로지 기반의 시맨틱 정보 시스템 (Ontology Based Semantic Information System for Grid Computing)

  • 한병전;김형래;정창성
    • 인터넷정보학회논문지
    • /
    • 제10권4호
    • /
    • pp.87-103
    • /
    • 2009
  • 그리드 컴퓨팅 환경은 기존의 분산 컴퓨팅 기술의 확장된 개념으로, 다양한 분야에서 저비용의 고성능 컴퓨팅 퍼포먼스를 얻기 위하여 그리드를 이용하고 있다. 그러나 공통적으로 이용할 수 있는 정보 시스템의 부재로, 현재의 그리드는 대규모의 단일한 환경으로서의 그리드가 아닌, 기존의 클러스터 컴퓨터와 같은 의미로 사용되고 있다. 따라서 자신이 구성한 분산 컴퓨팅 환경을 그리드 환경의 한 부분으로 포함시키기 위해서는 컴퓨팅 환경에 대한 정보를 그리드의 이용자가 공유할 수 있어야 하며, 정보 서비스를 공개하여 공유할 수 있도록 해야 한다. 따라서 본 논문에서는 정보의 공유와 확장이 용이하며, 플랫폼에 독립적인 서비스를 제공할 수 있는 정보 시스템을 구축하기 위한 웹 서비스, 온톨로지 기반의 Semantic Information System Framework(WebSIS)을 제안한다. WebSIS를 통하여 온톨로지를 이용하는 정보 시스템의 제작을 용이하게 하며, 온톨로지의 공유와 재사용, 확장의 특징을 활용할 수 있는 구조를 제안한다. 또, 그리드 컴퓨팅 환경이 기존의 분산 컴퓨팅 환경에 비해 복잡해짐에 따라 작업을 수행하기 위한 적절한 자원의 할당에도 좀 더 많은 고려사항이 존재하게 되었고, 이를 효과적으로 처리하기 위해서는 좀 더 고수준의 정보처리를 필요로 하게 되었다. 이에 우리는 WebSIS와 함께 WebSIS를 이용하여 그리드 환경을 이용하는 작업의 자동화를 위한, 온톨로지 기반의 고수준의 정보처리가 가능한 Resource Information Service를 구현하였고, 이를 통하여, 효율적인 공유와 확장을 위한 온톨로지 모델을 제안한다. 또한, 기존의 용어 매칭이 아닌 의미 정보를 이용한 검색과 정보 처리를 제안한다.

  • PDF