• 제목/요약/키워드: distributed parallel computing

검색결과 156건 처리시간 0.027초

선형계획법을 적용한 임의 분할 불가능한 부하 분배계획 (Indivisible load scheduling applied to Linear Programming)

  • 손경호;이달호;김형중
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 한국정보통신설비학회 2005년도 하계학술대회
    • /
    • pp.382-387
    • /
    • 2005
  • There are many studies on arbitrarily divisible load scheduling problem in a distributed computing network consisting of processors interconnected through communication links. It is not efficient to arbitrarily distribute the load that comes into the system. In this paper, how to schedule in case that arbitrarily indivisible load comes into the system is studied. Also, the cases of the divisible load mixed with the indivisible load that come into network were dealt with optimal load distribution in parallel processing system by scheduling applied to linear programming.

  • PDF

Task Schedule Modeling using a Timed Marked Graph

  • 노철우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 춘계학술대회
    • /
    • pp.636-638
    • /
    • 2010
  • Task scheduling is an integral part of parallel and distributed computing. Extensive research has been conducted in this area leading to significant theoretical and practical results. Stochastic reward nets (SRN) is an extension of stochastic Petri nets and provides compact modeling facilities for system analysis. In this paper, we address task scheduling model using extended timed marked graph, which is a special case of SRNs. And we analyze this model by giving reward measures in SRN.

  • PDF

Query Optimization on Large Scale Nested Data with Service Tree and Frequent Trajectory

  • Wang, Li;Wang, Guodong
    • Journal of Information Processing Systems
    • /
    • 제17권1호
    • /
    • pp.37-50
    • /
    • 2021
  • Query applications based on nested data, the most commonly used form of data representation on the web, especially precise query, is becoming more extensively used. MapReduce, a distributed architecture with parallel computing power, provides a good solution for big data processing. However, in practical application, query requests are usually concurrent, which causes bottlenecks in server processing. To solve this problem, this paper first combines a column storage structure and an inverted index to build index for nested data on MapReduce. On this basis, this paper puts forward an optimization strategy which combines query execution service tree and frequent sub-query trajectory to reduce the response time of frequent queries and further improve the efficiency of multi-user concurrent queries on large scale nested data. Experiments show that this method greatly improves the efficiency of nested data query.

3차원 날개 공력설계를 위한 네트워크 분산 설계최적화 (A Network-Distributed Design Optimization Approach for Aerodynamic Design of a 3-D Wing)

  • 조창열;이상경
    • 한국항공우주학회지
    • /
    • 제32권10호
    • /
    • pp.12-19
    • /
    • 2004
  • 3차원 날개의 공력형상 설계최적화를 위한 설계최적화 시스템을 미래의 다분야 설계최적화 프레임워크의 일환으로 개발하였다. 이 설계최적화 시스템은 형상설계, 격자생성, 공력해석, 최적화의 4가지 모듈로 구성되어있다. 모두 상용패키지를 배경으로 개발하였으며 내장된 스크립트와 저널링 기능을 사용하여 배치 모드에서 자동적으로 실행되도록 프로그램 하였다. Visual Basic 프로그램을 사용하여 네 모듈을 통합하여 자동화된 설계기능을 갖도록 하였다. 특히 계산시간이 많이 소요되는 공력해석을 위하여 네트워크 통신을 이용한 분산 환경을 구현하였다. 공력해석은 일반적인 영역분할방식의 병렬처리 대신에 전역최적화 기법인 반응표면법과 연계하여 분산처리 시켰다. 개발한 공력설계 시스템의 검증을 위하여 간단한 항력최소화 문제에 적용하였으며 그 결과 상당히 향상된 설계 효율성과 적절한 설계 결과를 보여주었다.

스파크 기반 딥 러닝 분산 프레임워크 성능 비교 분석 (A Comparative Performance Analysis of Spark-Based Distributed Deep-Learning Frameworks)

  • 장재희;박재홍;김한주;윤성로
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.299-303
    • /
    • 2017
  • 딥 러닝(Deep learning)은 기존 인공 신경망 내 계층 수를 증가시킴과 동시에 효과적인 학습 방법론을 제시함으로써 객체/음성 인식 및 자연어 처리 등 고수준 문제 해결에 있어 괄목할만한 성과를 보이고 있다. 그러나 학습에 필요한 시간과 리소스가 크다는 한계를 지니고 있어, 이를 줄이기 위한 연구가 활발히 진행되고 있다. 본 연구에서는 아파치 스파크 기반 클러스터 컴퓨팅 프레임워크 상에서 딥 러닝을 분산화하는 두 가지 툴(DeepSpark, SparkNet)의 성능을 학습 정확도와 속도 측면에서 측정하고 분석하였다. CIFAR-10/CIFAR-100 데이터를 사용한 실험에서 SparkNet은 학습 과정의 정확도 변동 폭이 적은 반면 DeepSpark는 학습 초기 정확도는 변동 폭이 크지만 점차 변동 폭이 줄어들면서 SparkNet 대비 약 15% 높은 정확도를 보였고, 조건에 따라 단일 머신보다도 높은 정확도로 보다 빠르게 수렴하는 양상을 확인할 수 있었다.

비정렬 격자 볼륨 렌더링을 위한 다중코어 CPU기반 메모리 효율적 광선 투사 병렬 알고리즘 (Memory Efficient Parallel Ray Casting Algorithm for Unstructured Grid Volume Rendering on Multi-core CPUs)

  • 김덕수
    • 정보과학회 논문지
    • /
    • 제43권3호
    • /
    • pp.304-313
    • /
    • 2016
  • 본 논문은 비정렬 격자 볼륨 렌더링을 위한 다중 코어 CPU기반의 메모리 효율적 광선 투사 병렬처리 알고리즘을 제안한다. 본 연구는 Bunyk 광선 투사(ray casting) 알고리즘에 기반을 두며, Bunyk 알고리즘의 높은 메모리 소모량 문제를 개선하기 위해 스레드별로 고정된 크기의 지역 버퍼를 할당한다. 지역 버퍼는 최근 방문된 면(face)의 정보를 저장하며, 이 정보는 다른 광선들에 의해 재사용되거나 다른 면의 정보로 대체된다. 지역 버퍼에 저장된 정보의 활용률을 높이기 위해 본 연구는 이미지 평면을 기반으로 일관성(coherency)이 높은 광선들을 하나의 광선 그룹으로 묶고, 생성된 광선 그룹들을 스레드들에게 분배한다. 각각의 스레드들은 할당 받은 광선 그룹들을 지역 버퍼를 활용하여 독립적으로 처리한다. 본 연구는 또한 지역 버퍼 활용률을 더욱 높이기 위해 면의 번호에 기반을 둔 해시 함수를 제안한다. 본 연구의 효용성을 확인하기 위해 제안하는 알고리즘을 서로 다른 크기의 비정렬 격자에 적용하였으며, 면 정보 저장을 위해 Bunyk 알고리즘 대비 약 6%의 메모리만 사용하여 정확한 볼륨 렌더링을 수행할 수 있었다. 이처럼 훨씬 적은 메모리 사용에도 불구하고 Bunyk 알고리즘과 대등한 성능을 보여주었으며, 대용량 데이터에 대해서는 최대 22% 높은 성능을 보여주었다. 이는 본 연구의 효용성 및 대용량 데이터의 볼륨 렌더링에 대한 적합성을 증명하는 결과이다.

맵리듀스 프레임워크를 이용한 대용량 공간 추론기의 설계 및 구현 (Design and Implementation of a Large-Scale Spatial Reasoner Using MapReduce Framework)

  • 남상하;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권10호
    • /
    • pp.397-406
    • /
    • 2014
  • 미국의 Jeopardy! 퀴즈쇼와 같은 DeepQA 환경에서 인간을 대신해 컴퓨터가 효과적으로 답하기 위해서는, 광범위한 지식베이스와 빠른 시공간 추론 능력이 요구된다. 본 논문에서는 대표적인 병렬 분산 컴퓨팅 환경인 맵리듀스 프레임워크를 이용해, 새로운 방향 및 위상 관계를 효율적으로 추론할 수 있는 대용량 공간 추론 알고리즘을 제시한다. 이 추론 알고리즘은 CSD-9 방향 관계들과 RCC-8 위상 관계들을 포함한 대용량 공간 지식베이스를 입력으로 가정하며, 이로부터 새로운 방향 관계와 위상 관계들을 추론해내기 위해 지식베이스에 대한 경로 일관성 검사와 교차 일관성 검사를 수행한다. 맵리듀스 프레임워크의 원리에 따라 추론 계산의 병렬성을 극대화하기 위해, 맵 단계에서는 대용량의 지식베이스를 다수의 노드들에 효과적으로 분할하여 분산시키고, 리듀스 단계에서는 분산된 지식베이스들로부터 새로운 공간 지식을 유도하도록 공간 추론 알고리즘을 설계하였다. 본 연구에서는 맵리듀스 프레임워크로 구현한 대용량 공간 추론기와 샘플 공간 지식 베이스를 이용한 실험들을 수행하고, 이를 통해 본 논문에서 제안한 대용량 공간 추론기의 높은 성능을 확인할 수 있었다.

Zero-copy 기술을 이용한 PVM의 성능 개선 (Performance Improvement for PVM by Zero-copy Mechanism)

  • 임성택;심재홍;최경희;정기현;김재훈;문성근
    • 한국통신학회논문지
    • /
    • 제25권5B호
    • /
    • pp.899-912
    • /
    • 2000
  • PVM(Parallel Virtual Machine)은 네트워크 상에 분산되어 있는 여러 시스템들을 투명하게 활용하여 사용자에 고성능 병렬 컴퓨팅을 지원하는 단일 가상 시스템(single virtual system)으로 인식되게 하는 middle-ware 소프트웨어이다. 초고속 통신망을 기반으로 하는 PVM에서는 임의의 태스크로부터 하나의 메시지를 전송하기 위해 세 번의 메시지 복사가 필요하며, 이는 PVM의 성능 저하를 가져오는 주요 원인이 된다. 이러한 문제점을 개선하기 위해 이 논문에서는 zero-copy PVM 통신 모델을 제안한다. 제안된 모델은 PVM 태스크, PVM 데몬, 네트워크 인터페이스 보드 등에 의해 동시 접근이 가능한 전역 공유 메모리(global shared memory)를 이용하며, 초고속 통신망을 기반으로 하고 있다. 이 모델에서 PVM 태스크는 전송하고자 하는 메시지를 전역 공유 메모리에 저장하고, 메시지를 보낼 준비가 되었음을 PVM 데몬에게 알리며, 데몬은 해당 메시지를 커널을 통하지 않고 바로 초고속 통신망으로 전송함으로써, 메시지의 메모리 복사 횟수를 감소 시킨다. 실험 결과 두 시스템간의 메시지 왕복 시간은 제안된 모델을 사용함으로써 현저히 줄어 들었음을 확인하였다.

  • PDF

클라우드 기반 센서 데이터 관리 시스템 설계 및 구현 (Design and Implementation of Cloud-based Sensor Data Management System)

  • 박경욱;김경옥;반경진;김응곤
    • 한국전자통신학회논문지
    • /
    • 제5권6호
    • /
    • pp.672-677
    • /
    • 2010
  • 최근 대규모 센서 네트워크의 구축이 증가하면서 대규모의 센서 데이터를 효율적으로 관리하는 시스템이 요구되고 있다. 본 논문에서는 저비용, 높은 확장성 그리고 고 효율성을 지닌 클라우드 기반의 센서 데이터 관리 시스템을 제안한다. 제안된 시스템에서는 센서 데이터는 클라우드 게이트웨이를 통해 클라우드로 전송되며 이때 이상상황 검출과 이벤트 처리가 수행된다. 클라우드로 전송된 센서 데이터는 분산 컬럼 지향 데이터 베이스인 하둡 HBase에 저장되며 맵리듀스 모델 기반의 질의처리 모듈을 통해 병렬 처리된다. 처리된 결과는 REST 기반의 웹서비스를 통해 제공되므로 다양한 플랫폼의 응용프로그램과 연동이 가능하다.

교육 분야 응용을 위한 가상 현미경 시스템 (A Virtual Microscope System for Educational Applications)

  • 조승호
    • 정보처리학회논문지D
    • /
    • 제10D권1호
    • /
    • pp.117-124
    • /
    • 2003
  • 본 논문에 의해 구현된 시스템은 광학 현미경을 통해 캡춰된 조직 샘플들에 대한 데이터들을 분산/병렬 시스템 상에 분한 저장한다. 사용자들은 컴퓨터 상에서 마치 현미경을 사용하듯이 이들 이미지들을 관찰할 수 있다. 이 시스템은 고객 서버 모델에 의거 고객, 조정자 노드, 데이터 관리자 노드로서 구성되고, 메시지를 통해 데이터를 송수신한다. 본 연구에서는 이미지 표시나 텍스트 주석 등 교육용 응용에 필요한 기능들을 갖춘 이미지 검색용 고객 프로그램을 구현하였고, 세 요소간 통신 규약을 정의하였다. 또한 대용량 데이터들을 저장하는 테이프 장치 도입을 위한 실험을 수행하였으며, 이러한 실험은 데이터 분할 및 인덱싱 기법에 의해 성능 향상을 나타내었다.