• 제목/요약/키워드: Distributed Parallel Programming

검색결과 36건 처리시간 0.07초

분산처리 최적조류계산 기반 연계계통 급전계획 알고리즘 개발 (A New Dispatch Scheduling Algorithm Applicable to Interconnected Regional Systems with Distributed Inter-temporal Optimal Power Flow)

  • 정구형;강동주;김발호
    • 전기학회논문지
    • /
    • 제56권10호
    • /
    • pp.1721-1730
    • /
    • 2007
  • SThis paper proposes a new dispatch scheduling algorithm in interconnected regional system operations. The dispatch scheduling formulated as mixed integer non-linear programming (MINLP) problem can efficiently be computed by generalized Benders decomposition (GBD) algorithm. GBD guarantees adequate computation speed and solution convergency since it decomposes a primal problem into a master problem and subproblems for simplicity. In addition, the inter-temporal optimal power flow (OPF) subproblem of the dispatch scheduling problem is comprised of various variables and constraints considering time-continuity and it makes the inter-temporal OPF complex due to increased dimensions of the optimization problem. In this paper, regional decomposition technique based on auxiliary problem principle (APP) algorithm is introduced to obtain efficient inter-temporal OPF solution through the parallel implementation. In addition, it can find the most economic dispatch schedule incorporating power transaction without private information open. Therefore, it can be expanded as an efficient dispatch scheduling model for interconnected system operation.

워크플로우 및 워크플로우 관리 시스템의 새로운 조망 (A Fresh Look on Workflow and Workflow Management System)

  • 한동수;심재용
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권3호
    • /
    • pp.395-405
    • /
    • 2001
  • 본 논문에서는 워크플로우와 워크플로우 관리 시스템을 프로그래밍 언어 관점에서 분석하였다. 워크플로우 관련 데이터, 워크플로우 제어 구조 그리고 응용 프로그램 기동 등 많은 워크플로우 특성이 분산 병렬 프로그램의 해당 항목과 비교되었다. 그 결과 비록 사소한 차이는 존재하였지만 놀랍게도 그들간에는 많은 유사성이 존재함을 확인할 수 있었다. 이러한 관찰에 근거하여 본 논문에서는 워크플로우 관리 시스템을 분산 병렬 프로그램 개발 플랫폼으로 조망하는 것을 제안하였다. 워크플로우 관리 시스템에 관한 이러한 새로운 조망을 통하여 워크플로우 시스템 사용자는 보다 일관성 있는 관점에서 워크플로우를 바라볼 수 있으며 워크플로우 관리 시스템 설계자는 워크플로우 시스템 설계의 일관성을 유지하면서 워크플로우 시스템에 대한 다양한 요구에 대응할 수 있게 된다. 또한 본 논문에서 제시한 워크플로우와 프로그램의 유사성은 워크플로우와 관련된 많은 분석 기법의 개발에 이미 개발된 프로그램 분석기법을 원용 할 수 있는 논리적 기반을 제공한다.

  • PDF

DOVE : 가상 계산 환경을 위한 분산 객체 시스템 (DOVE : A Distributed Object System for Virtual Computing Environment)

  • 김형도;우영제;류소현;정창성
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제6권2호
    • /
    • pp.120-134
    • /
    • 2000
  • 본 논문에서는 객체 지향 분산 가상 컴퓨팅 환경인 DOVE에 대하여 기술한다. DOVE는 독립적인 분산 객체들이 메소드 호출을 통하여 서로 상호 작용하는 분산 객체 모델을 기반으로 설계되었으며, 다수의 이기종 머신들로 구성된 분산 환경을 하나의 논리적인 단일 가상 컴퓨터로 사용자에게 제공함으로써 원격지에 있는 분산 객체들이 하나의 가상 컴퓨터에 존재하는 것처럼 사용할 수 있도록 한다. 또한, 병렬성, 이기종 환경, 객체 그룹, 단일한 네임 서비스, 그리고 오류 허용 등의 지원을 통하여 병렬 프로그램 개발을 위한 투명성 있고 사용이 용이한 프로그래밍 환경을 제공한다. 병렬성은 다양한 메소드 호출, 객체 그룹을 통한 다중 메소드 호출, 다중 쓰레드 구조 그리고 여러 동기화 구조를 사용함으로써 효과적으로 지원되며, 자동화된 데이타 변환 코드 생성, IDL 컴파일러를 통한 stub와 skeleton 객체 생성 그리고 객체 관리자를 통한 객체 라이프 관리와 네임 서비스를 통하여 이기종 간 호환성 문제를 해결하였으며 투명성 있고 사용이 용이한 프로그래밍 환경을 제공한다. 자치성 있는 분산 객체와 다중 레이어 구조 그리고 분산화된 네임 서비스와 객체 관리 구조를 사용함으로써 확장성과 보수성이 향상되었으며, 비동기방식의 사건 및 예외 처리 통한 오류 탐지 및 확인 기능을 제공한다.

  • PDF

3차원 날개 공력설계를 위한 네트워크 분산 설계최적화 (A Network-Distributed Design Optimization Approach for Aerodynamic Design of a 3-D Wing)

  • 조창열;이상경
    • 한국항공우주학회지
    • /
    • 제32권10호
    • /
    • pp.12-19
    • /
    • 2004
  • 3차원 날개의 공력형상 설계최적화를 위한 설계최적화 시스템을 미래의 다분야 설계최적화 프레임워크의 일환으로 개발하였다. 이 설계최적화 시스템은 형상설계, 격자생성, 공력해석, 최적화의 4가지 모듈로 구성되어있다. 모두 상용패키지를 배경으로 개발하였으며 내장된 스크립트와 저널링 기능을 사용하여 배치 모드에서 자동적으로 실행되도록 프로그램 하였다. Visual Basic 프로그램을 사용하여 네 모듈을 통합하여 자동화된 설계기능을 갖도록 하였다. 특히 계산시간이 많이 소요되는 공력해석을 위하여 네트워크 통신을 이용한 분산 환경을 구현하였다. 공력해석은 일반적인 영역분할방식의 병렬처리 대신에 전역최적화 기법인 반응표면법과 연계하여 분산처리 시켰다. 개발한 공력설계 시스템의 검증을 위하여 간단한 항력최소화 문제에 적용하였으며 그 결과 상당히 향상된 설계 효율성과 적절한 설계 결과를 보여주었다.

Hadoop 기반 분산 컴퓨팅 환경에서 네트워크 I/O의 성능개선을 위한 TIPC의 적용과 분석 (Applying TIPC Protocol for Increasing Network Performance in Hadoop-based Distributed Computing Environment)

  • 유대현;정상화;김태훈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권5호
    • /
    • pp.351-359
    • /
    • 2009
  • 최근 인터넷 서비스 기반의 데이터는 대용량화되고 있으며 대용량 데이터를 효과적으로 처리할 수 있는 구글 플랫폼, Apache Hadoop과 같은 플랫폼 기술이 각광받고 있다. 이러한 플랫폼에서는 분산 프로그래밍을 위한 기법으로 MapReduce가 수행되며, 이 과정에서 각 태스크의 결과를 전달하기 위한 네트워크 I/O의 부하 문제가 발생한다. 본 논문에서는 구글 플랫폼, Hadoop과 같은 대규모 PC 클러스터상의 분산 컴퓨팅 환경에서 네트워킹 부하를 경감하고 성능을 향상시키는 방안으로 TIPC(Transparent Inter-Process Communication)의 적용을 제안한다. TIPC는 경량화된 연결설정 및 스택 크기, 계층적 주소체계로 인해 TCP보다 가볍고 CPU 부하가 적은 장점을 가지고 있다. 본 논문에서는 Hadoop 기반 분산 컴퓨팅 환경의 특징을 분석하여 그와 유사한 실험환경을 모델화하고 다양한 프로토콜의 비교실험을 수행하였다. 실험결과 평균 전송률에서 CUBIC-TCP, SCTP와 비교해 TIPC의 성능이 가장 우수하였으며, TIPC는 CPU 점유율 측면에서 TCP와 비교해 최대 15%의 낮은 CPU 점유율을 보였다.

SSQUSAR : Apache Spark SQL을 이용한 대용량 정성 공간 추론기 (SSQUSAR : A Large-Scale Qualitative Spatial Reasoner Using Apache Spark SQL)

  • 김종훈;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권2호
    • /
    • pp.103-116
    • /
    • 2017
  • 본 논문에서는 Apache Spark SQL을 이용하여 임의의 두 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 새로운 정성 공간 지식을 효율적으로 추론해내는 대용량 정성 공간 추론기의 설계와 구현에 대해 소개한다. Apache Spark SQL은 Hadoop 클러스터 컴퓨터 시스템에서 다양한 데이터들 간의 매우 효율적인 조인 연산과 질의 처리 기능을 제공하는 분산 병렬 프로그래밍 환경이다. 본 공간 추론기에서는 정성 공간 추론의 전체 과정을 지식 인코딩, 역 관계 추론, 동일 관계 추론, 이행 관계 추론, 관계 정제, 지식 디코딩 등 크게 총 6개의 작업들로 나누고, 논리적 인과관계와 계산 효율성을 고려하여 작업들 간의 처리 순서를 결정하였다. 지식 인코딩 작업에서는 추론의 전처리 과정으로서 XML/RDF 형태의 입력 지식을 보다 간략한 내부 형태로 변환함으로써, 추론 대상인 지식 베이스의 크기를 축소시켰다. 일반적으로 이행 관계 추론 작업과 관계 정제 작업의 반복은 정성 공간 추론에 필요한 가장 많은 계산 시간과 기억 공간을 소모한다. 이 작업들을 효율화하기 위해 본 공간 추론기에서는 공간 추론에 필요한 최소한의 이접 관계들을 찾아내고, 이들을 기반으로 이행 관계 추론을 위한 조합표를 큰 폭으로 축소하고 관계 정제 작업도 최적화하였다. 대규모 벤치마킹 공간 지식 베이스를 이용한 실험을 통해, 본 논문에서 제안하는 대용량 정성 공간 추론기의 높은 추론 성능과 확장성을 확인하였다.

A Study on Efficient Executions of MPI Parallel Programs in Memory-Centric Computer Architecture

  • Lee, Je-Man;Lee, Seung-Chul;Shin, Dongha
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.1-11
    • /
    • 2020
  • 본 논문에서는 프로세서 중심 컴퓨터 구조에서 개발된 MPI 병렬 프로그램을 수정하지 않고 메모리 중심 컴퓨터 구조에서 더 효율적으로 수행시키는 기술을 제안한다. 본 연구에서 제안하는 기술은 메모리 중심 컴퓨터 구조가 가지는 빠른 대용량 공유 메모리 특징을 이용하여 MPI 표준 라이브러리 함수가 수행하는 네트워크 통신을 통한 느린 데이터 전달을 공유 메모리를 통한 빠른 데이터 전달로 대체하여 효율성을 얻는다. 본 연구에서 제안한 기술은 두 개의 프로그램에 구현되었다. 첫 번째 프로그램은 MC-MPI-LIB라고 불리는 수정된 MPI 라이브러리인데 이는 기존 MPI 표준 라이브러리 함수의 의미를 유지하면서 메모리 중심 컴퓨터 구조에서 더 효율적으로 수행한다. 두 번째 프로그램은 MC-MPI-SIM이라고 불리는 시뮬레이션 프로그램인데 이는 프로세서 중심 컴퓨터 구조 상에서 메모리 중심 컴퓨터 구조의 수행을 시뮬레이션한다. 본 논문에서 제안한 기술은 도커 가상화 상에서 구현된 분산 시스템 환경에서 개발하고 시험하였다. 다수의 MPI 병렬 프로그램을 이용하여 제안한 기술의 성능을 측정한 결과 메모리 중심 컴퓨터 구조에서 더 높은 성능으로 수행 가능함을 보였으며, 특히 통신 오버헤드 비율이 높은 MPI 병렬 프로그램의 경우 매우 높은 성능으로 수행 가능하다는 점을 확인하였다.

Research on Big Data Integration Method

  • Kim, Jee-Hyun;Cho, Young-Im
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권1호
    • /
    • pp.49-56
    • /
    • 2017
  • In this paper we propose the approach for big data integration so as to analyze, visualize and predict the future of the trend of the market, and that is to get the integration data model using the R language which is the future of the statistics and the Hadoop which is a parallel processing for the data. As four approaching methods using R and Hadoop, ff package in R, R and Streaming as Hadoop utility, and Rhipe and RHadoop as R and Hadoop interface packages are used, and the strength and weakness of four methods are described and analyzed, so Rhipe and RHadoop are proposed as a complete set of data integration model. The integration of R, which is popular for processing statistical algorithm and Hadoop contains Distributed File System and resource management platform and can implement the MapReduce programming model gives us a new environment where in R code can be written and deployed in Hadoop without any data movement. This model allows us to predictive analysis with high performance and deep understand over the big data.

ARM 클러스터에서 에너지 효율 향상을 위한 MPI와 MapReduce 모델 비교 (Comparing Energy Efficiency of MPI and MapReduce on ARM based Cluster)

  • 자한제프 마크불;페르마타 눌 리즈키;오상윤
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
    • /
    • pp.9-13
    • /
    • 2014
  • The performance of large scale software applications has been automatically increasing for last few decades under the influence of Moore's law - the number of transistors on a microprocessor roughly doubled every eighteen months. However, on-chip transistors limitations and heating issues led to the emergence of multicore processors. The energy efficient ARM based System-on-Chip (SoC) processors are being considered for future high performance computing systems. In this paper, we present a case study of two widely used parallel programming models i.e. MPI and MapReduce on distributed memory cluster of ARM SoC development boards. The case study application, Black-Scholes option pricing equation, was parallelized and evaluated in terms of power consumption and throughput. The results show that the Hadoop implementation has low instantaneous power consumption that of MPI, but MPI outperforms Hadoop implementation by a factor of 1.46 in terms of total power consumption to execution time ratio.

  • PDF

대규모 신경회로망 분산 GPU 기계 학습을 위한 Caffe 확장 (Extending Caffe for Machine Learning of Large Neural Networks Distributed on GPUs)

  • 오종수;이동호
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권4호
    • /
    • pp.99-102
    • /
    • 2018
  • Caffe는 학술 연구용으로 널리 사용되는 신경회로망 학습 소프트웨어이다. 신경회로망 구조 결정에서 가장 중요한 요소에 GPU 기억 용량이 포함된다. 예를 들어 많은 객체 검출 소프트웨어는 신경회로망이 12GB 이하의 기억 용량을 사용하게 하여 하나의 GPU에 적합하게 설계되어 있다. 본 논문에서는 큰 신경회로망을 두 개 이상의 GPU에 분산 저장하여 12GB 이상의 기억 용량을 사용할 수 있게 Caffe를 확장하였다. 확장된 소프트웨어를 검증하기 위하여 3개 GPU를 가진 PC에서 최신 객체 검출 소프트웨어의 배치 크기에 따른 학습 효율을 실험하였다.