• Title/Summary/Keyword: 분산병렬처리|최적화

Search Result 39, Processing Time 0.027 seconds

GLOVE: Distributed Shared Memory Based Parallel Visualization Tool for Massive Scientific Dataset (GLOVE: 대용량 과학 데이터를 위한 분산공유메모리 기반 병렬 가시화 도구)

  • Lee, Joong-Youn;Kim, Min Ah;Lee, Sehoon;Hur, Young Ju
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.6
    • /
    • pp.273-282
    • /
    • 2016
  • Visualization tool can be divided by three components - data I/O, visual transformation and interactive rendering. In this paper, we present requirements of three major components on visualization tools for massive scientific dataset and propose strategies to develop the tool which satisfies those requirements. In particular, we present how to utilize open source softwares to efficiently realize our goal. Furthermore, we also study the way to combine several open source softwares which are separately made to produce a single visualization software and optimize it for realtime visualization of massiv espatio-temporal scientific dataset. Finally, we propose a distributed shared memory based scientific visualization tool which is called "GLOVE". We present a performance comparison among GLOVE and well known open source visualization tools such as ParaView and VisIt.

Optimal Buffer Control in Real-Time Stream Processing Systems (실시간 스트림 프로세싱 시스템에서의 버퍼 컨트롤 최적화 기법)

  • Kim, Byung-Sang;Kim, Dae-Sun;Youn, Chan-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.211-212
    • /
    • 2011
  • 스트림 프로세싱 시스템은 실시간 데이터 수집 장치와 대규모 분산 컴퓨팅 환경이 결합되어 데이터 생성과 가공을 통하여 다수의 결과를 병렬적으로 도출하는 분산 프로그래밍 모델이다. 본 논문에서는 프로세스간에 필수적으로 요구되는 유입데이터 버퍼 관리에 초점을 두고 있다. 데이터의 유입률에 따라 동적으로 분석 프로세스를 확장시킴으로서 프로세스간 버퍼의 크기를 제어하는 기법을 제안하며 시뮬레이션을 통하여 성능 분석을 하였다.

Web-based Distributed Parallel Computing Environment with Multi-Managing Method (멀티 매니징 기법을 이용한 웹기반 분산 병렬 컴퓨팅 환경)

  • Maeng, Hye-Seon;Han, Tak-Don;Kim, Sin-Deok
    • The Transactions of the Korea Information Processing Society
    • /
    • v.6 no.7
    • /
    • pp.1777-1788
    • /
    • 1999
  • The portability of Java language makes it possible to use heterogeneous computers without re-compiling of application programs. Java applet can also be transported to other computers via Web browser. In this research, a Cooperative Web Computing Environment(CWCE) that uses idle computers on the Intranet for cooperative parallel computing work is suggested. The CWCE allows to use more than a manager computer that sends applets and manages communication between other computers. The number of manager computers can be determined according to the characteristics of computing environment and any chosen application program. It can reduce the amount of communication overhead for the application programs especially with synchronized communication. For the CWCE, a decision function to determine the managing level is provided. The CWCE turns out to be useful computing environment for the applications with less computation request ratio and multi-managing can help to reduce the communication overhead especially for the applications with a high ratio of synchronization purpose communications.

  • PDF

Distributed Process of Approximate Shape Optimization Based on the Internet (인터넷 기반 근사 형상최적설계의 분산처리)

  • Lim, O-Kaung;Choi, Eun-Ho;Kim, Woo-Hyun
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.21 no.4
    • /
    • pp.317-324
    • /
    • 2008
  • Optimum design for general or complex structures are required to the need of many numbers of structural analyses. However, current computational environment with single processor is not capable of generating a high-level efficiency in structural analysis and design process for complex structures. In this paper, a virtual parallel computing system communicated by an internet of personal computers and workstation is constructed. In addition, a routine executing Pro/E, ANSYS and optimization algorithm automatically are adopted in the distributed process technique of sequential approximate optimization for the purpose of enhancing the flexibility of application to general structures. By employing the distributed processing technique during structural analysis using commercial application, total calculation time could be reduced, which will enhance the applicability of the proposed technique to the general complex structures.

Distributed Mean Field Genetic Algorithm for Channel Routing (채널배선 문제에 대한 분산 평균장 유전자 알고리즘)

  • Hong, Chul-Eui
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.2
    • /
    • pp.287-295
    • /
    • 2010
  • In this paper, we introduce a novel approach to optimization algorithm which is a distributed Mean field Genetic algorithm (MGA) implemented in MPI(Message Passing Interface) environments. Distributed MGA is a hybrid algorithm of Mean Field Annealing(MFA) and Simulated annealing-like Genetic Algorithm(SGA). The proposed distributed MGA combines the benefit of rapid convergence property of MFA and the effective genetic operations of SGA. The proposed distributed MGA is applied to the channel routing problem, which is an important issue in the automatic layout design of VLSI circuits. Our experimental results show that the composition of heuristic methods improves the performance over GA alone in terms of mean execution time. It is also proved that the proposed distributed algorithm maintains the convergence properties of sequential algorithm while it achieves almost linear speedup as the problem size increases.

3D Texture based Fast Volume Rendering using Vertex and Pixel Shaders (꼭지점 및 픽셀 쉐이더를 이용한 3D 텍스쳐 기반의 빠른 볼륨 렌더링 기법)

  • Lee, Joong-Youn
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.1645-1648
    • /
    • 2005
  • PC 그래픽스 하드웨어의 급격한 발전에 따라 슈퍼컴퓨터 또는 여러 대의 컴퓨터를 이용한 병렬/분산 처리로나 가능하였던 실시간 볼륨 렌더링을 한대의 일반 PC에서 수행하려는 시도가 계속되고 있다. PC 그래픽스 하드웨어의 꼭지점 및 픽셀 쉐이더는 수치 계산에 최적화된 벡터 연산으로 빠른 볼륨 렌더링을 가능하게 하였을 뿐만 아니라 기존의 고정된 그래픽스 파이프라인에서 벗어나 사용자가 렌더링 과정에 개입하여 프로그래밍을 할 수 있도록 하였다. 본 논문에서는 이러한 그래픽스 하드웨어의 프로그래밍 기능 중 텍스쳐 좌표의 조작을 이용하여 다양한 종류의 볼륨 데이터를 빠르게 렌더링하고 픽셀 쉐이더의 여러 기능들을 이용하여 퐁 쉐이딩 연산, 이른 깊이 테스트, 팔진트리 텍스쳐등을 구현하여 고품질 영상을 실시간으로 얻고자 하였다.

  • PDF

Optimal Sensor Location in Water Distribution Network using XGBoost Model (XGBoost 기반 상수도관망 센서 위치 최적화)

  • Hyewoon Jang;Donghwi Jung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.217-217
    • /
    • 2023
  • 상수도관망은 사용자에게 고품질의 물을 안정적으로 공급하는 것을 목적으로 하며, 이를 평가하기 위한 지표 중 하나로 압력을 활용한다. 최근 스마트 센서의 설치가 확장됨에 따라 기계학습기법을 이용한 실시간 데이터 기반의 분석이 활발하다. 따라서 어디에서 데이터를 수집하느냐에 대한 센서 위치 결정이 중요하다. 본 연구는 eXtreme Gradient Boosting(XGBoost) 모델을 활용하여 대규모 상수도관망 내 센서 위치를 최적화하는 방법론을 제안한다. XGBoost 모델은 여러 의사결정 나무(decision tree)를 활용하는 앙상블(ensemble) 모델이며, 오차에 따른 가중치를 부여하여 성능을 향상시키는 부스팅(boosting) 방식을 이용한다. 이는 분산 및 병렬 처리가 가능해 메모리리소스를 최적으로 사용하고, 학습 속도가 빠르며 결측치에 대한 전처리 과정을 모델 내에 포함하고 있다는 장점이 있다. 모델 구현을 위한 독립 변수 결정을 위해 압력 데이터의 변동성 및 평균압력 값을 고려하여 상수도관망을 대표하는 중요 절점(critical node)를 선정한다. 중요 절점의 압력 값을 예측하는 XGBoost 모델을 구축하고 모델의 성능과 요인 중요도(feature importance) 값을 고려하여 센서의 최적 위치를 선정한다. 이러한 방법론을 기반으로 상수도관망의 특성에 따른 경향성을 파악하기 위해 다양한 형태(예를 들어, 망형, 가지형)와 구성 절점의 수를 변화시키며 결과를 분석한다. 본 연구에서 구축한 XGBoost 모델은 추가적인 전처리 과정을 최소화하며 대규모 관망에 간편하게 사용할 수 있어 추후 다양한 입출력 데이터의 조합을 통해 센서 위치 외에도 상수도관망에서의 성능 최적화에 활용할 수 있을 것으로 기대한다.

  • PDF

Design and Implementation of Big Data Analytics Framework for Disaster Risk Assessment (빅데이터 기반 재난 재해 위험도 분석 프레임워크 설계 및 구현)

  • Chai, Su-seong;Jang, Sun Yeon;Suh, Dongjun
    • Journal of Digital Contents Society
    • /
    • v.19 no.4
    • /
    • pp.771-777
    • /
    • 2018
  • This study proposes a big data based risk analysis framework to analyze more comprehensive disaster risk and vulnerability. We introduce a distributed and parallel framework that allows large volumes of data to be processed in a short time by using open-source disaster risk assessment tool. A performance analysis of the proposed system presents that it achieves a more faster processing time than that of the existing system and it will be possible to respond promptly to precise prediction and contribute to providing guideline to disaster countermeasures. Proposed system is able to support accurate risk prediction and mitigate severe damage, therefore will be crucial to giving decision makers or experts to prepare for emergency or disaster situation, and minimizing large scale damage to a region.

A Study on the Technology and the way of Speed Up on the Pentium Processor (Pentium 프로세서에 적용된 기술과 속도 향상기법 연구)

  • Kim Soo Hong
    • Proceedings of the KAIS Fall Conference
    • /
    • 2004.11a
    • /
    • pp.206-209
    • /
    • 2004
  • Pentium4의 가장 큰 특징은 병렬처리의 최적화이다. 인텔사의 최신 마이크로 프로세서 Pentium4에 적용된 기술들은 SSE2, Intel NetBurst Micro-Architecture, Hyper-Threading Technology 등이다. CPU 속도의 향상 기법은 크게 클럭 속도의 증가, IPC의 증가, 파이프 라이닝의 길이를 길게 하고, 트랜지스터 집적도를 높이는 것 등이다. 인텔이 Pentium4에 적용한 기술들은 구조론적인 관점에 입각해서 원칙을 잘 지켰다고 할 수 있다. 메모리 차원에서의 속도 향상 기법은 보다 큰 메모리를 사용하고, 넓은 데이터 전송 대역폭을 가지게 하고, 그리고 전송속도를 빠르게 하는 방법이 있다. 각 방법은 물리학적인 법칙에서 빛의 속도 보다 빨라 질 수 없다. 그러므로 속도 증가에는 한계가 있다. 이것을 최소화하기 위한 방책으로는 멀티프로세서와 분산처리로 다소 얼마간의 속도 차를 해결할 수 있을 것이다.

  • PDF

The study of striping size according to the amount of storage nodes in the Parallel Media Stream Server (병렬 미디어 스트림 서버에서 저장노드수의 변화에 따른 스트라이핑 크기 결정에 관한 연구)

  • Kim, Seo-Gyun;Nam, Ji-Seung
    • The KIPS Transactions:PartC
    • /
    • v.8C no.6
    • /
    • pp.765-774
    • /
    • 2001
  • In this paper, we proposed the striping policy for the storage nodes in the Linux-based parallel media stream server. We newly developed a storage clustering architecture, and named it as a system RAID architecture. In this system, many storage cluster nodes are grouped to operate as a single server. This system uses unique striping policy to distribute multimedia files into the parallel storage nodes. If a service request occurs, each storage cluster node transmits striped files concurrently to the clients. This scheme can provide the fair distribution of the preprocessing load in all storage cluster nodes. The feature of this system is a relative striping policy based on the file types, service types, and the number of storage nodes to provide the best service.

  • PDF