• 제목/요약/키워드: Distributed/Parallel System

검색결과 384건 처리시간 0.029초

빅데이터 기반 재난 재해 위험도 분석 프레임워크 설계 및 구현 (Design and Implementation of Big Data Analytics Framework for Disaster Risk Assessment)

  • 채수성;장선연;서동준
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.771-777
    • /
    • 2018
  • 본 연구는 재난 재해 시 해당 지역의 취약성 및 재해 위험성분석을 보다 세밀하고 광범위한 분석을 진행하기 위하여 빅데이터 기반 재난 재해 위험도 분석 프레임워크를 제안하였다. 오픈소스 기반 재해 위험도 평가 분석 소프트웨어를 활용하여 대용량의 데이터가 단 시간 내에 처리될 수 있도록 분산 및 병렬처리가 가능한 프레임 워크를 소개한다. 제안하는 시스템의 재난재해 분석 성능평가 시 기존 시스템에 비해 빠른 분석 처리 성능 결과를 도출하였으며 재난 재해 상황 분석 및 재난 유형별 최적화된 의사결정을 지원하는데 주요 프레임워크로 활용될 수 있을 것이다. 본 연구를 통해 재난 재해 상황 시 정확한 판단과 분석과 효과적인 대응을 통한 사전대비가 가능할 것이며, 정확한 피해 산정 예측에 따른 신속한 대응이 가능하여 피해 규모를 최소화시키는데 기여할 수 있을 것이다.

병렬 분산파일시스템의 성능 분석을 통한 최적화 연구 (Study of Optimization through Performance Analysis of Parallel Distributed Filesystem)

  • 윤준원;송의성
    • 디지털콘텐츠학회 논문지
    • /
    • 제17권5호
    • /
    • pp.409-416
    • /
    • 2016
  • 최근 빅데이터 이슈가 화두가 됨에 따라 대학, 산업체, 연구소 등에서는 다양한 데이터들을 수집, 분석 하려는 노력이 활성화 되고 있다. 여기에는 과거부터 축적된 데이터, 현재에 바로 분석이 불가능하더라도 잠재적인 의미를 가지고 있는 데이터 등 대량의 데이터들이 수집되어 의미론적인 분석을 통해 가치 있는 분석결과를 얻게 된다. 이를 위해 전 세계적으로 대용량의 데이터 요구를 처리 할 수 있는 고성능 스토리지 시스템의 수요가 증가하고 있다. 또한, 여러 사용자들에게 축적된 대량의 데이터에 동시에 접속하여 다양한 분석을 수행할 수 있도록 안정성 있는 병렬 분산파일시스템을 제공해야 한다. 본 연구에서는 위와 같이 안정성 있는 파일시스템을 제공하기 위해 반드시 고려되어야 할 스토리지 시스템의 I/O 대역폭, 메타데이터의 성능 등을 파악하고 최적의 환경을 구성하기 위한 방법을 제시하고자 한다.

분산 RAID 기반의 클러스터 시스템을 위한 분할된 결함허용정보 저장 기법 (A Striped Checkpointing Scheme for the Cluster System with the Distributed RAID)

  • 장윤석
    • 정보처리학회논문지A
    • /
    • 제10A권2호
    • /
    • pp.123-130
    • /
    • 2003
  • 본 논문에서는 서버를 사용하지 않고 각 노드에 연결된 지역 디스크들을 이용하여 분산 RAID 저장 장치를 구성하는 분산 환경의 클러스터 컴퓨터를 위한 분할된 결함허용정보 저장 기법을 제안한다. 클러스터 노드들의 결함허용정보를 주기적으로 동시에 분산 RAID에 저장하는 방법은 분산 RAID의 병렬성을 이용할 수 있고, 각 노드의 결함허용정보를 순차적으로 저장하는 기법은 분산 환경에서 네트워크에 병목 현상을 방지할 수 있는 장점을 가지고 있다. 본 연구에서는 분산 RAID를 저장 장치로 사용하는 클러스터 컴퓨터에서 이들 두 가지 기법을 결합함으로써 통신 부하가 큰 응용에서 노드들에 대한 결함허용정보 저장 비용을 줄이고 클러스터의 가용성을 높일 수 있도록 하였다. 제안된 기법의 성능을 검증하기 위하여 본 연구에서는 16노드의 클러스터 시스템에서 MIP와 Linpack HPC 벤치마크 프로그램을 이용한 성능 평가를 수행하였다. 벤치마크 결과는 분할된 결함허용정보 저장 기법이 기존의 기법들에 비하여 분산 RAID를 사용한 클러스터 컴퓨터에서 비교적 우수한 성능을 나타낼 수 있으며, 클러스터의 단일 노드 결함이 발생되었을 경우에 빠른 회복을 수행하는 결함허용정보저장 기법을 설계하는 데에 효과적으로 이용될 수 있다.

Improving Data Accuracy Using Proactive Correlated Fuzzy System in Wireless Sensor Networks

  • Barakkath Nisha, U;Uma Maheswari, N;Venkatesh, R;Yasir Abdullah, R
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권9호
    • /
    • pp.3515-3538
    • /
    • 2015
  • Data accuracy can be increased by detecting and removing the incorrect data generated in wireless sensor networks. By increasing the data accuracy, network lifetime can be increased parallel. Network lifetime or operational time is the time during which WSN is able to fulfill its tasks by using microcontroller with on-chip memory radio transceivers, albeit distributed sensor nodes send summary of their data to their cluster heads, which reduce energy consumption gradually. In this paper a powerful algorithm using proactive fuzzy system is proposed and it is a mixture of fuzzy logic with comparative correlation techniques that ensure high data accuracy by detecting incorrect data in distributed wireless sensor networks. This proposed system is implemented in two phases there, the first phase creates input space partitioning by using robust fuzzy c means clustering and the second phase detects incorrect data and removes it completely. Experimental result makes transparent of combined correlated fuzzy system (CCFS) which detects faulty readings with greater accuracy (99.21%) than the existing one (98.33%) along with low false alarm rate.

연합학습을 위한 패턴 및 그룹 기반 효율적인 분산 합의 최적화 (Efficient distributed consensus optimization based on patterns and groups for federated learning)

  • 강승주;천지영;노건태;정익래
    • 인터넷정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.73-85
    • /
    • 2022
  • 인공지능으로 자동화와 연결성이 극대화되는 4차 산업혁명 시대를 맞이하여 모델의 업데이트를 위한 데이터 수집과 활용의 중요성이 점차 높아지고 있다. 인공지능 기술을 사용하여 모델을 생성하기 위해서는 일반적으로 데이터를 한곳에 모아야 업데이트할 수 있으나, 이런 경우 사용자의 개인정보를 침해할 수 있다. 본 논문에서는 분산 저장된 데이터를 직접 공유하지 않으면서 서로 협력하여 모델을 업데이트할 수 있는 분산형 기계학습 방법인 연합학습을 소개하며, 기존의 서버 없이 참여자들 간의 분산 합의 최적화를 이루는 연구를 소개한다. 또한, Kirkman Triple System을 기반으로 한 패턴 및 그룹을 생성하는 알고리즘을 이용하며, 병렬적인 업데이트 및 통신을 하는 패턴 및 그룹 기반 분산 합의 최적화 알고리즘을 제안한다. 이러한 알고리즘은 기존의 분산 합의 최적화 알고리즘 이상의 프라이버시를 보장하며, 모델이 수렴할 때까지의 통신시간을 감소시킨다.

병렬처리와 가상격자를 이용한 대용량 항공 레이저 스캔 자료의 효율적인 처리 (Efficient Processing of Huge Airborne Laser Scanned Data Utilizing Parallel Computing and Virtual Grid)

  • 한수희;허준;엥흐바타르
    • 한국공간정보시스템학회 논문지
    • /
    • 제10권4호
    • /
    • pp.21-26
    • /
    • 2008
  • 본 연구에서는 대용량의 항공 레이저 스캔 자료를 효율적으로 처리하기 병렬처리 기법과 가상격자 구조를 도입하였으며 제안한 방법의 실효성을 평가하기 위하여 IDW(Inverse Distance Weighting) 방식으로 정규격자 DSM을 생성하였다. 즉, 대용량 항공 레이저 스캔 자료의 신속한 보간을 위하여 병렬처리 기법을 이용하고 불규칙적으로 분포된 포인트의 검색 효율성을 제고하기 위하여 가상격자(virtual grid)를 사용하였다. 마스터 노드와 6대의 슬래이브 노드로 구성된 클러스터를 사용하여 처리 시간을 측정한 결과 노드의 수가 증가하더라도 1에 가까운 efficiency를 나타내었으며 load scalability의 특성도 만족시켰다. 또한 용량의 한계로 인하여 단일 시스템에서 처리할 수 없는 크기의 자료를 클러스터 시스템으로 처리할 수 있음을 확인하였다.

  • PDF

대용량 메모리를 가진 병렬 데이터베이스 시스템의 조인 연산 (Join Operation of Parallel Database System with Large Main Memory)

  • 박영규
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.51-58
    • /
    • 2007
  • 확장성에서 장점을 가지고 있는 비공유 병렬 프로세서 구조는 병렬 데이터베이스 시스템에서 많이 적용되고 있는 구조이다. 그러나 비공유 병렬 프로세서 구조는 데이터의 분포가 전체 프로세서에게 균일하게 분포되어 있지 않을 경우에는 일부 프로세서에게 부하가 집중되고 이로 인한 성능의 감소가 불가피하게 되는 단점이 있다. 특히 부하의 불균형 정도가 심한 경우에 조인 연산을 수행할 때 이런 성능 감소의 단점은 두드러진다. 본 논문은 비공유 병렬 프로세서 구조에서 부하의 불균형 정도가 심한 경우에도, 조인 연산을 실시하기 전에 부하 불균형을 고려함으로써 성능 감소를 최소화하고, 메모리의 대용량화를 이용하여 성능을 높인 조인 알고리즘을 제시한다. 또한 알고리즘의 성능 분석을 위한 분석 모델을 제시하며, 분석 모델을 통하여 데이터 불균형 문제를 해결하기 위한 다른 알고리즘과의 성능을 비교한다.

  • PDF

직류 급전선 증설에 따른 전압강하 최소화를 위한 균압 스페이서 개발 (The Development of Equalizing Spacer for Minimization of Voltage Drop according to DC Feeder Extension)

  • 이재봉;서일권;나연일;김재문
    • 전기학회논문지
    • /
    • 제63권7호
    • /
    • pp.1013-1018
    • /
    • 2014
  • This paper described the development of equalizing spacer for minimization of voltage drop according to DC feeder extension. Power consumption is increased as shorter interval of train driving time and transportation capacity increase in urban subway. Therefore we investigated voltage drop of catenary at a point in case of traction driving of a train in parallel to the DC power supply system. Based on it's result, equalizing spacer is designed and fabrication to minimize the voltage drop in accordance with the power supply line arranged in three rows, and then its performance was confirmed that the stress distribution of main body and the distributed load are satisfied through the body structure modeling.

Operation of a Networked Virtual Manufacturing System using Quasi-Procedural Method

  • Noh, Sang-Do;Sheen, Dong-Mok;Hahn, Hyung-Sang;Lee, Kyoil
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1999년도 제14차 학술회의논문집
    • /
    • pp.177-180
    • /
    • 1999
  • Nowadays, one of the major technical issues in manufacturing is to create an environment to promote collaboration among diverse engineering activities. Collaborative engineering is an innovative approach integrating widely distributed engineering activities through promoting information sharing and actual collaboration. It requires close interactions among developers, suppliers and customers, and consideration of entire product life cycle from concept to disposal. A carefully-designed operating system is crucial for successful collaboration of many different activities in a Networked Virtual Manufacturing System(NVMS). High extensibility, flexibility and efficiency ale the key characteristics requested of an operating system to handle the complexity of the NVMSs. In this paper, we propose a model of the operating system for collaborative engineering using concurrent quasi-procedural method(QPM). QPM is a goal-driven data management technique for distributed and parallel computing environments. It is to be applied to the evaluation of activities to be executed, validities of input data, execution path of activities for a needed output, and expected to greatly improve the productivity of operations by preventing redundant evaluations. Collaboration among many different engineering activities in NVMSs is to be performed by the network of agents that encapsulate the capabilities of both users and their tools.

  • PDF

인터넷 기반 근사 형상최적설계의 분산처리 (Distributed Process of Approximate Shape Optimization Based on the Internet)

  • 임오강;최은호;김우현
    • 한국전산구조공학회논문집
    • /
    • 제21권4호
    • /
    • pp.317-324
    • /
    • 2008
  • 대형 구조물에 대한 최적설계를 고려할 때 구조해석에 많은 시간과 노력이 소비된다. 한대의 개인용 컴퓨터에 의한 대형 구조물의 구조해석은 대용량의 기억장치와 많은 계산시간이 요구되므로 반복적 해석이 필요한 대형 구조물의 설계에 효율적으로 이용되기 어렵다. 따라서 본 논문에서는 이러한 문제의 대안으로 인터넷이 연결된 다수의 개인용 컴퓨터들로 고성능 병렬연산시스템을 구성하여 구조해석을 분산 처리하여 계산시간을 절감하였다. 아울러 반응표면의 근사를 위해 요구되는 구조해석을 상용 구조해석 어플리케이션으로 해결할 수 있다면 상용성이 확보되어 일반 구조물에 대하여도 반응표면법을 이용한 최적설계를 수행할 수 있을 것이다.