• 제목/요약/키워드: distributed parallel processing

검색결과 258건 처리시간 0.025초

Optimum design of steel frames against progressive collapse by guided simulated annealing algorithm

  • Bilal Tayfur;Ayse T. Daloglu
    • Steel and Composite Structures
    • /
    • 제50권5호
    • /
    • pp.583-594
    • /
    • 2024
  • In this paper, a Guided Simulated Annealing (GSA) algorithm is presented to optimize 2D and 3D steel frames against Progressive Collapse. Considering the nature of structural optimization problems, a number of restrictions and improvements have been applied to the decision mechanisms of the algorithm without harming the randomness. With these improvements, the algorithm aims to focus relatively on the flawed variables of the analyzed frame. Besides that, it is intended to be more rational by instituting structural constraints on the sections to be selected as variables. In addition to the LRFD restrictions, the alternate path method with nonlinear dynamic procedure is used to assess the risk of progressive collapse, as specified in the US Department of Defense United Facilities Criteria (UFC) Design of Buildings to Resist Progressive Collapse. The entire optimization procedure was carried out on a C# software that supports parallel processing developed by the authors, and the frames were analyzed in SAP2000 using OAPI. Time history analyses of the removal scenarios are distributed to the processor cores in order to reduce computational time. The GSA produced 3% lighter structure weights than the SA (Simulated Annealing) and 4% lighter structure weights than the GA (Genetic Algorithm) for the 2D steel frame. For the 3D model, the GSA obtained 3% lighter results than the SA. Furthermore, it is clear that the UFC and LRFD requirements differ when the acceptance criteria are examined. It has been observed that the moment capacity of the entire frame is critical when designing according to UFC.

하둡 기반 빅 데이터 기법을 이용한 웹 서비스 데이터 처리 설계 및 구현 (Design and Implementation of an Efficient Web Services Data Processing Using Hadoop-Based Big Data Processing Technique)

  • 김현주
    • 한국산학기술학회논문지
    • /
    • 제16권1호
    • /
    • pp.726-734
    • /
    • 2015
  • 데이터를 구조화하여 사용하는 관계형 데이터베이스가 현재까지 데이터 관리에 가장 많이 사용되고 있다. 그러나 관계형 데이터베이스는 데이터가 증가되면 데이터를 저장하거나 조회할 때 읽기, 쓰기 연산 수행에 제약 조건이 발생되어 서비스가 느려지는 현상이 나타난다. 또 새로운 업무가 추가되면 데이터베이스 내 데이터는 증가되고 결국 이를 해결하기 위해 하드웨어의 병렬 구성, CPU, 메모리, 네트워크 등 추가적인 인프라 구성을 필요로 하게 된다. 본 논문에서는 관계형 데이터베이스의 데이터 증가로 느려지는 웹 정보서비스 개선을 위해 기존 관계형 데이터베이스의 데이터를 하둡 HDFS로 전송하고 이를 일원화하여 데이터를 재구성한 후 사용자에게 하둡 데이터 처리로 대량의 데이터를 빠르고 안전하게 추출하는 모델을 구현한다. 본 시스템 적용을 위해 웹 기반 민원시스템과 비정형 데이터 처리인 이미지 파일 저장에 본 제안시스템을 적용하였다. 적용결과 관계형 데이터베이스 시스템보다 제안시스템 데이터 처리가 0.4초 더 빠른 결과를 얻을 수 있었고 기존 관계형 데이터베이스와 같은 대량의 데이터를 처리를 빅 데이터 기법인 하둡 데이터 처리로도 웹 정보서비스를 지원이 가능하였다. 또한 하둡은 오픈소스로 제공되어 소프트웨어 구매 비용을 줄여주는 장점이 있으며 기존 관계형 데이터베이스의 데이터 증가로 효율적인 대용량 데이터 처리를 요구하는 조직에게 도움을 줄 수 있을 것이다.

차륜 및 차축베어링 고장진단을 위한 빅데이터 기반 머신러닝 기법 연구 (A Study of Big data-based Machine Learning Techniques for Wheel and Bearing Fault Diagnosis)

  • 정훈;박문성
    • 한국산학기술학회논문지
    • /
    • 제19권1호
    • /
    • pp.75-84
    • /
    • 2018
  • 본 철도 유지보수 산업의 효율화를 위해서는 핵심부품의 적시 관리를 통한 부품 가동률 향상 및 철도 운행의 안정성 향상이 필요하다. 또한 유지보수 시스템 고속화에 따른 신뢰성 향상과 핵심부품의 유지보수 비용 절감의 두 가지 측면을 모두 만족시키기 위해, 부품 이력관리와 대규모 빅데이터의 자동화된 분석 기술을 활용한 부품 상태 진단 기술 수요가 증가하고 있다. 이 논문에서는 철도차량의 차상 및 지상 장치로부터 발생되는 실시간 빅데이터 수집, 처리, 분석을 위해서 빅데이터 플랫폼 기반의 철도차량 부품의 상태 데이터 관리시스템을 개발하였으며, 이 시스템의 활용으로 철도차량의 부품 상태정보 및 시스템 리소스에 대한 실시간 모니터링이 가능하다. 또한 빅데이터 플랫폼으로부터 수집된 상태 데이터를 기반으로 분산/병렬처리 및 자동화된 부품 고장진단이 가능한 머신러닝 기법을 제안하였다. 실험결과, 분산/병렬처리 기술이 적용된 알고리즘의 실행시간 단축을 아마존 웹서비스의 가상 인스턴스 생성 시스템을 통해 증명하였으며, random forest 머신러닝 기법을 활용한 고장 진단 모델의 베어링 및 차륜 부품에 대한 상태 예측 정확도가 83%임을 확인하였다.

블록-순환으로 분배된 배열의 지역 주소 생성 (Generating Local Addresses for Block-Cyclic Distributed Array)

  • 권오영;김태근;한탁돈;양성봉;김신덕
    • 한국정보처리학회논문지
    • /
    • 제5권11호
    • /
    • pp.2835-2844
    • /
    • 1998
  • 대부분의 데이터 병렬 언어들은 배열을 분배하는 방법을 제공하고 있다. 이들 중 블록-순환(block-cyclic) 분배가 가장일반적인 데이터 방법이다. 블록-순환 형태로 분할된 배열 구간 A(l:h:s) 중 각 프로세서가 자신의 메모리 영역에서 접근하는 A의 지역주소를 컴파일러 또는 실시간 시스템들이 생성하는 방안에 대한 연구가 이루어지고 있다. 이 논문에서는 블록-순환 분배된 배열에 대한 두 가지 지역 주소 생성 방법을 제안한다. 하나는 가상-블록 (virtual-block)을 변형한 simple scan 방법이고, 다른 하나는 지역 메모리 접근에 대한 정보를 포함하는 ${\Delta}M$테이블을 선형시간에 생성하는 알고리즘이다. ${\Delta}M$테이블 생성과 각 프로세서가 10,000개의 지역배열 원소를 접근하는데 소요된 시간을 측정하는 실험을 하였다. 실험결과 simple scan 방법은 성능이 좋지 못하였다. 하지만 ${\Delta}M$테이블을 구성하는 다른 방법들 보다 빠른 시간에 수행이 완료되었다.

  • PDF

하둡 분산 환경 기반의 데이터 수집 기법 연구 (A Study on the Data Collection Methods based Hadoop Distributed Environment)

  • 진고환
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.1-6
    • /
    • 2016
  • 최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

그리드 시스템에서 정적정보를 활용한 작업큐 중복 스케줄링 알고리즘 (A Workqueue Replication Scheduling Algorithm Using Static Information on Grid Systems)

  • 강오한;강상성;송희헌
    • 정보처리학회논문지A
    • /
    • 제16A권1호
    • /
    • pp.9-16
    • /
    • 2009
  • 그리드 시스템은 넓은 지역에 분산되어 있는 이질적인 자원들로 구성되어 있어서 가까운 지역에 비교적 동질적이고 통제가 가능한 자원들을 대상으로 하는 전통적 병렬시스템의 스케줄링 알고리즘으로는 효율적인 작업처리가 불가능하다. 본 논문에서는 그리드 시스템의 특성을 반영한 알고리즘을 제안하기 위해 기존의 스케줄링 알고리즘에서 사용하고 있는 정보의 종류에 초점을 두고 선행연구에서 제안된 알고리즘들을 비교 분석하여 개선할 수 있는 요소들을 도출하였다. 알고리즘들을 비교 분석한 결과 프로세서의 수나 성능과 같은 자원의 정적 정보가 스케줄링 알고리즘에 유용하게 사용될 수 있으며, 처리속도가 극단적으로 느리거나 사용이 불가능한 자원을 회피하기 위한 수단이 필요하고, 비교적 장시간 처리를 하는 그리드의 특성상 자원의 실시간 부하정보를 이용하는 경우 효용성이 떨어지는 것을 확인할 수 있었다. 본 논문에서는 이러한 분석 결과를 바탕으로 WQR(Workqueue Replication) 알고리즘의 논리에 정적 자원정보를 고려하도록 개선한 새로운 알고리즘(WQRuSI)을 제안하였으며, 시뮬레이션을 통하여 새로운 알고리즘의 성능이 우수함을 확인하였다.

퍼지를 이용한 클라우드 기반의 소셜 네트워크 서비스 계층적 시각화 (Hierarchical Visualization of Cloud-Based Social Network Service Using Fuzzy)

  • 박선;김용일;이성로
    • 한국통신학회논문지
    • /
    • 제38B권7호
    • /
    • pp.501-511
    • /
    • 2013
  • 현재 대부분의 소셜 네트워크 서비스에 대한 시각화방법들은 네트워크 자료를 시각화하여 표현하는 것에만 중점을 두고 있으며, 기하급수적으로 증가하는 소셜 네트워크의 빅데이터 처리에 대한 계산량 및 효율적인 처리속도는 전혀 고려하지 않고 있다. 본 논문은 소셜 네트워크의 사용자 노드 간의 계층 관계를 사용자 중심으로 시각화하는 클라우드 기반의 방법을 제안한다. 제안방법은 퍼지를 이용하여 소셜 네트워크 노드의 계층 관계를 표현함으로써 사용자의 사회관계를 직관적으로 이해할 수 있으며, 소셜 네트워크에서의 사용자들의 중심 역할 관계를 쉽게 파악할 수 있다. 또한 클라우드 기반의 하둡(hadoop)과 하이브(hive)를 이용하여 시각화 알고리즘을 분산병렬 처리함으로써 소셜 네트워크의 빅데이터를 신속히 처리할 수 있다.

CMAC 신경회로망을 이용한 가솔린 분사 제어 시스템에 관한 연구 (The injection petrol control system about CMAC neural networks)

  • 한아군;탁한호
    • 한국정보통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.395-400
    • /
    • 2017
  • 본 논문에서는 산소 센서를 이용하여 CMAC 신경회로망 학습제어에 의한 차량의 연료분사 제어방법에 대해 논한다. 기본 차량 내연기관과 연료 분사 제어시스템의 동역학적인 비선형성으로 인하여 불연속적인 연로를 분사한다. 정밀 연료 분사량 제어에 어려움을 발생시키기 때문에 엔진성능은 저하된다. 본 연구에서는 CMAC 신경회로망을 이용한 연료 분사시스템을 제안한다. CMAC 신경회로망은 매우 넓은 범위의 함수로부터 비선형 관계를 학습 할 수 있고, 학습이 빠르며, 수렴 특성을 가지고 있다. 그리고 산소 센서의 출력특성을 파악하여 연료분사 속도를 계산해서 설정된 공연비 값을 유지시켜준다. 게다가 기존 가솔린 엔진의 구조변경이 없이 어떤 상황에서도 공연비를 정밀하게 제어할 수 있으며, 배기가스 배출량을 절감시킬 수 있다. 시뮬레이션을 통해 일반적인 차량의 제어 방법과 비교 분석하였고, 제안된 방법이 차량의 연비 향상과 친환경 성능 등에 더 효과적임을 확인하였다.

맵리듀스를 이용한 다중 중심점 집합 기반의 효율적인 클러스터링 방법 (An Efficient Clustering Method based on Multi Centroid Set using MapReduce)

  • 강성민;이석주;민준기
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권7호
    • /
    • pp.494-499
    • /
    • 2015
  • 데이터 사이즈가 증가함에 따라서 대용량 데이터를 분석하여 데이터의 특성을 파악하는 것이 매우 중요해졌다. 본 논문에서는 분산 병렬 처리 프레임워크인 맵리듀스를 활용한 k-Means 클러스터링 기반의 효과적인 클러스터링 기법인 MCSK-Means (Multi centroid set k-Means)알고리즘을 제안한다. k-Means 알고리즘은 임의로 정해지는 k개의 초기 중심점들의 위치에 따라서 클러스터링 결과의 정확도가 많은 영향을 받는 문제점을 가지고 있다. 이러한 문제를 해결하기 위하여, 본 논문에서 제안하는 MCSK-Means 알고리즘은 k개의 중심점들로 이루어진 m개의 중심점 집합을 사용하여 임의로 생성되는 초기 중심점의 의존도를 줄였다. 또한, 클러스터링 단계를 거친 m개의 중심점 집합들에 속한 중심점들에 대하여 직접 계층 클러스터링 알고리즘을 적용하여 k개의 클러스터 중심점들을 생성하였다. 본 논문에서는 MCSK-Means 알고리즘을 맵리듀스 프레임워크 환경에서 개발하여 대용량 데이터를 효율적으로 처리할 수 있도록 하였다.