• 제목/요약/키워드: high performance computing

검색결과 1,130건 처리시간 0.027초

분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘 (Matrix-based Filtering and Load-balancing Algorithm for Efficient Similarity Join Query Processing in Distributed Computing Environment)

  • 양현식;장미영;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제16권7호
    • /
    • pp.667-680
    • /
    • 2016
  • 하둡 맵리듀스와 같은 분산 컴퓨팅 플랫폼이 개발됨에 따라, 기존 단일 컴퓨터 상에서 수행되는 질의 처리 기법을 분산 컴퓨팅 환경에서 효율적으로 수행하는 것이 필요하다. 특히, 주어진 두 데이터 집합에서 유사도가 높은 모든 데이터 쌍을 탐색하는 유사 조인 질의를 분산 컴퓨팅 환경에서 수행하려는 연구가 있어 왔다. 그러나 분산 병렬 환경에서의 기존 유사 조인 질의처리 기법은 데이터 전송 비용만을 고려하기 때문에 클러스터 간에 비균등 연산 부하 분산의 문제점이 존재한다. 본 논문에서는 분산 컴퓨팅 환경에서 효율적인 유사 조인 처리를 위한 행렬 기반 부하 분산 알고리즘을 제안한다. 제안하는 알고리즘은 클러스터의 균등 부하 분산을 위해 행렬을 이용하여 예상되는 연산 부하를 측정하고 이에 따라 파티션을 생성한다. 아울러, 클러스터에서 질의 처리에 사용되지 않는 데이터를 필터링함으로서 연산 부하를 감소시킨다. 마지막으로 성능 평가를 통해 제안하는 알고리즘이 기존 기법에 비해 질의 처리 성능 측면에서 우수함을 보인다.

그리드 기반의 고성능 과학기술지식처리 프레임워크 개발 (Development of a Grid-based Framework for High-Performance Scientific Knowledge Discovery)

  • 정창후;최성필;윤화묵;최윤수
    • 한국콘텐츠학회논문지
    • /
    • 제9권12호
    • /
    • pp.877-885
    • /
    • 2009
  • 본 논문은 그리드 컴퓨팅을 이용한 고성능 과학기술지식처리 프레임워크인 SINDI-Grid의 개발에 관련된 연구이다. SINDI-Grid 프레임워크는 대용량의 데이터 저장소 및 고속의 컴퓨팅 파워를 제공하는 그리드 컴퓨팅의 장점을 이용하여 분산 데이터 분석과 과학기술지식처리를 위한 다양한 그리드 서비스들을 제공한다. 그리고 SINDI-Workflow 도구는 이러한 서비스들을 이용하여 다양한 지식처리 알고리즘을 통합하는 복잡한 과학기술지식처리 애플리케이션을 설계하고 실행하는 역할을 수행한다.

멀티코어 및 고성능 플래시 SSD 환경에서 저널링 파일 시스템의 성능 평가 및 최적화 (Performance Evaluation and Optimization of Journaling File Systems with Multicores and High-Performance Flash SSDs)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제18권4호
    • /
    • pp.178-185
    • /
    • 2018
  • 최근 클라우드 컴퓨팅, 슈퍼컴퓨팅, 기업용 스토리지/데이터베이스 등의 분야에서 멀티코어 CPU와 고성능 플래시 메모리 기반 저장 장치(플래시 SSD)를 장착한 컴퓨더 시스템에 대한 수요가 크게 증가하고 있다. 이러한 고성능 시스템에서 구동되고 있는 대표적인 운영체제 파일 시스템인 저널링 파일 시스템은 저장장치의 입출력 성능을 최대로 활용하고 있지 못하다. 본 논문에서는 고성능 플래시 SSD와 멀티코어 CPU기반의 컴퓨터 시스템에서 리녹스 운영체제의 EXT4 저널링 파일 시스템의 성능을 평가하고 분석하고자 한다. 성능 평가에 사용된 72-코어 컴퓨터 시스템은 인텔의 고성능 NVMe 기반 플래시 SSD를 장착하고 있으며 이 장치의 연속 읽기/쓰기 성능은 2800/1900 MB/s 이다. 실험 결과는 EXT4 파일 시스템의 체크포인팅 연산이 성능상의 큰 오버헤드임을 보여준다. 이 결과를 바탕으로 체크포인팅을 여러 쓰레드가 수행할 수 있는 최적화 기법을 제안하였고, 최적화된 EXT4 파일 시스템은 기존 EXT4 파일 시스템 대비 최대 92%의 성능 향상을 보여준다.

국가 슈퍼컴퓨팅 서비스 프레임워크의 설계 및 구현 (Design and Implementation of National Supercomputing Service Framework)

  • 유정록;변희정;김한기
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권12호
    • /
    • pp.663-674
    • /
    • 2016
  • 기존의 슈퍼컴퓨팅 서비스는 사용자(연구자)가 쉘 터미널을 통해 로그인 서버에 접속하여 커맨드 라인에서 계산 작업을 수행하는 단순한 형태를 띠고 있으며, 이는 컴퓨팅 자원에 대한 접근성 및 활용성을 저해하는 주요 요소이다. 이러한 문제점을 해결하고, 슈퍼컴퓨팅 서비스의 다양성을 제공하기 위하여 본 논문에서는 국가 슈퍼컴퓨팅 서비스 프레임워크의 설계 및 구현에 대해 상세히 기술한다. 제안된 프레임워크는 사용자 관리 및 인증, 이기종 컴퓨팅자원 관리, HPC(High Performance Computing) 작업 관리 등의 기능에 대해 HTTP 방식의 RESTful OpenAPI들을 제공함으로써, 슈퍼컴퓨터 자원과 연계하여 새로운 서비스를 만들고자 하는 개발자들이 편리하게 원하는 서비스를 만들 수 있는 기능을 제공한다. 또한 다양한 이기종 클러스터 자원을 활용하여 HPC 작업을 수행할 수 있도록 플러그-인 기반 표준 인터페이스 및 확장 플러그-인(LoadLeveler, Open Grid Scheduler(OGS), TORQUE)을 제공한다. 아울러, 본 논문에서는 제안한 프레임워크의 유용성을 검증하기 위해, 고에너지 물리 분야의 Lattice-QCD 프로그램을 활용한 적용 사례를 기술한다.

DWM: 이기종 클러스터 시스템의 동적 자원 관리자 (A Dynamic Work Manager for Heterogeneous Cluster Systems)

  • 박종현;김준성
    • 전자공학회논문지CI
    • /
    • 제46권6호
    • /
    • pp.56-62
    • /
    • 2009
  • 고속 네트워크를 통해 연결된 다수의 컴퓨터를 호환성 있는 통신 라이브러리를 활용하여 병렬처리를 수행하는 클러스터 컴퓨팅은 가격대 성능비에서 장점을 가지며 다양한 응용분야에서 실용화되고 있다. 이기종 클러스터 환경에서는 클러스터 시스템을 구성하는 개별 노드의 성능이 직접적인 영향을 주기 때문에 효율적인 자원 관리가 매우 중요하다. 본 논문에서는 DWM(Dynamic Work Manager)라 불리우는 동적 자원 관리자를 제안한다. DWM은 성능이 다른 이기종 클러스터 시스템에서 각 노드의 자원을 충분하게 활용할 수 있도록 설계되었다. DWM을 사용하여 다양한 벤치마크 프로그램을 클러스터 시스템에서 실행시켜 봄으로써 DWM의 성능과 프로그램의 복잡도를 측정한다. 실험 결과로부터 DWM의 사용은 이기종 클러스터 시스템의 성능을 효율적으로 활용하는 동시에 MPI 병렬처리 프로그램의 작성을 용이하게 함을 알 수 있다.

A Hybrid Cloud Testing System Based on Virtual Machines and Networks

  • Chen, Jing;Yan, Honghua;Wang, Chunxiao;Liu, Xuyan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권4호
    • /
    • pp.1520-1542
    • /
    • 2020
  • Traditional software testing typically uses many physical resources to manually build various test environments, resulting in high resource costs and long test time due to limited resources, especially for small enterprises. Cloud computing can provide sufficient low-cost virtual resources to alleviate these problems through the virtualization of physical resources. However, the provision of various test environments and services for implementing software testing rapidly and conveniently based on cloud computing is challenging. This paper proposes a multilayer cloud testing model based on cloud computing and implements a hybrid cloud testing system based on virtual machines (VMs) and networks. This system realizes the automatic and rapid creation of test environments and the remote use of test tools and test services. We conduct experiments on this system and evaluate its applicability in terms of the VM provision time, VM performance and virtual network performance. The experimental results demonstrate that the performance of the VMs and virtual networks is satisfactory and that this system can improve the test efficiency and reduce test costs through rapid virtual resource provision and convenient test services.

GPU를 이용한 효율적인 비압축성 자유표면유동 해석 (AN EFFICIENT INCOMPRESSIBLE FREE SURFACE FLOW SIMULATION USING GPU)

  • 홍환의;안형택;명훈주
    • 한국전산유체공학회지
    • /
    • 제17권2호
    • /
    • pp.35-41
    • /
    • 2012
  • This paper presents incompressible Navier-Stokes solution algorithm for 2D Free-surface flow problems on the Cartesian mesh, which was implemented to run on Graphics Processing Units(GPU). The INS solver utilizes the variable arrangement on the Cartesian mesh, Finite Volume discretization along Constrained Interpolation Profile-Conservative Semi-Lagrangian(CIP-CSL). Solution procedure of incompressible Navier-Stokes equations for free-surface flow takes considerable amount of computation time and memory space even in modern multi-core computing architecture based on Central Processing Units(CPUs). By the recent development of computer architecture technology, Graphics Processing Unit(GPU)'s scientific computing performance outperforms that of CPU's. This paper focus on the utilization of GPU's high performance computing capability, and presents an efficient solution algorithm for free surface flow simulation. The performance of the GPU implementations with double precision accuracy is compared to that of the CPU code using an representative free-surface flow problem, namely. dam-break problem.

Cloud Computing to Improve JavaScript Processing Efficiency of Mobile Applications

  • Kim, Daewon
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.731-751
    • /
    • 2017
  • The burgeoning distribution of smartphone web applications based on various mobile environments is increasingly focusing on the performance of mobile applications implemented by JavaScript and HTML5 (Hyper Text Markup Language 5). If application software has a simple functional processing structure, then the problem is benign. However, browser loads are becoming more burdensome as the amount of JavaScript processing continues to increase. Processing time and capacity of the JavaScript in current mobile browsers are limited. As a solution, the Web Worker is designed to implement multi-threading. However, it cannot guarantee the computing ability as a native application on mobile devices, and is not sufficient to improve processing speed. The method proposed in this research overcomes the limitation of resources as a mobile client and guarantees performance by native application software by providing high computing service. It shifts the JavaScript process of a mobile device on to a cloud-based computer server. A performance evaluation experiment revealed the proposed algorithm to be up to 6 times faster in computing speed compared to the existing mobile browser's JavaScript process, and 3 to 6 times faster than Web Worker. In addition, memory usage was also less than the existing technology.