• Title/Summary/Keyword: 병렬/분산 컴퓨팅

Search Result 153, Processing Time 0.026 seconds

Design of energy-efficient considering cache and storage algorithms (저장장치 및 캐쉬를 고려한 저전력 알고리즘 설계)

  • Park, Ki-Hong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.41-44
    • /
    • 2013
  • 병렬 및 분산 컴퓨팅 영역에서 기존 실험의 대부분은 속도 개선만을 고려하여 알고리즘을 설계 하였다. 이 연구는 일정 수준의 속도 개선을 보이면서도 에너지 절감효과를 기대하고자 저장장치 및 캐쉬의 활용을 생각하여 알고리즘을 설계하는 연구를 진행 한다. 이를 보이기 위해 입출력 비중이 높은 경우를 대표하는 외부 정렬 실험과 순수 연산의 비중이 높은 경우를 대표하는 매트릭스 실험을 하였다. 연구 결과를 통해 저장장치 및 캐쉬를 고려한 알고리즘이 그린 컴퓨팅에 이바지 할 수 있다는 것을 말하고자 한다.

A Design of a Distributed Computing Problem Solving Environment for Dietary Data Analysis (식이 데이터 분석을 위한 분산 컴퓨팅 문제풀이환경 설계)

  • Choi, Jieun;Ahn, Younsun;Kim, Yoonhee
    • Journal of KIISE
    • /
    • v.42 no.7
    • /
    • pp.834-839
    • /
    • 2015
  • Recently, wellness has become an issue related to improvements in personal health and quality of life. Data that are accumulated daily, such as meals and momentum records, in addition to body measurement information such as body weight, BMI and blood pressure have been used to analyze the personal health data of an individual. Therefore, it has become possible to prevent potential disease and to analyze dietary or exercise patterns. In terms of food and nutrition, analyses are performed to evaluate the health status of an individual using dietary data. However, it is very difficult to process the large amount of dietary data. An analysis of dietary data includes four steps, and each step contains a series of iterative tasks that are executed over a long time. This paper proposes a problem solving environment that automates dietary data analysis, and the proposed framework increases the speed with which an experiment can be conducted.

A Study on the Design of Ambari Service for Lustre Parallel File System Auto Provisioning (Lustre 병렬파일시스템 오토 프로비저닝을 위한 Ambari 서비스 설계에 관한 연구)

  • Kwak, Jae-Hyuck;Kim, Sangwan;Byun, Eunkyu;Nam, Dukyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.45-47
    • /
    • 2017
  • 하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

Implementation and Performance Evaluation of a Software-based DSM Sytem for a Windows-NT Workstations Cluster (Windows-NT 워크스테이션 클러스터를위한 소프트웨어 기반 분산 공유 메모리 시스템의 구현 및 성능 평가)

  • Lee, Jong-U
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.2
    • /
    • pp.176-184
    • /
    • 1999
  • 지금까지의 소프트웨어 기반 분산 공유 메모리(이하 DSM이라 칭함)시스템은 유닉스 워크스테이션 클러스터를 목표로 하는 것이 대부분이었다. 그러나 현재 Windows-NT 는 서버급 시스템과 PC 모두를 위한 운영체제로서 유닉스와 더불어 널리 사용되고 있는 실정이다. 본 논문에서는 Windows-NT 워크스테이션 클러스터 환경을 위한 DSM 시스템을 구현하고, 구현된 DSM 시스템의 성능 평가 결과를 제시한다. 구현된 DSM 시스템은 Win32 API와 표준 실행-시간 라이브러리를 이용해 구현되었기 때문에 모든 Windows-NT 워크스테이션에서 실행 가능하며 , 프로그래머는 몇 라인의 코드 추가만으로 DSM 시스템 상에서 수행되는 병렬 응용 프로그램을 작성할 수 있다. 워크스테이션 간의 상호연결망으로 범용성을 위해 이더넷 LAN을 지원하였고, 아울러 성능 향상을 위해 기가비트 SAN(System Area Network)도 지원하였다. 기가비트 SAN을 위한 하드웨어로는 Dolphin 사의 PCI-SCI 타입 제품인 Clustar를 사용하였다. 우리는 성능 평가를 통해, 구현된 DSM 시스템이 정확히 동작함은 물론 확장성이 뛰어나다는 것을 확인하였다. 특히 , 기가비트 SAN을 사용할 경우 일부 병렬 벤치 마크 프로그램에서는 노드 수 증가에 따라 성능이 거의 선형적으로 향상된다는 것을 알 수 있었다. 본 논문이 기여하는 바는 Windows-NT 기반 소프트웨어 DSM 시스템의 원천 기술을 확보함으로써 향후 Windows-NT 워크스테이션 클러스터 환경에서의 분산 및 병렬 처리 연구에 도움을 줄 수 있다는 점이다.

A Distributed High Dimensional Indexing Structure for Content-based Retrieval of Large Scale Data (대용량 데이터의 내용 기반 검색을 위한 분산 고차원 색인 구조)

  • Cho, Hyun-Hwa;Lee, Mi-Young;Kim, Young-Chang;Chang, Jae-Woo;Lee, Kyu-Chul
    • Journal of KIISE:Databases
    • /
    • v.37 no.5
    • /
    • pp.228-237
    • /
    • 2010
  • Although conventional index structures provide various nearest-neighbor search algorithms for high-dimensional data, there are additional requirements to increase search performances as well as to support index scalability for large scale data. To support these requirements, we propose a distributed high-dimensional indexing structure based on cluster systems, called a Distributed Vector Approximation-tree (DVA-tree), which is a two-level structure consisting of a hybrid spill-tree and VA-files. We also describe the algorithms used for constructing the DVA-tree over multiple machines and performing distributed k-nearest neighbors (NN) searches. To evaluate the performance of the DVA-tree, we conduct an experimental study using both real and synthetic datasets. The results show that our proposed method contributes to significant performance advantages over existing index structures on difference kinds of datasets.

Design of Node Monitoring and Control System on a Distributed Computing Environment (분산컴퓨팅 환경에서 노드 감시와 제어시스템의 설계)

  • 임영규;김영학
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04a
    • /
    • pp.337-339
    • /
    • 2001
  • 최근에 클러스터링 기술이 발전함에 따라 병렬 및 분산처리 환경에서 클러스터링에 참여하는 서브노드의 환경 제어 및 감시 문제가 중요하게 대두되고 있다. 본 논문에서는 이러한 문제를 효율적으로 해결하기 위한 방안으로 노드의 감시 및 제어를 하는 응용과 노드의 정보전송 및 제어 값 설정을 하는 응용을 사용하여, 각 노드의 부하를 가급적으로 주지 않은 IP 레이어를 통한 노드 감시와 제어시스템의 설계에 관한 방법을 연구하였다. 또한 TCP 통신에 사용되는 통신 버퍼를 유동적으로 조절하여 시스템을 관리하는 방법을 제안하고, 시뮬레이션을 통하여 결과를 확인한다.

Performance Analysis of Network Devices for High Performance Computing Cluster (HPC 클러스터 구축을 위한 다양한 네트워크 성능 분석)

  • Hong, Jeong-Woo;Lee, Bo-Sung;Park, Hyung-Woo;Lee, Sang-San
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.319-322
    • /
    • 2002
  • 최근 주목받고 있는 그리드 컴퓨팅 연구등에 주요한 요소로서 기대되어지는 고성능 클러스터 시스템들은 주로 과학 기술 응용연구를 위해 사용되어진다. 이러한 종류의 병렬 시스템은 특정 부품들을 사용하는데 그중 네트워크를 구성하는 부품들이 통상의 분산/병렬컴퓨팅에 주요한 역할요소로서 주목을 받아오고 있다. 이 논문에서는 myrinet, Gbit ethernet, Fast ethernet 장비에 대하여 각각 Netpipe, Linpack, NPB 등의 벤치마크를, 성능 실험을 동해 선정한 Pentium IV 1.7Mhz/1Gb Mem 16노드로 구성한 클러스터에 대하여 2종의 컴파일러를 사용하여 테스트하고 그 결과를 분서하였다. 상이한 성능 차를 보이는 장비간의 성능 비교를 통해 2002년 2월 현재 가능한 응용문제가 사용하고 있는 알고리즘에 따른 최적의 클러스터 시스템의 최적 구성을 도출 할 수 있다.

  • PDF

Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem (러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석)

  • Kwak, Jae-Hyuck;Kim, Sangwan;Huh, Taesang;Hwang, Soonwook
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.8
    • /
    • pp.561-566
    • /
    • 2015
  • Hadoop is becoming widely adopted in scientific and commercial areas as an open-source distributed data processing framework. Recently, for real-time processing and analysis of data, an attempt to apply high-performance computing technologies to Hadoop is being made. In this paper, we have expanded the Hadoop Filesystem library to support Lustre, which is a popular high-performance parallel distributed filesystem, and implemented the Hadoop MapReduce execution environment over the Lustre filesystem. We analysed Hadoop MapReduce over Lustre by using Hadoop standard benchmark tools. We found that Hadoop MapReduce over Lustre execution has a performance 2-13 times better than a typical Hadoop MapReduce execution.

Design and Implementation of Distributed In-Memory DBMS-based Parallel K-Means as In-database Analytics Function (분산 인 메모리 DBMS 기반 병렬 K-Means의 In-database 분석 함수로의 설계와 구현)

  • Kou, Heymo;Nam, Changmin;Lee, Woohyun;Lee, Yongjae;Kim, HyoungJoo
    • KIISE Transactions on Computing Practices
    • /
    • v.24 no.3
    • /
    • pp.105-112
    • /
    • 2018
  • As data size increase, a single database is not enough to serve current volume of tasks. Since data is partitioned and stored into multiple databases, analysis should also support parallelism in order to increase efficiency. However, traditional analysis requires data to be transferred out of database into nodes where analytic service is performed and user is required to know both database and analytic framework. In this paper, we propose an efficient way to perform K-means clustering algorithm inside the distributed column-based database and relational database. We also suggest an efficient way to optimize K-means algorithm within relational database.

Distributed AI Learning-based Proof-of-Work Consensus Algorithm (분산 인공지능 학습 기반 작업증명 합의알고리즘)

  • Won-Boo Chae;Jong-Sou Park
    • The Journal of Bigdata
    • /
    • v.7 no.1
    • /
    • pp.1-14
    • /
    • 2022
  • The proof-of-work consensus algorithm used by most blockchains is causing a massive waste of computing resources in the form of mining. A useful proof-of-work consensus algorithm has been studied to reduce the waste of computing resources in proof-of-work, but there are still resource waste and mining centralization problems when creating blocks. In this paper, the problem of resource waste in block generation was solved by replacing the relatively inefficient computation process for block generation with distributed artificial intelligence model learning. In addition, by providing fair rewards to nodes participating in the learning process, nodes with weak computing power were motivated to participate, and performance similar to the existing centralized AI learning method was maintained. To show the validity of the proposed methodology, we implemented a blockchain network capable of distributed AI learning and experimented with reward distribution through resource verification, and compared the results of the existing centralized learning method and the blockchain distributed AI learning method. In addition, as a future study, the thesis was concluded by suggesting problems and development directions that may occur when expanding the blockchain main network and artificial intelligence model.