• 제목/요약/키워드: Distributed Parallel Computing

검색결과 156건 처리시간 0.023초

지구환경 데이터를 위한 멀티플랫폼 가시화 시스템 (Multi-platform Visualization System for Earth Environment Data)

  • 정석철;정서원;김종용;박상훈
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제21권3호
    • /
    • pp.36-45
    • /
    • 2015
  • 대용량 볼륨 데이터로부터 연속적인 고화질 영상을 생성하는 것은 공학이나 자연과학 분야에서 중요한 연구주제이다. 최신 가시화 기법을 이용해 고해상도데이터의 시각적 영상 정보를 효과적으로 보여줌으로써 데이터에 내재된 유용한 정보의 분석을 돕는 소프트웨어의 필요성이 증대되고 있다. 본 논문에서는 관측, 예측을 통해 구축된 지구환경 데이터를 효과적으로 분석, 표출하기 위해 클라이언트-서버기반의멀티플랫폼가시화시스템을설계했다.클러스터로구성된가시화서버는병렬/분산 처리를 통해 데이터를 클라이언트에게 전달하고, 클라이언트는 다양한 플랫폼에서 구동되도록 개발되었다. 개발된 클라이언트는 멀티 터치, 센서를 통해 직관적인 구동이 가능하고, 영상기반조명 기법의 적용으로 사실적인 렌더링을 지원한다.

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

자원 가용성 기반 다중 경매 모델을 이용한 서비스 예약형 클라우드 자원 거래 시스템 (Resource Availability-based Multi Auction Model for Cloud Service Reservation and Resource Brokering System)

  • 이석우;김태영;이종식
    • 한국시뮬레이션학회논문지
    • /
    • 제23권1호
    • /
    • pp.1-10
    • /
    • 2014
  • 클라우드 컴퓨팅은 분산 병렬 컴퓨팅의 일종으로 IT 자원을 가상화 하고 이를 사용자에게 제공한다. 그러나 사용자의 서비스 요청은 시간적 규칙성이 없으며, 이런 이유로 각 자원들은 가용성의 차이를 갖는다. 가용성의 차이는 클라우드 서비스 이용자의 QoS만족도 및 서비스 제공자 선택에 영향을 주게 된다. 본 논문에서는 클라우드 환경에서의 서비스 이용자의 요구에 따라 가상화된 IT자원 제공자의 효율적 선정을 위한 자원 가용성 기반 다중 경매 모델을 이용한 서비스 예약형 클라우드 자원거래 시스템을 제안한다. 제안한 시스템에서는 서비스 이용자의 서비스 요청 발생 시 두 번의 경매 모델을 사용하는 다중경매모델이며, 다중 경매 과정 중 단일 경매 단계에서 자원 가용성 평가 알고리즘 및 가변 큐를 이용한 서비스 예약방식을 적용하여 서비스 제공자의 자원 가용성을 평가하여 최적의 서비스 제공 자원을 찾는다. 제안모델은 QoS만족도 부분에서 앞서 작용한 자원 가용성 평가 알고리즘으로 인해 높은 성능을 보여주며, 작업 처리 시간활용도 면에서 QoS를 모두 고려한 상태로 안정적으로 더 많은 작업을 처리 할 수 있음을 입증하였다.

Operation of a Networked Virtual Manufacturing System using Quasi-Procedural Method

  • Noh, Sang-Do;Sheen, Dong-Mok;Hahn, Hyung-Sang;Lee, Kyoil
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1999년도 제14차 학술회의논문집
    • /
    • pp.177-180
    • /
    • 1999
  • Nowadays, one of the major technical issues in manufacturing is to create an environment to promote collaboration among diverse engineering activities. Collaborative engineering is an innovative approach integrating widely distributed engineering activities through promoting information sharing and actual collaboration. It requires close interactions among developers, suppliers and customers, and consideration of entire product life cycle from concept to disposal. A carefully-designed operating system is crucial for successful collaboration of many different activities in a Networked Virtual Manufacturing System(NVMS). High extensibility, flexibility and efficiency ale the key characteristics requested of an operating system to handle the complexity of the NVMSs. In this paper, we propose a model of the operating system for collaborative engineering using concurrent quasi-procedural method(QPM). QPM is a goal-driven data management technique for distributed and parallel computing environments. It is to be applied to the evaluation of activities to be executed, validities of input data, execution path of activities for a needed output, and expected to greatly improve the productivity of operations by preventing redundant evaluations. Collaboration among many different engineering activities in NVMSs is to be performed by the network of agents that encapsulate the capabilities of both users and their tools.

  • PDF

MRSPAKE : Hadoop MapReduce를 이용한 웹 규모의 공간 지식 추출기 (MRSPAKE : A Web-Scale Spatial Knowledge Extractor Using Hadoop MapReduce)

  • 이석준;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.569-584
    • /
    • 2016
  • 본 논문에서는 Hadoop MapReduce 병렬 분산 컴퓨팅 환경을 이용해 개발한 공간 지식 추출기를 제안한다. 이 공간 지식 추출기는 대용량의 공간 데이터 집합으로부터, 임의의 두 공간 객체들 사이에 만족되는 위상 관계와 방향 관계를 나타내는 정성 공간 지식 베이스를 생성해낸다. 본 논문에서 제안하는 MapReduce 기반의 대용량 공간 지식 추출기 MRSPAKE는 HDFS 상의 분산 공간 데이터 파일에 대한 R 트리 색인과 범위 질의들을 이용함으로써, 웹 규모의 정성 공간 지식 베이스를 매우 효율적으로 추출해낸다. 대표적인 공개 데이터 집합인 Open Street Map(OSM)을 이용한 성능 분석 실험을 통해, 본 논문에서 제안하는 웹 규모의 공간 지식 추출기 MRSPAKE의 높은 성능과 확장성을 확인할 수 있었다.

식이 데이터 분석을 위한 분산 컴퓨팅 문제풀이환경 설계 (A Design of a Distributed Computing Problem Solving Environment for Dietary Data Analysis)

  • 최지은;안윤선;김윤희
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.834-839
    • /
    • 2015
  • 개인의 건강과 삶의 질의 향상을 위해 웰니스에 대한 사람들의 관심이 증가하고 있다. 개인의 건강 데이터 분석을 위해 체중, BMI, 혈압과 같은 신체 측정 데이터를 사용하거나 일상생활의 식사 기록이나 운동량 기록으로 축적된 데이터를 사용한다. 축적된 건강 데이터는 개인이 가진 잠재적인 질병을 예측하거나 식사 또는 운동 패턴의 분석이 가능하다. 식품 영양학 분야에서는 여러 명의 식이 데이터와 건강정보를 설문을 통해 수집하여 입력 데이터에 대한 하나의 가설을 세우고 여러 통계 분석을 통해 가설을 검증하는 방식으로 데이터 분석 실험을 진행한다. 한편, 과학자들의 실험의 편리성을 위한 문제풀이환경에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 식품 영양학적으로 식이 데이터 분석의 효율적인 실험환경을 위한 문제풀이환경을 설계한다. 제안된 문제풀이 환경은 반복적인 실험 단계를 자동화하고 순차적인 작업을 병렬 수행 가능하도록 분산 컴퓨팅 환경에 배치하여 전체 실험의 속도를 높인다.

분산 메모리 구조를 갖는 병렬 컴퓨터 상에서의 압축 기반 볼륨 렌더링 (Compression-Based Volume Rendering on Distributed Memory Parallel Computers)

  • 구기범;박상훈;송동섭;임인성
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제6권5호
    • /
    • pp.457-467
    • /
    • 2000
  • 본 논문에서는 분산 메모리 구조를 갖는 병렬 컴퓨터 상에서 방대한 크기를 갖는 볼륨 데이터의 효과적인 가시화를 위한 병렬 광선 투사법을 제안한다. 데이터의 압축을 기반으로 하는 본 기법은 다른 프로세서의 메모리로부터 데이터를 읽기보다는 자신의 지역 메모리에 존재하는 압축된 데이터를 빠르게 복원함으로써 병렬 렌더링 성능을 향상시키는 것을 목표로 한다. 본 기법은 객체-순서와 영상-순서 탐색 알고리즘 모두의 정점을 이용하여 성능을 향상시켰다. 즉, 블록 단위의 최대-최소 팔진트리의 탐색과 각 픽셀의 불투명도 값을 동적으로 유지하는 실시간 사진트리를 응용함으로써 객체-공간과 영상-공간 각각의 응집성을 이용하였다. 본 논문에서 제안하는 압축 기반 병렬 볼륨 렌더링 방법은 렌더링 수행 중 발생하는 프로세서간의 통신을 최소화하도록 구현되었는데, 이러한 특징은 프로세서 사이의 상당히 높은 데이터 통신 비용을 감수하여야 하는 PC 및 워크스테이션의 클러스터와 같은 더욱 실용적인 분산 환경에서 매우 유용하다. 본 논문에서는 Cray T3E 병렬 컴퓨터 상에서 Visible Man 데이터를 이용하여 실험을 수행하였다.

  • PDF

시간영역 과도안정도 프로그램을 이용한 에너지 함수 적용 기초 연구 (A Basic Study of Applying the Energy Function Using Time-domain Transient Stability Program)

  • 김동준;문영환;신정훈
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 추계학술대회 논문집 전력기술부문
    • /
    • pp.199-201
    • /
    • 2007
  • This paper presents new contingency screen and ranking method using the time-domain simulation program and energy function. Since the suggested method is very simple and has fast computation time to calculate energy margin and list the contingency according to the its severity, it can be used in connection with the on-line TSA which has accurate binary search algorithm in parallel or distributed computing environment. The suggested method has been tested by appling to 3-machine and 9-bus system, and its effectiveness has been verified.

  • PDF

UltraSPARC(64bit-RISC processor)을 위한 고성능 컴퓨터 리눅스 클러스터링 (HPC(High Performance Computer) Linux Clustering for UltraSPARC(64bit-RISC processor))

  • 김기영;조영록;장종권
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.45-48
    • /
    • 2003
  • We can easily buy network system for high performance micro-processor, progress computer architecture is caused of high bandwidth and low delay time. Coupling PC-based commodity technology with distributed computing methodologies provides an important advance in the development of single-user dedicated systems. Lately Network is joined PC or workstation by computers of high performance and low cost. Than it make intensive that Cluster system is resembled supercomputer. Unix, Linux, BSD, NT(Windows series) can use Cluster system OS(operating system). I'm chosen linux gain low cost, high performance and open technical documentation. This paper is benchmark performance of Beowulf clustering by UltraSPARC-1K(64bit-RISC processor). Benchmark tools use MPI(Message Passing Interface) and NetPIPE. Beowulf is a class of experimental parallel workstations developed to evaluate and characterize the design space of this new operating point in price-performance.

  • PDF

그리드 시스템을 위한 포인트 기반 스케줄링 알고리즘 (A Point-based Scheduling Algorithm for GRID Environment)

  • 오영은;김진석
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.639-645
    • /
    • 2005
  • 과학 기술이 발전함에 따라 대량의 정보를 분석하고 처리하기 위해 대두된 그리드 시스템은 이질적인 시스템 위에 구축된 환경이므로 사용자 작업을 효율적으로 할당하기 위한 스케줄링 알고리즘이 필요하다. 현재까지 여러 스케줄링 알고리즘이 연구되어 왔지만, 대부분 자원 사이의 네트웍 대역폭을 고려하지 않는 문제점을 가지고 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 글로벌 그리드 시스템에서의 스케줄링 알고리즘을 제안하였다. 또한 글로벌 그리드 시스템에서 사용되는 여러 알고리즘의 점수를 각각 계산하여 가장 점수가 낯은 알고리즘을 선택하는 포인트 기반 스케줄링 알고리즘을 제안하였으며, 시뮬레이션을 통하여 다른 스케줄링 알고리즘보다 성능이 뛰어남을 보였다.