• 제목/요약/키워드: Scientific Workflow

검색결과 21건 처리시간 0.028초

계산 과학 응용을 위한 과학 워크플로우 통합 수행 환경 설계 (A Design of Integrated Scientific Workflow Execution Environment for A Computational Scientific Application)

  • 김서영;윤경아;김윤희
    • 인터넷정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.37-44
    • /
    • 2012
  • 빠르게 발전하는 컴퓨팅 기술에 비례해서 컴퓨팅 기기의 이용이 더욱 편리해짐에 따라 계산과학 분야의 연구자들은 점점 더 컴퓨팅 기술에 의존하고 있으며 더욱 계산 집약적인 연구를 진행하고 있다. 이러한 계산 과학 연구자들의 연구 환경 지원을 위하여 전 세계적으로 e-사이언스 환경에 대한 연구가 활발하게 진행되고 있으며, 여전히 연구자의 실험 환경과 컴퓨팅 자원간의 별도의 설정과 설치 과정이 필요 없는 자유로운 연구 환경에 대한 보장이 요구되고 있다. 본 논문에서는 계산과학 분야의 연구자들의 실험 환경을 분산된 고성능 컴퓨팅 인프라와 함께 웹 브라우저를 통해 쉽게 접근 가능한 과학 워크플로우 통합 수행 환경을 제시한다. 이 환경에서는 워크플로우 설계 툴을 통해 정의된 순서와 작업 특성을 고려하여 분산된 그리드 자원에 제출함으로써 작업들에 대한 자동화된 수행을 제공한다. 포탈을 통해 제공되는 워크플로우 설계 툴은 사용이 용이한 인터페이스를 제공하며 실시간으로 워크플로우의 실행 상태를 모니터링 서비스를 통해 제공한다. 사용자는 워크플로우의 실행에서의 중간 결과를 확인하고 수행의 흐름을 결정할 수 있다. 이로써 복잡한 HTC 기반의 실험 수행을 효과적으로 진행할 수 있으며 연구의 생산성을 높일 수 있다.

그리드 기반의 고성능 과학기술지식처리 프레임워크 개발 (Development of a Grid-based Framework for High-Performance Scientific Knowledge Discovery)

  • 정창후;최성필;윤화묵;최윤수
    • 한국콘텐츠학회논문지
    • /
    • 제9권12호
    • /
    • pp.877-885
    • /
    • 2009
  • 본 논문은 그리드 컴퓨팅을 이용한 고성능 과학기술지식처리 프레임워크인 SINDI-Grid의 개발에 관련된 연구이다. SINDI-Grid 프레임워크는 대용량의 데이터 저장소 및 고속의 컴퓨팅 파워를 제공하는 그리드 컴퓨팅의 장점을 이용하여 분산 데이터 분석과 과학기술지식처리를 위한 다양한 그리드 서비스들을 제공한다. 그리고 SINDI-Workflow 도구는 이러한 서비스들을 이용하여 다양한 지식처리 알고리즘을 통합하는 복잡한 과학기술지식처리 애플리케이션을 설계하고 실행하는 역할을 수행한다.

Workflow 기반의 생명정보 분석 자동화 환경 구축에 관한 연구 (Bioworks - A scientific workflow platform for problem solving in biological domain)

  • 한영만;이상주
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.550-552
    • /
    • 2007
  • Workflow 형태로 수행되는 BT 분야에서의 생명정보 분석과정을 효과적으로 모델링하고 자동화하기 위한 통합 Bio-Workflow 시스템(Biowoks)을 개발하였다. 사용자는 Bioworks 시스템을 통하여 복잡한 생명정보 분석과정에 대한 Workflow 모델을 손쉽게 구성할 수 있으며, 이를 실행하여 단계별 중간 결과물을 생성할 수 있다. 또한 각각의 중간 결과물에 대한 가시화 및 검증 모듈을 플러그 인 형태로 제공함으로써 보다 손쉽게 분석업무를 수행할 수 있다. 작성된 생명정보 분석 Workflow를 XML 형태로 생성하여 웹 서비스를 통해 공유함으로써 연구자 간의 협업 연구를 통한 시너지 효과를 극대화 할 수 있다.

  • PDF

작업 파이프라이닝을 위한 그리드 워크플로우 스케줄러 설계 (Design of Grid Workflow System Scheduler for Task Pipelining)

  • 이인선
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권7호
    • /
    • pp.1-10
    • /
    • 2010
  • 워크플로우 관리자는 대량의 계산용 그리드 자원을 데스크탑 컴퓨터에서 개인이 편리하게 워크플로우를 만들고 수행할 수 있게 해주는 유용한 도구이다. 보통 데이터는 스테이지-인, 프로세스, 스테이지-아웃의 순서로 순차적으로 진행되며 워크플로우 시스템은 이 과정을 자동화해준다. 그러나 최근의 e-science에서는 사용되는 데이터 량이 급속하게 증가하고 있고 원하는 출력물을 얻기 위해 여러 번의 과정을 수행하면서 데이터 이동 시간이 전체 수행시간의 많은 부분을 차지하게 되어 스테이징 과정의 개선이 중요한 이슈가 되고 있다. 본 논문에서는 스테이징 과정을 개선하고, 이를 이용하여 가능한 한 많은 작업들을 동시 수행시키는 스케줄러를 설계하였다. 또한 모의실험을 통해 제안한 스케줄러의 성능이 10~40%까지 향상됨을 보였다.

Workflow of Cryo-Electron Microscopy and Status of Domestic Infrastructure

  • Choi, Ki Ju;Shin, Jae In;Lee, Sung Hun
    • Applied Microscopy
    • /
    • 제48권1호
    • /
    • pp.6-10
    • /
    • 2018
  • Cryo-electron microscopy (cryo-EM) allows the analysis of the near-native structures of samples such as proteins, viruses, and sub-cellular organelles at the sub-nano scale. With the recent development of analytical methods, this technique has achieved remarkable results. The importance of cryo-EM gained wide recognition due to last year's award of the Nobel Prize in Chemistry. To help promote the knowledge of this technique, this paper introduces the basic workflows of cryo-EM and domestic cryo-EM service institutes.

Topology-based Workflow Scheduling in Commercial Clouds

  • Ji, Haoran;Bao, Weidong;Zhu, Xiaomin;Xiao, Wenhua
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권11호
    • /
    • pp.4311-4330
    • /
    • 2015
  • Cloud computing has become a new paradigm by enabling on-demand provisioning of applications, platforms or computing resources for clients. Workflow scheduling has always been treated as one of the most challenging problems in clouds. Commercial clouds have been widely used in scientific research, such as biology, astronomy and weather forecasting. Certainly, it is very important for a cloud service provider to pursue the profits for the commercial essence of clouds. This is also significantly important for the case of providing services to workflow tasks. In this paper, we address the issues of workflow scheduling in commercial clouds. This work takes the communication into account, which has always been ignored. And then, a topology-based workflow-scheduling algorithm named Resource Auction Algorithm (REAL) is proposed in the objective of getting more profits. The algorithm gives a good performance on searching for the optimum schedule for a sample workflow. Also, we find that there exists a certain resource amount, which gets the most profits to help us get more enthusiasm for further developing the research. Experimental results demonstrate that the analysis of the strategies for most profits is reasonable, and REAL gives a good performance on efficiently getting an optimized scheme with low computing complexity.

데이터 집약 과학 워크플로우 응용의 특성을 고려한 데이터 배치 기법 (A Data Placement Scheme for the Characteristics of Data Intensive Scientific Workflow Applications)

  • 안주림;김윤희
    • KNOM Review
    • /
    • 제21권2호
    • /
    • pp.46-52
    • /
    • 2018
  • 클라우드 컴퓨팅 환경을 활용한 데이터 집약적인 과학 워크플로우 응용 실험의 경우 클라우드의 여러 데이터 센터에 대량의 데이터가 분산될 수 있고, 생성되는 중간 데이터는 서로 다른 데이터 센터 간의 접근을 통해 전송될 수 있다. 또한 응용의 실행이 진행될 때, 생성된 중간 데이터를 이용하며 진행되므로 데이터의 위치에 따라 실행 결과가 달라진다. 그러나 기존의 데이터 배치 기법은 과학 응용의 특성을 고려하지 않는다. 본 논문에서는 데이터 집약적 단계를 정의하여 그 구간에서의 런타임 데이터 배치를 제안한다. 제안하는 데이터 배치 기법을 통해 본 연구에서 정의한 데이터 집약적 단계에서의 횟수를 고려한 시나리오를 분석하여 결과를 도출한다. 또한 런타임 데이터 배치 횟수와 런타임 데이터 배치 시 오버헤드를 분석하여 성능을 비교했다.

다중 인프라 기반의 공력 설계 교육을 위한 과학 워크플로우 통합 환경 (An Integrated Scientific Workflow Environment over Multiple Infrastructures for Engineering Education of Aerodynamics)

  • 김서영;강혜정;김윤희;김종암
    • 한국멀티미디어학회논문지
    • /
    • 제16권2호
    • /
    • pp.234-240
    • /
    • 2013
  • 전 세계적으로 다양한 응용과학 분야의 연구자들은 그들의 연구 개발에 필수적인 고성능 컴퓨팅 자원의 확보와 복잡한 수치 해석 기법 개발을 위해 막대한 연구를 수행해 왔다. 특히 항공 우주 분야에서는 공력 최적 설계를 위해 소요되는 시간과 비용을 상당 부분 줄이기 위해 진보적인 수치기법을 개발하고 컴퓨팅 기술의 발전에 의존해왔으나, 여전히 1회의 실험에 막대한 비용 지출과 수개월의 소요 기간을 감수하고 있는 실정이다. 본 논문에서는 항공 우주 분야 연구자들의 연구 개발 편의성을 도모하고자 다양한 컴퓨팅 자원 인프라를 제공하는 통합 공학 교육 실험 환경을 소개하고 그 우수성을 보인다. 다양한 컴퓨팅 인프라구조로의 연결을 통해 산재되어 있는 다수의 컴퓨팅 자원 활용이 가능하므로 다수의 교육 대상자 및 연구자들에게 장소에 제한 없는 실험 시도를 가능케 함으로써 연구 개발의 복잡성을 줄이고 생산성을 높일 수 있다. 또한 통합 환경을 교육에 활용하여 교육 효율성을 극대화시킬 수 있다.

A Multi-objective Optimization Approach to Workflow Scheduling in Clouds Considering Fault Recovery

  • Xu, Heyang;Yang, Bo;Qi, Weiwei;Ahene, Emmanuel
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권3호
    • /
    • pp.976-995
    • /
    • 2016
  • Workflow scheduling is one of the challenging problems in cloud computing, especially when service reliability is considered. To improve cloud service reliability, fault tolerance techniques such as fault recovery can be employed. Practically, fault recovery has impact on the performance of workflow scheduling. Such impact deserves detailed research. Only few research works on workflow scheduling consider fault recovery and its impact. In this paper, we investigate the problem of workflow scheduling in clouds, considering the probability that cloud resources may fail during execution. We formulate this problem as a multi-objective optimization model. The first optimization objective is to minimize the overall completion time and the second one is to minimize the overall execution cost. Based on the proposed optimization model, we develop a heuristic-based algorithm called Min-min based time and cost tradeoff (MTCT). We perform extensive simulations with four different real world scientific workflows to verify the validity of the proposed model and evaluate the performance of our algorithm. The results show that, as expected, fault recovery has significant impact on the two performance criteria, and the proposed MTCT algorithm is useful for real life workflow scheduling when both of the two optimization objectives are considered.

파이프라인 기반 워크플로우의 우선 데이터 처리 방안 (Priority Data Handling in Pipeline-based Workflow)

  • 전원표;허대영;황선태
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권12호
    • /
    • pp.691-697
    • /
    • 2017
  • 백두산 및 한반도 주변의 화산재해에 의한 피해는 화산재에 의한 것으로 예상된다. 따라서 기 상장 상황에 따른 화산재 확산 상황을 컴퓨터 시뮬레이션을 통해서 예측하는데 정해진 시간 안에 계산을 끝내야 하므로 계산에 사용되는 소프트웨어들을 파이프라인 방식으로 병렬화하는 워크플로우가 제안되었다. 또한 화산재해의 특성 상 화산 폭발이 발생한 순간에도 시뮬레이션을 위한 정확한 파라미터 값이 정해지지 않으므로 여러 가지 가능한 조건의 시뮬레이션을 모두 수행해야 한다. 만일 이 중에 가장 가능성이 높은 조건의 계산을 먼저 수행할 수 있으면 화산재해에 대해 이를 토대로 일단 대응하고 후속 계산 결과에 의해 추후 보완하는 것이 가능해질 것이다. 그런데 이런 계산 들은 화산재해 피해예측 시스템의 제한된 성능의 계산 서버에서 수행되므로 계산 자원을 적절히 분배하는 일이 필요하다. 이를 위해서 기존에 제안되었던 파이프라인 기반의 워크플로우에 특정 데이터를 먼저 생성하는 기능을 추가하는 방안을 제안한다.