• Title/Summary/Keyword: 대규모 클러스터

Search Result 153, Processing Time 0.025 seconds

병렬 정보 검색 시스템의 고장 포용성 향상 기법

  • 강재호;안현주;정성원;류광렬;권혁철;정상화
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2003.05a
    • /
    • pp.457-466
    • /
    • 2003
  • 인터넷과 같은 대량의 정보에 대응할 수 있는 고성능 정보검색시스템을 구축하기 위해서 지금까지는 고가의 중대형 컴퓨터를 주로 활용하여 왔으나, 최근 가격대 성능비가 높은 PC 클러스터 시스템을 활용하는 방안이 경제적인 대안으로 떠오르고 있다. PC 클러스터 시스템에서는 전체 작업을 개별 노드 즉 PC에 가능한 균등하게 분배함으로써 성능을 극대화 하고자 하는데, 하나 또는 그 이상의 노드에 문제가 발생하는 경우 전체시스템의 성능이 매우 저하되거나 정상적인 서비스를 제공하기가 어려워진다. 이러한 상황에서 고장 포용성의 달성은 1년 365일 지속적으로 운영되어야 하는 많은 응용분야에서 반드시 해결해야 하는 문제이다. 본 논문에서는 PC 클러스터를 활용한 병렬정보검색시스템에서 고장 포용성을 극대화하기 위하여 각 노드의 색인어 역파일을 이웃 노드에 효율적으로 중복하여 저장하는 방안과 이를 활용한 효과적인 병렬정보검색 방법을 제안한다. 대규모 말뭉치를 활용한 실험결과 본 논문에서 제시하는 고장 포용성 향상을 위한 색인어 역파일 중복 저장방안이 충분한 효율성과 실용성이 있음을 확인하였다.

  • PDF

Performance Analysis of Distributed Parallel Processing Schemes for Large Data in Cloud Computing (클라우드 컴퓨팅에서의 대규모 데이터를 위한 분산 병렬 처리 기법의 성능분석)

  • Hong, Seung-Tae;Chang, Jae-Woo
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2010.09a
    • /
    • pp.111-118
    • /
    • 2010
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 연구가 활발히 진행되고 있다. 한편, 효율적인 클라우드 컴퓨팅을 제공하기 위해서는, 막대한 양의 데이터를 수많은 서버들에 분산 처장하고 관리하기 위한 분산 데이터 처장 기법 빛 분산 병렬 처리 기법에 대한 연구가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 병렬 처리 기법에 대해 살펴보고, 이를 비교 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 대규모 데이터를 위한 분산 병렬 처리 기법에 대한 성능평가를 수행한다.

  • PDF

열정! 건설현장 - 한국서부발전(주) 태안건설본부

  • Jeong, Tae-Yeong
    • The Safety technology
    • /
    • no.201
    • /
    • pp.21-23
    • /
    • 2014
  • 충청남도 북서단에 위치한 태안군. 많은 이들은 아직도 이곳을 대규모 기름유출 사고가 난 장소로 기억하고 있는 것이 사실이다. 하지만 이런 인식은 조만간 불식될 것으로 전망된다. 태안에 38MW급 석탄가스화복합발전기(IGCC)와 1000MW급 석탄 화력발전기(2기)가 각각 2015년과 2016년에 준공될 예정이기 때문이다. 즉, 기존의 발전설비까지 포함하면 태안은 그야말로 국내 최대 에너지 클러스터로서 확고한 명성을 쌓게 되는 것이다. 이에 이 사업을 진두지휘하고 있는 한국서부발전(주) 태안건설본부는 무엇보다 안전을 경영의 중심에 두고 있다. 대규모 국가기반시설 건설현장인 만큼 그 어떤 가치보다 안전이 우선시 돼야 한다는 확고한 신념을 갖고 있는 것이다. 태안건설본부에서 어떤 안전관리를 전개하고 있는지 찾아가 봤다.

  • PDF

Dynamic Hashing Directories for Large File Srstems (대규모 파일 시스템을 위한 동적 해싱 디렉토리)

  • 김신우;이용규
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2004.05a
    • /
    • pp.616-619
    • /
    • 2004
  • 최근 대용량 데이터의 저장과 검색을 요구하는 파일시스템이 필요하게 됨에 따라, 별도의 서버를 두지 않고 분산된 클라이언트가 메타데이터를 직접 관리하면서 모든 저장 장치들에 접근할 수 있는 SAN 기반 리눅스 클러스터 파일시스템의 연구가 활발하게 진행 중에 있다. 이러한 대규모 파일 시스템을 위해서는 동적 해싱을 이용한 디렉토리 관리가 요구되므로, 본 논문에서는 그 중 확장 해싱 디렉토리 구조와 선형 해싱 디렉토리 구조를 설계 및 구현하고, 구현된 시스템을 이용하여 성능평가를 통해 두 디렉토리 구조의 성능을 분석한다. 비교 분석 결과, 파일의 삽입 성능에서는 선형 해싱 기반의 디렉토리가 우수하였으나, 공간 활용면에서는 확장 해싱 기반의 디렉토리가 우수한 성능을 보였다.

  • PDF

A Study on a large-scale materials simulation using a PC networked cluster (PC Network Cluster를 사용한 대규모 재료 시뮬레이션에 관한 연구)

  • Choi, Deok-Kee;Ryu, Han-Kyu
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.30 no.5
    • /
    • pp.15-23
    • /
    • 2002
  • For molecular dynamics requires high-performance computers or supercomputers to handle huge amount of computation, it is not until recent days that the application of molecular dynamics to materials fracture simulations draw some attention from many researchers. With the recent advent of high-performance computers, computation intensive methods become more tractable than ever. However, carrying out materials simulation on high-performance computers costs too much in general. In this study, a PC cluster consisting of multiple commodity PCs is established and computer simulations of materials with cracks are carried out on it via molecular dynamics technique. The effect of the number of nodes, speedup factors, and communication time between nodes are measured to verify the performance of the PC cluster. Upon using the PC cluster, materials fracture simulations with more than 50,000 molecules are carried out successfully.

Effective Distributed Supercomputing Resource Management for Large Scale Scientific Applications (대규모 과학응용을 위한 효율적인 분산 슈퍼컴퓨팅 자원관리 기술 연구)

  • Rho, Seungwoo;Kim, Jik-Soo;Kim, Sangwan;Kim, Seoyoung;Hwang, Soonwook
    • Journal of KIISE
    • /
    • v.42 no.5
    • /
    • pp.573-579
    • /
    • 2015
  • Nationwide supercomputing infrastructures in Korea consist of geographically distributed supercomputing clusters. We developed High-Throughput Computing as a Service(HTCaaS) based on these distributed national supecomputing clusters to facilitate the ease at which scientists can explore large-scale and complex scientific problems. In this paper, we present our mechanism for dynamically managing computing resources and show its effectiveness through a case study of a real scientific application called drug repositioning. Specifically, we show that the resource utilization, accuracy, reliability, and usability can be improved by applying our resource management mechanism. The mechanism is based on the concepts of waiting time and success rate in order to identify valid computing resources. The results show a reduction in the total job completion time and improvement of the overall system throughput.

A Implementation of Trouble Management System for Cluster System (클러스터 시스템을 위한 장애관리 시스템의 구현)

  • Sung Jin-Woo;Lee Young-Joo;Son Joon;Jang Ji-Hoon;Lee Sang-Dong;Kim Joong-Kwon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.465-468
    • /
    • 2006
  • 클러스터 시스템의 노드 수가 수백에서 수천노드와 같이 대규모라면 시스템 관리에 많은 수고가 필요하다. 특히 노드 수가 많으므로 발생하는 빈번한 장애에 대하여 체계적인 장애관리가 필요하다. 본 논문에서는 대규모의 클러스터 시스템 환경에서 노드에 장애가 발생하는 시점부터 복구까지 체계적인 장애관리를 위하여 장애관리시스템(Trouble Management System, TMS)을 설계하고 구현하였다. 본 시스템으로 장애를 체계적으로 관리하여 효율적인 클러스터 시스템 관리에 도움이 될 것이다.

  • PDF

Standard Benchmark Test of Database Application in Cluster File Systems (클러스터 파일 시스템의 데이터베이스 응용을 위한 표준 성능평가)

  • Han, Song-I;Lee, Kyu-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.144-147
    • /
    • 2008
  • 저장장치 전용 네트워크의 발전으로 인해 효율적인 저장장치 시스템의 요구가 증가하고 있으며, 대규모 웹 시스템의 멀티미디어 데이터의 빠른 확산으로 인해 컴퓨팅 중심의 저장장치에서 데이터 중심적인 저장장치 시스템으로 패러다임이 변하고 있다. 또한 사용자 제공 컨텐츠와 같은 웹 2.0의 수요 증가와 함께 멀티미디어 데이터 서비스의 요구와 네트워크 기반 시스템의 발전으로 인해 인터넷 기반 응용 시스템들이 요구하는 데이터의 종류가 다양해지면서 대용량의 데이터 처리 요구를 수용할 수 있는 클러스터 파일 시스템의 요구가 급증하고 있다. 본 논문은 클러스터 파일 시스템의 기본 구조와 각 구성요소의 설계 내용을 기술하고, 클러스터 파일 시스템의 독립적 지역 파일 시스템 및 기존 분산 파일 시스템에 대한 성능평가를 보인다. 본 성능 평가를 위해 각 파일 시스템 상에 상용 데이터베이스 시스템을 설치하고 표준 DBMS 벤치마크 테스트를 수행하여 데이터 집중적인 저장장치 접근에 대한 성능평가를 보인다.

  • PDF

An Efficient Learning Method for Large Bayesian Networks using Clustering (클러스터링을 이용한 효율적인 대규모 베이지안 망 학습 방법)

  • Jung Sungwon;Lee Kwang H.;Lee Doheon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.700-702
    • /
    • 2005
  • 본 논문에서는 대규모 베이지안 망을 빠른 시간 안에 학습하기 위한 방법으로, 클러스터링을 이용한 방법을 제안한다. 제안하는 방법은 베이지안 구조 학습에 있어서 DAG(Directed Acyclic Graph)를 탐색하는 영역을 제한하기 위해 클러스터링을 사용한다. 기존의 베이지안 구조 학습 방법들이 고려하는 후보 DAG의 수가 전체 노드 수에 의해 제한되는 데 반해, 제안되는 방법에서는 미리 정해진 클러스터의 최대 크기에 의해 제한된다. 실험 결과를 통해, 제안하는 방법이 기존의 대규모 베이지안 망 학습에 활용되었던 SC(Sparse Candidate) 방법 보다 훨씬 적은 수의 후보 DAG만을 고려하였음에도 불구하고, 비슷한 정도의 정확도를 나타냄을 보인다.

  • PDF

DrugScreener-G: Towards Grid-enabled Large-Scale Virtual Screening Coming into Handy (그리드 기반의 가상 스크리닝 클라이언트(DrugScreenr-G) 설계 및 구현)

  • Lee, Sang-Do;Lee, Se-Hoon;Hwang, Soon-Wook;Kim, Jin-Chel
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06b
    • /
    • pp.514-517
    • /
    • 2010
  • 그리드 인프라를 활용하여 대규모 계산 자원이 필요한 가상 스크리닝(Virtual Screening)에 관한 연구가 국제 WISDOM 프로젝트를 중심으로 활발하게 진행 중에 있다. 기존의 연구들은 싱글 클러스터나 개인의 컴퓨터를 중심으로 계산 자원을 활용하는 방식으로 연구가 진행이 되었다. WISDOM을 중심으로 대규모 말라리아(Malaria), 조류 독감(Avian Flu) 에 대한 대규모 신약 후보 탐색에 관한 연구들이 진행이 되었으며 한국과학기술정보연구원(KISTI)의 그리드 개발팀은 2007년도부터 국제 공동 파트너로 연구에 참여하고 있다. 공동연구에 참여하면서 신약 연구 개발자들이 Docking 및 그리드 자원을 활용하기 위한 접근 방식에 있어서 기존 방식들을 활용하기 어려운 점과 검색된 신약 물질을 분석하는 도구의 활용이 어려움이 많아 그리드 기반의 가상스크리닝 도구인 DrugScreenr-G(이하, DSG-G 클라리언트)를 개발하게 되었다. 본 논문은 개발된 DSG-G 클라이언트에 관한 개발 및 구조에 관한 내용이다.

  • PDF