• 제목/요약/키워드: 데이터그리드

검색결과 512건 처리시간 0.031초

그리드3: 데이터 그리드 (KNU Experiences with Grid3)

  • 권기환;김복주;한대희;조기현;오영도;손동철;이지수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (A)
    • /
    • pp.43-45
    • /
    • 2004
  • 그리드3는 데이터 그리드로서 고에너지물리를 포함하는, 많은 양의 데이터를 다루는 7개 분야에 컴퓨팅 및 스토리지 리소스를 제공할 목적으로 미국에서 시작되었다. 경북대학교 고에너지물리연구소는 이 프로젝트에 참여하여 그리드3 데이터 그리드를 경북대학교에 구축하고 다른 미국의 26개 사이트와 컴퓨팅 자원을 공유하며 실제 고에너지물리 실험의 데이터 분석에 일조하고 있다. 한국은 27개 Grids사이트 중 유일하게 북미대륙에 위치하지 않는 사이트로서 네트웍과 데이터 전송의 문제점을 테스트해 볼 수 있는 사이트로서의 의의가 크다. 이 논문에서는 경북대의 그리드3 경험을 바탕으로 그리드3의 구축과정을 비롯한 그리드3를 소개하며 한국 데이터 그리드 측면에서 그리드3의 발전방향을 모색해본다.

  • PDF

데이터 그리드 웹 서비스 디자인 (A Data Grid Web Service Design)

  • 김복주;오영도;권기환;한대희;조기현;손동철;이지수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.400-402
    • /
    • 2003
  • 고에너지 물리연구에서는 입자가속기에서 배출되는 막대한 양의 데이터를 저장, 처리하기 위한 계산능력과 대용량의 저장장치를 확보하는데 어려움을 겪어왔다. 또한, 실제 실험에 참여. 연구, 분석하는 인력 또한 전세계에 흩어져 있어 실험의 효율성을 떨어뜨리고 있다. 이러한 어려움을 해결하고자 차세대 인터넷이라 불리는 그리드에 기반을 둔 데이터 그리드를 활용하고자 노력하고 있다. 현재 한국을 포함한 각국에서 데이터 그리드의 구축을 위하여 노력하고 있으며 테스트베드를 구축하여 실험하고 있다. 이러한 데이터 그리드의 활용도를 높이기 위해서 데이터 그리드를 웹에서 접근할 수 있다면 그 유용성은 배가될 것임이 틀림없다. 이러한 측면에서 현재 경북대 고에너지물리연구소에서 개발하고 있는 데이터 그리드 웹서비스 디자인을 살펴본다.

  • PDF

DGNP : 고성능 계산을 위한 동적 그리드 이름 프로토콜 (DGNP : Dynamic Grid Naming Protocol for High Performance Computing)

  • 권오경;박형우;이상산
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.61-63
    • /
    • 2003
  • 인터넷 기반의 컴퓨팅 환경이 발전함에 따라 자원과 정보의 공유를 위한 그리드 컴퓨팅이 나타나게 되었다. 그리드 컴퓨팅에서는 그리드 응용 수행시 프로그램과 데이터간의 위치가 다르고 분산되어 있는 경우가 많다. 현재 그리드 미들웨어 시장 표준인 글로버스 둘킷(Globus Toolkit$_{TM}$)에서 사용하는 GASS(Global Access to Secondary Storage)는 원격에 있는 관련 데이터들을 로컬 시스템의 데이터에 접근하는 것처럼 처리하는 것을 지원한다. GASS에서는 원격지의 파일 시스템의 접근시 URL(Uniform Resource Locator)을 이용하는데, 그리드 환경에서의 I/O을 위한 파일 시스템은 복수의 파일 형태로 분산되어있기 때문에 하나의 그리드 응용을 수행할 때 URL을 동적으로 바꿔야 하는 문제점을 갖고 있다. 위치에 상관 없고 고성능을 지향하고 데이터의 성격을 쉽게 표현할 수 있는 이름 체제가 필요하다. 그래서 본 연구는 동적이고 다양한 표현이 가능한 URI(Uniform Resource Identifiers)을 사용하여 그리드 상에서 데이터를 사용하는 방법을 제안하고자 한다.

  • PDF

XML기반의 그리드데이터 메타데이터 통합검색시스템 개발에 관한 연구 (Development of XML Based Integrated Metadata Accessing System)

  • 이재명;김계현;권오준
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권2호
    • /
    • pp.39-45
    • /
    • 2005
  • 원격탐사기술과 GIS관련산업이 발달함에 따라 위성영상을 비롯하여 그리드데이터 성과물의 수요가 공공부문은 물론 민간기업에서의 급격히 증가하고 있다. 하지만 지금까지 국내의 경우 각 기관별로 필요에 따라 높은 비용과 많은 시간을 투자하여 메타데이타와 검색시스템을 구축하고 있기 때문에 체계적이고 통합적인 관리가 이루지지 않고 있다. 이와 같은 문제점을 해결하고자 그리드데이터의 표준화된 메타데이터를 근간으로 한 그리드데이터를 통합적으로 검색할 수 있는 그리드데이터 검색시스템의 개발이 시급한 실정이다. 본 연구에서는 그리드데이터의 효율적인 유통을 위해서 2003년 한국전자통신연구원 그리드데이터 유통목록(메타데이터) 관한 연구에서 제시한 표준화된 그리드데이터 메타데이터 모델을 바탕으로 기관별로 기 구축된 메타데이터를 분석하였으며, 유사항목을 도출하고 검색에 필요한 공통응용스키마를 정의하였다. 또한 사용자에게 그리드데이터에 대한 정보검색 및 선택이 편리하도록 '위성영상정보 통합관리센터'(SIMC)의 위성영상 메타데이터를 비롯하여 유관기관인 '인공위성연구센터'(SaTReC)에서 보유 위성영상 메타데이터까지 검색이 가능한 XML(extensible Markup Language)기반의 그리드데이터 메타데이터 통합검색 시스템을 개발하였다. 본 연구의 시범시스템 구축 결과를 토대로 향후 확장성 있고 효율적인 그리드 데이터 통합검색시스템 확대구축에 기여할 것으로 사료된다.

  • PDF

인터넷 구조 기반의 동적 데이터 그리드 복제 정책 (A Dynamic Data Grid Replication Strategy Based on Internet Architecture)

  • 김준상;이원주;전창호
    • 전자공학회논문지CI
    • /
    • 제45권3호
    • /
    • pp.1-6
    • /
    • 2008
  • 데이터 그리드는 지리적으로 분산된 대용량의 데이터 자원을 광대역 통신망을 통해 공유한다. 이러한 그리드 환경은 물리적 네트워크인 인터넷 상에서 구현되기 때문에 대용량의 데이터를 전송하는데 많은 시간이 소요된다. 이러한 문제를 극복하기 위해서 여러 가지 복제 정책들이 제안되었는데, 기존의 데이터 그리드 복제 정책은 실제 인터넷의 구조를 고려하지 않고 논리적인 토폴로지를 바탕으로 제안되었기 때문에 실제 구축된 데이터 그리드에서 최적의 성능을 기대할 수 없다. 그리드에서 데이터 접근시간은 물리적 네트워크인 인터넷의 구조에 의해 가장 큰 영향을 받기 때문이다. 본 논문에서는 인터넷 구조 기반의 새로운 데이터 그리드 복제 정책으로 RSIA(Replication Strategy based on Internet Architecture) 복제 정책을 제안한다. 이 정책은 인터넷의 각 요소들 사이에 존재하는 구조적인 계층성을 고려하여 데이터 복사본을 배치하고, 데이터 전송 시 대역폭의 병목 구간을 피함으로써 시스템의 성능 저하를 줄인다. 본 논문에서는 시뮬레이션을 통하여 제안하는 RSIA가 기존의 복제 정책에 비해 데이터 그리드의 성능 향상 면에서 우수함을 보인다.

클라우드 기반 과학데이터 그리드 테스트베드 설계 (Design of Cloud based Grid Test-bed for Handling Science Dataset)

  • 강윤희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.90-92
    • /
    • 2014
  • 이 논문에서는 그리드 환경에서 과학응용을 효율적으로 수행시키기 위해 클라우드 기반의 동적자원 프로비저닝 기술을 그리드 응용에 적용하기 위한 테스드베드 설계를 기술한다. 이를 위해 클라우드 기반 그리드 테스트베드 구축을 위한 요구사항 및 응용 아키텍처 설계를 요약한 후 가상화 자원을 이용하는 과학데이터 그리드 플랫폼을 대용량 데이터 처리에 적합하도록 최적화하고, 그 방안을 제시한다. 설계된 테스트베드는 그리드 환경 고도화를 위한 접근 방법으로 계산 자원 제공을 위해 클라우드 기술을 활용하도록 한다.

군 정보통합을 위한 메타데이터 기반의 데이터 그리드 시스템 (A Metadata-based Data Grid System for the Integration of Military Information)

  • 나민영
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권2호
    • /
    • pp.95-103
    • /
    • 2008
  • 최근 들어 유비쿼터스 시대를 맞이하여 군 관련 정보의 통합운용이 점점 더 중요한 주제로 부각되고 있다. 기존정보시스템을 통합 운용함에 있어 문제의 핵심은 정보의 시맨틱의 불일치이다. 이의 해결을 위해 메타데이터의 활용이 요구되고 있다. 메타데이터는 데이터에 관한 데이터를 말하는 것으로 자원의 검색을 빠르게 하는데 사용되며 또한 시맨틱 갭을 해결하는데 사용된다. 본 논문에서는 군 정보통합을 위한 메타데이터 기반의 데이터 그리드 시스템을 다룬다. 먼저 군 정보 통합을 위한 접근방법으로서 연합 데이터베이스와 데이터 그리드에 관하여 살펴보고, 메타데이터 기반의 데이터 그리드를 다룬 다음, 이에 기초한 군사자료 데이터 그리드 시스템을 제시한다.

  • PDF

물관리 데이터베이스 통합을 위한 데이터 구조 설계에 관한 연구 (Study on the data structure design for the integration of water management database)

  • 정지원;정승권;강현중;권용현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.637-637
    • /
    • 2015
  • 2009년 미국에서 처음으로 스마트워터그리드의 개념이 도입된 이후로 국내외 국가 기관뿐만 아니라 민간 기업에서도 스마트워터그리드에 대한 관심이 높아지고 있다. 현재 스마트워터그리드는 IBM의 진출을 시작으로 Veolia, Suez 등 다국적 물관리 기업들이 사업을 추진 중이다. 국내의 ICT기술과 수자원시스템의 융합을 통하여 용수 수요 공급량을 실시간으로 파악하고 관리하여 수자원의 지역적 시간적 격차를 해소하는 스마트워터그리드 연구가 국내에서도 진행 중이다. 물관리 시장 주도권을 확보하기 위해 글로벌 물기업간 경쟁이 심화되고 있으며, 개별플랫폼을 구축 활용하여 신규기업의 물산업 진출을 가로막고 있는 실정이다. 이러한 상황에서 국외 물산업 시장 진출을 위하여 통합플랫폼 개발 및 체계적인 데이터 구조 설계가 필요하며, 본 연구는 스마트워터그리드를 운영하기 위해 여러 곳에 분산되어 관리 운영되어지고 있는 수자원 및 물관리 데이터의 통합을 위한 체계적인 데이터베이스 구조설계에 대한 연구를 수행하였다. 이에 본 연구에서는 스마트워터그리드 도메인 내에 주력하고 있는 통합데이터베이스 구조를 외부 데이터 마이닝과 연계하여 확장하는 구조로 현실적이고 단기적인 데이터 통합효과를 위해 ETL/데이터웨어하우스방식을 적용하여 데이터 통합을 추진하였다. 지자체간 분산되어 있는 데이터베이스간의 연동은 관련 법제도 및 지자체간 협의 등 다양한 문제가 연루되어 있어 단기적으로는 B2B 데이터 연동방식을 응용하여 구성하였다. 광역 중앙 제어를 위한 통합데이터베이스는 가상DB 방식을 고려하였으며, 이는 지자체별로 구성된 통합DB에 대한 인터페이스 및 Wrapper 플랫폼을 적용하였다. 이 플랫폼간의 연동은 WaterML2.0을 적용함으로써 단기간내 구현이 가능하도록 하고 상호운용성에 문제를 해결하며, 실시간 데이터 연계를 추구하였다. 본 연구를 통해서 궁극적으로는 수자원 및 물관리 데이터의 통합을 위해 해당플랫폼에서 스키마 맵핑, 프로토콜 변환 정합 등을 실시하며, 실시간 데이터 마이닝 및 통합이 가능하도록 구성함으로써 향후 스마트워터그리드의 빅데이터 플랫폼 개발까지 확장해나갈 수 있을 것으로 기대된다.

  • PDF

그리드 환경을 위한 정형화된 웹 기반 데이터 검색 시스템 (Formalized Web-based Data Searching System for GRID Environment)

  • 이상근;황석찬;최재영;노경태
    • 정보처리학회논문지A
    • /
    • 제11A권1호
    • /
    • pp.75-80
    • /
    • 2004
  • 데이터베이스에 저장되어 있는 데이터를 그리드 시스템에서 사용하기 위해서는 먼저 시스템에 필요한 데이터를 수집하여 데이터베이스나 파일 시스템에 저장한 후, 데이터베이스의 데이터 및 그 인덱스를 관리하는 전용의 모듈을 별도로 구현하고, 그리드 시스템에 연동시켜야 한다. 웹 기반의 데이터 검색 시스템을 구현하여 데이터베이스에 있는 데이터들을 그리드 시스템에서 바로 사용할 수 있다면, 전용의 데이터 모듈 없이 그리드 시스템에서 바로 데이터를 처리할 수 있으므로, 보다 효율적이고 사용하기 쉬우며, 데이터베이스의 변경에 유연하게 대처한 수 있을 것이다. 본 논문에서는 웹 기반 데이터베이스의 데이터를 바로 그리드 시스템과 연계시켜 사용한 수 있는 검색 시스템을 제안한다. 이 검색 시스템을 이용하여 버추얼 스크리닝 작업을 수행하는 바이오 그리드 시스템에 적용하여 UB Grid (Universal Bio Grid)를 구축하였다. 개발자는 웹에서 제공되는 데이터론 그리드 시스템에 통합시키기 위한 시간과 노력을 줄일 수 있었으며, 사용자는 보다 쉽게 효율적으로 UB Grid 시스템을 사용한 수 있었다.

GASS 기반 그리드 데이터 I/O의 접근성 개선에 관한 연구 (The Accessibility Improvement of Grid Data I/O based on GASS)

  • 권오경;박형우;이상산
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.147-150
    • /
    • 2002
  • 인터넷 기반의 컴퓨팅 환경이 발전함에 따라 자원과 정보의 공유를 위한 그리드 컴퓨팅이 나타나게 되었다. 그리드 컴퓨팅에서는 그리드 응용 수행시 프로그램과 데이터간의 위치가 다르고 분산되어 있는 경우가 많다. 현재 그리드 미들웨어 시장 표준인 글로버스 툴킷(Globus Toolkit$^{TM}$)에서 사용하는 GASS와 같은 그리드 I/O 시스템들이 원격에 있는 관련 데이터들을 로컬 시스템의 데이터에 접근하는 것처럼 처리하는 것을 지원한다. 그러나 GASS(Global Access to Secondary Storage)에서는 원격지의 파일 시스템의 접근시 URL을 이용하는데, 그리드 환경에서의 I/O을 위한 파일 시스템은 복수의 파일 형태로 분산되어있기 때문에 하나의 그리드 응용을 수행할 때 URL 을 동적으로 바꿔저야 하는 문제점을 갖고 있다. 본 논문에서는 URL 보다 상위 개념의 주소 체계인 URI 을 도입하고 이를 RSL과 연계하여 분산 환경의 그리드 I/O에서도 간을 주소 형태로 I/O 처리가 가능하는 등 효율적인 그리드 I/O를 위한 GASS 개선 방안을 제시 한다.

  • PDF