• Title/Summary/Keyword: 데이터그리드

Search Result 512, Processing Time 0.042 seconds

고에너지물리 데이타 그리드 시스템의 구현 (An Embodiment of High Energy Physics Data Grid System)

  • 조기현;한대희;권기환;김진철;양유철;오영도;공대정;서준석;김동희;손동철
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권7호
    • /
    • pp.390-398
    • /
    • 2006
  • 고에너지 물리학 (HEP, High Energy Physics)은 물질의 근본 구성 입자와 상호 작용 연구를 통해 궁극적으로 우주 탄생의 비밀을 밝히는 학문이다. 2007 년에 시작하는 유럽입자물리연구소 (CERN)의 대형강업자충돌기(LHC, Large Hadron Collider)의 CMS(Compact Muon Solenoid)실험에 참여하는 연구진은 2000여명이나 되며, 생산되는 데이타 양은 연간 수 PetaByte에 달할 예정이다. 그러므로 고에너지물리 실험에서 생산하는 데이타는 기존의 전산자원의 개념으로 처리하는 것이 불가능하다. 그리하여 고에너지물리 분야에서 자료의 계층적 구조(Tier-0, 1, 2) 및 데이타 그리드를 활용하게 되었으며, 이러한 고에너지물리 데이타 그리드 연구는 기존에 수행중인 고에너지물리 실험에도 활용하고 있다. 본 논문에서는 그리드 응용의 한 분야로서 고에너지물리 데이타 그리드에 관한 연구를 보여준다.

그리드 데이터베이스에서 질의 처리를 위한 캐쉬 관리 기반의 부하분산 기법 (Load Balancing Method for Query Processing Based on Cache Management in the Grid Database)

  • 신숭선;백성하;어상훈;이동욱;김경배;정원일;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제11권7호
    • /
    • pp.914-927
    • /
    • 2008
  • 그리드 컴퓨팅 환경에서 대용량 데이터의 처리와 가용성 향상, 데이터 통합을 위해 그리드 데이터베이스 관리 시스템이 사용된다. 그리드 데이터베이스 관리 시스템은 효율저인 질의처리를 위해 여러 노드로 질의를 분산하여 처리한다. 하지만 질의 처리가 임의의 노드에 집중되어 처리 성능이 감소되고, 작업 부하의 불균형이 발생한다. 본 논문에서는 그리드 데이터베이스에서 질의 처리를 위한 캐쉬 관리 기반의 부하분산 기법을 제안한다. 제안 기법에서는 여러 노드에 있는 캐쉬들을 관리하기 위해 캐쉬 관리자를 사용하며, 캐쉬 관리자는 노드를 지역별 그룹으로 연결하고 자신의 그룹 안에 있는 노드의 캐싱된 메타 정보를 관리한다. 노드는 캐쉬 관리자를 통해 질의를 전달 할 최적의 메타 정보를 캐싱한다. 노드에서 캐싱된 메타 정보를 통해 질의를 전달하여 노드의 부하를 분산한다. 제안 기법은 캐쉬 기반으로 부하가 적은 노드에서 질의를 처리하여 노드들의 부하를 분산하여 질의 처리시에 향상된 성능을 보인다.

  • PDF

정보 상호운용을 위한 전자정부 그리드 시스템 (e-Government Grid System for Information Interoperability)

  • 국윤규;이준;김재수
    • 한국산학기술학회논문지
    • /
    • 제10권12호
    • /
    • pp.3660-3667
    • /
    • 2009
  • 현재 운영 중인 많은 정보 시스템들은 시스템간의 확장을 통한 상호운용이나 데이터의 교환 보다는 업무적 필요성과 고유의 목적에 부합되도록 설계되었기 때문에, 최근 들어 증가하고 있는 이질적 데이터 및 서비스의 통합 요구에는 부응하기 어려운 상황이다. 따라서 상이한 정보 시스템들 간의 데이터 교환 및 상호운용성을 확보하기 위해서는 시스템 측면의 이질성 뿐 만 아니라 상호운용을 위해 요구되는 분산 정보의 이질성 또한 극복해야 할 필요가 있다. 본 논문에서는 이에 대한 해결방안으로 시스템 이질성은 그리드 기술을 이용하고, 데이터 이질성은 메타데이터 레지스트리를 이용하여 극복할 수 있음을 보이고자 하였다. 또한 적용사례로서, 전자정부의 레거시 정보 시스템들의 협력을 지원하기 위한 전자정부 그리드 환경과 분산 데이터들의 상호운용을 기반으로 구현한 예를 제시하였다. 이를 통하여 이질적 시스템에서 교환되는 데이터의 폭넓은 활용이 가능하고 나아가 데이터의 투명성을 향상시킬 수 있을 것으로 기대된다.

맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘 (Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1303-1313
    • /
    • 2015
  • 맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.

대용량 공간 데이터에 대한 그리드 기반 분산 색인 기법 (The grid-based distributed indexing on scalable spatial data)

  • 장홍준;정재화;디아나;정순영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.29-32
    • /
    • 2011
  • 최근 GPS를 탑재한 스마트 기기의 보급으로 인해 사용자의 위치 정보를 이용한 위치기반서비스(LBS)가 많은 관심 속에 급속도로 성장하고 있다. 대부분의 위치기반서비스는 사용자의 위치를 바탕으로 주변의 유용한 정보를 제공하고 있으며 이러한 사용자 주변의 유용한 정보를 효율적으로 검색하기 위해서는 공간 데이터에 대한 색인 기법이 필요하다. 그러나 기존 공간 색인은 대부분 중앙 집중식 환경에서 연구가 진행되었고 분산 스토리지 환경에 대한 연구는 미흡하다. 따라서 본 연구는 서비스 성장과 더불어 서비스 영역이 확대됨에 따른 대용량 공간 데이터 환경에서 효율적인 공간 데이터 검색을 지원하는 그리드 기반 분산 색인 기법을 제안한다.

그리드 기반의 토목공학 하이브리드 원격 실험의 리코딩 및 리플레이 서비스 (Recording and Replay Service for a Grid-Based Hybrid Remote Experiment in Civil Engineering)

  • 장선;이장호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
    • /
    • pp.502-507
    • /
    • 2007
  • 그리드 컴퓨팅 기술을 기반으로 한 원격 실험 환경 구축에 있어서 원격 실험만큼이나 실험결과 데이터를 저장하고 재연하는 것이 중요하게 대두되고 있다. 본 논문에서는 KOCED 프로젝트의 건설 연구 실험시설 중 하나인 실시간 하이브리드 다자유도 실험시설에 대한 프로토타입인 원격 하이브리드 실험에 대하여 나라다 브로커링 이라는 발간 및 구독 패러다임의 스트리밍 서버와 글로버스 툴킷에 기반 한 리코딩 및 리플레이 서비스를 통하여 실험결과 데이터를 저장하고 재연하는 시스템을 구축 하였다. 기존에 진행된 실험결과를 검색하여 볼 수 있게 함으로써 중복된 실험으로 인한 비용을 줄이고, 사용자가 원하는 데이터에 대한 토픽정보를 통하여 재연함으로써 실험결과 데이터의 효용성을 높일 수 있을 것으로 판단된다.

  • PDF

작업 파이프라이닝을 위한 그리드 워크플로우 스케줄러 설계 (Design of Grid Workflow System Scheduler for Task Pipelining)

  • 이인선
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권7호
    • /
    • pp.1-10
    • /
    • 2010
  • 워크플로우 관리자는 대량의 계산용 그리드 자원을 데스크탑 컴퓨터에서 개인이 편리하게 워크플로우를 만들고 수행할 수 있게 해주는 유용한 도구이다. 보통 데이터는 스테이지-인, 프로세스, 스테이지-아웃의 순서로 순차적으로 진행되며 워크플로우 시스템은 이 과정을 자동화해준다. 그러나 최근의 e-science에서는 사용되는 데이터 량이 급속하게 증가하고 있고 원하는 출력물을 얻기 위해 여러 번의 과정을 수행하면서 데이터 이동 시간이 전체 수행시간의 많은 부분을 차지하게 되어 스테이징 과정의 개선이 중요한 이슈가 되고 있다. 본 논문에서는 스테이징 과정을 개선하고, 이를 이용하여 가능한 한 많은 작업들을 동시 수행시키는 스케줄러를 설계하였다. 또한 모의실험을 통해 제안한 스케줄러의 성능이 10~40%까지 향상됨을 보였다.

스마트그리드에서의 CPS (cyber-physical system) 시뮬레이션 구현을 위한 제반 연구이슈 및 방법론 검토

  • 강동주;김휘강
    • 정보보호학회지
    • /
    • 제22권5호
    • /
    • pp.62-72
    • /
    • 2012
  • 스마트그리드는 전력시스템과 이를 제어하기 위한 통신 인프라를 중심으로 다양한 시스템이 서로 통합되는 종합적인 플랫폼으로 이해할 수 있다. 기존에 각기 독립적으로 운영되는 시스템과 통신 인프라가 통합되기 시작하면서 다양한 상호작용이 파생되고 그로 인해 잠재적인 보안 측면의 위험성도 커지게 된다. 전통적인 전력시스템은 폐쇄적인 SCADA 네트워크를 기반으로 운영되었기 때문에 최소한의 보안강도가 보장되었지만, 스마트그리드 하에서는 개방형 통신망과 연계되면서, 기존의 사이버 보안 위협들이 전력시스템으로 유입하게 된다. 기존의 IT 시스템과는 달리 전력시스템과 같은 제어시스템은 물리적 작동과 공정이 수반되기 때문에 새로운 위험이 발생하기도 하고 기존의 위험이 증폭되기도 한다. 전력시스템에서는 가용성이 그 무엇보다 중요하기 때문에, 스마트그리드 체제하에서의 다양한 위협요인을 미리 파악하고 이에 대비한 계획을 수립함으로써, 그러한 가용성의 수준을 유지할 필요가 있다. 이를 위해서는 기존의 사이버 위협이 어떠한 경로를 통해 전력시스템에 영향을 미치게 되며 그로 인한 잠재적 위험이 얼마나 되는가를 평가할 필요가 있다. 그러나 스마트그리드는 아직까지 구축중인 미래형 시스템이고 누적된 과거 데이터가 없기 때문에 가상의 하드웨어 기반 테스트베드 내지 소프트웨어 기반의 시뮬레이션 모델을 통해 이를 사전적으로 테스트할 필요가 있다. 또한 스마트그리드는 서로 다른 IT 시스템과 물리적 설비들이 결합되는 복잡한 시스템이라는 측면에서, 잠재적으로 발생 가능한 다양한 위험을 분석하고 평가할 수 있는 모델의 수립이 요구된다. 본고에서는 그러한 CPS 기반 시뮬레이션 모델에 대한 현재의 연구동향을 검토하고, 향후 실질적으로 구현하기 위한 방안을 제안하고자 한다.

X-ray 영상에서 그리드 아티팩트 개선을 위한 동적 분할 기반 DCT 기법 (A Dynamically Segmented DCT Technique for Grid Artifact Suppression in X-ray Images)

  • 이지현;박준혁;서지수;김호준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.813-816
    • /
    • 2018
  • X-ray 진단에서 그리드 하드웨어의 사용은 산란선에 의한 영상의 왜곡을 보정할 수 있는 장점이 있는 반면, 반복되는 라인 형태의 그리드 아티팩트를 발생시키는 부작용을 수반한다. 본 논문에서는 이러한 그리드 라인을 제거하는 방법론으로서 이산코사인변환(DCT: discrete cosine transform)을 사용 하는 기법을 제안한다. X-ray 영상에서 그리드 라인의 특성은 피사체의 형태와 영상의 영역에 따라 서로 다른 특성을 갖는다. 이에 본 연구에서는 동적으로 재구성되는 분할 구조를 기반으로 DCT 변환을 적용하고 개별 영역별로 필터전달함수를 최적화하는 방법을 채택하였다. 추출된 주파수 영역 데이터에 대하여 그리드 라인의 대역을 검출하는 알고리즘을 제안하였으며, 필터전달함수로 Kaiser윈도우와 Butterworth 필터를 조합한 형태의 밴드스톱필러(BSF: band stop filter)를 구현하였다. 또한 블로킹 현상을 개선하기 위하여 다중 영상으로부터 경계선 부분의 픽셀값을 결정하는 방법론을 제안하였다. 제안된 이론에 대하여 실제 영상을 사용한 실험결과로부터 그 타당성을 평가하였다.