• Title/Summary/Keyword: 그리드데이터

Search Result 513, Processing Time 0.025 seconds

Load Balancing Method for Query Processing Based on Cache Management in the Grid Database (그리드 데이터베이스에서 질의 처리를 위한 캐쉬 관리 기반의 부하분산 기법)

  • Shin, Soong-Sun;Back, Sung-Ha;Eo, Sang-Hun;Lee, Dong-Wook;Kim, Gyoung-Bae;Chung, Weon-Il;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.11 no.7
    • /
    • pp.914-927
    • /
    • 2008
  • Grid database management systems are used for large data processing, high availability and data integration in grid computing. Furthermore the grid database management systems are in the use of manipulating the queries that are sent to distributed nodes for efficient query processing. However, when the query processing is concentrated in a random node, it will be occurred with imbalance workload and decreased query processing. In this paper we propose a load balancing method for query processing based on cache Management in grid databases. This proposed method focuses on managing a cache in nodes by cache manager. The cache manager connects a node to area group and then the cache manager maintains a cached meta information in node. A node is used for caching the efficient meta information which is propagated to other node using cache manager. The workload of node is distributed by using caching meta information of node. This paper shows that there is an obvious improvement compared with existing methods, through adopting the proposed algorithm.

  • PDF

e-Government Grid System for Information Interoperability (정보 상호운용을 위한 전자정부 그리드 시스템)

  • Kook, Youn-Gyou;Lee, Joon;Kim, Jae-Soo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.10 no.12
    • /
    • pp.3660-3667
    • /
    • 2009
  • Currently operated many information systems are faced up with various difficulties to exchange data and to cooperate between different systems because the factors, such as data exchangibility and system interoperability, are not considered during the system development from scratch. To overcome these problems, we attempt to apply e-Government Grid to resolve the heterogeneity of systems and propose Government Information Metadata Registry (GIMDR) for assurance of interoperability of distributed and independent information systems in e-government environments. Consequently, the case study is introduced to provide the seamless connection between distributed systems. The proposed e-Government Grid and GIMDR are expected to reduce the heterogeneity of the distributed systems for interoperability, as well as increase the accessability and transparency of cooperating information.

Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce (맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘)

  • Jang, Miyoung;Chang, Jae Woo
    • Journal of KIISE
    • /
    • v.42 no.11
    • /
    • pp.1303-1313
    • /
    • 2015
  • MapReduce provides high levels of system scalability and fault tolerance for large-size data processing. A MapReduce-based k-nearest-neighbor(k-NN) join algorithm seeks to produce the k nearest-neighbors of each point of a dataset from another dataset. The algorithm has been considered important in bigdata analysis. However, the existing k-NN join query-processing algorithm suffers from a high index-construction cost that makes it unsuitable for the processing of bigdata. To solve the corresponding problems, we propose a new grid-based, k-NN join query-processing algorithm. Our algorithm retrieves only the neighboring data from a query cell and sends them to each MapReduce task, making it possible to improve the overhead data transmission and computation. Our performance analysis shows that our algorithm outperforms the existing scheme by up to seven-fold in terms of the query-processing time, while also achieving high extent of query-result accuracy.

The grid-based distributed indexing on scalable spatial data (대용량 공간 데이터에 대한 그리드 기반 분산 색인 기법)

  • Jang, Hong-Jun;Chung, Jea-Hwa;Diana, Gromyko;Jung, Soon-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.29-32
    • /
    • 2011
  • 최근 GPS를 탑재한 스마트 기기의 보급으로 인해 사용자의 위치 정보를 이용한 위치기반서비스(LBS)가 많은 관심 속에 급속도로 성장하고 있다. 대부분의 위치기반서비스는 사용자의 위치를 바탕으로 주변의 유용한 정보를 제공하고 있으며 이러한 사용자 주변의 유용한 정보를 효율적으로 검색하기 위해서는 공간 데이터에 대한 색인 기법이 필요하다. 그러나 기존 공간 색인은 대부분 중앙 집중식 환경에서 연구가 진행되었고 분산 스토리지 환경에 대한 연구는 미흡하다. 따라서 본 연구는 서비스 성장과 더불어 서비스 영역이 확대됨에 따른 대용량 공간 데이터 환경에서 효율적인 공간 데이터 검색을 지원하는 그리드 기반 분산 색인 기법을 제안한다.

Recording and Replay Service for a Grid-Based Hybrid Remote Experiment in Civil Engineering (그리드 기반의 토목공학 하이브리드 원격 실험의 리코딩 및 리플레이 서비스)

  • Jang, Sun;Lee, Jang-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06b
    • /
    • pp.502-507
    • /
    • 2007
  • 그리드 컴퓨팅 기술을 기반으로 한 원격 실험 환경 구축에 있어서 원격 실험만큼이나 실험결과 데이터를 저장하고 재연하는 것이 중요하게 대두되고 있다. 본 논문에서는 KOCED 프로젝트의 건설 연구 실험시설 중 하나인 실시간 하이브리드 다자유도 실험시설에 대한 프로토타입인 원격 하이브리드 실험에 대하여 나라다 브로커링 이라는 발간 및 구독 패러다임의 스트리밍 서버와 글로버스 툴킷에 기반 한 리코딩 및 리플레이 서비스를 통하여 실험결과 데이터를 저장하고 재연하는 시스템을 구축 하였다. 기존에 진행된 실험결과를 검색하여 볼 수 있게 함으로써 중복된 실험으로 인한 비용을 줄이고, 사용자가 원하는 데이터에 대한 토픽정보를 통하여 재연함으로써 실험결과 데이터의 효용성을 높일 수 있을 것으로 판단된다.

  • PDF

Design of Grid Workflow System Scheduler for Task Pipelining (작업 파이프라이닝을 위한 그리드 워크플로우 스케줄러 설계)

  • Lee, In-Seon
    • Journal of the Korea Society of Computer and Information
    • /
    • v.15 no.7
    • /
    • pp.1-10
    • /
    • 2010
  • The power of computational Grid resources can be utilized on users desktop by employing workflow managers. It also helps scientists to conveniently put together and run their own scientific workflows. Generally, stage-in, process and stage-out are serially executed and workflow systems help automate this process. However, as the data size is exponentially increasing and more and more scientific workflows require multiple processing steps to obtain the desired output, we argue that the data movement will possess high portion of overall running time. In this paper, we improved staging time and design a new scheduler where the system can execute concurrently as many jobs as possible. Our simulation study shows that 10% to 40% improvement in running time can be achieved through our approach.

스마트그리드에서의 CPS (cyber-physical system) 시뮬레이션 구현을 위한 제반 연구이슈 및 방법론 검토

  • Kang, Dong-Joo;Kim, Huy-Kang
    • Review of KIISC
    • /
    • v.22 no.5
    • /
    • pp.62-72
    • /
    • 2012
  • 스마트그리드는 전력시스템과 이를 제어하기 위한 통신 인프라를 중심으로 다양한 시스템이 서로 통합되는 종합적인 플랫폼으로 이해할 수 있다. 기존에 각기 독립적으로 운영되는 시스템과 통신 인프라가 통합되기 시작하면서 다양한 상호작용이 파생되고 그로 인해 잠재적인 보안 측면의 위험성도 커지게 된다. 전통적인 전력시스템은 폐쇄적인 SCADA 네트워크를 기반으로 운영되었기 때문에 최소한의 보안강도가 보장되었지만, 스마트그리드 하에서는 개방형 통신망과 연계되면서, 기존의 사이버 보안 위협들이 전력시스템으로 유입하게 된다. 기존의 IT 시스템과는 달리 전력시스템과 같은 제어시스템은 물리적 작동과 공정이 수반되기 때문에 새로운 위험이 발생하기도 하고 기존의 위험이 증폭되기도 한다. 전력시스템에서는 가용성이 그 무엇보다 중요하기 때문에, 스마트그리드 체제하에서의 다양한 위협요인을 미리 파악하고 이에 대비한 계획을 수립함으로써, 그러한 가용성의 수준을 유지할 필요가 있다. 이를 위해서는 기존의 사이버 위협이 어떠한 경로를 통해 전력시스템에 영향을 미치게 되며 그로 인한 잠재적 위험이 얼마나 되는가를 평가할 필요가 있다. 그러나 스마트그리드는 아직까지 구축중인 미래형 시스템이고 누적된 과거 데이터가 없기 때문에 가상의 하드웨어 기반 테스트베드 내지 소프트웨어 기반의 시뮬레이션 모델을 통해 이를 사전적으로 테스트할 필요가 있다. 또한 스마트그리드는 서로 다른 IT 시스템과 물리적 설비들이 결합되는 복잡한 시스템이라는 측면에서, 잠재적으로 발생 가능한 다양한 위험을 분석하고 평가할 수 있는 모델의 수립이 요구된다. 본고에서는 그러한 CPS 기반 시뮬레이션 모델에 대한 현재의 연구동향을 검토하고, 향후 실질적으로 구현하기 위한 방안을 제안하고자 한다.

A Dynamically Segmented DCT Technique for Grid Artifact Suppression in X-ray Images (X-ray 영상에서 그리드 아티팩트 개선을 위한 동적 분할 기반 DCT 기법)

  • Lee, Jihyun;Park, Joonhyuk;Seo, Jisu;Kim, Hojoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.813-816
    • /
    • 2018
  • X-ray 진단에서 그리드 하드웨어의 사용은 산란선에 의한 영상의 왜곡을 보정할 수 있는 장점이 있는 반면, 반복되는 라인 형태의 그리드 아티팩트를 발생시키는 부작용을 수반한다. 본 논문에서는 이러한 그리드 라인을 제거하는 방법론으로서 이산코사인변환(DCT: discrete cosine transform)을 사용 하는 기법을 제안한다. X-ray 영상에서 그리드 라인의 특성은 피사체의 형태와 영상의 영역에 따라 서로 다른 특성을 갖는다. 이에 본 연구에서는 동적으로 재구성되는 분할 구조를 기반으로 DCT 변환을 적용하고 개별 영역별로 필터전달함수를 최적화하는 방법을 채택하였다. 추출된 주파수 영역 데이터에 대하여 그리드 라인의 대역을 검출하는 알고리즘을 제안하였으며, 필터전달함수로 Kaiser윈도우와 Butterworth 필터를 조합한 형태의 밴드스톱필러(BSF: band stop filter)를 구현하였다. 또한 블로킹 현상을 개선하기 위하여 다중 영상으로부터 경계선 부분의 픽셀값을 결정하는 방법론을 제안하였다. 제안된 이론에 대하여 실제 영상을 사용한 실험결과로부터 그 타당성을 평가하였다.

GDCS : Energy Efficient Grid based Data Centric Storage for Sensor Networks (GDCS : 센서네트워크를 위한 에너지 효율적인 그리드 기반 데이터 중심 저장 시스템)

  • Shin, Jae-Ryong;Yoo, Jae-Soo;Song, Seok-Il
    • The Journal of the Korea Contents Association
    • /
    • v.9 no.1
    • /
    • pp.98-105
    • /
    • 2009
  • In this paper, new data centric storage that is dynamically adapted to the change of work load is proposed. The proposed data centric storage distributes the load of hot spot area by using multilevel grid technique. Also, the proposed method is able to use existing routing protocol such as GPSR (Greedy Perimeter Stateless Routing) with small changes. Through simulation the proposed method enhances the lifetime of sensor networks over one of the state-of-the-art data centric storages. We implement the proposed method based on a operating system for sensor networks, and evaluate the performance through running based on a simulation tool.