• Title/Summary/Keyword: 데이터그리드

Search Result 512, Processing Time 0.049 seconds

A Study on Traffic Big Data Mapping Using the Grid Index Method (그리드 인덱스 기법을 이용한 교통 빅데이터 맵핑 방안 연구)

  • Chong, Kyu Soo;Sung, Hong Ki
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.19 no.6
    • /
    • pp.107-117
    • /
    • 2020
  • With the recent development of autonomous vehicles, various sensors installed in vehicles have become common, and big data generated from those sensors is increasingly being used in the transportation field. In this study, we proposed a grid index method to efficiently process real-time vehicle sensing big data and public data such as road weather. The applicability and effect of the proposed grid space division method and grid ID generation method were analyzed. We created virtual data based on DTG data and mapped to the road link based on coordinates. As a result of analyzing the data processing speed in grid index method, the data processing performance improved by more than 2,400 times compared to the existing link unit processing method. In addition, in order to analyze the efficiency of the proposed technology, the virtually generated data was mapped and visualized.

A Study on Smart Grid Data Management and Utilization (스마트그리드 데이터 관리 및 활용 기술 연구)

  • Oh, Do-Eun;Kim, Young-Jun;Kim, Young-Il;Choi, Seung-Hwan
    • Proceedings of the KIEE Conference
    • /
    • 2011.07a
    • /
    • pp.1987-1988
    • /
    • 2011
  • 국내외적으로 스마트그리드 구축을 위해 스마트미터, 센서, PMU(Phasor Measurement Unit) 및 IED(Intelligent Electronic Device) 등의 다양한 장치들이 전력시스템에 보급되고 있다. 스마트미터는 전력소비자의 전력사용량 뿐 아니라 다양한 계량 정보를 상위 수집시스템에 전달할 수 있는 기능을 갖추고 있으며, 계통에 설치된 여러 종류의 센서, PMU 및 IED들 또한 상위 감시제어시스템에 수많은 데이터를 제공한다. 이렇듯 스마트그리드 구축에 따른 스마트미터의 보급, 센서 및 IED의 확산에 따라 전력시스템에서 발생되는 방대한 데이터의 관리 문제와 어떻게 이들 데이터를 전력시스템 운영에 유용하게 활용할 수 있는가에 대한 문제들이 새롭게 부각되고 있다. 본 논문은 스마트그리드 구축에 따라 발생되는 수많은 데이터의 관리와 이들 데이터의 활용사례에 대하여 기술한다.

  • PDF

Network Congestion Control Through Adjustment of Data Transmission Time on Smart Grid Networks (스마트 그리드 네트워크에서 데이터 전송시간 조절을 통한 네트워크혼잡 개선 방법)

  • Park, Se-Young;Kim, Mi-Hui
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2012.01a
    • /
    • pp.217-218
    • /
    • 2012
  • 기기간(M2M, Machine-to-Machin) 통신의 한 응용으로서 스마트 그리드 네트워크는 다수의 기기 통신으로 인한 전송 데이터의 방대한 양을 대표적 특징으로 꼽을 수 있다. 이에 현재 사용가능한 통신 기술들을 그대로 사용할 경우, 병목현상 혹은 네트워크 혼잡 등 네트워크 장애 및 전송 지연이 발생할 수 있다. 특히 스마트 그리드 네트워크의 상향 트래픽은 시간조절이 가능한 주기적 미터링 데이터와 지연민감한 이벤트 데이터로 나뉜다. 이에 본 논문에서는 각 트래픽 특성에 따라 트래픽양의 대다수를 이룰 미터링 데이터의 전송시간 조절을 이용한 혼잡제어 기법을 제안한다. 이를 통해 지연민감한 이벤트 데이터의 지연시간 내 전송 보장 확률을 높이고, 트래픽을 분산시킴으로써 전송 효율을 높이고자 한다.

  • PDF

A Study on the Energy Data Preprocessing Process for Industrial Complex Microgrid Thermal Energy Trading Platform (산업단지 마이크로그리드 열거래 플랫폼을 위한 에너지 데이터 전처리 프로세스에 관한 연구)

  • Lim, Jeongtaek;Kim, Taehyoung;Ham, Kyung Sun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.355-357
    • /
    • 2020
  • 최근 에너지 효율의 중요성이 높아지고 에너지 공급 형태가 다변화하면서 다양한 에너지원을 효율적으로 관리할 수 있는 마이크로그리드 개념이 중요해지고 있다. 본 연구의 산업단지 마이크로그리드 열거래 플랫폼은 실증사이트의 전기 및 열에너지 모니터링 기능과 열에너지 거래 정산 기능을 가지며, 이를 위해 정확하고 안정적인 실증사이트 데이터가 필요하다. 하지만 실증사이트 데이터는 에너지 단위의 불일치, 센서 및 현장 운영상태에 따른 불안정성 등의 문제가 있어 수집 직후 열거래 플랫폼에서 활용할 수 없다. 따라서 수집된 데이터를 활용하기 위해 엔진 최대 출력량, 최대 전력 사용량 등의 변수별 특성을 고려하여 데이터 전처리 프로세스를 설계 및 적용하였다.

  • PDF

Performance Analysis on Declustering High-Dimensional Data by GRID Partitioning (그리드 분할에 의한 다차원 데이터 디클러스터링 성능 분석)

  • Kim, Hak-Cheol;Kim, Tae-Wan;Li, Ki-Joune
    • The KIPS Transactions:PartD
    • /
    • v.11D no.5
    • /
    • pp.1011-1020
    • /
    • 2004
  • A lot of work has been done to improve the I/O performance of such a system that store and manage a massive amount of data by distributing them across multiple disks and access them in parallel. Most of the previous work has focused on an efficient mapping from a grid ceil, which is determined bY the interval number of each dimension, to a disk number on the assumption that each dimension is split into disjoint intervals such that entire data space is GRID-like partitioned. However, they have ignored the effects of a GRID partitioning scheme on declustering performance. In this paper, we enhance the performance of mapping function based declustering algorithms by applying a good GRID par-titioning method. For this, we propose an estimation model to count the number of grid cells intersected by a range query and apply a GRID partitioning scheme which minimizes query result size among the possible schemes. While it is common to do binary partition for high-dimensional data, we choose less number of dimensions than needed for binary partition and split several times along that dimensions so that we can reduce the number of grid cells touched by a query. Several experimental results show that the proposed estimation model gives accuracy within 0.5% error ratio regardless of query size and dimension. We can also improve the performance of declustering algorithm based on mapping function, called Kronecker Sequence, which has been known to be the best among the mapping functions for high-dimensional data, up to 23 times by applying an efficient GRID partitioning scheme.

Grid Resource Selection System Using Decision Tree Method (의사결정 트리 기법을 이용한 그리드 자원선택 시스템)

  • Noh, Chang-Hyeon;Cho, Kyu-Cheol;Ma, Yong-Beom;Lee, Jong-Sik
    • Journal of the Korea Society of Computer and Information
    • /
    • v.13 no.1
    • /
    • pp.1-10
    • /
    • 2008
  • In order to high-performance data Processing, effective resource selection is needed since grid resources are composed of heterogeneous networks and OS systems in the grid environment. In this paper. we classify grid resources with data properties and user requirements for resource selection using a decision tree method. Our resource selection method can provide suitable resource selection methodology using classification with a decision tree to grid users. This paper evaluates our grid system performance with throughput. utilization, job loss, and average of turn-around time and shows experiment results of our resource selection model in comparison with those of existing resource selection models such as Condor-G and Nimrod-G. These experiment results showed that our resource selection model provides a vision of efficient grid resource selection methodology.

  • PDF

Design of Bioinformatics Application using Grid (그리드를 이용한 바이오 인포메틱스 응용 클라이언트 설계)

  • 유승범;신동규;신동일
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.364-366
    • /
    • 2002
  • 최근 생명공학 분야에서는 IT와 BT가 결합하는 새로운 패러다임의 컴퓨팅 환경이 구축되고 있다. 이에 게놈 프로젝트 결과 분석해야 하는 데이터의 양은 엄청나게 증가하고 있다. 그러한 데이터를 처리하기 위해서는 대규모 저장장치 외에 슈퍼컴퓨터 급의 고성능 컴퓨터가 필요하게 되었다. 그러한 데이터를 처리하기 위해서는 대규모 저장장치 외에 슈퍼컴퓨터 급의 고성능 컴퓨터가 필요하게 되었으며, 바이오 인포메틱스 분야를 지원하기 위해서는 대규모 하드웨어 뿐만 아니라 데이터베이스, 데이터 마이닝 등의 소프트웨어 기술로 인해 그리드 환경을 요구하게 되었다. 이에 본 논문에서는 그리드 환경에서 분산된 수많은 생물학 데이터베이스에 쉽게 접근할 수 있는 통합 환경으로 응용 클라이언트를 제시할 것이다.

  • PDF

Data Modeling in Grid-Based Hybrid Civil-Engineering Experiment (그리드 기반의 하이브리드 토목 공학 실험에서의 데이터 모델링)

  • Kim, Dong-Wook;Lee, Jang-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06c
    • /
    • pp.104-109
    • /
    • 2007
  • 최근 분산된 자원을 효과적으로 공유할 수 있는 그리드 기반의 과학 연구가 다양하게 진행되고 있으며, 그러한 예로 국내에서는 건설 및 토목 분야의 원격실험 관측과 제어를 포함한 공동연구 환경의 구축을 내용으로 하는 KOCED(Korea Construction Engineering Development) 프로젝트가 진행 중에 있다. 본 논문에서는 KOCED에서 구축 중인 실험센터의 하나로써, 지리적으로 떨어진 실험 시설과 수치시뮬레이션을 연동하여 실험할 수 있는 하이브리드 실험센터를 대상으로 데이터 모델링을 하였다. 데이터 모델은 데이터를 표현하는 용어를 통일하고 데이터 간의 관계를 명확하게 하여, 데이터의 재사용성을 높일 수 있기 때문에 실험비용이 많이 소모되는 과학실험에 필수적이다. 그리드에 기반한 하이브리드 실험의 데이터 모델링은, 기존의 건설 및 토목실험의 대부분이 독립적인 실험 형태였기 때문에, 정확한 데이터 모델을 예측하기가 용이하지 않았다. 따라서 먼저 하이브리드 실험의 축소 모형인, 프로토타입 실험체를 만들고, 이에 대한 데이터 모델을 설계하여 토목공학 연구자에 의해 사용하게 하였다. 일정기간 사용기간을 갖고, 이에 대한 회의를 통해 향후 구축될 하이브리드 실험센터의 데이터 모델을 설계하였다. 현재 하이브리드 실험의 데이터 모델을 그리드 포탈 기반의 데이터관리 서비스로 구현 중에 있다.

  • PDF

Grid-based Biological Data Mining using Dynamic Load Balancing (동적 로드 밸런싱을 이용한 그리드 기반의 생물학 데이터 마이닝)

  • Ma, Yong-Beom;Kim, Tae-Young;Lee, Jong-Sik
    • Journal of the Korea Society for Simulation
    • /
    • v.19 no.2
    • /
    • pp.81-89
    • /
    • 2010
  • Biological data mining has been noticed as an issue as the volume of biological data is increasing extremely. Grid technology can share and utilize computing data and resources. In this paper, we propose a hybrid system that combines biological data mining with grid technology. Especially, we propose a decision range adjustment algorithm for processing efficiency of biological data mining. We obtain a reliable data mining recognition rate automatically and rapidly through this algorithm. And communication loads and resource allocation are key issues in grid environment because the resources are geographically distributed and interacted with themselves. Therefore, we propose a dynamic load balancing algorithm and apply it to the grid-based biological data mining method. For performance evaluation, we measure average processing time, average communication time, and average resource utilization. Experimental results show that this method provides many advantages in aspects of processing time and cost.

An Efficient Peer-to-Peer Based Replication Strategy for Data Grid (데이터 그리드를 위한 효율적인 Peer-to-Peer 기반 복제 정책)

  • Oh, Sang-Won;Lee, Won-Joo;Jeon, Chang-Ho
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.45 no.2
    • /
    • pp.10-17
    • /
    • 2008
  • In this paper, we propose an efficient data replication strategy based on Peer-to-Peer which improves the performance of Data Grid system. The key idea of this replication strategy is to add the Peer-to-Peer concept for reducing data transmission restriction caused by hierarchical topology. And, it makes the nodes can store data replica to set a critical section at the storage of client level nodes. Therefore, it is possible to transmit the data replica between client level nodes and from client level nodes to upper data replication server. It is more effective to transmit data replica between client level nodes than transmitting data replica 1mm data server or data replication server with respect to minimize the transmission time. This results in improving the performance of Data Grid system. Through simulation, we show that the proposed data replication strategy based on Peer-to-Peer improves the performance of entire Data Grid environment compared to previous strategies.