• 제목/요약/키워드: 데이터그리드

검색결과 512건 처리시간 0.028초

그리드 인덱스 기법을 이용한 교통 빅데이터 맵핑 방안 연구 (A Study on Traffic Big Data Mapping Using the Grid Index Method)

  • 정규수;성홍기
    • 한국ITS학회 논문지
    • /
    • 제19권6호
    • /
    • pp.107-117
    • /
    • 2020
  • 최근 자율주행의 발달로 차량에 장착된 다양한 센서가 일반화 되고 그 센서에서 발생되는 빅 데이터는 교통 분야에서 활용도가 높아지고 있다. 본 연구에서는 이러한 교통 빅 데이터의 활용을 위해 실시간으로 발생되는 차량 센싱 빅 데이터와 도로 기상 등 공공데이터를 지도상에 효율적으로 맵핑하기 위한 그리드 인덱스 기법을 제안하였으며, 제안한 그리드 공간 분할 방식과 그리드 ID 부여 방식에 대하여 적용 가능성 및 효과를 분석하였다. 차량 센서에서 실시간 분석된 강수 데이터를 전국 화물차의 디지털 운행기록장치(DTG, Digital Tachograph) 데이터를 기반으로 가상 생성하여 좌표기반으로 맵핑하였으며, 제안 방식과 링크 단위 처리방식의 처리 속도를 비교하였다. 제안 방식은 링크 단위의 처리 방식 대비 약 2,400배 이상의 데이터 처리 성능 개선을 나타냈다. 추가로 그리드 맵핑의 적용 가능성 및 링크 단위 맵핑과의 차별성을 확인하고자 가상 생성한 데이터를 시각화하고 비교하였다.

스마트그리드 데이터 관리 및 활용 기술 연구 (A Study on Smart Grid Data Management and Utilization)

  • 오도은;김영준;김영일;최승환
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2011년도 제42회 하계학술대회
    • /
    • pp.1987-1988
    • /
    • 2011
  • 국내외적으로 스마트그리드 구축을 위해 스마트미터, 센서, PMU(Phasor Measurement Unit) 및 IED(Intelligent Electronic Device) 등의 다양한 장치들이 전력시스템에 보급되고 있다. 스마트미터는 전력소비자의 전력사용량 뿐 아니라 다양한 계량 정보를 상위 수집시스템에 전달할 수 있는 기능을 갖추고 있으며, 계통에 설치된 여러 종류의 센서, PMU 및 IED들 또한 상위 감시제어시스템에 수많은 데이터를 제공한다. 이렇듯 스마트그리드 구축에 따른 스마트미터의 보급, 센서 및 IED의 확산에 따라 전력시스템에서 발생되는 방대한 데이터의 관리 문제와 어떻게 이들 데이터를 전력시스템 운영에 유용하게 활용할 수 있는가에 대한 문제들이 새롭게 부각되고 있다. 본 논문은 스마트그리드 구축에 따라 발생되는 수많은 데이터의 관리와 이들 데이터의 활용사례에 대하여 기술한다.

  • PDF

스마트 그리드 네트워크에서 데이터 전송시간 조절을 통한 네트워크혼잡 개선 방법 (Network Congestion Control Through Adjustment of Data Transmission Time on Smart Grid Networks)

  • 박세영;김미희
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2012년도 제45차 동계학술발표논문집 20권1호
    • /
    • pp.217-218
    • /
    • 2012
  • 기기간(M2M, Machine-to-Machin) 통신의 한 응용으로서 스마트 그리드 네트워크는 다수의 기기 통신으로 인한 전송 데이터의 방대한 양을 대표적 특징으로 꼽을 수 있다. 이에 현재 사용가능한 통신 기술들을 그대로 사용할 경우, 병목현상 혹은 네트워크 혼잡 등 네트워크 장애 및 전송 지연이 발생할 수 있다. 특히 스마트 그리드 네트워크의 상향 트래픽은 시간조절이 가능한 주기적 미터링 데이터와 지연민감한 이벤트 데이터로 나뉜다. 이에 본 논문에서는 각 트래픽 특성에 따라 트래픽양의 대다수를 이룰 미터링 데이터의 전송시간 조절을 이용한 혼잡제어 기법을 제안한다. 이를 통해 지연민감한 이벤트 데이터의 지연시간 내 전송 보장 확률을 높이고, 트래픽을 분산시킴으로써 전송 효율을 높이고자 한다.

  • PDF

산업단지 마이크로그리드 열거래 플랫폼을 위한 에너지 데이터 전처리 프로세스에 관한 연구 (A Study on the Energy Data Preprocessing Process for Industrial Complex Microgrid Thermal Energy Trading Platform)

  • 임정택;김태형;함경선
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.355-357
    • /
    • 2020
  • 최근 에너지 효율의 중요성이 높아지고 에너지 공급 형태가 다변화하면서 다양한 에너지원을 효율적으로 관리할 수 있는 마이크로그리드 개념이 중요해지고 있다. 본 연구의 산업단지 마이크로그리드 열거래 플랫폼은 실증사이트의 전기 및 열에너지 모니터링 기능과 열에너지 거래 정산 기능을 가지며, 이를 위해 정확하고 안정적인 실증사이트 데이터가 필요하다. 하지만 실증사이트 데이터는 에너지 단위의 불일치, 센서 및 현장 운영상태에 따른 불안정성 등의 문제가 있어 수집 직후 열거래 플랫폼에서 활용할 수 없다. 따라서 수집된 데이터를 활용하기 위해 엔진 최대 출력량, 최대 전력 사용량 등의 변수별 특성을 고려하여 데이터 전처리 프로세스를 설계 및 적용하였다.

  • PDF

그리드 분할에 의한 다차원 데이터 디클러스터링 성능 분석 (Performance Analysis on Declustering High-Dimensional Data by GRID Partitioning)

  • 김학철;김태완;이기준
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1011-1020
    • /
    • 2004
  • 대규모의 데이터를 다루는 여러 시스템에서 데이터를 다수의 병렬 디스크에 분산시켜 저장한 후 질의 처리시 동시에 여러 개의 디스크를 접근함으로써 입출력 성능의 향상을 위한 많은 노력들이 행해져 왔다. 대부분 이전 연구들은 데이터 공간을 이루는 각 차원이 겹치지 않는 여러개의 구간으로 나누어져 전체 데이터 공간이 그리드 형태로 분할되어 있다는 가정하에 각 차원의 구간 번호로 결정되는 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 개발에 집중되었다. 하지만, 그들은 데이터 공간을 그리드 형태로 분할하는 방법이 전체 디클러스터링 알고리즘 성능에 미치는 영향을 간과하였다. 본 논문에서 우리는 효과적인 그리드 분할을 통하여 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 향상 시켰다. 이를 위하여 영역 질의 크기가 주어졌을 때 겹치는 그리드 셀의 수를 예측하는 모델을 제시하였으며 이를 이용하여 가능한 그리드 분할 방법들 중에서 질의 크기를 감소시키는 분할 방법을 선택하였다. 일반적으로, 다차원 데이터에 대해서는 이진 분할을 하지만 본 논문에서는 더 작은 수의 차원을 선택해서 여러 번 분할함으로써 질의를 만족하는 그리드 셀의 수를 감소시켰다. 다양한 실험 결과에 의하면 본 논문에서 제시한 예측 모델은 질의 크기와 차원에 관계없이 0.5% 이내의 에러율을 보이는 것으로 나타났다. 또한 효과적인 그리드 분할을 통하여 다차원 데이터에 대해서 가장 성능이 좋은 것으로 소개되고 있는 Kronecker sequence 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 최대 23배까지 향상시킬 수 있음을 알 수 있었다.

의사결정 트리 기법을 이용한 그리드 자원선택 시스템 (Grid Resource Selection System Using Decision Tree Method)

  • 노창현;조규철;마용범;이종식
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.1-10
    • /
    • 2008
  • 이 기종의 네트워크와 시스템 자원으로 구성된 그리드 컴퓨팅 환경에서 대용량 데이터를 빠르고 정확하게 처리하기 위해서는 효과적인 그리드 자원선택이 필수적이다. 이를 위해 본 논문은 의사결정 트리 기법을 이용한 그리드 자원선택 시스템을 제안한다. 이 시스템은 자원 정보를 기록한 데이터 셋을 바탕으로 사용자들이 선택하는 자원들을 처리 할 데이터의 특성과 사용자의 요구사항으로 분석해서 자원선택을 위한 의사결정 트리를 구축한다. 그리드 사용자의 자원 요청 시 의사결정 트리를 탐색하여 사용자 요구 및 작업 특성에 적합한 자원들을 선택하여 작업을 할당함으로써 사용자 만족도를 향상시킴은 물론 전체 그리드 시스템의 성능을 개선한다. 실험결과는 본 논문에서 제안한 의사결정 트리 기반의 그리드 자원선택 시스템이 기존 그리드 자원선택 시스템인 Condor-G 및 Nimrod-G와 비교하여 더 높은 작업 처리율 및 자원 이용률과 더 적은 작업 손실 및 처리시간을 제공함으로써 그리드 자원선택 및 데이터 분산 처리에 효과적이라는 사실을 증명한다

  • PDF

그리드를 이용한 바이오 인포메틱스 응용 클라이언트 설계 (Design of Bioinformatics Application using Grid)

  • 유승범;신동규;신동일
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.364-366
    • /
    • 2002
  • 최근 생명공학 분야에서는 IT와 BT가 결합하는 새로운 패러다임의 컴퓨팅 환경이 구축되고 있다. 이에 게놈 프로젝트 결과 분석해야 하는 데이터의 양은 엄청나게 증가하고 있다. 그러한 데이터를 처리하기 위해서는 대규모 저장장치 외에 슈퍼컴퓨터 급의 고성능 컴퓨터가 필요하게 되었다. 그러한 데이터를 처리하기 위해서는 대규모 저장장치 외에 슈퍼컴퓨터 급의 고성능 컴퓨터가 필요하게 되었으며, 바이오 인포메틱스 분야를 지원하기 위해서는 대규모 하드웨어 뿐만 아니라 데이터베이스, 데이터 마이닝 등의 소프트웨어 기술로 인해 그리드 환경을 요구하게 되었다. 이에 본 논문에서는 그리드 환경에서 분산된 수많은 생물학 데이터베이스에 쉽게 접근할 수 있는 통합 환경으로 응용 클라이언트를 제시할 것이다.

  • PDF

그리드 기반의 하이브리드 토목 공학 실험에서의 데이터 모델링 (Data Modeling in Grid-Based Hybrid Civil-Engineering Experiment)

  • 김동욱;이장호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.104-109
    • /
    • 2007
  • 최근 분산된 자원을 효과적으로 공유할 수 있는 그리드 기반의 과학 연구가 다양하게 진행되고 있으며, 그러한 예로 국내에서는 건설 및 토목 분야의 원격실험 관측과 제어를 포함한 공동연구 환경의 구축을 내용으로 하는 KOCED(Korea Construction Engineering Development) 프로젝트가 진행 중에 있다. 본 논문에서는 KOCED에서 구축 중인 실험센터의 하나로써, 지리적으로 떨어진 실험 시설과 수치시뮬레이션을 연동하여 실험할 수 있는 하이브리드 실험센터를 대상으로 데이터 모델링을 하였다. 데이터 모델은 데이터를 표현하는 용어를 통일하고 데이터 간의 관계를 명확하게 하여, 데이터의 재사용성을 높일 수 있기 때문에 실험비용이 많이 소모되는 과학실험에 필수적이다. 그리드에 기반한 하이브리드 실험의 데이터 모델링은, 기존의 건설 및 토목실험의 대부분이 독립적인 실험 형태였기 때문에, 정확한 데이터 모델을 예측하기가 용이하지 않았다. 따라서 먼저 하이브리드 실험의 축소 모형인, 프로토타입 실험체를 만들고, 이에 대한 데이터 모델을 설계하여 토목공학 연구자에 의해 사용하게 하였다. 일정기간 사용기간을 갖고, 이에 대한 회의를 통해 향후 구축될 하이브리드 실험센터의 데이터 모델을 설계하였다. 현재 하이브리드 실험의 데이터 모델을 그리드 포탈 기반의 데이터관리 서비스로 구현 중에 있다.

  • PDF

동적 로드 밸런싱을 이용한 그리드 기반의 생물학 데이터 마이닝 (Grid-based Biological Data Mining using Dynamic Load Balancing)

  • 마용범;김태영;이종식
    • 한국시뮬레이션학회논문지
    • /
    • 제19권2호
    • /
    • pp.81-89
    • /
    • 2010
  • 생물학 데이터 마이닝은 생물학 데이터의 볼륨이 급격하게 증가함에 따라 최근 주목받고 있다. 그리드 기술은 계산 자원과 데이터 공유와 활용을 가능하게 한다. 이 논문에서는 생물학 데이터 마이닝과 그리드 기술을 결합한 혼합형 시스템을 제안한다. 특히, 생물학 데이터 마이닝의 처리 효율성을 위해 결정 범위 조정 알고리즘을 사용한다. 우리는 이 알고리즘을 통해 빠르고 자동으로 신뢰할 만한 데이터 마이닝 인식률을 얻는다. 게다가 그리드 환경에서는 지리적으로 분산된 자원들을 연동하기 때문에 통신량과 자원 할당이 이슈가 된다. 우리는 동적 로드 밸런싱을 제안하고 그리드 기반 생물학 데이터 마이닝 기법에 적용한 다. 성능 평가를 위해 우리는 평균 처리 시간, 평균 통신 시간, 평균 자원 활용도를 측정한다. 측정 실험의 결과는 제안된 두 알고리즘을 적용한 우리의 기법이 처리 시간과 비용 측면에서 이점을 제공한다는 것을 보여준다.

데이터 그리드를 위한 효율적인 Peer-to-Peer 기반 복제 정책 (An Efficient Peer-to-Peer Based Replication Strategy for Data Grid)

  • 오상원;이원주;전창호
    • 전자공학회논문지CI
    • /
    • 제45권2호
    • /
    • pp.10-17
    • /
    • 2008
  • 본 논문에서는 데이터 그리드 시스템의 성능을 향상시킬 수 있는 Peer-to-Peer 기반의 효율적인 복제 정책을 제안한다. 이 정책은 기존의 데이터 복제정책에 Peer-to-Peer 개념을 추가하여 계층구조로 인한 데이터 전송 제한을 줄인다. 그리고 클라이언트 계층 노드의 저장장치 일정 부분을 임계구역(critical section)으로 설정하여 데이터 복사본을 저장할 수 있도록 함으로써 클라이언트 계층 노드간의 데이터 복사본 전송과 클라이언트 계층 노드에서 상위 계층의 데이터 복제 서버로 데이터 복사본 전송이 가능하도록 한다. 클라이언트 계층 노드간의 데이터 복사본 전송은 데이터 서버 또는 데이터 복제 서버에서 데이터 복사본을 전송하는 것에 비해 전송시간을 최소화 할 수 있기 때문에 데이터 그리드 시스템의 성능을 높일 수 있다. 본 논문에서 는 시뮬레이션을 통하여 제안하는 Peer-to-Peer 기반 데이터 복제 정책이 기존의 복제 정책에 비해 그리드 시스템의 성능을 향상시킨다는 것을 보인다.