• 제목/요약/키워드: sharding

검색결과 10건 처리시간 0.022초

Design and Implement of Power-Data Processing System with Optimal Sharding Method in Ethereum Blockchain Environments

  • Lee, Taeyoung;Park, Jaehyung
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권12호
    • /
    • pp.143-150
    • /
    • 2021
  • 최근 전력산업에서는 검침원에 의한 수기 검침에서 AMI(Advanced Metering Infrastructure)를 활용한 원격검침으로 변화가 일어나고 있다. 원격검침 인프라에서 발생하는 전력 데이터가 블록체인에 기록된다면 위변조 방지로 무결성이 보장되고, 데이터 공유가 투명해짐에 따라 새로운 비즈니스가 창출될 수 있다. 하지만 기존의 이더리움 블록체인은 처리속도의 한계로 인해 대량의 트랜잭션 처리에 적합하지 않다. 이에 대한 해결책으로 다양한 On/Off-Chain 솔루션들이 연구되고 있다. 본 논문에서는 대량의 전력 데이터를 블록체인에 저장하기 위한 해결책으로 데이터 샤드(Shard) 처리를 활용한 연계 인터페이스 서버를 제안한다. 데이터를 샤드 단위로 처리하는 기법을 적용하여 대량의 트랜잭션을 이더리움에 전송했을 때 데이터 누락률이 0%가 되고, 동시에 처리속도가 대략 9배 향상되는 것을 실험을 통해 검증하였다.

Secure large-scale E-voting system based on blockchain contract using a hybrid consensus model combined with sharding

  • Abuidris, Yousif;Kumar, Rajesh;Yang, Ting;Onginjo, Joseph
    • ETRI Journal
    • /
    • 제43권2호
    • /
    • pp.357-370
    • /
    • 2021
  • The evolution of blockchain-based systems has enabled researchers to develop nextgeneration e-voting systems. However, the classical consensus method of blockchain, that is, Proof-of-Work, as implemented in Bitcoin, has a significant impact on energy consumption and compromises the scalability, efficiency, and latency of the system. In this paper, we propose a hybrid consensus model (PSC-Bchain) composed of Proof of Credibility and Proof of Stake that work mutually to address the aforementioned problems to secure e-voting systems. Smart contracts are used to provide a trustworthy public bulletin board and a secure computing environment to ensure the accuracy of the ballot outcome. We combine a sharding mechanism with the PSC-Bchain hybrid approach to emphasize security, thus enhancing the scalability and performance of the blockchain-based e-voting system. Furthermore, we compare and discuss the execution of attacks on the classical blockchain and our proposed hybrid blockchain, and analyze the security. Our experiments yielded new observations on the overall security, performance, and scalability of blockchain-based e-voting systems.

협상 해법을 이용한 이더리움 샤드 부하 균형 알고리즘 (Adaptive Load Balancing Algorithm of Ethereum Shard Using Bargaining Solution)

  • 백동환;김승욱
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권4호
    • /
    • pp.93-100
    • /
    • 2021
  • 블록체인의 확장성 문제를 해결하기 위한 이더리움 샤드 시스템은 부하 균형 문제가 존재하며 이는 그래프 분할 문제로 모델링된다. 본 논문에서는 게임 이론의 협상 해법을 사용하여 이더리움 샤드 시스템의 상반된 효용에 대한 협상이 가능한 적응적 온라인 가중그래프 분할 알고리즘을 제안한다. 게임 이론의 협상 해법은 상반된 효용의 협상점을 공정하게 결정할 수 있는 공리적 해법이다. 제안 알고리즘은 기존 온라인 그래프 분할 알고리즘을 가중그래프에 적용할 수 있도록 개선하였으며 대표적인 교섭 해법인 내쉬 협상 해법을 확장한 확장 내쉬 협상 해법을 사용하여 이더리움 시스템 상황을 고려한 설계를 통해 효과적으로 부하 균형을 수행하였다. 실험 결과, 대표적인 온라인, 오프라인 그래프 분할 알고리즘에 비해 최대 37% 우수한 성능을 보였다.

불균형한 DNN 모델의 효율적인 분산 학습을 위한 파라미터 샤딩 기술 성능 평가 (Performance Evaluation: Parameter Sharding approaches for DNN Models with a Very Large Layer)

  • 최기봉;고윤용;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.881-882
    • /
    • 2020
  • 최근 딥 러닝 (deep learning) 기술의 큰 발전으로 기존 기계 학습 분야의 기술들이 성공적으로 해결하지 못하던 많은 문제들을 해결할 수 있게 되었다. 이러한 딥 러닝의 학습 과정은 매우 많은 연산을 요구하기에 다수의 노드들로 모델을 학습하는 분산 학습 (distributed training) 기술이 연구되었다. 대표적인 분산 학습 기법으로 파라미터 서버 기반의 분산 학습 기법들이 있으며, 이 기법들은 파라미터 서버 노드가 학습의 병목이 될 수 있다는 한계를 갖는다. 본 논문에서는 이러한 파라미터 서버 병목 문제를 해결하는 파라미터 샤딩 기법에 대해 소개하고, 각 기법 별 학습 성능을 비교하고 그 결과를 분석하였다.

사물인터넷을 위한 블록체인 네트워킹에 대한 연구 (A Study on Blockchain Networking for Internet of Things)

  • 이일구
    • 디지털융복합연구
    • /
    • 제16권8호
    • /
    • pp.201-210
    • /
    • 2018
  • 신뢰하기 어려운 인터넷 환경에서 신뢰를 확보하기 위해 블록체인 기술을 사물인터넷 (IoT Internet of Things)에 적용한 '블록체인 기반 IoT'에 대한 기대감이 높다. 그러나 현재의 블록체인 기반의 IoT 기술은 확장성과 보안성 측면에서 실생활에 응용하기에 한계가 있는 것으로 보인다. 본 논문에서는 최근 각광받는 사물인터넷 디지털 비즈니스를 실현시키기 위한 블록체인 네트워킹 기술의 확장성과 보안성 난제를 고찰하고 정책과 샤딩, 오프체인, 비식별화, P2P 암호화폐 교환 등의 기술적 해결 방안 도입을 제안한다. 후속 연구에서는 본 연구 결과를 바탕으로 보안성과 확장성을 보장하는 사물인터넷 블록체인 플랫폼을 구현하고 기존의 블록체인 플랫폼과 비교할 계획이다.

오픈데이라이트 컨트롤러 클러스터 성능 분석 및 최적 운영 방안 (Performance Evaluation and Optimal Operation Strategy of OpenDaylight Controller Cluster)

  • 김태홍;서동은;백상헌;김명섭;임창규;박수명
    • 한국통신학회논문지
    • /
    • 제41권12호
    • /
    • pp.1801-1810
    • /
    • 2016
  • 본 논문에서는 최근 많은 관심과 집중을 받고 있는 SDN 분야 오픈 소스 프레임워크인 오픈데이라이트 컨트롤러를 중심으로 컨트롤러 클러스터 구조 및 동작방식에 대하여 분석한다. 오픈데이라이트 컨트롤러 클러스터에서는 컨트롤러 간 데이터 스토어의 동기화를 위하여 분산 샤드 구조 및 샤드 리더 선정을 위한 Raft 알고리즘을 적용하고 있다. 성능 분석에서는 컨트롤러 클러스터 크기, 샤드 역할, 샤드 정책에 따른 CRUD, Routed RPC 지연시간 및 리더 재선정 지연시간 등을 분석함으로써, 오픈데이라이트 컨트롤러 클러스터 운영 시의 최적 운영 방안을 논의한다.

데이터 처리량 향상을 위한 유향 비순환 그래프 기반의 멀티블록체인 시스템 (Multi-blockchain System based on Directed Acyclic Graph for Increasing Data Throughput)

  • 천호천;김태우;박종혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.25-28
    • /
    • 2021
  • 블록체인은 탈집중화, 위변조 방지, 추적 가능, 노드 간 공동 유지 및 보수가 가능한 데이터베이스로서 서로 신뢰하지 않은 노드 간 통신 신뢰 문제를 해결할 수 있는 점 대 점 통신 네트워크를 실현할 수 있다. 최근 몇 년 동안, 블록체인 기술은 지속적으로 발전하여 데이터 보안 문제를 해결하기 위한 중요한 기술로 주목받고 있다. 블록체인의 응용은 최초의 디지털 화폐 영역에서 금융·정무·공업 제조 영역으로 확대되고 있다. 블록체인의 특성에 따라 블록체인의 성능은 분산형 데이터 통신에 비해 크게 떨어지고 처리량이 제한되는 문제점이 존재한다. 본 논문에서는 최근 연구되고 있는 블록체인의 보안 구조 및 성능 분석에 대해 조사하고, 기존에 연구되었던 기술과 비교하여 블록체인의 안전성을 유지하며 성능을 향상시키는 방법에 대해 고찰한다. 이후 유향 비순환 그래프 (DAG: Directed Acyclic Graph) 및 샤딩 (Sharding)을 이용하여 안전성과 성능을 강화시키는 방법에 대해 제안한다. 제안하는 시스템은 DAG를 사용하여 위변조 방지 및 처리 속도 향상의 이점을 가지고 있으며, 샤딩을 사용함으로써 데이터 처리량을 향상시킨다. 마지막으로 제안하는 시스템은 기존 블록체인과 비교하여 안정성과 데이터 처리량 측면에서 비교 분석을 진행한다.

큐브리드 샤드 분산 데이터베이스에서 집계/분석 함수의 분산 처리 시스템 개발 (Distributed Processing System for Aggregate/Analytical Functions on CUBRID Shard Distributed Databases)

  • 원지섭;강석;조선화;김진호
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.537-542
    • /
    • 2015
  • 대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다.

이기종 블록체인간 거래를 위한 샤딩모델 연구 (Research on Sharding Model for Enabling Cross Heterogeneous Blockchain Transactions)

  • 홍성혁
    • 디지털융복합연구
    • /
    • 제19권5호
    • /
    • pp.315-320
    • /
    • 2021
  • 다양한 목적의 블록체인 플랫폼이 개발되어 블록체인 생태계가 발전되는 와중에 각 블록체인들이 고립돼서 운용되는 상호운용성 문제가 나타나고 있다. 이에 본 연구에서 블록체인들을 연결해주는 블록체인인 인터체인과 사이드체인 기술을 소개하고 이를 적용함으로써 이기종 블록체인간 거래와 기능을 사용하는 예를 설명하였다. 또한, 4차 산업혁명에서 주목받는 기술인 블록체인, 인공지능, IoT 각각의 기술들이 독자적인 발전과정을 넘어서서 서로 융합하여 발전하는 과정을 거치고 있다. 이에 대해서 블록체인에 인공지능을 또는 IoT가 결합하는 과정들을 제시하고 더불어 블록체인과 인공지능 IoT의 결합을 이기종 블록체인간의 거래와 교류를 위한 과정에 적용해서 개입 없이 작동할 수 있는 모델을 제안하였다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.