• Title/Summary/Keyword: 분산 데이터베이스

Search Result 607, Processing Time 0.03 seconds

Design of Distributed Hadoop Full Stack Platform for Big Data Collection and Processing (빅데이터 수집 처리를 위한 분산 하둡 풀스택 플랫폼의 설계)

  • Lee, Myeong-Ho
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.7
    • /
    • pp.45-51
    • /
    • 2021
  • In accordance with the rapid non-face-to-face environment and mobile first strategy, the explosive increase and creation of many structured/unstructured data every year demands new decision making and services using big data in all fields. However, there have been few reference cases of using the Hadoop Ecosystem, which uses the rapidly increasing big data every year to collect and load big data into a standard platform that can be applied in a practical environment, and then store and process well-established big data in a relational database. Therefore, in this study, after collecting unstructured data searched by keywords from social network services based on Hadoop 2.0 through three virtual machine servers in the Spring Framework environment, the collected unstructured data is loaded into Hadoop Distributed File System and HBase based on the loaded unstructured data, it was designed and implemented to store standardized big data in a relational database using a morpheme analyzer. In the future, research on clustering and classification and analysis using machine learning using Hive or Mahout for deep data analysis should be continued.

Evaluation of Distributed Intrusion Detection System Based on MongoDB (MongoDB 기반의 분산 침입탐지시스템 성능 평가)

  • Han, HyoJoon;Kim, HyukHo;Kim, Yangwoo
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.8 no.12
    • /
    • pp.287-296
    • /
    • 2019
  • Due to the development and increased usage of Internet services such as IoT and cloud computing, a large number of packets are being generated on the Internet. In order to create a safe Internet environment, malicious data that may exist among these packets must be processed and detected quickly. In this paper, we apply MongoDB, which is specialized for unstructured data analysis and big data processing, to intrusion detection system for rapid processing of big data security events. In addition, building the intrusion detection system(IDS) using some of the private cloud resources which is the target of protection, elastic and dynamic reconfiguration of the IDS is made possible as the number of security events increase or decrease. In order to evaluate the performance of MongoDB - based IDS proposed in this paper, we constructed prototype systems of IDS based on MongoDB as well as existing relational database, and compared their performance. Moreover, the number of virtual machine has been increased to find out the performance change as the IDS is distributed. As a result, it is shown that the performance is improved as the number of virtual machine is increased to make IDS distributed in MongoDB environment but keeping the overall system performance unchanged. The security event input rate based on distributed MongoDB was faster as much as 60%, and distributed MongoDB-based intrusion detection rate was faster up to 100% comparing to the IDS based on relational database.

Efficient Secret Sharing Data Management Scheme for Privacy Protection in Smart Grid Environment (스마트 그리드 환경에서 개인정보 보호를 위한 효율적인 비밀분산 데이터 관리 방안)

  • Lee, Sung-Yong;Yeo, Sang-Soo
    • Journal of Digital Convergence
    • /
    • v.11 no.12
    • /
    • pp.311-318
    • /
    • 2013
  • It is very important to design security policy and technical framework on sensitive private data in order to protect user privacy in smart grid environment. This paper introduces secret data sharing schemes proposed for privacy protection in smart grid, and presents technical problems of them. The proposed scheme in this paper, reduces the number of rounds in sharing process and also in restoration process, and can select how many databases would be used, so eventually it shows enhancements in terms of efficiency and security.

Combination of Feature-Based Extraction Process and Manufacturing Resource for Distributed Process Planning (분산공정계획을 위한 특징형상 기반 추출 공정 및 가공자원 조합)

  • Oh, Ick Soo
    • Transactions of the Korean Society of Mechanical Engineers A
    • /
    • v.37 no.2
    • /
    • pp.141-151
    • /
    • 2013
  • Process planning can be defined as determining detailed methods by which parts can be manufactured from the initial to the finished stage. Process planning starts with determining the manufacturing process based on the geometric shape of the part and the machines and tools required for performing this process. Distributed process planning enables production planning to be performed easily by combining the extracted process and various manufacturing resources such as operations and tools. This study proposes an algorithm to determine the process for a feature-based model and to combine manufacturing resources for the process and implements a distributed process planning system.

A Study of the Implementation of Remote Control Agent System Based on ATM/B-ISDN (ATM/B-ISDN 통신망을 기반으로한 원격제어 에이젼트 시스템 구현에 관한 연구)

  • 최길한;양성기;오창윤;배상현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.680-682
    • /
    • 1998
  • 오늘날 많은 기업들이 공장 자동화를 위하여 많은 투자를 하고 있는 만큼 ATM/B-ISDN 통신망을 기반으로 한 생산 공정을 자동화함으로써 생산성 향상, 품질향상 및 원가절감을 꽤할 수 있어 오늘날 국제 경쟁 상회에서 유리한 위치를 점유할 수 있다. 본 논문에서는 원격지에 연결괸 공장 자동화 시스템을 중앙통제실에서 제어하는 시스템으로 분산형 데이터베이스를 구축하여 공장 자동화라인의 데이터를 저장, 유지 관리한다. 또한 각 생산 공정 라인의 텍스트, 그래픽, 이미지, 오디오, 비디오 등과 같은 대용량의 멀티미디어 데이터베이스 시스템을 구성하기 위해서는 원격제어을 위한 초고속 통신망이 필요하고,ATM/B-ISDN 통신망을 기반으로 한 멀티미디어 원격제어 구현을 위한 DBMS(Database Management)의 원격제어 Agent 시스템을 구현한다.

  • PDF

Techniques to Implement Class-Separation on C++ based OODBPL (C++based OODBPL에서 클래스의 분리를 지원하기 위한 구현 기법)

  • Jo, Eun-Seon;Kim, Hyeong-Ju
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.6
    • /
    • pp.713-723
    • /
    • 1999
  • 하나의 클래스를 인터페이스(interface)와 구현부(implementation)로나누어 다루는 '클래스-분리'에 대한 연구는 최근 프로그래밍언어 분야 또는 분산처리 분야를 비롯하여 데이터베이스 분야에서도 그 유용성이 입증되고 있다. 그러나, 데이터베이스를 위한 클래스-분리에 관한 문헌들은 아직까지는 추상적이고 간단한 설명만을 제시하고 있기 때문에, 실제 DBMS(Dabatase Management System)를 구현할 때 참조할 만한 자료가 없는 실정이다. 본 논문은 ODMG-93기반 C++데이타베이스 프로그래밍 언어를 위해 클래스-분리를 지원하는 구체적인 방안을 제시하고, 기존의 타분야에서 사용된 기타방법들과 비교한다.

Implementation of Universal Grid Data System (범용 그리드 데이터 시스템의 구현)

  • 이상근;황석찬;최재영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04a
    • /
    • pp.619-621
    • /
    • 2002
  • 90년대 중반에 등장한 그리드(GRID)는 지역적으로 분산되어 있으며 소유자가 서로 다른 다양한 컴퓨팅 자원의 효과적인 공유를 목적으로 하며, 시스템의 구축에 필요한 스케쥴링, 자원 관리, 보안, 성능 측정 및 상태 모니터링 등의 문제를 해결하기 위한 다양한 미들웨어 및 개발 도구가 연구되고 있다. 그리드 시스템에서 사용되는 데이터는 FTP 서버, 파일 시스템, 데이터베이스 등 여러 장치에 저장되어 개별적인 인터페이스를 통해 접근된다. 각각의 인터페이스론 통하여 접근하므로 사용 방법이 어렵고 확장성이 떨어지는 단점이 있다. 이러한 문제점을 해결하기 위하여, 본 연구에서는 데이터베이스, FTP, 파일 시스템에 산재한 그리드 데이터를 동시에 지원하고, URL을 통해 단일 인퍼페이스로 접근하게 해 주며, 3계층 구조와 데이터 캐시를 이용하여 성능과 확장성을 제공하는 시스템을 구현한다.

  • PDF

A XML-based Model for Integration of Distributed Clinical Information (XML 기반 분산 의료정보 통합 모델)

  • Kim, Jeong-Min;Choi, Jin-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.160-165
    • /
    • 2006
  • 질병을 예방하고 건강을 보호하기 위해서 개인의료정보를 지속적으로 관리하고, 관련 기관이 필요시 손쉽게 이용할 수 있어야 한다. 특히 서로 다른 기관으로부터 발생된 의료정보들을 통합, 관리할 필요가 있다. 이에 본 논문에서는 XML을 기반 기술로 이용하면서, XML만을 이용할 경우 XML 문서의 종류와 개수가 많아지면서 발생하는 문서관리상의 비효율성 문제를 해결하기 위하여 관계형 데이터베이스를 함께 이용한 의료정보 통합모델을 제안한다. 이를 통해 XML과 관계형 데이터베이스의 장점을 함께 이용하여 복잡하고 시간에 따라 변할 수 있는 의료정보를 구조적으로 표현하고, 유연하게 관리하며, 효율적으로 검색할 수 있으며, 향후 시스템 개발에 있어서도 확장성이 용이하다.

  • PDF

LCL Cargo Information System on Web (웹에서의 LCL 화물 정보 시스템 구현)

  • 이달상;김태화;반상우
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2001.06a
    • /
    • pp.33-36
    • /
    • 2001
  • LCL은 컨테이너에 화물을 적재할 때 한 화주가 컨테이너의 공간을 전부 사용하는 FCL과 달리 여러 명의 화주가 각자의 화물을 한 컨테이너에 적재하는 방식을 말한다. 기존의 LCL 화물 선적은 화주의 요청에 의하여 선주가 Forward를 통하거나 이전에 거래하던 화주를 통하여 화물을 모집하여 남는 CBM(Cubic Miter)를 태우게 된다. 본 논문에서는 이들을 웹 상에서 서비스하는 LCL 화물 정보시스템을 제안한다. 이 시스템은 화주와 선주의 정보를 시스템을 통하여 다른 화주나 선주에게 제공하는 한편 이들 정보들을 바탕으로 LCL 선적할 화주의 결정에 필요한 적절한 정책은 시스템의 Agent들에 의해서 이루어진다. 그리고 데이터베이스의 접근에 있어서도 CORBA를 이용하여 이 기종의 시스템들에 분산된 데이터베이스에 쉽게 접근할 수 있도록 하여 보다 많은 정보를 바탕으로 시스템을 운영할 수 있다.

  • PDF

전자상거래용 하이퍼미디어 시스템 개발 방법론

  • Heeseok Lee;Choongseok Lee
    • Proceedings of the CALSEC Conference
    • /
    • 1999.07b
    • /
    • pp.417-430
    • /
    • 1999
  • 인터넷 기술 특히, 웹 (WWW: World Wide Web) 의 비약적인 발전으로 기업 활동에 있어서 전자상거래 (EC: Electronic Commerce) 는 중요한 분야로 대두되고 있다. 본 논문은 시나리오 기반 객체지향 기술을 이용한 전자 상거래용 하이퍼미디어 시스템 개발 방법론과 이를 지원하는 설계 도구를 개발한다. 본 방법론은 영역 분석 (Domain analysis), 객체 모델링 (Object modeling), 뷰 설계 (View design), 네비게이션 설계 (Navigational design), 구현 설계 (Implementation design) 와 구현의 6단계로 구성된다. 사용자의 요구사항은 시나리오를 통하여 분석, 객체지향 기법으로 모델링되며, 객체 뷰를 이용하여 네비게이션 설계와 구현 설계에 활용된다. 구현설계 단계는 구현에 필요한 데이터베이스 스키마와 사용자 인터페이스 설계로 구성된다. 본 방법론은 사용자의 요구사항으로부터 하이퍼미디어 구현에 필요한 요소들을 분석하여 사용자 요구에 적합한 분산하이퍼미디어 시스템 설계와 개발을 지원할 수 있다. 또한 개발 지원 도구는 기업 데이터베이스와 통합되어 운영되는 전자상거래용 하이퍼미디어 시스템 개발에 효율적으로 활용될 수 있을 것이다.

  • PDF