• 제목/요약/키워드: 분산 데이터베이스

검색결과 607건 처리시간 0.032초

빅데이터 수집 처리를 위한 분산 하둡 풀스택 플랫폼의 설계 (Design of Distributed Hadoop Full Stack Platform for Big Data Collection and Processing)

  • 이명호
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.45-51
    • /
    • 2021
  • 급속한 비대면 환경과 모바일 우선 전략에 따라 해마다 많은 정형/비정형 데이터의 폭발적인 증가와 생성은 모든 분야에서 빅데이터를 활용한 새로운 의사 결정과 서비스를 요구하고 있다. 그러나 매년 급속히 증가하는 빅데이터를 활용하여 실무 환경에서 적용 가능한 표준 플랫폼으로 빅데이터를 수집하여 적재한 후, 정재한 빅데이터를 관계형 데이터베이스에 저장하고 처리하는 하둡 에코시스템 활용의 참조 사례들은 거의 없었다. 따라서 본 연구에서는 스프링 프레임워크 환경에서 3대의 가상 머신 서버를 통하여 하둡 2.0을 기반으로 쇼셜 네트워크 서비스에서 키워드로 검색한 비정형 데이터를 수집한 후, 수집된 비정형 데이터를 하둡 분산 파일 시스템과 HBase에 적재하고, 적재된 비정형 데이터를 기반으로 형태소 분석기를 이용하여 정형화된 빅데이터를 관계형 데이터베이스에 저장할 수 있게 설계하고 구현하였다. 향후에는 데이터 심화 분석을 위한 하이브나 머하웃을 이용하여 머신 러닝을 이용한 클러스터링과 분류 및 분석 작업 연구가 지속되어야 할 것이다.

MongoDB 기반의 분산 침입탐지시스템 성능 평가 (Evaluation of Distributed Intrusion Detection System Based on MongoDB)

  • 한효준;김혁호;김양우
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제8권12호
    • /
    • pp.287-296
    • /
    • 2019
  • IoT, 클라우드 컴퓨팅과 같은 인터넷 서비스의 발전과 사용량의 증가로 인해 수많은 패킷들이 인터넷상에서 빠르게 생성되고 있다. 안전한 인터넷 사용 환경을 만들기 위해서는 이 수많은 패킷 중에 존재할 수 있는 악성 데이터의 빠른 처리가 이뤄져야 한다. 본 논문에서는 빅데이터 보안 이벤트의 신속한 처리를 위해 비정형 데이터 분석과 빅데이터 처리에 특화된 MongoDB를 침입탐지시스템에 적용하였다. 또한 보호 대상인 사설 클라우드의 일부 자원을 이용하여 침입탐지시스템을 구축함으로써 증가 또는 감소하는 보안 이벤트 수에 따라 탄력적으로 컴퓨팅 자원 재구성이 가능하도록 하였다. 본 논문에서 제안하는 MongoDB 기반 침입탐지시스템의 성능을 평가하기 위하여 MongoDB 기반의 침입탐지시스템과 기존의 관계형 데이터 베이스를 기반으로 한 침입탐지시스템의 프로토타입을 구축하고 성능을 비교하였다. 또한 분산화 구성에 따른 성능 변화를 확인하기 위하여 가상머신의 수를 변경하며 성능 변화를 확인하였다. 그 결과 전체적으로 MongoDB 환경에서 동일한 성능의 시스템을 분산화시켜 가상 머신의 수를 증가시킬수록 침입탐지시스템의 성능이 향상되는 것을 확인하였다. 분산 MongoDB 기반의 보안 이벤트 저장 속도가 관계형 데이터베이스 기반에 비해 최대 60%, 그리고 분산 MongoDB 기반의 침입 데이터 탐지 속도가 관계형 데이터베이스 기반에 비해 최대 100% 빠른 결과를 얻었다.

스마트 그리드 환경에서 개인정보 보호를 위한 효율적인 비밀분산 데이터 관리 방안 (Efficient Secret Sharing Data Management Scheme for Privacy Protection in Smart Grid Environment)

  • 이성용;여상수
    • 디지털융복합연구
    • /
    • 제11권12호
    • /
    • pp.311-318
    • /
    • 2013
  • 스마트 그리드 환경에서 소비자의 개인 프라이버시를 보호하기 위해서, 민감한 개인정보 데이터에 대한 보안 정책과 기술 프레임워크를 마련하는 것은 매우 중요한 일이다. 본 논문은 스마트 그리드에서의 개인정보보호를 위해서 제안된 데이터 비밀분산 관련 기법들을 소개하고, 기존 기법들의 문제점을 설명한다. 본 논문에서 제안하는 기법은 분산 복원 알고리즘에서 라운드 횟수를 감소시키고, 데이터베이스의 개수 또한 조절할 수 있도록 함으로써 효율성과 안전성 측면에서 향상됨을 보여준다.

분산공정계획을 위한 특징형상 기반 추출 공정 및 가공자원 조합 (Combination of Feature-Based Extraction Process and Manufacturing Resource for Distributed Process Planning)

  • 오익수
    • 대한기계학회논문집A
    • /
    • 제37권2호
    • /
    • pp.141-151
    • /
    • 2013
  • 공정계획은 공작물을 원자재 형태의 초기단계로부터 원하는 형상의 마무리 단계까지 경제적이고 완전하게 가공할 수 있는 상세한 방법을 체계적으로 결정하는 것으로 정의되며, 형상으로부터 가공 공정을 추출하여 각 공정을 수행할 수 있는 공작기계 및 공구를 결정하는 과정이 공정계획의 출발점이 된다. 분산공정계획은 형상으로부터 추출된 각 공정에 적합한 가공작업, 공구 등과 같은 다양한 가공자원들을 서로 조합하여, 공작기계의 부하를 고려한 생산계획을 용이하게 수립할 수 있도록 한다. 본 연구에서는 분산공정계획 시스템을 위하여 가공자원 데이터베이스를 구축하고, 가공특징형상을 기반으로 한 작업공정 추출과 각 공정에 유용한 가공자원들을 조합하여 최적의 가공자원을 추출하기 위한 알고리즘을 제안하고 구현하였다.

ATM/B-ISDN 통신망을 기반으로한 원격제어 에이젼트 시스템 구현에 관한 연구 (A Study of the Implementation of Remote Control Agent System Based on ATM/B-ISDN)

  • 최길한;양성기;오창윤;배상현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.680-682
    • /
    • 1998
  • 오늘날 많은 기업들이 공장 자동화를 위하여 많은 투자를 하고 있는 만큼 ATM/B-ISDN 통신망을 기반으로 한 생산 공정을 자동화함으로써 생산성 향상, 품질향상 및 원가절감을 꽤할 수 있어 오늘날 국제 경쟁 상회에서 유리한 위치를 점유할 수 있다. 본 논문에서는 원격지에 연결괸 공장 자동화 시스템을 중앙통제실에서 제어하는 시스템으로 분산형 데이터베이스를 구축하여 공장 자동화라인의 데이터를 저장, 유지 관리한다. 또한 각 생산 공정 라인의 텍스트, 그래픽, 이미지, 오디오, 비디오 등과 같은 대용량의 멀티미디어 데이터베이스 시스템을 구성하기 위해서는 원격제어을 위한 초고속 통신망이 필요하고,ATM/B-ISDN 통신망을 기반으로 한 멀티미디어 원격제어 구현을 위한 DBMS(Database Management)의 원격제어 Agent 시스템을 구현한다.

  • PDF

C++based OODBPL에서 클래스의 분리를 지원하기 위한 구현 기법 (Techniques to Implement Class-Separation on C++ based OODBPL)

  • 조은선;김형주
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권6호
    • /
    • pp.713-723
    • /
    • 1999
  • 하나의 클래스를 인터페이스(interface)와 구현부(implementation)로나누어 다루는 '클래스-분리'에 대한 연구는 최근 프로그래밍언어 분야 또는 분산처리 분야를 비롯하여 데이터베이스 분야에서도 그 유용성이 입증되고 있다. 그러나, 데이터베이스를 위한 클래스-분리에 관한 문헌들은 아직까지는 추상적이고 간단한 설명만을 제시하고 있기 때문에, 실제 DBMS(Dabatase Management System)를 구현할 때 참조할 만한 자료가 없는 실정이다. 본 논문은 ODMG-93기반 C++데이타베이스 프로그래밍 언어를 위해 클래스-분리를 지원하는 구체적인 방안을 제시하고, 기존의 타분야에서 사용된 기타방법들과 비교한다.

범용 그리드 데이터 시스템의 구현 (Implementation of Universal Grid Data System)

  • 이상근;황석찬;최재영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.619-621
    • /
    • 2002
  • 90년대 중반에 등장한 그리드(GRID)는 지역적으로 분산되어 있으며 소유자가 서로 다른 다양한 컴퓨팅 자원의 효과적인 공유를 목적으로 하며, 시스템의 구축에 필요한 스케쥴링, 자원 관리, 보안, 성능 측정 및 상태 모니터링 등의 문제를 해결하기 위한 다양한 미들웨어 및 개발 도구가 연구되고 있다. 그리드 시스템에서 사용되는 데이터는 FTP 서버, 파일 시스템, 데이터베이스 등 여러 장치에 저장되어 개별적인 인터페이스를 통해 접근된다. 각각의 인터페이스론 통하여 접근하므로 사용 방법이 어렵고 확장성이 떨어지는 단점이 있다. 이러한 문제점을 해결하기 위하여, 본 연구에서는 데이터베이스, FTP, 파일 시스템에 산재한 그리드 데이터를 동시에 지원하고, URL을 통해 단일 인퍼페이스로 접근하게 해 주며, 3계층 구조와 데이터 캐시를 이용하여 성능과 확장성을 제공하는 시스템을 구현한다.

  • PDF

XML 기반 분산 의료정보 통합 모델 (A XML-based Model for Integration of Distributed Clinical Information)

  • 김정민;최진영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.160-165
    • /
    • 2006
  • 질병을 예방하고 건강을 보호하기 위해서 개인의료정보를 지속적으로 관리하고, 관련 기관이 필요시 손쉽게 이용할 수 있어야 한다. 특히 서로 다른 기관으로부터 발생된 의료정보들을 통합, 관리할 필요가 있다. 이에 본 논문에서는 XML을 기반 기술로 이용하면서, XML만을 이용할 경우 XML 문서의 종류와 개수가 많아지면서 발생하는 문서관리상의 비효율성 문제를 해결하기 위하여 관계형 데이터베이스를 함께 이용한 의료정보 통합모델을 제안한다. 이를 통해 XML과 관계형 데이터베이스의 장점을 함께 이용하여 복잡하고 시간에 따라 변할 수 있는 의료정보를 구조적으로 표현하고, 유연하게 관리하며, 효율적으로 검색할 수 있으며, 향후 시스템 개발에 있어서도 확장성이 용이하다.

  • PDF

웹에서의 LCL 화물 정보 시스템 구현 (LCL Cargo Information System on Web)

  • 이달상;김태화;반상우
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 춘계학술발표논문집
    • /
    • pp.33-36
    • /
    • 2001
  • LCL은 컨테이너에 화물을 적재할 때 한 화주가 컨테이너의 공간을 전부 사용하는 FCL과 달리 여러 명의 화주가 각자의 화물을 한 컨테이너에 적재하는 방식을 말한다. 기존의 LCL 화물 선적은 화주의 요청에 의하여 선주가 Forward를 통하거나 이전에 거래하던 화주를 통하여 화물을 모집하여 남는 CBM(Cubic Miter)를 태우게 된다. 본 논문에서는 이들을 웹 상에서 서비스하는 LCL 화물 정보시스템을 제안한다. 이 시스템은 화주와 선주의 정보를 시스템을 통하여 다른 화주나 선주에게 제공하는 한편 이들 정보들을 바탕으로 LCL 선적할 화주의 결정에 필요한 적절한 정책은 시스템의 Agent들에 의해서 이루어진다. 그리고 데이터베이스의 접근에 있어서도 CORBA를 이용하여 이 기종의 시스템들에 분산된 데이터베이스에 쉽게 접근할 수 있도록 하여 보다 많은 정보를 바탕으로 시스템을 운영할 수 있다.

  • PDF

전자상거래용 하이퍼미디어 시스템 개발 방법론

  • Heeseok Lee;Choongseok Lee
    • 한국전자거래학회:학술대회논문집
    • /
    • 한국전자거래학회 1999년도 학술대회지 vol.2
    • /
    • pp.417-430
    • /
    • 1999
  • 인터넷 기술 특히, 웹 (WWW: World Wide Web) 의 비약적인 발전으로 기업 활동에 있어서 전자상거래 (EC: Electronic Commerce) 는 중요한 분야로 대두되고 있다. 본 논문은 시나리오 기반 객체지향 기술을 이용한 전자 상거래용 하이퍼미디어 시스템 개발 방법론과 이를 지원하는 설계 도구를 개발한다. 본 방법론은 영역 분석 (Domain analysis), 객체 모델링 (Object modeling), 뷰 설계 (View design), 네비게이션 설계 (Navigational design), 구현 설계 (Implementation design) 와 구현의 6단계로 구성된다. 사용자의 요구사항은 시나리오를 통하여 분석, 객체지향 기법으로 모델링되며, 객체 뷰를 이용하여 네비게이션 설계와 구현 설계에 활용된다. 구현설계 단계는 구현에 필요한 데이터베이스 스키마와 사용자 인터페이스 설계로 구성된다. 본 방법론은 사용자의 요구사항으로부터 하이퍼미디어 구현에 필요한 요소들을 분석하여 사용자 요구에 적합한 분산하이퍼미디어 시스템 설계와 개발을 지원할 수 있다. 또한 개발 지원 도구는 기업 데이터베이스와 통합되어 운영되는 전자상거래용 하이퍼미디어 시스템 개발에 효율적으로 활용될 수 있을 것이다.

  • PDF