• 제목/요약/키워드: NoSQL/RDBMS

검색결과 17건 처리시간 0.021초

분산병렬처리 환경에서 오토매핑 기법을 통한 NoSQL과 RDBMS와의 연동 (Interoperability between NoSQL and RDBMS via Auto-mapping Scheme in Distributed Parallel Processing Environment)

  • 김희성;이봉환
    • 한국정보통신학회논문지
    • /
    • 제21권11호
    • /
    • pp.2067-2075
    • /
    • 2017
  • 최근 빅데이터가 주목받게 되면서 빅데이터를 처리하기 위한 시스템들도 중요하게 여겨지고 있다. 빅데이터 처리 시스템으로 분산파일시스템인 Hadoop과 비정형 데이터 처리를 위한 NoSQL 데이터 스토어가 주목받고 있다. 하지만 아직까지 NoSQL을 사용함에 있어 어려움이나 불편함도 존재한다. 저용량 데이터인 경우 NoSQL의 MapReduce는 불필요한 작업시간을 소모하게 되며, RDBMS 보다 상대적으로 많은 데이터 탐색 시간이 소요되기도 한다. 본 논문에서는 이러한 NoSQL의 문제점을 해결하기 위해 NoSQL과 RDBMS 간의 연동 기법을 제안하였다. 개발한 오토매핑 기법은 처리할 데이터의 양에 따라 적합한 데이터베이스를 사용하게 하여 결과적으로 검색시간을 빠르게 할 수 있다. 실험 결과 제안한 데이터베이스 연동 기법은 특정 데이터 셋의 경우 검색시간을 최대 35%까지 줄일 수 있다.

Improving Database System Performance by Applying NoSQL

  • Choi, Yong-Lak;Jeon, Woo-Seong;Yoon, Seok-Hwan
    • Journal of Information Processing Systems
    • /
    • 제10권3호
    • /
    • pp.355-364
    • /
    • 2014
  • Internet accessibility has been growing due to the diffusion of smartphones in today's society. Therefore, people can generate data anywhere and are confronted with the challenge that they should process a large amount of data. Since the appearance of relational database management system (RDBMS), most of the recent information systems are built by utilizing it. RDBMS uses foreign-keys to avoid data duplication. The transactions in the database use attributes, such as atomicity, consistency, isolation, durability (ACID), which ensures that data integrity and processing results are stably managed. The characteristic of RDBMS is that there is high data reliability. However, this results in performance degradation. Meanwhile, from among these information systems, some systems only require high-performance rather than high reliability. In this case, if we only consider performance, the use of NoSQL provides many advantages. It is possible to reduce the maintenance cost of the information system that continues to increase in the use of open source software based NoSQL. And has a huge advantage that is easy to use NoSQL. Therefore, in this study, we prove that the leverage of NoSQL will ensure high performance than RDBMS by applying NoSQL to database systems that implement RDBMS.

HL7 FHIR 기반 의료 데이터 처리 시스템에서 YCSB를 통한 RDBMS와 MongoDB의 성능 분석 연구 (Performance Analysis of RDBMS and MongoDB through YCSB in Medical Data Processing System Based HL7 FHIR)

  • 전동철;이병문;황희정
    • 한국멀티미디어학회논문지
    • /
    • 제21권8호
    • /
    • pp.934-941
    • /
    • 2018
  • There are some limits on cost and efficiency for large amount of data in RDBMS, and NoSQL is starting to gain popularity. In medical institutions, data forms are different between organizations, and that makes difficulty for interoperability between organizations. In this paper we focused on performance issues between RDMBS and NoSQL in medical documents. We had built two different environment and had experiment comparative analysis of NoSQL with RDBMS based on medical data. We used medical HL7 FHIR as a medical data standard. Also YCSB benchmark tool was used for performance comparison. Experiments shows that NoSQL has better performance in large amounts of medical data processing systems that have over 10,000~100,000 records.

NoSQL기반의 MapReduce를 이용한 방화벽 로그 분석 기법 (The Method of Analyzing Firewall Log Data using MapReduce based on NoSQL)

  • 최보민;공종환;홍성삼;한명묵
    • 정보보호학회논문지
    • /
    • 제23권4호
    • /
    • pp.667-677
    • /
    • 2013
  • 방화벽은 대표적인 네트워크 보안 장비로서 대부분의 네트워크 내/외부에 설치되어 패킷의 입/출입을 통제하는 시스템이다. 때문에 이에 저장된 로그 데이터를 분석하는 것은 네트워크 보안연구에 중요한 기초 자료를 제공해 줄 수 있다. 그런데 최근 기술의 발달로 인터넷망의 속도가 향상되고, 네트워크가 대형화 되면서 방화벽에서 저장하는 로그데이터들의 양도 대용량화 또는 빅데이터화 되어 가고 있다. 이러한 추세 속에서, 기존의 전통적인 RDBMS방식으로 로그데이터를 분석하는 데는 한계가 있다. 본 논문은 NoSQL 기반의 MapReduce 설계를 이용한 방화벽 로그 분석기법을 통해 NoSQL방식을 도입하는 것이 대용량 로그 데이터를 더욱 효율적으로 분석할 수 있다는 점을 발견했다. 우리는 기존의 RDBMS방식과의 데이터 처리 성능을 비교하여 NoSQL방식 데이터베이스의 우수한 성능을 입증하였고, 이를 바탕으로 제안하는 설계 기법을 평가하기 위해 3가지 공격 패턴을 선정하고 이를 집계 하여 분석을 수행하는 실험을 통해 제안하는 분석 기법의 성능 및 정확성을 입증하였다.

MongoDB에 대한 디지털 포렌식 조사 기법 연구 (Digital Forensic Investigation of MongoDB)

  • 윤종성;정두원;강철훈;이상진
    • 정보보호학회논문지
    • /
    • 제24권1호
    • /
    • pp.123-134
    • /
    • 2014
  • 최근 데이터의 대용량화로 인해 관계형 데이터베이스 관리 시스템(RDBMS)과 빅데이터 처리를 위한 NoSQL DBMS에 대한 수요가 꾸준히 늘고 있다. 관계형 DBMS에 대한 디지털 포렌식 조사 기법은 활발히 연구되어 왔으나 최근 사용이 급증하고 있는 NoSQL DBMS에 대한 포렌식 조사 기법에 대한 연구는 거의 없는 실정이다. 본 논문에서는 NoSQL DBMS 중 가장 많이 사용되고 있는 MongoDB에 대한 디지털 포렌식 조사 절차와 기법을 제안한다.

데이터 관리를 위한 RDBMS와 NoSQL간의 데이터 매핑 관리 모델 (Data mapping management model between RDBMS and NoSQL for data management)

  • 정하나;김재웅;박구락;이윤열
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.89-90
    • /
    • 2021
  • 최근 증가하고 있는 대용량, 비정형 데이터의 처리를 위해 NoSQL의 사용이 증가하고 있다. 하지만 기존의 소프트웨어들은 대부분 RDBMS로 구성되어있고, 저용량 데이터의 경우 RDBMS를 사용하여 관리하는 경우가 많다. 때문에 기존 RDBMS를 사용한 소프트웨어를 대용량 처리에 유리하도록 NoSQL 기반으로 마이그레이션하여 새로운 버전을 개발하고, 각각의 이점을 효율적으로 사용하기 위해 RDBMS와 NoSQL의 혼용하는 사례가 증가하고있다. 본 논문에서는 RDBMS와 NoSQL간의 데이터 매핑 관리 모델을 제안하여 소프트웨어 개발자 또는 데이터 관리자의 효율적 데이터 관리에 도움을 준다.

  • PDF

오픈 소스 RDBMS 동향 분석 (Trend Analysis of Open Source RDBMS)

  • 정성재;배유미;박정수;성경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.631-634
    • /
    • 2014
  • 웹과 클라우드 컴퓨팅 환경 구축시에 필수적으로 사용되는 것이 데이터베이스 시스템이다. 이러한 데이터베이스 시스템에는 오라클과 MS-SQL 등과 같은 상용 프로그램도 있지만, 상용 프로그램에 필적할 성능을 가진 무료 프로그램도 다수 존재한다. 특히, PostgreSQL, MySQL, MariaDB 등은 비용도 들지 않지만, 소스도 공개되어 있어서 다양한 환경에 적용할 수 있다. 본 논문에서는 소스가 공개된 관계형 데이터베이스 관리 시스템의 동향에 대해 알아본다.

  • PDF

MySQL과 Redis의 데이터 처리 성능 비교 평가 (Comparative Evaluation of Data Processing Performance between MySQL and Redis)

  • 방혁;김서현;전상훈
    • 인터넷정보학회논문지
    • /
    • 제25권3호
    • /
    • pp.35-41
    • /
    • 2024
  • 최근 디지털 변화와 코로나19의 영향으로 온라인 활동이 급증함에 따라 대규모 데이터 처리와 유지보수의 중요성이 점점 커지고 있다. 이 연구는 데이터 저장 및 관리에 널리 사용되는 두 주요 데이터베이스 유형인 관계형 데이터베이스(RDBMS)와 비관계형 데이터베이스(NoSQL)의 성능을 비교 분석한다. 구체적으로, RDBMS의 대표 예인 MySQL과 NoSQL의 대표 예인 Redis를 사용하여 데이터 삽입, 조회, 삭제 기능의 수행 시간을 측정하고 평가했다. 실험 결과, Redis는 MySQL에 비해 데이터 삽입에서 약 5.84배, 조회에서는 약 6.61배, 삭제에서는 약 12.33배 빠른 성능을 보였다. 이 결과는 Redis가 특히 대규모 데이터 처리와 유지보수가 필요한 환경에서 뛰어난 성능을 제공함을 보여준다. 이에 따라 기업 및 온라인 서비스 제공자들은 Redis와 같은 NoSQL 데이터베이스를 선택함으로써 보다 효율적인 데이터 관리 솔루션을 확보할 수 있을 것이다. 본 연구가 데이터베이스 선택 시 데이터 처리 성능을 고려하는 데 중요한 참고 자료로 활용되기를 기대한다.

기상 데이터를 활용한 CQRS 패턴의 조회 모델 구현 (Implementation of query model of CQRS pattern using weather data)

  • 서보민;전철호;전현식;안세윤;박현주
    • 한국정보통신학회논문지
    • /
    • 제23권6호
    • /
    • pp.645-651
    • /
    • 2019
  • 대용량 데이터가 쏟아져 나오고 있는 지금, 대용량 데이터의 처리를 위해 데이터 처리 특성상 쓰기 작업보다 읽기작업이 많아 소프트웨어 아키텍처나 데이터 저장 패턴에 많은 변화가 가해지고 있다. 이에 따라 본 논문에서는 명령(Command)과 쿼리(Query)의 책임을 분리하는 CQRS(Command Query Responsibility Segregation) 패턴의 쿼리 모델을 사용해 사용자의 요구사항에 효율적인 대용량 데이터 조회 시스템을 구현한다. 본 논문의 대용량 데이터는 기상청 Open API의 2018년 온도, 습도, 강수 데이터를 활용하여 약 23억 건의 데이터를 RDBMS(PostgreSQL)와 NoSQL(MongoDB)에 알맞게 저장한다. 또한 구현한 웹 서버 (Web Server) 입장에서의 CQRS패턴을 적용한 시스템과 CQRS 패턴을 적용하지 않은 시스템의 성능, 각 데이터베이스의 저장구조 성능, 데이터 처리 특징에 맞는 성능을 비교 및 분석한다.

HBase에 대한 디지털 포렌식 조사 기법 연구 (Digital Forensic Investigation of HBase)

  • 박아란;정두원;이상진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제6권2호
    • /
    • pp.95-104
    • /
    • 2017
  • 최근 스마트 기기의 발전과 소셜 네트워크 서비스(SNS)의 대중화로 기존 관계형 데이터베이스(RDBMS)에서는 처리하기 어려운 데이터들이 증가하고 있다. 이러한 대용량의 비정형 데이터를 실시간으로 처리하기 위한 대안으로 비관계형 데이터베이스(NoSQL DBMS)가 각광 받고 있다. 데이터베이스 디지털 포렌식 조사 기법은 대부분 관계형 데이터베이스를 대상으로 연구되어왔으나, 최근 NoSQL DBMS를 도입하는 기업이 증가하면서 NoSQL DBMS에 대한 디지털 포렌식 기법의 수요도 증가하고 있다. NoSQL DBMS는 정규화할 스키마가 존재하지 않고, 데이터베이스 종류나 운영환경에 따라 저장방식이 상이하기 때문에 디지털 포렌식 조사 시 이를 고려한 새로운 기법들이 필요하다. NoSQL DBMS 중 문서형 데이터베이스에 대한 연구는 진행되어 왔지만, 이를 다른 종류의 NoSQL DBMS에 그대로 적용하기엔 한계가 있다. 이에 본 논문에서는 NoSQL DBMS 중 컬럼형 데이터베이스인 HBase의 구동 방식과 데이터 모델을 소개하고, 운영환경 파악과 아티팩트 수집 및 분석, 삭제된 데이터의 복구 방안에 대해 제안하여 이를 바탕으로 HBase에 대한 디지털 포렌식 조사 기법에 대해 연구하였다. 또한 실험 시나리오를 통해 제안된 HBase에 대한 디지털 포렌식 조사 기법을 검증한다.