• 제목/요약/키워드: Redis

검색결과 19건 처리시간 0.022초

Redis 데이터베이스에 대한 디지털 포렌식 조사 기법 연구 (Digital Forensics Investigation of Redis Database)

  • 최재문;정두원;윤종성;이상진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권5호
    • /
    • pp.117-126
    • /
    • 2016
  • 최근 빅 데이터나 소셜 네트워크 서비스의 활용도가 증가하면서 기존 관계형 데이터베이스의 한계를 극복한 NoSQL 데이터베이스의 수요가 꾸준히 증가하고 있다. 디지털 포렌식 관점에서 관계형 데이터베이스의 디지털 포렌식 조사 기법은 꾸준히 연구되어 왔으나 NoSQL 데이터베이스의 디지털 포렌식 조사 기법에 대한 연구는 거의 없는 실정이다. 본 논문에서는 메모리 기반의 Key-Value Store NoSQL 데이터베이스인 Redis를 소개하고 디지털 포렌식 관점에서 살펴보아야 할 아티팩트의 수집과 분석, 삭제된 데이터 복구 기법을 제안한다. 또한 제안된 데이터 복구 기법을 도구로 구현하여 복구 기법을 검증한다.

REDIS를 활용한 학급경영 웹 애플리케이션 프레임워크의 설계 (Design of Web Application Framework Using REDIS for Class Management)

  • 박준석;전석주
    • 정보교육학회논문지
    • /
    • 제18권3호
    • /
    • pp.381-390
    • /
    • 2014
  • 전통적인 학급경영시스템은 교사의 독단적인 의사에 의해 운영되는 경우가 일반적이다. 그러나 오늘날에는 자질을 갖춘 민주시민을 양성하기 위해 학생과 교사 모두 함께 자치 규범을 만들어 스스로 학급을 운영하도록 요구하고 있다. 그래서 기존의 학급 경영시스템은 이러한 다양성을 가진 오늘날의 학급에 더 이상 적합하지 않다. 본 연구에서는 REDIS를 활용한 학급경영 웹 어플리케이션 프레임워크를 설계한다. REDIS는 일종의 다양한 키 값을 저장하는 데이터 저장소인데 보통 공유 메모리를 가진 웹 어플리케이션을 개발하기 위한 솔루션을 제공한다. 개발될 웹 어플리케이션 프레임워크는 사용의 편의성과 접근성을 최대화하도록 설계되어진다. 이러한 학급경영시스템은 프레임워크에서 기본적으로 제공되는 다양한 템플릿 함수들을 사용하여 효과적으로 시스템의 확장성이 향상될 수 있다.

Redis 파라미터 분류 및 단계적 베이지안 최적화를 통한 파라미터 튜닝 연구 (A Study on Parameter Tuning for Redis via Parameter Classification and Phased Bayesian Optimization)

  • 조성운;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.476-479
    • /
    • 2021
  • DBMS 파라미터 튜닝이란 데이터베이스에서 제공하는 다양한 파라미터의 값을 조율하여, 최적의 성능을 도출하는 과정이다. 데이터베이스 종류에 따라 파라미터 개수가 수십 개에서 수백 개로 다양하며, 각 기능이 모두 다르기 때문에 최적의 조합을 찾는 것은 쉽지 않다. 선행 연구에서는 BO 기법을 사용하여 적절한 파라미터 값을 추출했지만, 파라미터 개수에 비례하여 차원이 커지는 문제가 발생한다. 본 논문에서는 통계적으로 파라미터를 분류하여 탐색 공간을 줄인 다음 단계적으로 BO 를 수행하는 PBO 방식을 제안한다. 파라미터 값을 랜덤하게 할당하여 벤치마킹한 결과값을 군집화한 후, 각 군집별로 파라미터와의 연관성을 분석해 높은 상관관계를 가진 파라미터를 매칭시켜 분류한다. 제안하는 방법론을 검증하기 위하여 8 가지 회귀 모델과의 비교 실험을 통해 제안한 방법론의 우수성을 검증하였다.

Redis를 활용한 Web Service 성능 향상 (Web Service Performance Improvement with the Redis)

  • 김철호;박경원;최용락
    • 한국정보통신학회논문지
    • /
    • 제19권9호
    • /
    • pp.2064-2072
    • /
    • 2015
  • 대부분의 Web Service는 성능 개선을 위해 사용자 접속 로그를 생성하여 관리한다. 생성된 접속 로그를 통해 트래픽이 많이 발생하는 시간대와 어떤 Resource가 많이 사용되는지 확인할 수 있으며 로그 분석을 통해 Web Service의 성능 측정 및 개선하는데 이용된다. 하지만, 많은 공공부문 Web Service와 같이 일정 기간 동안에 접속량이 증가할 때, 처리 할 사용자 접속 로그 수 증가로 인해 Web Service의 성능이 저하된다. 이를 해결하기 위해, 시스템의 성능을 개선하거나 튜닝을 필요로 하지만 많은 비용이 발생하게 되며 일정한 시간이 지나면, 사용자의 접속이 줄어들게 되어 더 많은 비용이 발생한다. 본 논문에서는 사용자 접속 로그 처리의 성능을 개선을 통한 Web Service의 성능개선을 제안한다. 또한, 최근 대용량 데이터를 처리하기 위하여 많이 사용되고 있는 Redis를 활용하여 NoSQL을 일부 적용한 방법을 제안한다.

Task failure resilience technique for improving the performance of MapReduce in Hadoop

  • Kavitha, C;Anita, X
    • ETRI Journal
    • /
    • 제42권5호
    • /
    • pp.748-760
    • /
    • 2020
  • MapReduce is a framework that can process huge datasets in parallel and distributed computing environments. However, a single machine failure during the runtime of MapReduce tasks can increase completion time by 50%. MapReduce handles task failures by restarting the failed task and re-computing all input data from scratch, regardless of how much data had already been processed. To solve this issue, we need the computed key-value pairs to persist in a storage system to avoid re-computing them during the restarting process. In this paper, the task failure resilience (TFR) technique is proposed, which allows the execution of a failed task to continue from the point it was interrupted without having to redo all the work. Amazon ElastiCache for Redis is used as a non-volatile cache for the key-value pairs. We measured the performance of TFR by running different Hadoop benchmarking suites. TFR was implemented using the Hadoop software framework, and the experimental results showed significant performance improvements when compared with the performance of the default Hadoop implementation.

인피니밴드 기반 고성능 클러스터를 위한 효율적인 데이터 선반입 기법 (Efficient Data Pre-fetching Scheme for InfiniBand based High Performance Clusters)

  • 김봉재;정진만;민홍;허준영;정혜동
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.293-298
    • /
    • 2017
  • 최근 고성능 네트워크 기술을 기반으로 다수의 컴퓨터를 활용하여 클러스터를 구축하고 고성능 컴퓨팅 환경을 제공하기 위한 연구가 활발하게 이루어지고 있다. 이와 같은 고성능 클러스터 환경에서 각 컴퓨팅 노드의 데이터 처리 성능을 향상시키기 위하여 Redis, Memcached와 같은 인-메모리 기반 키-값 데이터 저장소를 활용하고 있다. 이를 통해 인-메모리 기반으로 데이터를 분산 저장하고 각 컴퓨팅 노드에서 필요한 데이터를 고속으로 접근할 수 있다. 인피니밴드는 이와 같은 고성능 클러스터에서 각 컴퓨팅 노드를 연결하기 위한 사실상의 표준 기술이다. 본 논문에서는 키-값 데이터 저장소 기반 고성능 클러스터 컴퓨팅 시스템의 데이터 처리 성능을 향상시키기 위해 인피니밴드 네트워크의 데이터 송수신 지연 특성을 활용한 데이터 선반입 기법을 제안한다. 시뮬레이션을 통해 제안 기법이 기존 기법보다 데이터 송수신 소요시간을 최대 약 28% 줄여 컴퓨팅 성능을 향상 시킬 수 있음을 보인다.

다양한 NoSQL 데이터베이스의 성능 평가 연구 (A Study about Performance Evaluation of Various NoSQL Databases)

  • 박홍진
    • 한국정보전자통신기술학회논문지
    • /
    • 제9권3호
    • /
    • pp.298-305
    • /
    • 2016
  • 대용량의 데이터를 처리하기 위해서는 기존 관계형 데이터베이스인 MySQL, PostgreSQL, Oracle등 보다 NoSQL 데이터베이스가 우수함을 나타내고 있다. 본 논문은 일반적으로 널리 사용되고 있는 NoSQL 데이터베이스 중 HBase, Cassandra, MongoDB, Redis의 성능을 비교 평가한다. 본 논문에서 대용량의 데이터를 분산 처리하기 위해 서버 12대를 스위칭 허브를 통해 연결하였으며 운영체제로 우분투를 설치하였다. 벤치마킹 도구로는 YCSB를 이용하였으며, read, update를 각각 50%, 50%, 두 번째로는 95%, 5%, 마지막으로는 100%, 0%로 3가지로 변경하였고, 200,000번에서 1,200,000 까지 명령어를 수행하여 비교 평가하였다. 초당 트랜젝션 처리는 Cassandra가 가장 우수하였고, 단위 시간당 프로세스 수행 처리 개수는 MongoDB가 우수함을 보였다.

Design of Remote Management System for Smart Factory

  • Hwang, Heejoung
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제12권4호
    • /
    • pp.109-121
    • /
    • 2020
  • As a decrease in labor became a serious issue in the manufacturing industry, smart factory technology, which combines IT and the manufacturing business, began to attract attention as a solution. In this study, we have designed and implemented a real-time remote management system for smart factories, which is connected to an IoT sensor and gateway, for plastic manufacturing plants. By implementing the REST API in which an IoT sensor and smart gateway can communicate, the system enabled the data measured from the IoT sensor and equipment status data to the real-time monitoring system through the gateway. Also, a web-based management dashboard enabled remote monitoring and control of the equipment and raw material processing status. A comparative analysis experiment was conducted on the suggested system for the difference in processing speed based on equipment and measurement data number change. The experiment confirmed that saving equipment measurement data using cache mechanisim offered faster processing speed. Through the result our works can provide the basic framework to factory which need implement remote management system.

Applications of Open-source NoSQL Database Systems for Astronomical Spatial and Temporal Data

  • Shin, Min-Su
    • 천문학회보
    • /
    • 제42권2호
    • /
    • pp.88.3-89
    • /
    • 2017
  • We present our experiences with open-source NoSQL database systems in analyzing spatial and temporal astronomical data. We conduct experiments of using Redis in-memory NoSQL database system by modifying and exploiting its support of geohash for astronmical spatial data. Our experiment focuses on performance, cost, difficulty, and scalability of the database system. We also test OpenTSDB as a possible NoSQL database system to process astronomical time-series data. Our experiments include ingesting, indexing, and querying millions or billions of astronomical time-series measurements. We choose our KMTNet data and the public VVV (VISTA Variables in the Via Lactea) catalogs as test data. We discuss issues in using these NoSQL database systems in astronomy.

  • PDF

Transient Alert Message Processing System for the LSST era

  • Shin, Min-Su
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.71.2-71.2
    • /
    • 2019
  • We have developed and tested a prototype system to process transient alert messages from the currently working facilities such as Gaia and GCN notices. Our experiments with the prototype focus on developing a platform that can be used in the LSST era with about 10 million alerts per night and helping Korean community members with the automated processing environment to provide auxiliary information for every alert message. The system consists of a message broker implemented by Redis and multiple message subscribers specialized for specific scientific interests. The current implementation of the entire system allows new Korean members to adopt their own processing chains receiving the messages from our local broker. We welcome experimental ideas and opinions from the Korean community about the current message processing system. We plan to test the current system with the ZTF alerts in the near future.

  • PDF