• 제목/요약/키워드: RabbitMQ

검색결과 6건 처리시간 0.017초

SSD Storage Tester에서 메시징 시스템을 이용한 로그 처리 (Log processing using messaging system in SSD Storage Tester)

  • 남기안;권오영
    • 한국정보통신학회논문지
    • /
    • 제21권8호
    • /
    • pp.1531-1539
    • /
    • 2017
  • 기존의 SSD 스토리지 테스터는 TCP와 네트워크 파일 시스템을 이용하여 서버 - 클라이언트 간 1-N 구조로 로그를 처리하였다. 이러한 방식은 CPU 사용량 증가, 예외처리의 어려움 등의 문제가 발생한다. 이에 본 논문은 Kafka나 RabbitMQ 같은 오픈 소스 메시징 시스템을 이용하여 비동기 분산처리가 가능한 로그 처리 메시지 레이어를 구현하고 기존 로그 전송방식과 비교하였다. 로그 시뮬레이터(Simulator) 를 구현하여 전송 대역폭과 CPU 사용량을 비교하였다. 테스트 결과 기존 전송 방법과 비교하여 메시지 레이어를 이용한 전송이 대역폭에서 높은 성능을 보였으며 CPU 사용량의 경우 큰 차이를 보이지 않았다. 메시지 레이어를 이용할 경우 기존 방식보다 더 쉽게 구현 가능하며 성능 면에서도 더 높은 효율을 보였으므로 기존 방식보다 높은 효율을 보일 것으로 기대된다.

크롤링을 이용한 채용정보 SNS 시스템 (Recruitment information SNS system using crawling)

  • 허태성;박재현
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.467-468
    • /
    • 2021
  • 본 논문에서는 자료수집(데이터 크롤링)을 이용해 많은 채용정보를 쉽게 접근할 수 있도록 하는 시스템이다. 현재는 StackOverflow의 자료를 수집하고 데이터베이스에 자동으로 저장하도록 하였다. 수집해야 할 자료가 많아 Celery와 RabbitMQ를 사용하여 비동기 작업을 요청하여 즉시 응답을 받지 않아도 다른 일을 수행할 수 있다. 이렇게 수집한 자료들을 해당 사이트에 나열해줌으로 사용자들이 시간과 비용을 절감하여 효율적인 취업 준비를 할 수 있도록 하는 시스템을 설계 구현하였다.

  • PDF

효과적인 Embedded Tester Log 처리를 위한 Messaging System 분석 (Messaging System Analysis for Effective Embedded Tester Log Processing)

  • 남기안;권오영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.645-648
    • /
    • 2017
  • 기존의 Embedded Tester는 Log 처리를 위해 TCP와 공유 파일 시스템을 이용한 Server - Client간 1-N 구조로 처리 되었다. 이러한 방식은 구현 난이도에 따른 시간적 손실과 예외처리에 따른 Tester의 리소스 낭비가 발생한다. 이에 메시징 시스템을 이용하여 분산처리가 가능한 Log 처리 메시지 레이어를 구현하고 기존의 TCP, 공유 파일 시스템 전송방식과 비교하였다. 비교 결과 메시지 레이어를 이용한 전송이 TCP 보다 더 높은 전송 대역폭을 보였다. CPU 사용량에서 메시지 레이어가 TCP 보다 낮은 효율을 보였으나 큰 차이를 보이지 않았다. 이를 통해 메시지 레이어를 이용한 Log 처리가 더 높은 효율을 보임을 알 수 있었다.

  • PDF

On the Establishment of LSTM-based Predictive Maintenance Platform to Secure The Operational Reliability of ICT/Cold-Chain Unmanned Storage

  • Sunwoo Hwang;Youngmin Kim
    • International journal of advanced smart convergence
    • /
    • 제12권3호
    • /
    • pp.221-232
    • /
    • 2023
  • Recently, due to the expansion of the logistics industry, demand for logistics automation equipment is increasing. The modern logistics industry is a high-tech industry that combines various technologies. In general, as various technologies are grafted, the complexity of the system increases, and the occurrence rate of defects and failures also increases. As such, it is time for a predictive maintenance model specialized for logistics automation equipment. In this paper, in order to secure the operational reliability of the ICT/Cold-Chain Unmanned Storage, a predictive maintenance system was implemented based on the LSTM model. In this paper, a server for data management, such as collection and monitoring, and an analysis server that notifies the monitoring server through data-based failure and defect analysis are separately distinguished. The predictive maintenance platform presented in this paper works by collecting data and receiving data based on RabbitMQ, loading data in an InMemory method using Redis, and managing snapshot data DB in real time. The predictive maintenance platform can contribute to securing reliability by identifying potential failures and defects that may occur in the operation of the ICT/Cold-Chain Unmanned Storage in the future.

Preliminary design of control software for SDSS-V Local Volume Mapper Instrument

  • Kim, Changgon;Ji, Tae-geun;Ahn, Hojae;Yang, Mingyeong;Lee, Sumin;Kim, Taeeun;Pak, Soojong;Konidaris, Nicholas P.;Drory, Niv;Froning, Cynthia S.;Hebert, Anthony;Bilgi, Pavan;Blanc, Guillermo A.;Lanz, Alicia E.;Hull, Charles L;Kollmeier, Juna A.;Ramirez, Solange;Wachter, Stefanie;Kreckel, Kathryn;Pellegrini, Eric;Almeida, Andr'es;Case, Scott;Zhelem, Ross;Feger, Tobias;Lawrence, Jon;Lesser, Michael;Herbst, Tom;Sanchez-Gallego, Jose;Bershady, Matthew A;Chattopadhyay, Sabyasachi;Hauser, Andrew;Smith, Michael;Wolf, Marsha J;Yan, Renbin
    • 천문학회보
    • /
    • 제46권1호
    • /
    • pp.39.1-39.1
    • /
    • 2021
  • The Local Volume Mapper(LVM) project in the fifth iteration of the Sloan Digital Sky Survey (SDSS-V) will produce large integral-field spectroscopic survey data to understand the physical conditions of the interstellar medium in the Milky Way, the Magellanic Clouds, and other local-volume galaxies. We are developing the LVM Instrument control software. The architecture design of the software follows a hierarchical structure in which the high-level software packages interact with the low-level and mid-level software and hardware components. We adopt the spiral software development model in which the software evolves by iteration of sequential processes, i.e., software requirement analysis, design, code generation, and testing. This spiral model ensures that even after being commissioned, the software can be revised according to new operational requirements. We designed the software by using the Unified Modeling Language, which can visualize functional interactions in structure diagrams. We plan to use the SDSS software framework CLU for the interaction between components, based on the RabbitMQ that implemented the Advanced Message Queuing Protocol (AMQP).

  • PDF

Naive Bayes-LSTM 기반 예지정비 플랫폼 적용을 통한 화물 상차 시스템의 운영 안전성 및 신뢰성 확보 연구 (On the Parcel Loading System of Naive Bayes-LSTM Model Based Predictive Maintenance Platform for Operational Safety and Reliability)

  • 황선우;김진오;최준우;김영민
    • 대한안전경영과학회지
    • /
    • 제25권4호
    • /
    • pp.141-151
    • /
    • 2023
  • Recently, due to the expansion of the logistics industry, demand for logistics automation equipment is increasing. The modern logistics industry is a high-tech industry that combines various technologies. In general, as various technologies are grafted, the complexity of the system increases, and the occurrence rate of defects and failures also increases. As such, it is time for a predictive maintenance model specialized for logistics automation equipment. In this paper, in order to secure the operational safety and reliability of the parcel loading system, a predictive maintenance platform was implemented based on the Naive Bayes-LSTM(Long Short Term Memory) model. The predictive maintenance platform presented in this paper works by collecting data and receiving data based on a RabbitMQ, loading data in an InMemory method using a Redis, and managing snapshot DB in real time. Also, in this paper, as a verification of the Naive Bayes-LSTM predictive maintenance platform, the function of measuring the time for data collection/storage/processing and determining outliers/normal values was confirmed. The predictive maintenance platform can contribute to securing reliability and safety by identifying potential failures and defects that may occur in the operation of the parcel loading system in the future.