• 제목/요약/키워드: 실시간 데이터

검색결과 6,140건 처리시간 0.051초

Hadoop과 Spark를 이용한 실시간 Hybrid IDS 로그 분석 시스템에 대한 설계 (Design of Hybrid IDS(Intrusion Detection System) Log Analysis System based on Hadoop and Spark)

  • 유지훈;윤호상;신동일;신동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.217-219
    • /
    • 2017
  • 나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

State Thread 기반 실시간 데이터 스트림 관리 시스템 (Real-Time Data Stream Management System Using State Thread)

  • 박원빈;송창근;고영웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.177-180
    • /
    • 2010
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터 스트림을 실시간으로 처리하고 응용 서비스에서 요구하는 결과를 획득하여 전달해야 한다. 이와 같은 요구사항을 만족하기 위해 데이터 스트림 관리 시스템(DSMS)이 제안되었으며 다양한 연구가 시도되고 있다. 본 논문에서는 대량의 이벤트가 입력되는 환경에서 우선순위가 높은 질의를 실시간으로 처리하기 위한 DSMS를 제안하고 있다. 본 연구는 스탠포드의 STREAM 프로젝트를 활용하여 설계 및 구현하였으며, 각 쿼리를 State Thread로 동작시키는 방법을 이용하였다. 쓰레드 라이브러리의 스케줄러 부분을 실시간 스케줄러로 개선하는 작업을 진행하였으며, 실험을 통하여 쓰레드 스케줄러가 질의에 대해서 실시간으로 스케줄링을 할 수 있음을 보이고 있다.

컨테이너 기반 클라우드 환경에서 실시간 GPU 작업을 지원하기 위한 데드라인 정보 관리 기법 (Deadline information management techniques to support real-time GPU tasks in container-based cloud environments)

  • 강지훈;길준민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.56-59
    • /
    • 2022
  • 최근 인터넷 기반 서비스에서 사용되는 데이터가 개인화 및 맞춤화가 됨에 따라 사용자의 상황이나 요구사항에 따라 실시간 AI 추론 및 데이터 분석과 같이 데이터를 서비스 요청 즉시 처리해야 하는 실시간 서비스에 대한 요구사항이 증가하고 있다. 하지만, 기존 컨테이너 관리 시스템은 컨테이너의 데드라인 할당 및 관리 기능이 제공되지 않으며, 컨테이너 관리 시스템에서 GPU(Graphic Processing Unit) 작업의 실행과 같은 작업 상태를 알 수 없다. 본 논문에서는 컨테이너에서 실행되는 GPU 작업의 실시간 처리를 지원하기 위해 컨테이너에서 실행되는 GPU 작업의 시작 및 종료 상태의 추적과 데드라인 할당 기법을 위한 실시간 처리 정보 관리 기법을 제안한다.

CORBA 기반 화상회의 시스템의 설계 및 구현 (Design and Implementation of a CORBA-based Video Conferencing System)

  • 김만수;정목동
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 춘계학술발표논문집
    • /
    • pp.351-357
    • /
    • 2001
  • 분산 컴퓨팅 기술의 발전과 네트워크의 고성능화는 대용량의 멀티미디어 데이터를 송.수신하여 처리할 수 있게 되었다. 그러나 실시간 및 이기종간의 데이터 전송에는 네트워크 전송지연과 프로그램 구현의 어려움 등과 같이 극복해야 하는 문제점들이 많이 있다. 이 문제들을 해결하기 위하여 본 논문에서는 객체지향형 분산처리 환경 하에서 OMG가 제시한 멀티미디어 서비스 설계를 확장하는 방안을 제시한다. 이를 위해서 CORBA와 JMF lava Media API 기반으로 Smart Explorer라고 불리는 효율적인 실시간 오디오/비디오 멀티미디어 소프트웨어 기반 구조를 제시하고 있다. 제어 데이터와 미디어 데이터의 전송 경로를 분리하고 효율적인 실시간 오디오/비디오 전송을 위해서 RTP/RTCP 프로토콜을 사용한다. 또한 제안하는 소프트웨어 기반 구조를 이용하여 오디오/비디오 스트림 시스템을 분산 객체 환경에 맞게 구현한 결과도 제시한다. 향후 이 시스템은 방송, 원격 교육, 화상회의 등 실시간 통신 소프트웨어에 응용될 수 있을 것으로 기대된다.

  • PDF

앱 프로파일 기반 센서 레지스트리 시스템에 대한 실시간 환경에서의 실험 및 평가 (Experiment and Evaluation of the App Profile-based Sensor Registry System in a Real-time Environment)

  • 최호진;정동원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.857-860
    • /
    • 2016
  • 이 논문에서는 모바일 앱 프로파일 기반의 센서 레지스트리 시스템을 실시간 환경에서 실험하고 평가한다. 이기종 사물인터넷 환경에서 센서 레지스트리 시스템은 모바일 기기에 센서 메타데이터를 제공하여 센서 데이터 처리의 즉시성을 제공한다. 하지만 불필요한 센서 데이터까지 처리하여 성능 측면에서 개선사항이 요구된다. 이를 개선하기 위해 앱 프로파일을 기반으로 한 센서 필터링 기법을 제안한다. 유효한 센서 식별을 위한 센서의 정보를 프로파일 형태로 모바일 기기에 저장 후 사용하여 불필요한 센서 데이터를 필터링함으로써 전체적인 처리 속도가 개선된다. 기존 연구는 시뮬레이션 평가를 통하여 처리 속도의 향상성을 확인한다. 하지만 실시간 환경을 통한 다양한 상황의 실험이 부족하여, 이 논문에서는 기존 센서 레지스트리 시스템과 앱 프로파일 기반의 센서 레지스트리 시스템을 실시간 환경에 맞춰 구축하고 실험 및 평가한다.

군용 항공 장비의 임베디드 기반 실시간 DBMS 사용을 위한 미들웨어 (A Middleware for Using Embedded-Based Real-time DBMS on the Military Aircraft)

  • 양종원;전호석;이종순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
    • /
    • pp.135-139
    • /
    • 2007
  • 군용 항공 장비는 정보의 수집 분석, 식별, 외부 상황에의 대처와 같이 다량의 데이터 혹은 복잡한 데이터 구조를 필요로 하는 작업을 수행하는 경우가 않으며 네트워크 중심전 (NCW)의 등장으로 데이터 관리의 중요성이 점차 높아지는 추세이다. 군용 항공 장비에서는 일반적인 데이터베이스 시스템의 사용을 제약하는 제약 사항이 존재하며 선행 연구에서 이러한 문제점을 완화시키는 임베디드 기반 실시간 DBMS에 대한 리덜 및 임베디드 기반 실시간 DBMS를 이용한 간단한 아키텍처 및 외부 장비와의 연동 방안을 제시하였다. 본 논문에서는 군용 항공 장비가 임베디드 기반 실시간 DBMS의 효율적인 이용을 가능하게 하는 모듈들을 포함하는 미들웨어의 구조와 외부 장비 및 사용자 작성 응용 프로그램과의 연동, 미들웨어 내부에서의 데이터의 흐름 방식을 제안한다.

  • PDF

실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템 (Real-time construction machine data processing and fault prediction system)

  • 김찬협;안재훈;한재승;김영환
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.364-366
    • /
    • 2018
  • 본 논문에서는 Digital Twin 기반 건설기계 지능화를 위한 실시간 건설기계 데이터 처리 및 이상 유무 예측 시스템을 제안한다. 이 시스템은 빅 데이터 분산처리 기반으로 실시간 스트리밍 처리가 가능하며, CEP(Complex Event Processing)의 Sliding Window Operator를 활용한 Rule 적용을 통해 건설기계 데이터 처리 및 분석한다. 분석된 결과로 건설기계의 실시간 이상 유무를 판단할 수 있으며, 결과를 기반으로 Deep Learning 기술을 적용하고 학습된 모델을 통해 건설기계의 이상 유무를 예측하여 원활한 부품관리를 할 수 있다.

  • PDF

실시간 시뮬레이션을 위한 검색 기법들의 속도 연구 (A Study on Real-time Speed of Searching Algorithms)

  • 윤석준;강현주
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 1999년도 추계학술대회 논문집
    • /
    • pp.254-262
    • /
    • 1999
  • 실시간 시뮬레이션에서 주어지는 다양한 종류의 불연속적인 파라미터 값을 가지는 데이터 테이블에서 실시간의 제약 하에서의 검색을 수행하기 위해서는 최적의 기법이 요구된다. 실시간의 제약 하에서 최적 기법의 기준이 되는 것은 보통의 알고리즘들과는 달리 평균 속도가 아니라 worst case에서의 속도가 된다. 검색 알고리즘 들은 iteration을 거치게 되므로 총 탐색에 걸리는 시간은 iteration의 수(logical speed)와 1 probe를 수행하는 데 걸리는 시간(실제 수행속도)의 곱으로 정의된다. 본 연구에서 총 탐색에 걸리는 시간을 이론적으로 계산한 검색 속도 기존의 수행한 수치비교시험의 결과와 대체로 일치하였고, 이분 검색법이 iteration의 수와 실제 수행시간 모두에 있어서 가장 우수하다. 한편, 검색하고자 하는 파라미터 값의 dynamics를 이용하여 주어진 데이터 테이블 내의 검색 영역을 축소시키는 dynamic-window 개념을 도입하여 검색 알고리즘의 속도를 향상시킬 수 있었다. 이 개념의 도입은 데이터 테이블의 형태에 민감한 보간 검색법(interpolation method)과 그 응용 기법들에 대해 탁월한 효과를 나타내었다. 결론적으로 일반적 데이터 테이블에 있어서는 이분 검색법이 logical speed와 실제 수행속도가 우수하고, dynamic-window 개념을 도입한 보간 검색법과 그 변형들은 logical speed가 탁월하게 향상된다.

  • PDF

TMO기반의 실시간 다중 상대 원격 모니터링 시스템의 구현 (Implementation of TMO-based Real-time Multi-target Tele-monitoring System)

  • 정학;정갑주
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
    • /
    • pp.422-426
    • /
    • 2007
  • 오늘날에 있어서는 e-Science는 점차 현실 생활에 침투되고 있는 추세를 보이며 많은 기기들의 발전과 더불어 온라인 원격 제어, 무선통신 등이 보다 쉽게, 많은 영역에서 지원되고 있다. 과학영역에서의 원격 실험은 세계적인 이슈로 부상되면서 여기에 관련된 각종의 구상과 기술들이 차츰 구축되어 나가고 있는 현실이다. 본 논문은 이런 시각에서 출발하여 원격 실험의 중요한 부분인 다중상대 원격 모니터링 시스템의 구현에 포커스를 두고 있다. TMO 기반의 실시간 다중상대 원격 모니터링 시스템은 지역적으로 떨어져있는 여러 개의 관찰 대상을 실시간 미들웨어를 사용하여 보다 정확하게, 다각도, 고화질로 보여주는데 목표를 두고 있으며 보안적인 차원에서 환경과 접목을 할 예정이다. 본 논문에서는 로컬에 있는 카메라와 네트워크로 연결되어 있는 데이터 수집자(Data Collector)의 구현을 바탕으로 기술 되어 있다. 데이터 수집자는 카메라/센서에서 발생되는 RAW 데이터를 직접 받아서 동기화 해주고 실시간으로 보여주는 기능을 하며 특정된 파일 포맷으로 데이터를 저장해주는 역할을 한다.

  • PDF

BodyNet 에서의 스트림 데이터 실시간 모니터링 기법의 연구 (Research on Real-time Stream Data Monitoring for BodyNet)

  • 이슬아;최옥주;이민수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.126-129
    • /
    • 2010
  • WBAN(Wireless Body Area Network)기반의 의료 응용으로 실시간 모니터링 시스템을 구현하였다. 특히 산소포화도 생체 센서들로부터 연속적으로 전송되는 스트림 데이터에 대해 다양한 조건을 포함하는 질의들이 실행 되는데 이러한 실시간 모니터링 질의들을 효율적으로 식별하기 위한 질의 인덱스를 설계하였다. 매번 모든 질의들을 실행하기에는 시간이 많이 걸리기 때문에 Interval Skip List 를 이용하여 빠르고 효율적으로 식별하도록 설계하였다. 이로써 위급한 상황의 환자의 건강에 문제가 생겼을 때 신속하게 대처할 수 있는 환경을 제공한다. 본 논문에서는 방대한 양의 스트림 데이터와 이 데이터를 실시간으로 감시할 수 있도록 Interval Skip List 를 스마트 메디컬 스페이스(m-MediNet)에 적용한 방법을 기술하고 있다.