• 제목/요약/키워드: 실시간 데이터 처리

검색결과 2,429건 처리시간 0.039초

Hadoop과 Spark를 이용한 실시간 Hybrid IDS 로그 분석 시스템에 대한 설계 (Design of Hybrid IDS(Intrusion Detection System) Log Analysis System based on Hadoop and Spark)

  • 유지훈;윤호상;신동일;신동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.217-219
    • /
    • 2017
  • 나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

AJAX를 이용한 실시간 예약 시스템 설계 (A Design of Realtime Reservation System Using AJAX)

  • 전국현;문석재;엄영현;국윤규;정계동;최영근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (D)
    • /
    • pp.738-741
    • /
    • 2006
  • 기존의 웹 애플리케이션 데이터 처리 기법으로는 동일 페이지에서 데이터의 Request와 Response를 동적으로 처리할 수 없다. 단위 워크플로우를 처리하기 위해서는 Request 페이지와 Response 페이지를 구분 처리하거나 페이지를 Refresh 해야 한다. 따라서, 사용자가 증가할수록 리소스 사용 비율 및 네트워크 대역폭이 급격하게 증가하게 된다. 이러한 이유로 복잡한 대화형 웹 애플리케이션 개발 및 실시간 정보교환시스템 구축이 어렵다. 본 논문에서는 비동기 통신 방법인 AJAX(Asynchronous JavaScript And XML)기반 기술을 이용하여 기존 예약 시스템의 문제를 개선한 실시간 예약 시스템을 구축하고, 직관적이며 데이터 변동 상태를 실시간으로 제공하는 사용자 인터페이스 구축 방법을 제안한다.

  • PDF

PAVOs 활용을 위한 유속데이터 전처리 기법 개발 (Development of Water Velocity Data Preprocessing Method for PAVOs)

  • 임소연;유영무;이신재;이연길
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.85-85
    • /
    • 2023
  • 유량 측정을 위해 도섭법, 횡측선법 등의 인력에 의한 방법이 적용되고 있으나, 이는 야간 및 휴일 측정, 인력 부족 등 여러 제약으로 인해 고수위 홍수를 측정하는 데에 한계가 있다. 이를 해결하기 위해 시공간적 제약이 없는 도플러 방식 초음파유속계(Acousitc Doppler Velocity Meter, ADVM)와 자동유속관측시스템(Portable Automatic Velocity Observation System; PAVOs)이 제안되었다. 이 방법들은 교량에 설치된 장치를 통해 실시간으로 유속이 계측되어 시공간적 제약이 없으며 홍수 관리에 유용하게 사용될 수 있다. 실시간으로 계측된 유속 데이터는 오·결측 값이 발생하며 ADVM의 경우 수위-유량관계식을 활용하는 등 전처리 방법이 활용되고 있지만 전자파표면유속계를 활용한 PAVOs 데이터의 전처리 방법에 대한 연구는 부족하다. 따라서 본 연구에서는 PAVOs에서 실시간으로 계측된 유속 데이터의 전 처리 과정(Pre-processing)을 개발하였다. PAVOs를 통해 측정된 데이터는 5분 단위로 10개의 유속이 한번에 측정되며 비정상성(Non-stationary)인 특징을 가진다. 이 데이터의 전처리 과정으로 오·결측값에 대한 처리 및 보간법 적용 이후 10개 값 중 실제 유속을 판단하고 잡음제거(Denoising)를 수행하였다. 이를 강원도 홍천강에 위치한 홍천교에서 계측된 유속 데이터에 적용하였다. 그 결과 데이터의 상승부와 하강부에서 일정한 경향성을 파악할 수 있다. 이 데이터를 통해 산정한 유량과 실측 기반의 평균유속과 관계를 통해 계산한 유량을 비교해 보았을 때 낮은 편차율을 가지는 것을 확인하였다. 전 처리 된 실시간 유속 데이터를 활용한다면 최고수위가 발생하였을 경우 홍수량을 산정할 수 있을 것이다. 또한, 강우 또는 하천 공사에 의해 변동하는 수위-유량관계곡선식을 실시간으로 개발할 수 있을 것이며 이는 효과적인 홍수관리에 큰 역할을 할 수 있을 것이다.

  • PDF

MapReduce 환경에서의 실시간 LBS를 위한 이동궤적 데이터 색인 및 검색 시스템 설계 (Design of Trajectory Data Indexing and Query Processing for Real-Time LBS in MapReduce Environments)

  • 정재화
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권3호
    • /
    • pp.313-321
    • /
    • 2013
  • 최근 모바일 스마트 기기의 보급으로 스마트 기기에 탑재된 다양한 센서에서 수집되는 대량이 데이터를 분석하여 처리하는 빅 데이터의 시대는 위치기반 서비스(LBSs: Location-Based Services)에 까지 확대대고 있다. 이동궤적에 대한 데이터도 초 대용량으로 증가하고 있다. 초 대용량 이동궤적 데이터 처리를 위해서는 클라우드 컴퓨팅 기술 및 맵리듀스와 같은 병행처리 플랫폼에 대한 연구가 필요하다. 최근 대용량 데이터의 병렬처리를 위해 맵리듀스 기반의 연구는 진행되고 있으나, 일괄처리 및 키-값 데이터 구조에 적합한 맵리듀스는 실시간 LBS에 적용에 적합하지 않다. 따라서 본 연구는 맵리듀스 특성을 면밀히 분석하고 실시간적 서비스에 적합하도록 모듈 단위로 효율적인 색인 기법 및 검색에 대한 시스템 설계를 제시한다.

철도 교량에서의 위험 요소 분류와 실시간 스트림 데이터 처리 시스템 구현 (Implementation of Real-time Stream Data Processing System and Classification of Risk Factor on Railway Bridges)

  • 유송수;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.123-126
    • /
    • 2022
  • 본 논문에서는 철도 교량 운행 상황을 가정하는 모형 철도를 사용하여 실제 철도 교량에서 발생할 수 있는 소음, 진동등 위험 요소로 분류될 수 있는 데이터들을 수집하고 수집된 데이터들을 활용하여 실시간으로 위험 요소로부터 발생할 수 있는 위험 상황들을 분류하고 적절한 조치들을 상황에 맞게 취할 수 있도록 한다.

  • PDF

ECA 기반 센서 네트워크 실시간 모니터링 서비스 (Real-Time Sensor Monitoring Service based on ECA)

  • 김정이
    • 한국멀티미디어학회논문지
    • /
    • 제15권1호
    • /
    • pp.87-92
    • /
    • 2012
  • 무선 센서 네트워크는 실시간으로 객체에 대한 정보를 수집하기 위한 기술로 짧은 시간에 많은 양의 데이터가 지속적으로 발생되는 특성을 갖고 있다. 센서로부터 획득되는 많은 양의 데이터 스트림을 효과적으로 처리하기 위해서는 데이터 간의 관계를 정의하여 분석, 사용자가 주목할 만한 상황, 즉 센서 데이터들 중 이상 데이터가 포함되어 있는 것을 발견하는 것이 필수적이라 할 수 있다. 본 논문에서는 센서 데이터 스트림을 효과적으로 처리하기 위해 ECA 규칙을 사용하여 의미있는 데이터를 구성하고, 이를 통해 보다 실용적인 실시간 모니터링 시스템을 제안한다.

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리 (Real-Time IoT Big-data Processing for Stream Reasoning)

  • 윤창호;박종원;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.1-9
    • /
    • 2017
  • 스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

SIP 기반 음성 통신 환경에서의 실시간 모니터링 플랫폼 개발 (The Real-time Monitoring for SIP-based VoIP Network)

  • 우호진;이원석
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2009년도 춘계학술대회
    • /
    • pp.365-368
    • /
    • 2009
  • 고속 인터넷 망 구축과 멀티미디어 통신 수요의 증가에 따라 VoIP는 기존의 PSTN 망의 대체 혹은 확장 기술로서 지속적으로 검증되어 왔다. 음성 데이터 처리 규약들 중 SIP는 다른 규약에 비해 신호 처리 단계가 간단하기 때문에 이를 기반으로 RTP를 활용하여 음성 통신 시스템을 구축하는 사례가 늘어나고 있다. 그러나 RTP의 특성상 패킷을 처리할 때마다 복원 과정이 필요하며, 다중 세션으로 통신이 발생할 경우 전체 패킷들의 관리가 복잡해지므로 이들 간에 혼선 없이 데이터를 처리 및 유지할 수 있는 방법론이 요구된다. 본 논문에서는 SIP 기반의 IP 전화를 통해서 고객과 상담원 간의 통화 이벤트가 발생하는 일반 콜센터 환경에서 RTP 음성 데이터를 처리하는 다중 세션 어플리케이션의 구축 사례를 제시한다. 구현한 시스템은 IP 전화에서 발생하는 통화 내역을 통합 스위치 서버에서 포트 미러링하여 녹취 및 녹음 서버로 전송하며, 전송된 패킷 정보들의 세션이 유지되고 있는 동안 음성 데이터를 실시간으로 모니터링한다.

  • PDF

CEP를 위한 데이터 마이닝 기법 연구 (A Study of Data Mining Techniques for CEP)

  • 강동현;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1116-1117
    • /
    • 2012
  • 최근에 이슈가 되고 있는 빅 데이터 처리 방법중의 하나로 CEP가 있다. 그러나 CEP는 사전에 정의된 질의에 해당되는 이벤트만을 선별하여 패턴 매칭 등의 기능을 수행하므로, 새로이 발견되는 이벤트를 찾는데 제약이 있다. 또한 실시간으로 생산되는 빅 데이터에 기초한 다양한 패턴 탐사에 한계를 노출하고 있다. 이 논문에서는, CEP 환경에서 빅 데이터 사이에 존재하는 다양한 이벤트와 패턴 탐사를 위한 실시간 데이터 마이닝 기법을 제안한다. 제안 방법은 CEP 엔진을 위한 고급의 패턴 매칭을 개발하고, CEP를 위한 실시간 데이터 마이닝 기법을 개발한다. 마지막으로, 기존의 CQL을 확장하여 개발한다. 이라한 방법을 통하여 기존의 CEP의 기능적인 한계를 극복할 수 있다.

윈도우를 이용한 스트림 데이터의 실시간 모니터링 기법 (Real-time Stream Data Monitoring Using Windows)

  • ;최옥주;이민수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1231-1233
    • /
    • 2011
  • WBAN(Wireless Body Area Network)과 같은 스트림 데이터의 환경에서는 데이터가 아닌 질의들이 등록되어 있고 데이터들이 끊임없이 시스템에 도착한다. 때문에 도착한 데이터에 대해서 처리할 수 있는 질의만을 찾아 해당 질의들만을 수행하도록 해서 시스템의 질의 부담을 덜어주는 방법이 필요하다. 기존의 단순하고 단편적인 질의의 문제점을 해결하고자 본 연구에서는 Interval Skip List 자료 구조와 시간기반 윈도우를 이용하여 효율적인 실시간 모니터링 시스템을 구현하였다. 특히 산소포화도 생체 센서들로부터 연속적으로 전송되는 스트림 데이터에 대해 다양한 조건을 포함하는 질의들이 실행 되는데 이러한 실시간 모니터링 질의들을 효율적으로 식별하기 위한 질의 인덱스를 설계하였다.