• 제목/요약/키워드: Log 분산처리

검색결과 41건 처리시간 0.035초

클라우드 환경에서 블록체인 기반의 웹서버 로그 관리 시스템 (Log Management System of Web Server Based on Blockchain in Cloud Environment)

  • 손용범;김영학
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권7호
    • /
    • pp.143-148
    • /
    • 2020
  • 최근에 클라우드 환경의 발전과 더불어 다양한 영역에서 웹을 통한 서비스가 확대되고 있다. 사용자가 웹 서비스에 접속할 때마다 웹 서버에 사용자의 로그 정보가 저장된다. 이러한 로그 정보는 사용자의 웹 서비스 성향을 분석하는 자료로 활용되며 또한 시스템에서 보안 문제가 발생시에 사용자의 시스템 접속을 추적하기 위한 중요한 자료로 사용된다. 현재 대부분 웹 서버의 경우 사용자의 로그 정보를 중앙 집중 방식으로 관리한다. 사용자 로그 정보를 중앙 집중식으로 관리할 경우 운영 측면에서 단순하지만 외부의 악의적인 공격에 매우 취약한 단점을 갖는다. 중앙 집중 관리의 경우 외부 공격에 의해 웹 서버에 저장된 사용자 로그 정보가 임의로 조작될 수 있으며 심한 경우 조작된 정보가 유출될 수 있다. 이러한 경우 웹 서비스의 신뢰를 떨어뜨릴 뿐만 아니라 웹 서버의 공격에 대한 원인 발생지와 공격자의 추적이 어려워진다. 이러한 문제를 해결하기 위해 본 논문에서는 기존의 중앙 집중식 로그 관리 방법의 대안으로 블록체인 기술을 적용하여 클라우드 환경에서 사용자 로그 정보를 관리하는 새로운 방법을 제안한다. 제안된 방법은 사용자의 로그 정보가 클라우드 환경을 갖는 프라이빗 네트워크에 블록체인으로 분산 저장되기 때문에 외부 공격으로부터 안전하게 로그 정보를 관리할 수 있다.

MapReduce 환경에서 네트워크 공격 탐지를 위한 실시간 로그 분석 시스템 개발 (Real-time log analysis system for detecting network attacks in a MapReduce environment)

  • 장진수;신재환;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.37-40
    • /
    • 2017
  • 네트워크 기술의 발전으로 인터넷의 보급률이 증가함에 따라, 네트워크 사용량 또한 증가하고 있다. 그러나 네트워크 사용량이 증가함에 따라 악의적인 네트워크 접근 또한 증가하고 있다. 이러한 악의적인 접근은 네트워크에서 발생하는 보안 로그를 분석함으로써 탐지가 가능하다. 그러나 대규모의 네트워크 트래픽이 발생함에 따라, 보안 로그의 처리 및 분석에 많은 시간이 소요된다. 본 논문에서는 MapReduce 환경에서 네트워크 공격 탐지를 위한 실시간 로그 분석 시스템을 개발한다. 이를 위해, Hadoop의 MapReduce를 통해 보안 로그의 속성을 추출하고 대용량의 보안 로그를 분산 처리한다. 아울러 처리된 보안 로그를 분석함으로써 실시간으로 발생하는 네트워크 공격 패턴을 탐지하고, 이를 시각적으로 표현함으로써 사용자가 네트워크 상태를 보다 쉽게 파악할 수 있도록 한다.

분산 IoT센서 기반 실험실 안전관리 시스템 (Distributed IoT Sensor based Laboratory Safety Management System)

  • 정대진;김재윤;배상중;정회경
    • 한국정보통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.90-96
    • /
    • 2019
  • 최근 실험실에서 사용하는 시약장은 IoT 기반 다양한 센서들을 활용하여 내부 환경을 실시간으로 측정하고 사용자들에게 서비스를 제공한다. 센서 데이터를 수집한 후 서버 내에서 위험상황을 식별하고 기기들에게 동작 명령을 전송하게 된다. 이와 같은 중앙 집중형 관리시스템은 여러 대의 시약장에서 측정되는 센서 데이터들을 전송받고 처리하게 될 경우 시약장의 수가 증가할 때마다 데이터 처리 속도가 점차 증가하게 되는 문제가 발생할 수 있다. 이를 해결하기 위해 본 논문에서는 중앙 집중형이 아닌 분산 환경에서 시약장 내부 환경을 분석하여 위험상황의 식별 및 기기 제어를 수행할 수 있는 분산 제어가 가능한 분산 IoT 센서 기반 실험실 안전관리 시스템에 대해 연구한다. 이와 같이 분산형 제어가 가능한 센서 모듈을 이용한 시약장 내부 환경 제어 통해 위험상황에 대한 식별 및 대처를 자동으로 진행함으로써 기존의 시약장과 실험실을 관리하는 시스템들보다 신속한 대처 및 안전관리가 이루어졌음을 확인하였다.

NoSQL 기반 클라우드 사용자 행동 탐지 시스템 설계 (NoSQL-based User Behavior Detection System in Cloud Computing Environment)

  • 안광민;이봉환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2012년도 추계학술대회
    • /
    • pp.804-807
    • /
    • 2012
  • 클라우드 서비스는 모든 자원을 서비스 제공자가 제공하고 다수의 사용자가 공유하기 때문에 서비스 제공자가 사용자의 정보를 더욱 안전하게 보호해야만 한다. 본 논문에서는 모바일 클라우드 서비스의 보안을 강화하기 위해 NoSQL 기반의 비정상 탐지 시스템을 제안한다. 다양한 보안장비에서 발생시키는 보안 로그와 클라우드 노드에서 발생시키는 데이터는 대량의 데이터가 형식이 모두 다른 비정형 데이터이기 때문에 기존의 통합보안 관리 시스템에서 사용하는 관계형 데이터베이스를 사용하여서는 실시간 처리가 어렵다. 제안하는 시스템은 분산처리 환경에서 실시간 처리 및 확장성을 제공하기 때문에 클라우드 환경에서 새롭게 대두되는 보안 문제를 해결할 수 있다.

  • PDF

MapReduce 환경에서 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템 (Real-time Network Attack Pattern Analysis System using Snort Log on MapReduce Environment)

  • 강문환;장진수;신영성;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.75-77
    • /
    • 2017
  • 최근 급격히 증가하고 있는 네트워크 로그 상에서 보안위협에 신속히 대응하기 위해 기업들은 방화벽, IDS 등의 네트워크 보안 로그를 분석하여 보안 위협을 파악한다. Snort는 이러한 보안 위협에 대응하기 위해 네트워크 로그를 수집하는 도구 중 하나이다. 그러나 보안 관제 담당자는 방대한 양의 보안 관련 로그를 분석하기 위해 많은 시간이 필요하기 때문에, 관제 결과를 보고하고 대응하기까지 시간이 지체되는 문제가 존재한다. 이러한 문제를 해결하기 위해, 본 논문에서는 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템을 제안한다. 제안하는 시스템은 대용량 데이터 처리에 효과적인 MapReduce 분산 처리를 활용하여 방대한 네트워크 로그를 추출 및 분석하기 때문에 보안 위협 상황 발생 여부를 실시간으로 빠르게 인지할 수 있다.

EAI에서 대용량 배치 데이터의 통합 성능 향상을 위한 Process-level 방식 (Process-level integration method for performance improvement of large scaled batch data processing in EAI environment)

  • 김용희;권주흠
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.19-22
    • /
    • 2004
  • 분산 시스템 환경에서 여러 시스템에 정보를 전송하기 위한 방법으로 최근 EAI 의 DB Trigger 및 Redo Log 등을 이용한 실시간 데이터 통합 방식을 적용해 왔다. 그러나 기업에서 순차적인 배치 프로세스들을 통해 처리하는 대량의 데이터에 대해 기존의 EAI 의 데이터 통합 방식을 사용할 경우 모든 변경 건수에 대해 이벤트가 발생하여 Source 시스템의 부하 및 통합 성능상의 문제점이 있다. 본 논문에서는 순차적인 배치 프로세스들을 EAI 의 프로세스 레벨 통합을 적용하여 최종 변경된 데이터에 대해서만 통합하도록 하여 통합 처리 시간을 단축할 수 있는 방법을 제시하고자 한다.

  • PDF

웹 로그에서의 Apriori 알고리즘 기반 사용자 액세스 패턴 발견 (User Access Patterns Discovery based on Apriori Algorithm under Web Logs)

  • 염종림;정석태
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권6호
    • /
    • pp.681-689
    • /
    • 2019
  • 웹 사용 패턴 발견은 웹 로그 데이터를 사용하는 고급 수단이며 웹 로그 데이터 마이닝에 데이터 마이닝 기술을 적용한 특정 응용이다. 교육 분야에서 데이터 마이닝 (DM)은 데이터 마이닝 기술을 교육 데이터 (대학의 웹 로그, e-러닝, 적응형 하이퍼미디어 및 지능형 튜터링시스템 등)에 적용한다. 따라서 교육 연구 문제를 해결하기 위해 이러한 유형의 데이터를 분석하는 것이 목표이다. 본 논문에서는 대학의 웹 로그 데이터가 데이터 마이닝의 연구 대상으로 사용되어 진다. 데이터베이스 OLAP 기술을 사용하여 웹 로그 데이터가 데이터 마이닝에 사용될 수 있는 데이터 형식으로 사전 처리되고 그 처리 결과가 MSSQL에 저장된다. 동시에 처리 된 웹 로그 레코드를 기반으로 기본 데이터 통계 및 분석이 완료된다. 또한 웹 사용 패턴 마이닝의 Apriori Algorithm 및 구현 프로세스를 소개하고 Python 개발 환경에서 Apriori Algorithm 프로그램을 개발했다. 그런 다음 Apriori Algorithm의 성능을 보이고 웹 사용자 액세스 패턴의 마이닝을 실현했다. 이 연구 결과는 교육 시스템 개발에 패턴을 적용하는데 중요한 이론적 의미를 갖는다. 다음 연구로는 분산 컴퓨팅 환경에서 Apriori Algorithm의 성능 향상을 연구하는 것이다.

인간 친화적 로봇 서비스를 위한 대용량 분산 처리 기술 및 사용자 인증에 관한 연구 (A Study on Distributed Processing of Big Data and User Authentication for Human-friendly Robot Service on Smartphone)

  • 최옥경;정우열;이봉규;문승빈
    • 인터넷정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.55-61
    • /
    • 2014
  • 현재 기업에서는 다양한 인간 친화적 로봇 서비스와 인터넷을 이용해 IT 자원을 필요한 만큼 빌려 쓰는 컴퓨팅 패러다임인 모바일 클라우드 컴퓨팅을 이용한 업무 처리 프로세스가 활발히 진행되고 있다. 그러나 모바일 클라우드 컴퓨팅 접속시 필요한 인증 서비스와 대용량 분산 처리 기술에 대한 부분은 현재 많은 취약점들을 내포하고 있는 실정이다. 본 연구에서는 모바일 클라우드 컴퓨팅 모델의 인증 서비스 취약점을 분석하고 이러한 문제점을 개선시킨 모바일 클라우드 컴퓨팅 모델을 구축하여 효율적이고 안전한 업무 처리 프로세스가 가능하도록 하고자 한다. 제안하는 모바일 클라우드 컴퓨팅 모델은 실시간 비정형 데이터를 분석하고 처리하는 기술에 대한 연구를 함께 진행함으로써 향후 비정형 데이터를 활용한 개개인 맞춤 정보 제공 서비스가 가능하다.

블록체인을 활용한 위·변조가 불가능한 로그관리시스템 (Blockchain Based Log Management Service for Non-Modifiable)

  • 김진주;한영근;변재영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.31-33
    • /
    • 2019
  • 시스템을 안정적으로 운용하기 위해서는 신뢰성 기반의 로그관리시스템이 필요하다. 모든 이력이 기록되는 로그의 위·변조를 방지하기 위해 로그 정보를 블록체인 기술로 관리하여 어떠한 상황에서도 시스템 이력을 신뢰할 수 있는 서비스를 제안한다. Hyplerledger Fabric을 사용하여 인증 관리 시스템에 의해 허가된 사용자만이 접근할 수 있다. 또한 분산원장에 한 번 기록된 로그 파일은 더 이상 수정하거나 삭제될 수 없다. 이 시스템을 활용하면 로그 파일의 위·변조 여부를 판단하는데 발생하는 시간, 비용, 불확실성을 크게 줄일 수 있을 것으로 기대된다.

맵리듀스기반 워크플로우 빅-로그 클러스터링 기법 (A MapReduce-Based Workflow BIG-Log Clustering Technique)

  • 진민혁;김광훈
    • 인터넷정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.87-96
    • /
    • 2019
  • 본 논문에서는 분산 워크플로우 실행 이벤트 로그를 수집하고 분류하기 위한 사전 처리 도구로서 맵-리듀스기반 클러스터링 기법을 제안한다. 특히 우리는 볼륨, 속도, 다양성, 진실성 및 가치와 같은 BIG 데이터의 5V 속성에 만족하고 잘 충족되어 있기 때문에 분산 워크플로우 실행 이벤트 로그를 특별히 워크플로우 빅-로그(Workflow BIG-Logs)라고 정의한다. 이 논문에서 개발하는 클러스터링 기술은워크플로우 빅-로그를 기반으로 하는 특정 워크플로 프로세스 마이닝 및 분석 알고리즘의 사전 처리 단계에 적용하기 위한 목적으로 고안된 것이다. 즉, 맵리듀스(Map-Reduce) 프레임워크를 워크플로우 빅-로그 처리 플랫폼으로 사용하고, IEEE XES 표준 데이터 형식을 지원하며, 결국 본 연구에서 개발중에 있는 구조적 정보제어넷기반 워크플로우 프로세스 마이닝 알고리즘인 ${\rho}$-알고리즘의 사전 처리 단계 전용으로 사용되도록 구현된 것이다. 보다 자세하게 말하자면, 워크플로우 빅-로그의 클러스터링 패턴은 단위업무액티버티 기반 클러스터링 패턴과 단위업무 수행자 기반 클러스터링 패턴으로 분류되는데, 특별히 단위업무 액티버티 패턴의 하나인 시간적 워크케이스 패턴과 그의 발생 건수를 재발견하는 맵리듀스 기반 클러스터링 알고리즘을 설계하고 구현하고자 한다. 마지막으로, 우리는 BPI 챌린지에서 공개한 워크플로우 실행 이벤트 로그 데이터세트에 대해 일련의 실험을 수행함으로써 제안된 클러스터링 기법의 기술적 타당성을 검증한다.