• 제목/요약/키워드: Log System

검색결과 1,504건 처리시간 0.027초

정보 시스템 이용기록 분석을 통한 정보 서비스 개선방안 연구 (A Study on the Improvement of Information Service Using Information System Log Analysis)

  • 조재형
    • 정보관리연구
    • /
    • 제36권4호
    • /
    • pp.137-153
    • /
    • 2005
  • 정보 시스템을 이용한 정보 서비스의 향상을 위해서는 이용자의 이용기록을 저장하고, 이를 분석하고 검토함으로써 개선된 서비스를 제공할 수 있는 프로세스의 도입이 요구되고 있다. 또한, 정보센터의 기관특성과 서비스 전략에 따라 필요로 하는 이용기록 및 분석방법에도 차이점이 나타날 수 있다. 본 연구에서는 이용자가 정보 센터에서 제공하는 정보 서비스를 활용하면서 발생하는 이용기록에 대하여 유형별 특징을 살펴보았다. 또한 이를 실제로 운영하는 정보 센터의 분석사례를 통하여 정보 서비스를 개선할 수 있는 구체적인 방안을 모색하였다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

An Efficient Log Data Processing Architecture for Internet Cloud Environments

  • Kim, Julie;Bahn, Hyokyung
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제8권1호
    • /
    • pp.33-41
    • /
    • 2016
  • Big data management is becoming an increasingly important issue in both industry and academia of information science community today. One of the important categories of big data generated from software systems is log data. Log data is generally used for better services in various service providers and can also be used to improve system reliability. In this paper, we propose a novel big data management architecture specialized for log data. The proposed architecture provides a scalable log management system that consists of client and server side modules for efficient handling of log data. To support large and simultaneous log data from multiple clients, we adopt the Hadoop infrastructure in the server-side file system for storing and managing log data efficiently. We implement the proposed architecture to support various client environments and validate the efficiency through measurement studies. The results show that the proposed architecture performs better than the existing logging architecture by 42.8% on average. All components of the proposed architecture are implemented based on open source software and the developed prototypes are now publicly available.

해상환경용 EM-Log 보정항법 필터 설계 (A EM-Log Aided Navigation Filter Design for Maritime Environment)

  • 조민수
    • 한국항행학회논문지
    • /
    • 제24권3호
    • /
    • pp.198-204
    • /
    • 2020
  • 본 논문에서는 GNSS (global navigation satellite system)이 가용하지 않는 상황에서 시간이 지남에 따라 오차가 누적되는 특성을 가진 관성항법장치(inertial navigation system)의 항법 오차를 보상하기 위한 EM-Log (electromagnetic-log) 보정항법 필터를 설계하였다. EM-Log는 해상에서 운동체의 이동 속도를 측정하여 속도 오차를 보정하여 주나 측정된 속도에는 해조류가 포함되어 있기 때문에 적절한 해조류 모델 설계와 추정이 필요하다. 본 논문에서는 해조류 추정을 위해 단일 모델 필터와 IMM (interacting multiple model) 모델 필터 방법론을 제시하고 설계된 필터의 해조류 추정 성능을 확인한 후 해조류 모델 설계가 필터 성능에 어떤 영향을 주는지 분석하였다. 설계된 보정항법 필터의 성능은 시뮬레이션을 이용하여 검증하고 순수항법 대비 필터 성능 향상률을 비교 분석하였다. 단일 모델 필터는 해조류 모델이 동일한 경우 성능이 좋지만 해조류 모델이 동일하지 않을 경우 성능이 저하되는 것을 확인 할 수 있었다. 반면, IMM 모델 필터의 경우 다양한 해조류 모델을 사용하기 때문에 단일 모델필터 대비 안정적인 성능을 유지하는 것을 확인하였다.

Security Audit System for Secure Router

  • Doo, So-Young;Kim, Ki-Young
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.1602-1605
    • /
    • 2005
  • An audit tracer is one of the last ways to defend an attack for network equipments. Firewall and IDS which block off an attack in advance are active way and audit tracing is passive way which analogizes a type and a situation of an attack from log after an attack. This paper explains importance of audit trace function in network equipment for security and defines events which we must leave by security audit log. We design and implement security audit system for secure router. This paper explains the reason why we separate general audit log and security audit log.

  • PDF

재해 복구를 위한 백업 시스템의 안정성 검증 (A Stability Verification of Backup System for Disaster Recovery)

  • 이문구
    • 전자공학회논문지
    • /
    • 제49권9호
    • /
    • pp.205-214
    • /
    • 2012
  • 시스템의 장애와 재해로부터 기업의 자산을 보호하는 것은 IT 운영 관리자들이 가장 고려해야 할 사항들 중 하나이다. 그러므로 본 연구는 이러한 재해 복구를 위한 백업 시스템을 제안하였다. 기존의 백업 방식이 데이터베이스의 업데이트가 발생하면 그 이력이 개장 기록(redo log) 파일에 저장이 되고 이 기록파일이 예정된 파일의 크기를 넘어서면 순차적으로 기록보관소 기록(archive log) 파일들로 저장된다. 그러므로 데이터베이스의 변경이 생기는 동안 실시간 변경되는 데이터를 백업받는 과정에 데이터 손실의 오류가 발생할 수 있다. 제안한 백업 시스템은 온라인 개장 기록을 처리기록(transaction log) 데이터베이스로 실시간 백업하고, 기존 백업방법에서 누락 될 수 있는 자료보관소 기록(archive log)으로 백업된다. 그러므로 데이터의 복구 시 온라인으로 개장 기록까지 실시간 복구가 가능하여 데이터의 손실을 최소화 할 수 있을 뿐만 아니라, 멀티스레드 처리방법으로 데이터 복제가 수행되어 시스템의 성능도 향상 시킬 수 있도록 설계하였다. 설계된 백업 시스템의 안정성을 검증하기 위하여 CPN(Coloured Petri Nets)을 도입 하였으며, 백업시스템의 각 수행 단계는 CPN의 그래픽으로 도식화 하고, CPN의 정의와 정리를 기반으로 안정성을 검증하였다.

XML기반 Windows Event Log Forensic 도구 설계 및 구현 (XML-based Windows Event Log Forensic tool design and implementation)

  • 김종민;이동휘
    • 융합보안논문지
    • /
    • 제20권5호
    • /
    • pp.27-32
    • /
    • 2020
  • Windows Event Log에는 시스템의 전반적인 동작들을 정의하고 있는 Log이며, 해당 파일에는 사용자의 여러 행위 및 이상 징후를 탐지할 수 있는 데이터가 저장되어 있다. 하지만 행위마다 Event Log가 발생함으로써, 로그들을 분석할 때, 상당한 시간이 소요된다. 따라서 본 연구에서는 NSA에서 발표한 "Spotting the Adversary with Windows Event Log Monitoring"의 주요 Event Log 목록을 바탕으로 XML 기반한 Event Log 분석 도구를 설계 및 구현 하였다.

NTFS 파일 시스템의 저널 파일을 이용한 파일 생성에 대한 디지털 포렌식 방법 (A Digital Forensic Method for File Creation using Journal File of NTFS File System)

  • 김태한;조규상
    • 디지털산업정보학회논문지
    • /
    • 제6권2호
    • /
    • pp.107-118
    • /
    • 2010
  • This paper proposes a digital forensic method to a file creation transaction using a journal file($LogFile) on NTFS File System. The journal file contains lots of information which can help recovering the file system when system failure happens, so knowledge of the structure is very helpful for a forensic analysis. The structure of the journal file, however, is not officially opened. We find out the journal file structure with analyzing the structure of log records by using reverse engineering. We show the digital forensic procedure extracting information from the log records of a sample file created on a NTFS volume. The related log records are as follows: bitmap and segment allocation information of MFT entry, index entry allocation information, resident value update information($FILE_NAME, $STANDARD_INFORMATION, and INDEX_ALLOCATION attribute etc.).

패킷 리덕션 방식의 침입탐지 시스템 설계 및 구현 (Design and Implementation of Intrusion Detection System of Packet Reduction Method)

  • 정신일;김봉제;김창수
    • 수산해양교육연구
    • /
    • 제17권2호
    • /
    • pp.270-280
    • /
    • 2005
  • Many researchers have proposed the various methods to detect illegal intrusion in order to improve internet environment. Among these researches, IDS(Intrusion Detection System) is classified the most common model to protect network security. In this paper, we propose new log format instead of Apache log format for SSL integrity verification. We translate file-DB log format into R-DB log format. Using these methods we can manage Web server's integrity, and log data is transmitted verification system to be able to perform both primary function of IDS and Web server's integrity management at the same time. The proposed system in this paper is also able to use for wire and wireless environment based on PDA.

Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템 (Spark-based Network Log Analysis Aystem for Detecting Network Attack Pattern Using Snort)

  • 백나은;신재환;장진수;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제18권4호
    • /
    • pp.48-59
    • /
    • 2018
  • 최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.