• 제목/요약/키워드: Log File Analysis

검색결과 61건 처리시간 0.023초

Disjunctive Process Patterns Refinement and Probability Extraction from Workflow Logs

  • Kim, Kyoungsook;Ham, Seonghun;Ahn, Hyun;Kim, Kwanghoon Pio
    • 인터넷정보학회논문지
    • /
    • 제20권3호
    • /
    • pp.85-92
    • /
    • 2019
  • In this paper, we extract the quantitative relation data of activities from the workflow event log file recorded in the XES standard format and connect them to rediscover the workflow process model. Extract the workflow process patterns and proportions with the rediscovered model. There are four types of control-flow elements that should be used to extract workflow process patterns and portions with log files: linear (sequential) routing, disjunctive (selective) routing, conjunctive (parallel) routing, and iterative routing patterns. In this paper, we focus on four of the factors, disjunctive routing, and conjunctive path. A framework implemented by the authors' research group extracts and arranges the activity data from the log and converts the iteration of duplicate relationships into a quantitative value. Also, for accurate analysis, a parallel process is recorded in the log file based on execution time, and algorithms for finding and eliminating information distortion are designed and implemented. With these refined data, we rediscover the workflow process model following the relationship between the activities. This series of experiments are conducted using the Large Bank Transaction Process Model provided by 4TU and visualizes the experiment process and results.

A Model for Illegal File Access Tracking Using Windows Logs and Elastic Stack

  • Kim, Jisun;Jo, Eulhan;Lee, Sungwon;Cho, Taenam
    • Journal of Information Processing Systems
    • /
    • 제17권4호
    • /
    • pp.772-786
    • /
    • 2021
  • The process of tracking suspicious behavior manually on a system and gathering evidence are labor-intensive, variable, and experience-dependent. The system logs are the most important sources for evidences in this process. However, in the Microsoft Windows operating system, the action events are irregular and the log structure is difficult to audit. In this paper, we propose a model that overcomes these problems and efficiently analyzes Microsoft Windows logs. The proposed model extracts lists of both common and key events from the Microsoft Windows logs to determine detailed actions. In addition, we show an approach based on the proposed model applied to track illegal file access. The proposed approach employs three-step tracking templates using Elastic Stack as well as key-event, common-event lists and identify event lists, which enables visualization of the data for analysis. Using the three-step model, analysts can adjust the depth of their analysis.

HBase based Business Process Event Log Schema Design of Hadoop Framework

  • Ham, Seonghun;Ahn, Hyun;Kim, Kwanghoon Pio
    • 인터넷정보학회논문지
    • /
    • 제20권5호
    • /
    • pp.49-55
    • /
    • 2019
  • Organizations design and operate business process models to achieve their goals efficiently and systematically. With the advancement of IT technology, the number of items that computer systems can participate in and the process becomes huge and complicated. This phenomenon created a more complex and subdivide flow of business process.The process instances that contain workcase and events are larger and have more data. This is an essential resource for process mining and is used directly in model discovery, analysis, and improvement of processes. This event log is getting bigger and broader, which leads to problems such as capacity management and I / O load in management of existing row level program or management through a relational database. In this paper, as the event log becomes big data, we have found the problem of management limit based on the existing original file or relational database. Design and apply schemes to archive and analyze large event logs through Hadoop, an open source distributed file system, and HBase, a NoSQL database system.

An Accurate Log Object Recognition Technique

  • Jiho, Ju;Byungchul, Tak
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권2호
    • /
    • pp.89-97
    • /
    • 2023
  • 본 논문에서는 로그 분석을 어렵게 하는 요인을 제안하고 이후 분석에 도움을 주는 로그 내 다양한 객체 인식 기법을 설계한다. 오늘날의 IT 시스템에서 로그는 다수의 고급 AI 분석 기술의 핵심적인 원천 데이터이다. 로그에는 유용한 정보가 많이 포함되어 있지만 로그는 본질적으로 반구조화되어 있기 때문에 로그 내 유용 정보에 기술을 직접적으로 적용시키기 어렵다. 로그 분석을 방해하는 요소는 file path, identifier, json 등 다양한 객체이다. 이러한 객체에 대한 BERT기반의 패턴 인식 알고리즘을 설계하고 객체 인식을 수행한다. 본 실험에서 정의한 패턴 인식 알고리즘은 객체의 정의, GROK 패턴, 그리고 정규 표현식에 기반한다. 기존에 알려진 패턴과 정규 표현식을 기반으로 한 간단한 패턴 매칭이 효과적이지 않다는 것을 확인할 수 있었다. 그 결과 기존 패턴과 정규 표현식만을 사용하는 것보다 훨씬 나은 정확도를 보여준다. 또한, BERT 모델의 경우 인식 객체 이외의 객체를 분류하는 정확도가 99%에 달하는 것을 확인할 수 있다.

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

CERES: 백본망 로그 기반 대화형 웹 분석 시스템 (CERES: A Log-based, Interactive Web Analytics System for Backbone Networks)

  • 서일현;정연돈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권10호
    • /
    • pp.651-657
    • /
    • 2015
  • 웹 응용 프로그램의 급격한 증가와 함께 웹 트래픽이 증가하고 있다. 웹에 대한 요청과 그 응답에 대한 기록인 웹 로그 또한 폭발적으로 증가하고 있다. 웹 로그로부터 가치 있는 정보를 취득하기 위해서는 매우 큰 용량의 데이터를 효과적이고 다양한 방법으로 다룰 수 있는 시스템이 필요하다. 본 논문에서는 백본망 로그 기반 대화형 웹 분석 시스템인 CERES를 소개한다. 기존의 웹 분석 시스템들과 달리, CERES는 하나의 웹 서버에 대한 분석이 아닌 백본망에서 생성되는 모든 웹 로그의 분석을 목적으로 한다. CERES는 하둡 분산 파일 시스템 (HDFS)을 저장소로 하는 서버 클러스터에 배포되며, 대용량의 로그에 기반한 분석을 분산 처리를 통해 지원한다. CERES는 백본망에서 생성된 웹 로그 데이터를 관계형 데이터로 변환하고, 사용자는 변환된 관계형 데이터에 대해 SQL을 이용하여 질의를 요청할 수 있다. 내부적으로 CERES는 웹 로그의 통계적 분석에 대한 질의를 효과적으로 처리하기 위해 데이터 큐브를 활용한다. 또한, CERES는 다양한 통계적 분석을 지원하기 위해 대화형 SQL 질의 인터페이스를 포함한 세 가지 형태의 웹 인터페이스를 제공하며 사용자는 이를 통해 쉽게 질의를 요청할 수 있고 그 결과를 시각적으로 확인할 수 있다.

Design and Implementation of an Interestingness Analysis System for Web Personalizatoion & Customization

  • Jung, Youn-Hong;Kim, I-I;Park, Kyoo-seok
    • 한국멀티미디어학회논문지
    • /
    • 제6권4호
    • /
    • pp.707-713
    • /
    • 2003
  • Convenience and promptness of the internet have been not only making the electronic commerce grow rapidly in case of website, analyzing a navigation pattern of the users has been also making personalization and customization techniques develop rapidly for providing service accordant to individual interestingness. Web personalization and customization skill has been utilizing various methods, such as web log mining to use web log data and web mining to use the transaction of users etc, especially e-CRM analyzing a navigation pattern of the users. In this paper, We measure exact duration time of the users in web page and web site, compute weight about duration time each page, and propose a way to comprehend e-loyalty through the computed weight.

  • PDF

이용자 서비스의 품질 향상을 위한 웹사이트 사용성 평가에 관한 연구 (A Study on Usability Evaluation for Improving Quality of User Services in CNU Digital Library Website)

  • 이응봉
    • 한국문헌정보학회지
    • /
    • 제36권4호
    • /
    • pp.311-329
    • /
    • 2002
  • 본 연구에서는 최신의 정보기술을 적용한 XML 기반 충남대학교 전자도서관 웹사이트를 대상으로 사용성 평가를 실시하였다. 사용성 평가는 로그파일 분석, 온라인 설문조사 그리고 발견평가의 3가지 방법을 적용하였다. 본 연구에서는 사용자 입장에서의 대학도서관 웹사이트 서비스의 문제점을 분석$\cdot$평가하여 개선 방안을 제시함으로써 이용자 서비스의 품질 향상을 제고할 수 있는 근거를 마련하고자 한다.

모바일 웹 서버 로그 분석기 구현 (Implementation of Mobile Web Server Log Analyzer)

  • 박홍진
    • 한국산업정보학회논문지
    • /
    • 제11권2호
    • /
    • pp.63-68
    • /
    • 2006
  • 웹 서버가 이상이 발생되면 로그 파일은 에러를 찾는 매우 중요한 정보이다. 웹 서버 분석기는 웹 서버의 로그 정보를 분석함으로써 웹 서비스를 향상시키기 위해 중요한 역할을 수행한다. 그러나 대부분의 기존 웹 서버 분석기는 유선 기반이기 때문에 시공간적 제약성과 이동성에 있어서 문제점이 있다. 본 논문은 기존 유선 중심의 웹 서버 로그 분석기의 문제점을 해결하기 위해 모바일 기반에 웹 서버 분석기를 구현한다. 웹 서버 분석기를 모바일로 구현할 경우, 언제 어디서든지 쉽게 웹 서버 로그정보를 확인할 수 있을 뿐만 아니라 실시간으로 로그파일에 접근하여 최근의 정보를 바로 확인이 가능하다.

  • PDF

웹기반 정보시스템의 재구성을 위한 항해구조 및 사용자행동 모델링 (Navigational Structure and User Behavior Modeling for Restructuring of Web-based Information Systems)

  • 박학수;황성하;이강수
    • 한국멀티미디어학회논문지
    • /
    • 제5권6호
    • /
    • pp.730-744
    • /
    • 2002
  • 최근의 정보시스템의 전형적인 형태인 웹기반 정보시스템(WBIS)은 계속적으로 재구성되어 야만 사용자의 욕구를 만족시킬 수 있으며 수익을 창출할 수 있다. 이를 위해, 시스템의 항해구조를 모델링하고 분석해야 하며 로그파일을 통해 사용자의 행동을 모델링하여 시스템의 재구성시에 활용해야한다. 이에 따라, 본 논문에서는 쇼핑몰을 포함한 WBIS의 재구성(또는 튜닝)을 위한 항해구조의 모델링 및 사용자행동 모델링 방법을 제시한다. 항해구조의 모델링을 위해 구조모델, 상태전이 모델 및 패트리넷 모델 및 분석방법을 제시하였다. 또한, 사용자행동 모델링을 위한 로그분석을 위해, 사용자행동 모델링 알고리즘을 제시하고 이를 구현하였다. 끝으로, 재구성 휴리스틱을 제시하였으며 제시한 방법들은 사례 WBIS에 적용하였다.

  • PDF