• 제목/요약/키워드: Log file

검색결과 160건 처리시간 0.028초

Tailoring Operations based on Relational Algebra for XES-based Workflow Event Logs

  • Yun, Jaeyoung;Ahn, Hyun;Kim, Kwanghoon Pio
    • 인터넷정보학회논문지
    • /
    • 제20권6호
    • /
    • pp.21-28
    • /
    • 2019
  • Process mining is state-of-the-art technology in the workflow field. Recently, process mining becomes more important because of the fact that it shows the status of the actual behavior of the workflow model. However, as the process mining get focused and developed, the material of the process mining - workflow event log - also grows fast. Thus, the process mining algorithms cannot operate with some data because it is too large. To solve this problem, there should be a lightweight process mining algorithm, or the event log must be divided and processed partly. In this paper, we suggest a set of operations that control and edit XES based event logs for process mining. They are designed based on relational algebra, which is used in database management systems. We designed three operations for tailoring XES event logs. Select operation is an operation that gets specific attributes and excludes others. Thus, the output file has the same structure and contents of the original file, but each element has only the attributes user selected. Union operation makes two input XES files into one XES file. Two input files must be from the same process. As a result, the contents of the two files are integrated into one file. The final operation is a slice. It divides anXES file into several files by the number of traces. We will show the design methods and details below.

비휘발성 메모리를 이용한 로그 구조 파일 시스템의 성능 향상 (Improving Log-Structured File System Performance by Utilizing Non-Volatile Memory)

  • 강양욱;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권5호
    • /
    • pp.537-541
    • /
    • 2008
  • 로그 구조 파일 시스템(Log-Structured File System, LFS)은 변경된 데이타를 메모리에 충분히 모아서 한번에 순차 쓰기로 디스크에 기록함으로써 높은 쓰기 성능을 실현한 파일 시스템이다. 그러나 실제 시스템에서는 여전히 디스크와 메모리 상의 일관성을 위해서 동기화가 발생하며 변경된 데이타를 충분히 메모리에 모으지 못한 채 디스크로 쓰기가 발생하는 모습을 보인다. 자주 발생되는 쓰기는 클리너의 오버헤드를 증가시키고, 더 많은 메타데이타를 기록하게 한다. 본 연구에서는 비휘발성 메모리를 이용해서 동기화를 없애고, 작은 단위의 쓰기를 효과적으로 활용하도록 LFS와 운영체제의 관련된 서브 시스템들을 변경하였다. 이를 통하여 DRAM만 있는 LFS에 비해서 256M의 NVRAM을 가진 시스템에서 약 2.5배의 성능 향상을 보였다.

User modeling based on fuzzy category and interest for web usage mining

  • Lee, Si-Hun;Lee, Jee-Hyong
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제5권1호
    • /
    • pp.88-93
    • /
    • 2005
  • Web usage mining is a research field for searching potentially useful and valuable information from web log file. Web log file is a simple list of pages that users refer. Therefore, it is not easy to analyze user's current interest field from web log file. This paper presents web usage mining method for finding users' current interest based on fuzzy categories. We consider not only how many times a user visits pages but also when he visits. We describe a user's current interest with a fuzzy interest degree to categories. Based on fuzzy categories and fuzzy interest degrees, we also propose a method to cluster users according to their interests for user modeling. For user clustering, we define a category vector space. Experiments show that our method properly reflects the time factor of users' web visiting as well as the users' visit number.

비휘발성 메모리를 활용하는 Log-Structured File System의 설계 및 구현 (Design and Implementation of the Log-Structured File System Utilizing Nonvolatile Memory)

  • 강양욱;최종무;이동희;노삼혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
    • /
    • pp.310-314
    • /
    • 2007
  • Log-Structured File system은 쓰기에 최적화한 파일 시스템으로 변경된 데이터를 최대한 모아서 순차적으로 기록하는 방식을 가지고 있다. 그러나 실제 시스템에서는 주기적인 동기화로 인해 작은 크기의 데이터들이 디스크로 쓰여지게 되면서 원래의 디자인 목표를 살리지 못하게 된다. 본 연구에서는 최근 급속도로 발전하고 있는 비휘발성 메모리(NVRAM)를 이용해서 주기적인 동기화를 없애고 작은 단위의 쓰기는 NVRAM을 통해 흡수하도록 하였다. 이를 통하여 DRAM만 있는 LFS에 비해 33% 가량 TPC-C 수행 성능이 향상되고, 더 빠르고 고른 응답 시간을 보일 수 있었다.

  • PDF

효과적인 Embedded Tester Log 처리를 위한 Messaging System 분석 (Messaging System Analysis for Effective Embedded Tester Log Processing)

  • 남기안;권오영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.645-648
    • /
    • 2017
  • 기존의 Embedded Tester는 Log 처리를 위해 TCP와 공유 파일 시스템을 이용한 Server - Client간 1-N 구조로 처리 되었다. 이러한 방식은 구현 난이도에 따른 시간적 손실과 예외처리에 따른 Tester의 리소스 낭비가 발생한다. 이에 메시징 시스템을 이용하여 분산처리가 가능한 Log 처리 메시지 레이어를 구현하고 기존의 TCP, 공유 파일 시스템 전송방식과 비교하였다. 비교 결과 메시지 레이어를 이용한 전송이 TCP 보다 더 높은 전송 대역폭을 보였다. CPU 사용량에서 메시지 레이어가 TCP 보다 낮은 효율을 보였으나 큰 차이를 보이지 않았다. 이를 통해 메시지 레이어를 이용한 Log 처리가 더 높은 효율을 보임을 알 수 있었다.

  • PDF

자체 보호 기능을 갖는 안전한 로깅 시스템 (Secure logging system with self-protecting function)

  • 김민수;노봉남
    • 한국정보처리학회논문지
    • /
    • 제6권9호
    • /
    • pp.2442-2450
    • /
    • 1999
  • 감사 로깅 시스템은 시스템 사용 내역과 통신망을 통한 접근 내역을 기록한다. 이 내역은 불법적인 시스템 자원의 사용이나 통신망을 통한 불법 접근이 발생하였을 때, 그 경로를 추적하는 자료로 사용된다. 따라서, 로깅 시스템은 침입자의 일차적인 공격목표가 될 수 있다. 우리는 UNIX 시스템을 기반으로 로그인 정보와 명령어 수행 정보를 로그파일에 기록하는 로깅 시스템을 개발하였다. 또한, 로깅 시스템에 대한 침입자의 공격을 방어하기 위해서 자체 보호 장치를 두고 있다. 그것은 로깅 프로세스와 로그 파일을 보호하는 것이다. 로깅하는 프로세스를 보호하기 위해서 프로세스 ID를 계속해서 변경함으로써 침입자의 공격을 회피하도록 하였다. 로그 파일을 보호하기 위해서 하드링크와 강제적 파일 잠금을 사용하여 로그 파일에 대한 삭제나 변경을 할 수 없도록 하였다.

  • PDF

원천 시스템 환경을 고려한 데이터 추출 방식의 비교 및 Index DB를 이용한 추출 방식의 구현 -ㅅ 은행 사례를 중심으로- (A Comparison of Data Extraction Techniques and an Implementation of Data Extraction Technique using Index DB -S Bank Case-)

  • 김기운
    • 경영과학
    • /
    • 제20권2호
    • /
    • pp.1-16
    • /
    • 2003
  • Previous research on data extraction and integration for data warehousing has concentrated mainly on the relational DBMS or partly on the object-oriented DBMS. Mostly, it describes issues related with the change data (deltas) capture and the incremental update by using the triggering technique of active database systems. But, little attention has been paid to data extraction approaches from other types of source systems like hierarchical DBMS, etc. and from source systems without triggering capability. This paper argues, from the practical point of view, that we need to consider not only the types of information sources and capabilities of ETT tools but also other factors of source systems such as operational characteristics (i.e., whether they support DBMS log, user log or no log, timestamp), and DBMS characteristics (i.e., whether they have the triggering capability or not, etc), in order to find out appropriate data extraction techniques that could be applied to different source systems. Having applied several different data extraction techniques (e.g., DBMS log, user log, triggering, timestamp-based extraction, file comparison) to S bank's source systems (e.g., IMS, DB2, ORACLE, and SAM file), we discovered that data extraction techniques available in a commercial ETT tool do not completely support data extraction from the DBMS log of IMS system. For such IMS systems, a new date extraction technique is proposed which first creates Index database and then updates the data warehouse using the Index database. We illustrates this technique using an example application.

플래시 메모리 파일 시스템을 위한 가비지 콜렉터 설계 및 구현 (A garbage collector design and implementation for flash memory file system)

  • 김기영;손성훈;신동하
    • 정보처리학회논문지A
    • /
    • 제14A권1호
    • /
    • pp.39-46
    • /
    • 2007
  • 최근 들어 많은 임베디드 기기들이 휴대성과 성능 향상을 위해 플래시 메모리를 저장 매제로 사용하고 있다. 플래시 메모리는 일반적인 디스크와는 다른 특성과 제약 조건으로 인해 파일 시스템 설계에 있어서 여러 가지가 고려되어야 하며, 디스크와 다르게 덮어쓰기가 불가능하다. 플래시 메모리 파일 시스템은 LFS(Log-structure File System)의 형태를 가지며, 따라서 가비지 콜렉터를 사용한다. 블록을 재사용하기 위해서는 가비지 콜렉터의 역할이 크며, 가비지 콜렉터는 파일 시스템의 성능에 직접적으로 영향을 주기 때문에 플래시 메모리의 특성을 고려하여 설계해야 한다. 이에 본 논문에서는 JFFS2(Journaling Flash File System II)의 가비지 콜렉터를 개선한 플래시 메모리 파일 시스템을 제시하고, 이를 임베디드 시스템 실험 보드에서 테스트하였다. 그 결과 기존의 파일 시스템에 비해 메모리 사용률을 감소시킬 수 있었으며, 이로 인한 플래시 메모리 수명 연장, 쓰기 평준화(wear-leveling) 개선 등의 성능 향상이 나타남을 확인할 수 있었다.

LFS의 쓰기 성능 최적화를 위한 세그먼트 공간 재활용 기법 (A Segment Space Recycling Scheme for Optimizing Write Performance of LFS)

  • 오용석;김은삼;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권12호
    • /
    • pp.963-967
    • /
    • 2009
  • LFS(Log-structured File System)는 쓰기 요청을 세그먼트 버퍼에 모으고, 세그먼트 단위로 순차 기록함으로써 무작위 쓰기에서도 최적의 성능을 보여준다. 그러나 디스크의 공간이 유한하여, LFS는 여유 세그먼트를 생성하는 클리닝을 수행해야 한다. 파일 시스템의 사용률이 증가함에 따라 세그먼트 클리닝 비용이 급격히 증가하는 단점이 있다. 본 논문에서는 LPS의 쓰기 성능 최적화를 위한 세그먼트 공간 재활용 기법을 설명한다. 이 기법은 유효 세그먼트를 재활용하여 여유 공간을 생성하는 방법으로 빈 세그먼트가 없이 쓰기요청을 처리 할 수 있다. 따라서 높은 비용의 클리닝 동작 없이, 데이터를 세그먼트 내 여유공간에 동적 재배치하여 쓰기요청을 처리한다. 또한 효율적인 세그먼트 공간 재활용을 위해 데이터 및 세그먼트의 지역성을 고려하는 분류기법을 설명한다. 실험 결과에서 이 기법은 파일 시스템의 사용률이 90%인 경우에도 기존 WOLF 기법을 사용한 LFS 보다 HDD에서 1.9배, SSD에서 1.6배의 성능향상을 보여준다.

Disjunctive Process Patterns Refinement and Probability Extraction from Workflow Logs

  • Kim, Kyoungsook;Ham, Seonghun;Ahn, Hyun;Kim, Kwanghoon Pio
    • 인터넷정보학회논문지
    • /
    • 제20권3호
    • /
    • pp.85-92
    • /
    • 2019
  • In this paper, we extract the quantitative relation data of activities from the workflow event log file recorded in the XES standard format and connect them to rediscover the workflow process model. Extract the workflow process patterns and proportions with the rediscovered model. There are four types of control-flow elements that should be used to extract workflow process patterns and portions with log files: linear (sequential) routing, disjunctive (selective) routing, conjunctive (parallel) routing, and iterative routing patterns. In this paper, we focus on four of the factors, disjunctive routing, and conjunctive path. A framework implemented by the authors' research group extracts and arranges the activity data from the log and converts the iteration of duplicate relationships into a quantitative value. Also, for accurate analysis, a parallel process is recorded in the log file based on execution time, and algorithms for finding and eliminating information distortion are designed and implemented. With these refined data, we rediscover the workflow process model following the relationship between the activities. This series of experiments are conducted using the Large Bank Transaction Process Model provided by 4TU and visualizes the experiment process and results.