• 제목/요약/키워드: Log-based file system

검색결과 57건 처리시간 0.02초

로그기반 플래시 메모리 파일 시스템 성능 향상 기법 (A Technique to Enhance Performance of Log-based Flash Memory File Systems)

  • 류준길;박찬익
    • 대한임베디드공학회논문지
    • /
    • 제2권3호
    • /
    • pp.184-193
    • /
    • 2007
  • Flash memory adoption in the mobile devices is increasing or vanous multimedia services such as audio, videos, and games. Although the traditional research issues such as out-place update, garbage collection, and wear-leveling are important, the performance, memory usage, and fast mount issues of flash memory file system are becoming much more important than ever because flash memory capacity is rapidly increasing. In this paper, we address the problems of the existing log-based flash memory file systems analytically and propose an efficient log-based file system, which produces higher performance, less memory usage and mount time than the existing log-based file systems. Our ideas are applied to a well-known log-based flash memory file system (YAFFS2) and the performance tests are conducted by comparing our prototype with YAFFS2. The experimental results show that our prototype achieves higher performance, less system memory usage, and faster mounting than YAFFS2, which is better than JFFS2.

  • PDF

HFAT: Log-Based FAT File System Using Dynamic Allocation Method

  • Kim, Nam Ho;Yu, Yun Seop
    • Journal of information and communication convergence engineering
    • /
    • 제10권4호
    • /
    • pp.405-410
    • /
    • 2012
  • Several attempts have been made to add journaling capability to a traditional file allocation table (FAT) file system. However, they encountered issues such as excessive system load or instability of the journaling data itself. If journaling data is saved as a file format, it can be corrupted by a user application. However, if journaling data is saved in a fixed area such as a reserved area, the storage can be physically corrupted because of excessive system load. To solve this problem, a new method that dynamically allocates journaling data is introduced. In this method, the journaling data is not saved as a file format. Using a reserved area and reserved FAT status entry of the FAT file system specification, the journaling data can be dynamically allocated and cannot be accessed by user applications. The experimental results show that this method is more stable and scalable than other log-based FAT file systems. HFAT was tested with more than 12,000 power failures and was stable.

파일 접근 로그를 위한 FUSE 기반의 Syslog 에이전트 (FUSE-based Syslog Agent for File Access Log)

  • 손태영;임성락
    • 한국산학기술학회논문지
    • /
    • 제17권7호
    • /
    • pp.623-628
    • /
    • 2016
  • 시스템의 로그 정보는 불법적인 시스템 접근에 대한 문제를 해결하는데 결정적인 단서를 제공하기 때문에 로그 데이터의 수집 및 분석은 시스템 관리자에게 매우 중요하다. 리눅스 시스템에서는 다양한 종류의 로그 데이터를 수집하기 위하여 syslog 유틸리티를 이용해 오고 있다. 그러나 시스템 관리자는 syslog 유틸리티에서 지원하는 서비스에 의존해야 하는 한계가 있다. 이러한 한계를 극복하기 위하여 본 논문에서는 시스템 관리자로 하여금 syslog 유틸리티에서 지원하고 있지 않는 파일 접근에 대한 로그 정보를 수집할 수 있도록 하는 syslog 에이전트를 제시하고자 한다. 제시한 syslog 에이전트의 기본 개념은 FUSE를 생성한 후, syslog를 이용하여 FUSE가 마운트된 디렉토리에 존재하는 임의의 파일에 대한 접근 정보를 로그 파일에 저장하는 것이다. 제시한 기법의 기능적 타당성을 검토하기 위하여 리눅스(우분투 14.04)에서 FUSE 기반의 syslog 에이전트를 구현하여 임의의 파일 접근에 대한 정보를 로그 파일에 저장하고 저장된 로그 파일의 정보를 확인한다.

비휘발성 메모리를 이용한 로그 구조 파일 시스템의 성능 향상 (Improving Log-Structured File System Performance by Utilizing Non-Volatile Memory)

  • 강양욱;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권5호
    • /
    • pp.537-541
    • /
    • 2008
  • 로그 구조 파일 시스템(Log-Structured File System, LFS)은 변경된 데이타를 메모리에 충분히 모아서 한번에 순차 쓰기로 디스크에 기록함으로써 높은 쓰기 성능을 실현한 파일 시스템이다. 그러나 실제 시스템에서는 여전히 디스크와 메모리 상의 일관성을 위해서 동기화가 발생하며 변경된 데이타를 충분히 메모리에 모으지 못한 채 디스크로 쓰기가 발생하는 모습을 보인다. 자주 발생되는 쓰기는 클리너의 오버헤드를 증가시키고, 더 많은 메타데이타를 기록하게 한다. 본 연구에서는 비휘발성 메모리를 이용해서 동기화를 없애고, 작은 단위의 쓰기를 효과적으로 활용하도록 LFS와 운영체제의 관련된 서브 시스템들을 변경하였다. 이를 통하여 DRAM만 있는 LFS에 비해서 256M의 NVRAM을 가진 시스템에서 약 2.5배의 성능 향상을 보였다.

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

HBase based Business Process Event Log Schema Design of Hadoop Framework

  • Ham, Seonghun;Ahn, Hyun;Kim, Kwanghoon Pio
    • 인터넷정보학회논문지
    • /
    • 제20권5호
    • /
    • pp.49-55
    • /
    • 2019
  • Organizations design and operate business process models to achieve their goals efficiently and systematically. With the advancement of IT technology, the number of items that computer systems can participate in and the process becomes huge and complicated. This phenomenon created a more complex and subdivide flow of business process.The process instances that contain workcase and events are larger and have more data. This is an essential resource for process mining and is used directly in model discovery, analysis, and improvement of processes. This event log is getting bigger and broader, which leads to problems such as capacity management and I / O load in management of existing row level program or management through a relational database. In this paper, as the event log becomes big data, we have found the problem of management limit based on the existing original file or relational database. Design and apply schemes to archive and analyze large event logs through Hadoop, an open source distributed file system, and HBase, a NoSQL database system.

윈도우 이벤트 로그 기반 기업 보안 감사 및 악성코드 행위 탐지 연구 (Study on Windows Event Log-Based Corporate Security Audit and Malware Detection)

  • 강세림;김소람;박명서;김종성
    • 정보보호학회논문지
    • /
    • 제28권3호
    • /
    • pp.591-603
    • /
    • 2018
  • 윈도우 이벤트 로그는 윈도우 운영체제에서 시스템 로그를 기록하는 형식이며, 시스템 운영에 대한 정보를 체계적으로 관리한다. 이벤트는 시스템 자체 또는 사용자의 특정 행위로 인해 발생할 수 있고, 특정 이벤트 로그는 기업 보안 감사, 악성코드 탐지 등에 사용될 수 있다. 본 논문에서는 기업 보안 감사 및 악성코드 탐지와 관련된 이벤트 로그(외부장치 연결, 응용 프로그램 설치, 공유 폴더 사용, 프린터 사용, 원격 연결/해제, PC 시작/종료, 로그온/오프, 절전모드, 네트워크 연결/해제, 이벤트 로그 삭제, 시스템 시간 변경, 파일/레지스트리 조작, 프로세스 생성, DNS 질의, 윈도우 서비스 추가)들을 선정하고, 발생하는 이벤트 ID를 분류 및 분석하였다. 또한, 기존의 이벤트 로그 분석도구는 EVTX 파싱 기능만을 포함하고 있어 이를 포렌식 수사에 이용할 경우 사용자의 행적을 추적하기 어렵다. 이에 본 연구에서 새로운 분석도구를 구현하였으며, EVTX 파싱과 행위 분석이 가능하다.

빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현 (Real time predictive analytic system design and implementation using Bigdata-log)

  • 이상준;이동훈
    • 정보보호학회논문지
    • /
    • 제25권6호
    • /
    • pp.1399-1410
    • /
    • 2015
  • 기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터 분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고 있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량 로그에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을 탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다.

원천 시스템 환경을 고려한 데이터 추출 방식의 비교 및 Index DB를 이용한 추출 방식의 구현 -ㅅ 은행 사례를 중심으로- (A Comparison of Data Extraction Techniques and an Implementation of Data Extraction Technique using Index DB -S Bank Case-)

  • 김기운
    • 경영과학
    • /
    • 제20권2호
    • /
    • pp.1-16
    • /
    • 2003
  • Previous research on data extraction and integration for data warehousing has concentrated mainly on the relational DBMS or partly on the object-oriented DBMS. Mostly, it describes issues related with the change data (deltas) capture and the incremental update by using the triggering technique of active database systems. But, little attention has been paid to data extraction approaches from other types of source systems like hierarchical DBMS, etc. and from source systems without triggering capability. This paper argues, from the practical point of view, that we need to consider not only the types of information sources and capabilities of ETT tools but also other factors of source systems such as operational characteristics (i.e., whether they support DBMS log, user log or no log, timestamp), and DBMS characteristics (i.e., whether they have the triggering capability or not, etc), in order to find out appropriate data extraction techniques that could be applied to different source systems. Having applied several different data extraction techniques (e.g., DBMS log, user log, triggering, timestamp-based extraction, file comparison) to S bank's source systems (e.g., IMS, DB2, ORACLE, and SAM file), we discovered that data extraction techniques available in a commercial ETT tool do not completely support data extraction from the DBMS log of IMS system. For such IMS systems, a new date extraction technique is proposed which first creates Index database and then updates the data warehouse using the Index database. We illustrates this technique using an example application.

패킷 리덕션 방식의 침입탐지 시스템 설계 및 구현 (Design and Implementation of Intrusion Detection System of Packet Reduction Method)

  • 정신일;김봉제;김창수
    • 수산해양교육연구
    • /
    • 제17권2호
    • /
    • pp.270-280
    • /
    • 2005
  • Many researchers have proposed the various methods to detect illegal intrusion in order to improve internet environment. Among these researches, IDS(Intrusion Detection System) is classified the most common model to protect network security. In this paper, we propose new log format instead of Apache log format for SSL integrity verification. We translate file-DB log format into R-DB log format. Using these methods we can manage Web server's integrity, and log data is transmitted verification system to be able to perform both primary function of IDS and Web server's integrity management at the same time. The proposed system in this paper is also able to use for wire and wireless environment based on PDA.