• Title/Summary/Keyword: 데이타베이스 로그 분석

Search Result 12, Processing Time 0.027 seconds

A Log Analyzer for Database Tuning (데이타베이스 튜닝을 위한 로그 분석 도구)

  • Lee, Sang-Hyup;Kim, Sung-Jin;Lee, Sang-Ho
    • The KIPS Transactions:PartD
    • /
    • v.11D no.5
    • /
    • pp.1041-1048
    • /
    • 2004
  • Database logs contain various information on database operations, but they are used to recover database systems from failures generally. This paper proposes a log analysis tool that provides useful information for database tuning. This tool provides users with information on work-load organization, database schemas, and resources usages of queries. This paper describes the tool in views of its architecture, functions, implementation, and verification. The tool is verified by running the TPC-W benchmark, and representative analysis results are also presented.

Temporal Database Management Testbed (시간 지원 데이타 베이스 관리 시험대)

  • Kim, Dong-Ho;Jeon, Geun-Hwan
    • The Transactions of the Korea Information Processing Society
    • /
    • v.1 no.1
    • /
    • pp.1-13
    • /
    • 1994
  • The Temporal Database Management Testbed supports valid and transaction time. In this paper, we discuss the design and implementation of a testbed of a temporal database management system in main memory. The testbed consists of a syntactic analyzer, a semantic analyzer, a code generator, and an interpreter. The syntactic analyzer builds a parse tree from a temporal query. The semantic analyzer then checks it for correctness against the system catalog. The code generator builds an execution tree termed ann update network. We employ an incremental view materialization for the execution tree. After building the execution tree, the interpreter activates each node of the execution tree. Also, the indexing structure and the concurrency control are discussed in the testbed.

  • PDF

Analysis of E-biz Site Using Statistics and Data Mining Techniques (통계 및 데이터마이닝 기법을 이용한 웹 사이트 분석)

  • 류창수;서용무
    • Proceedings of the Korea Database Society Conference
    • /
    • 2001.06a
    • /
    • pp.369-387
    • /
    • 2001
  • 인터넷 기술의 발달과 인터넷 비즈니스의 발전으로 인해 오늘날 사람들은 더욱 많은 시간을 인터넷 상에서 보내고 있다. 사용자가 기업의 웹 사이트를 방문한 기록은 웹 로그파일이라는 형태로 기업의 서버에 남게 되는데 이러한 로그 파일을 이용해 고객의 행동을 더욱 잘 이해하는 것이 매우 중요한 경쟁력의 요소로 자리 잡게 되었다. 이제까지는 웹 로그를 분석하기 위해 웹 로그 분석 도구를 이용해 왔는데, 경영 의사 결정에 도움이 되는 지식을 발견하기보다는 단순한 기술적인 통계량을 구하는데 그쳤다. 본 연구에서는 통계와 데이터마이닝 기법을 웹 데이터에 적용하여 경영 의사 결정에 도움이 되는 의미 있는 정보를 추출한다. 이를 위해 실제 인터넷 기업의 데이터를 기반으로 하여 대량 데이터를 데이터마이닝을 위해 전처리 하는 과정과 준비된 데이터를 분석하는 과정을 소개한다. 웹 사이트의 분석은 경영 지식을 찾아내기 위한 과정으로 개별 사이트가 처한 상황에 따라 분석과정이 상이해 질 수 있기 때문에 실제 기업의 데이터를 가지고 분석해 나가는 과정을 보이는 것은 의미 있는 연구라 생각된다.

  • PDF

Transaction management in a client-server main memory DBenvironment (클라이언트-서버 주기억 데이타베이스 환경에서의 트랜잭션 관리)

  • 조성제;김경창;김기룡
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.21 no.7
    • /
    • pp.1765-1776
    • /
    • 1996
  • 클라이언트=서버 DBMS구조는 많은 사람들에 의해서 연구되고 있으나 고장회복과 동시성 제어에 관한 연구는 아직까지 미흡한 상태다. 기존의 회복 기법은 클라이언트에서 생성된 로그 레코드들과 해당 데이터 페이지들을 서버에 전송 함으로써 발뱅하는 문제점들에 대한 해결점이 필요하였다. 본 논문에서는 클라이언트가 서버에 수행 완료된 로그 레코드들만을 전송하여 기존의 회복 기법에서 발생하였던 문제점을 제거한다. 또한 서버는 수행 완료된 로그 레코드들만을 관리하여 서버 파손 발생시 분석, 재수행 동작만을 수행하는 간단한 회복 알고리즘을 제안한다. 클라이언트에서 철회 동작을 함으로써 시스템의 병렬성을 높이고 서버 파손시 전체 데이터베이스 회복에 소요되는 시간을 줄이기 위해서 페이지 단위의 회복 기법도 제안한다. 또한 기존의 동시성 제어기법은 같은 페이지를 동시 사용하지 못함으로써 불필오한 대기시간(waiting time)이 증가된다. 본 논뭉에서는, 기존의 기법과 달리, 같은 페이지 내에 다른 데이터를 접근하는 트랜잭션에게 페이지를 허용함으로써 불필요한 대기시간을 최소화 할 수 있도록 하여 시스템의 병렬성을 향상시켰다.

  • PDF

An Analysis of Ortholog Clusters Detected from Multiple Genomes (다종의 유전체로부터 탐지된 Ortholog 군집에 대한 분석)

  • Kim, Sun-Shin;Oh, Jeong-Su;Lee, Bum-Ju;Kim, Tae-Kyung;Jung, Kwang-Su;Rhee, Chung-Sei;Kim, Young-Chang;Cho, Wan-Sup;Ryu, Keun-Ho
    • Journal of KIISE:Databases
    • /
    • v.35 no.2
    • /
    • pp.125-131
    • /
    • 2008
  • It is very useful to predict orthologs for new genome annotation and research on genome evolution. We showed that the previous work can be extended to construct OCs(Ortholog Clusters) automatically from multiple complete-genomes. The proposed method also has the quality of production of InParanoid, which produces orthologs from just two genomes. On the other hand, in order to predict more exactly the function of a newly sequenced gene it can be an important issue to prevent unwanted inclusion of paralogs into the OCs. We have, here, investigated how well it is possible to construct a functionally purer OCs with score cut-offs. Our OCs were generated from the datasets of 20 procaryotes. The similarity with both COG(Clusters of Orthologous Group) and KO(Kegg Orthology) against our OCs has about 90% and inclines to increase with the growth of score cut-offs.

A Semantic Classification Model for e-Catalogs (전자 카탈로그를 위한 의미적 분류 모형)

  • Kim Dongkyu;Lee Sang-goo;Chun Jonghoon;Choi Dong-Hoon
    • Journal of KIISE:Databases
    • /
    • v.33 no.1
    • /
    • pp.102-116
    • /
    • 2006
  • Electronic catalogs (or e-catalogs) hold information about the goods and services offered or requested by the participants, and consequently, form the basis of an e-commerce transaction. Catalog management is complicated by a number of factors and product classification is at the core of these issues. Classification hierarchy is used for spend analysis, custom3 regulation, and product identification. Classification is the foundation on which product databases are designed, and plays a central role in almost all aspects of management and use of product information. However, product classification has received little formal treatment in terms of underlying model, operations, and semantics. We believe that the lack of a logical model for classification Introduces a number of problems not only for the classification itself but also for the product database in general. It needs to meet diverse user views to support efficient and convenient use of product information. It needs to be changed and evolved very often without breaking consistency in the cases of introduction of new products, extinction of existing products, class reorganization, and class specialization. It also needs to be merged and mapped with other classification schemes without information loss when B2B transactions occur. For these requirements, a classification scheme should be so dynamic that it takes in them within right time and cost. The existing classification schemes widely used today such as UNSPSC and eClass, however, have a lot of limitations to meet these requirements for dynamic features of classification. In this paper, we try to understand what it means to classify products and present how best to represent classification schemes so as to capture the semantics behind the classifications and facilitate mappings between them. Product information implies a plenty of semantics such as class attributes like material, time, place, etc., and integrity constraints. In this paper, we analyze the dynamic features of product databases and the limitation of existing code based classification schemes. And describe the semantic classification model, which satisfies the requirements for dynamic features oi product databases. It provides a means to explicitly and formally express more semantics for product classes and organizes class relationships into a graph. We believe the model proposed in this paper satisfies the requirements and challenges that have been raised by previous works.

A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data (대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템)

  • Son, Siwoon;Kim, Dasol;Moon, Yang-Sae;Choi, Hyung-Jin
    • Database Research
    • /
    • v.34 no.3
    • /
    • pp.58-68
    • /
    • 2018
  • Distributed computing helps to efficiently store and process large data on a cluster of multiple machines. The performance of distributed computing is greatly influenced depending on the state of the servers constituting the distributed system. In this paper, we propose a self-diagnosis system that collects log data in a distributed system, detects anomalies and visualizes the results in real time. First, we divide the self-diagnosis process into five stages: collecting, delivering, analyzing, storing, and visualizing stages. Next, we design a real-time self-diagnosis system that meets the goals of real-time, scalability, and high availability. The proposed system is based on Apache Flume, Apache Kafka, and Apache Storm, which are representative real-time distributed techniques. In addition, we use simple but effective moving average and 3-sigma based anomaly detection technique to minimize the delay of log data processing during the self-diagnosis process. Through the results of this paper, we can construct a distributed real-time self-diagnosis solution that can diagnose server status in real time in a complicated distributed system.

Analysis of Web Data Applying Data Mining (데이터마이닝을 이용한 웹 데이터 분석)

  • 채승경;서용무
    • Proceedings of the Korea Database Society Conference
    • /
    • 2001.06a
    • /
    • pp.345-361
    • /
    • 2001
  • 인터넷의 확산으로 웹 구조, 웹 로그 등을 분석하는 웹마이닝(Web Mining)에 대한 연구가 활발히 진행되고 있다. 그러나 웹에서 발생하는 데이터에 대한 분석은 아직 미약한 상태이다. 웹에서 획득된 데이터는 신뢰도가 낮아 통계와 같은 기존의 분석 방법을 적용하기에 많은 어려움이 따른다. 또한 대용량 데이터와 실제 데이터에 유연한 분석을 제공하는 데이터 마이닝은 아직까지 적용 분야가 매우 한정되어 있다. 본 논문에서는 인터넷 사이트의 실제 데이터를 이용하여 데이터마이닝 과정에 따라 데이터 정제, 데이터 선택, 데이터 변환 등 효과적인 데이터 전처리 방법을 제시한다. 또한 이렇게 전처리된 데이터로 고객 세분화, 우수 고객 분류를 위한 데이터마이닝 기법을 적용한 후 수행 결과를 분석한다. 마지막으로 분석의 한계점을 지적하고 보다 양질의 데이터마이닝을 위한 시스템 및 사이트 설계 방안을 제시한다.

  • PDF

An Efficient Scheme of Performing Pending Actions for the Removal of Datavase Files (데이터베이스 파일의 삭제를 위한 미처리 연산의 효율적 수행 기법)

  • Park, Jun-Hyun;Park, Young-Chul
    • Journal of KIISE:Databases
    • /
    • v.28 no.3
    • /
    • pp.494-511
    • /
    • 2001
  • In the environment that database management systems manage disk spaces for storing databases directly, this paper proposes a correct and efficient scheme of performing pending actions for the removal of database files. As for performing pending actions, upon performing recovery, the recovery process must identify unperformed pending actions of not-yet-terminated transactions and then perform those actions completely. Making the recovery process identify those actions through the analysis of log records in the log file is the basic idea of this paper. This scheme, as an extension of the execution of transactions, fuzzy checkpoint, and recovery of ARIES, uses the following methods: First, to identify not-yet-terminated transactions during recovery, transactions perform pending actions after writing 'pa_start'log records that signify both the commit of transactions and the start of executing pending actions, and then write 'eng'log records. Second, to restore pending-actions-lists of not-yet-terminated transactions during recovery, each transaction records its pending-actions-list in 'pa_start'log record and the checkpoint process records pending-actions-lists of transactions that are decided to be committed in 'end_chkpt'log record. Third, to identify the next pending action to perform during recovery, whenever a page is updated during the execution of pending actions, transactions record the information that identifies the next pending action to perform in the log record that has the redo information against the page.

  • PDF

Implementation of a Realtime Audit Trail System using Database (데이터베이스를 이용한 실시간 감사ㆍ추적 시스템 구현)

  • 최형환;박태규;이윤희;조인구;임연호
    • Proceedings of the Korea Database Society Conference
    • /
    • 2000.11a
    • /
    • pp.201-209
    • /
    • 2000
  • 기존의 리눅스 운영체제에서는 임의적 접근제어(DAC)에 의해서 자원의 접근을 통제하며, 이 때의 접근제어 정보를 로그 파일을 통한 정적인 감사 추적에 의존하고 있다. 따라서 본 논문에서는 DAC와 함께 강제적 접근통제(MAC) 기법을 구현하여 커널 수준에서 자원을 안전하고 강제적으로 통제할 수 있는 다중등급보안(MLS) 시스템을 설계, 구현하였으며, 동적이며 실시간으로 감사 정보를 수집, 분석, 추적할 수 있도록 데이터베이스 연동을 통한 감사 추적 시스템을 설계하고 구현하였다. 데이터베이스 연동을 통한 실시간 감사 추적 시스템은 보안 관리자로 하여금 불법적 침입 및 자료의 유출에 대하여 실시간으로 대처할 수 있도록 한다. 본 논문에서는 이러한 리눅스 실시간 감사 추적 시스템을 설계하고 구현한 내용을 소개한다.

  • PDF