• Title/Summary/Keyword: 로그 처리

Search Result 652, Processing Time 0.037 seconds

A Design of Resource Usage Log Creation System in the Computational Grid (그리드 환경에서의 자원 사용 기록 생성 시스템 설계)

  • Hahm, Jae-Gyoon;Park, Hyung-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11a
    • /
    • pp.179-182
    • /
    • 2002
  • 그리드 환경에서는 사용자가 컴퓨팅 자원을 사용하기 위해 시스템마다 로그인 할 필요가 없다. 어디서나 멀리 있는 자원으로 작업을 던지기만 하면 되는데, 이때 하나의 자원만을 사용하는 것이 아니라 여러 종류, 여러 개의 자원을 동시에 사용할 수 있다. 이러한 환경에서 각 사용자가 자원을 사용한 기록으로 남는 로그(log)처리는 기존의 계산 환경에서의 그것과는 많은 차이가 생기게 된다. 우선 사용자는 자신의 작업에 대한 로그를 보기 위해서 시스템마다 로그인 할 필요가 없어야 한다. 또 작업에 대한 효율적인 모니터링을 위해 정확한 로그를 필요로 하게 된다. 자원 관리자는 정확한 로그를 이용해 자원 관리 및 어카운팅(accounting) 정책을 수립할 수 있을 것이다. 본 논문에서는 이러한 그리드 환경에 적합한 로그 로그 생성 시스템을 설계하고자 한다.

  • PDF

Image Logging Technique of a Web URL Page on the Tiny Web Server (Web URL Page 의 Image Logging 기법)

  • Yoo, Seung-Hee;Cho, Dong-Sub
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.05a
    • /
    • pp.679-682
    • /
    • 2008
  • 기존의 웹서버는 텍스트형식의 로그파일을 기록한다. 웹 서버에서 로그파일은 클라이언트의 웹서버에 대한 접속정보와 웹서버의 처리상황 등 모든 상황을 기록하고 저장한다. 이 정보를 분석하면 웹 서비스를 하는데 있어서 웹 서비스의 질을 높이는데 좋은 참고자료가 될 뿐 아니라 웹 서버에 이상이 생겼을 경우 발생한 오류를 조기에 발견하는 데에도 사용되는 중요한 자료이다. 현재 이러한 로그파일은 텍스트 파일로 저장되어있기 때문에 조작의 가능성도 있고 오랜 시간이 지나 해당 웹 페이지가 삭제되었을 경우 로그파일에 기록된 그 시각의 웹 페이지를 볼 수 없다. 본 연구에서는 로그파일에 기록된 그 시간의 웹 URL 페이지 이미지를 저장하여 이미지 로그파일을 만드는 시스템을 구현해 봄으로써 텍스트형식 로그파일의 단점을 보안하고 오랜 시간이 지난 후에도 그 웹 페이지를 볼 수 있는 기법을 연구하였다. 이 기법은 로그파일로써의 역할 뿐만 아니라 Digital Forensics 로 범죄 수사에도 많은 도움이 될 수 있고 휴대전화에서 풀 인터넷 브라우징 연구에도 적용될 수 있다.

Management the log-in session Using Android Application (안드로이드 애플리케이션 로그인 세션관리)

  • Lee, Tae-Kwon;Kwon, DooWy;Park, SuHyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.272-273
    • /
    • 2014
  • 본 논문에서는 안드로이드 스마트폰을 이용하여 회원가입, 로그인, 로그아웃 및 세션유지를 할 수 있는 방법을 제안했고, Android, php와 MySQL을 사용하여 개발했다. 로그인관리를 효율적으로 하기위한 알고리즘을 설계했고 이 알고리즘을 이용하여 회원가입, 로그인, 로그아웃 및 세션유지를 할 수 있는 구현화면을 제작했다. 처음 회원가입 기능을 통해 아이디와 비밀번호를 등록 후 로그인을 시도하면 로그인인증 과정을 거치게 되며 인증에 성공하면 다음 화면으로 이동된다. 로그인인증 후 사용자의 조작에 의하여 안드로이드 Activity간 이동이 있더라도 php에서 제공하는 세션유지 기능을 사용하여 로그인상태를 유지시키며, 로그아웃을 하게 되면 초기화면으로 이동하고 세션이 해제됨으로써 로그인유지 세션이 종료된다.

Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment (클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현)

  • Kim, Myoungjin;Han, Seungho;Cui, Yun;Lee, Hanku
    • Journal of Internet Computing and Services
    • /
    • v.14 no.6
    • /
    • pp.71-84
    • /
    • 2013
  • Log data, which record the multitude of information created when operating computer systems, are utilized in many processes, from carrying out computer system inspection and process optimization to providing customized user optimization. In this paper, we propose a MongoDB-based unstructured log processing system in a cloud environment for processing the massive amount of log data of banks. Most of the log data generated during banking operations come from handling a client's business. Therefore, in order to gather, store, categorize, and analyze the log data generated while processing the client's business, a separate log data processing system needs to be established. However, the realization of flexible storage expansion functions for processing a massive amount of unstructured log data and executing a considerable number of functions to categorize and analyze the stored unstructured log data is difficult in existing computer environments. Thus, in this study, we use cloud computing technology to realize a cloud-based log data processing system for processing unstructured log data that are difficult to process using the existing computing infrastructure's analysis tools and management system. The proposed system uses the IaaS (Infrastructure as a Service) cloud environment to provide a flexible expansion of computing resources and includes the ability to flexibly expand resources such as storage space and memory under conditions such as extended storage or rapid increase in log data. Moreover, to overcome the processing limits of the existing analysis tool when a real-time analysis of the aggregated unstructured log data is required, the proposed system includes a Hadoop-based analysis module for quick and reliable parallel-distributed processing of the massive amount of log data. Furthermore, because the HDFS (Hadoop Distributed File System) stores data by generating copies of the block units of the aggregated log data, the proposed system offers automatic restore functions for the system to continually operate after it recovers from a malfunction. Finally, by establishing a distributed database using the NoSQL-based Mongo DB, the proposed system provides methods of effectively processing unstructured log data. Relational databases such as the MySQL databases have complex schemas that are inappropriate for processing unstructured log data. Further, strict schemas like those of relational databases cannot expand nodes in the case wherein the stored data are distributed to various nodes when the amount of data rapidly increases. NoSQL does not provide the complex computations that relational databases may provide but can easily expand the database through node dispersion when the amount of data increases rapidly; it is a non-relational database with an appropriate structure for processing unstructured data. The data models of the NoSQL are usually classified as Key-Value, column-oriented, and document-oriented types. Of these, the representative document-oriented data model, MongoDB, which has a free schema structure, is used in the proposed system. MongoDB is introduced to the proposed system because it makes it easy to process unstructured log data through a flexible schema structure, facilitates flexible node expansion when the amount of data is rapidly increasing, and provides an Auto-Sharding function that automatically expands storage. The proposed system is composed of a log collector module, a log graph generator module, a MongoDB module, a Hadoop-based analysis module, and a MySQL module. When the log data generated over the entire client business process of each bank are sent to the cloud server, the log collector module collects and classifies data according to the type of log data and distributes it to the MongoDB module and the MySQL module. The log graph generator module generates the results of the log analysis of the MongoDB module, Hadoop-based analysis module, and the MySQL module per analysis time and type of the aggregated log data, and provides them to the user through a web interface. Log data that require a real-time log data analysis are stored in the MySQL module and provided real-time by the log graph generator module. The aggregated log data per unit time are stored in the MongoDB module and plotted in a graph according to the user's various analysis conditions. The aggregated log data in the MongoDB module are parallel-distributed and processed by the Hadoop-based analysis module. A comparative evaluation is carried out against a log data processing system that uses only MySQL for inserting log data and estimating query performance; this evaluation proves the proposed system's superiority. Moreover, an optimal chunk size is confirmed through the log data insert performance evaluation of MongoDB for various chunk sizes.

Logging Mechanism of Very Large Scale Workflow Engine (초대형 워크플로우 엔진의 로깅 메커니즘)

  • Ahn, Hyung-Jin;Park, Mean-Jae;Kim, Kwang-Hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.149-152
    • /
    • 2005
  • 워크플로우 시스템은 비즈니스 환경에서 프로세스의 자동화 수행을 통해 업무 처리의 효율성 및 성능을 극대화시켜주는 미들웨어 시스템이며 워크플로우 엔진은 이러한 비즈니스 서비스의 실질적인 수행을 컨트롤 및 관리해주는 역할을 한다. 워크플로우 클라이언트로부터의 서비스 요청에 대한 처리를 위해 워크플로우 엔진은 엔진 내부의 핵심 컴포넌트들의 연동에 의해 생성되는 서비스 인스턴스들의 처리 행위를 통해 서비스를 수행하며, 서비스 처리를 하면서 발생되는 이벤트들에 대해서 로그를 기록한다. 이러한 로그 데이터들은 워크플로우 모니터링 분석에 중요한 근거 자료로서 사용되며, 워크플로우 웨어하우징 및 마이닝등의 분야에서 주요 근간 데이터로서 사용될 수 있다. 본 논문에서는 자체 제작된 e-chautauqua 초대형 워크플로우 시스템을 배경으로 초대형 워크플로우 라는 환경에서 대용량의 로그를 어떻게 구성하는지에 대해서도 살펴볼 것이며, 워크플로우 엔진을 구성하는 핵심 컴포넌트들의 연동에 의해 수행되는 서비스 인스턴스들의 이벤트들이 어떠한 모습으로 로그 메시지를 구성하게 되는지에 대한 로그 메시지 포맷에 대한 전반적인 워크플로우 로깅 메커니즘에 대해 기술하고자 한다.

  • PDF

Log Analysis for Detecting Malicious Access (악의적 접근 탐지를 위한 로그 분석)

  • Kim, Hee-Sung;Lee, Bong-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.744-746
    • /
    • 2013
  • 서버는 사용자의 요청에 따라 정보를 제공한다. 사용자는 외부 혹은 내부 네트워크에서 서버에 접근하여 데이터를 요청하고, 서버는 서버 내의 데이터 스토어에 저장되어 있는 데이터들을 지정된 방식에 맞게 사용자에게 보여주게 된다. 이러한 일련의 처리 과정들은 서버의 로그로 보관되어지며, 로그는 처리 과정의 세부적인 정보들을 가지고 있다. 서버 관리자는 로그에 기록되어 있는 정보들을 이용해 사용자의 행동을 파악할 수 있으며, 악의적이거나 잘못된 접근 또한 감지할 수 있다. 로그데이터 안에는 접속시간, 사용자 IP, 포트정보, 프로토콜정보, 이벤트 등 사용자가 활동한 흔적들이 기록된다[1]. 어떤 사용자가 언제 어떠한 경로로 어떠한 행위를 하였는지에 대하여 로그는 기록하고 있다. 본 논문에서는 이벤트로 서버에 요청하는 쿼리문과 사용자의 IP주소를 이용하여 사용자의 행동 패턴을 파악하고 분석하며, 분석된 행동 패턴과 사용자 정보를 기반으로 악의적인 접근을 방지하고 통제하고자 한다.

A Study on Message-Driven POJO(MDP) by Developing an Asynchronous Logging Service (비동기식 로그서비스 구현을 통한 Message-Driven POJO(MDP) 기술연구)

  • Jang Eui-Jin;Baeg Jong Hyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.982-984
    • /
    • 2005
  • 효과적인 어플리케이션 로그처리는 어플리케이션 개발 및 운영 시에 매우 중요한 요소 중에 하나이다. 파일이나 콘솔을 이용하여 동기식으로 처리되는 일반적인 로그 서비스는 동시에 대량의 로그를 처리해야 할 경우 시스템에 많은 부하를 주게 되는 문제점이 있다. 이를 해결하기 위해서는 클라이언트가 지연 없이 로그를 남길 수 있는 비동기식 로그서비스가 필요하다. 이 논문에서는 비동기식 로그서비스 구현을 통해서 Message-Driven POJO(MDP) 구현 기술을 소개하고 최근에 소개된 EJB 3.0 Message Driven Bean(MDB) 기술과 비교 분석해 보도록 한다.

  • PDF

A Study on the Logging System Design Suggestion Using Machine Learning (머신러닝을 사용한 로그수집 시스템 설계 제안에 관한 연구)

  • Seo, Deck-Won;Yooun, Ho-sang;Shin, Dong-Il;Shin, Dong-Kyoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.299-301
    • /
    • 2017
  • 현대사회에서는 사이버 해킹 공격이 많이 일어나고 있다. 공격이 증가함에 따라 이를 다양한 방법으로 방어하고 탐지하는 연구가 많이 이루어지고 있다. 본 논문은 OpenIOC, STIX, MMDEF 등과 같은 공격자의 방법론 또는 증거를 식별하는 기술 특성 설명을 수집해 놓은 표현들을 기반을 머신러닝과 logstash라는 로그 수집기를 결합하는 새로운 시스템을 제안한다. 시스템은 pc에 공격이 가해졌을 때 로그 수집기를 사용하여 로그를 수집한 후에 로그의 속성 값들의 리스트를 가지고 머신러닝 알고리즘을 통해 학습시켜 분석을 진행한다. 향후에는 제안된 시스템을 실시간 처리 머신러닝 알고리즘을 사용하여 필요로그정보의 구성을 해주면 자동으로 로그정보를 수집하고 필터와 출력을 거쳐 학습을 시켜 자동 침입탐지시스템으로 발전할 수 있을 것이라 예상된다.

A Study on CDC Analysis Using Redo-Log File (로그 파일을 이용한 CDC 분석에 관한 연구)

  • Kim, Young-Whan;Im, Yeung-Woon;Kim, Sang-Hyong;Kim, Ryong;Choi, Hyun-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.692-695
    • /
    • 2014
  • 현재와 같이 처리해야 할 데이터가 폭주하는 상황에서 대부분의 시스템은 자료 저장을 위해 데이터베이스를 사용하지만, 누적되는 데이터 관리를 위해 빈번한 문제가 발생한다. 이때 대부분의 시스템들에서는 상용버전의 데이터 백업 시스템이나 이중화 시스템 등을 두어 여러 곳에 분산 배치함으로써 데이터 보관의 안전성을 도모한다. 실제 모든 데이터베이스 시스템들은 데이터를 레코드에 기록할 때 마다 고유의 로그기록을 남겨놓게 되어있다. 로그기록들은 결국 아카이브 형태로 저장되는데, 그전에 실시간으로 로그를 남기는 과정을 거치게 된다. 본 논문에서는 현재 많은 기관 및 단체에서 사용하는 오라클 데이터베이스를 기본으로 하여, 실시간으로 로그기록을 저장하게 되는 리두 로그(Redo-Log) 파일에 대하여 알아보고, 로그기록의 절차 및 응용 가능성에 대하여 보여준다.

Development of Statistical Prediction Engine for Integrated Log Analysis Systems (통합 로그 분석 시스템을 위한 통계학적 예측 엔진 개발)

  • KO, Kwang-Man;Kwon, Beom-Chul;Kim, Sung-Chul;Lee, Sang-Jun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.638-639
    • /
    • 2013
  • Anymon Plus(ver 3.0)은 통합 로그 분석 시스템으로 대용량 로그 및 빅데이터의 실시간 수집 저장 분석할 수 있는 제품(초당 40,000 이벤트 처리)으로서, 방화벽 로그 분석을 통한 비정상 네트워크 행위 탐지, 웹 로그 분석을 통한 사용 패턴 분석, 인터넷 쇼핑몰 사기 주문 분석 및 탐지, 내부 정부 유출 분석 및 탐지 등과 같은 다양한 분야로 응용이 확대되고 있다. 본 논문에서는 보안관련 인프라 로그를 분석하고 예측하여 예상 보안사고 시기에 집중적 경계를 통한 선제적 대응을 모색하기 위해 통계적 이론에 기반한 통합 로그 분석 시스템을 개발하기 위해, 회귀분석 및 시계열 분석이 가능한 예측 엔진 시스템을 설계하고 구현한다.