• 제목/요약/키워드: log Data Analysis

검색결과 975건 처리시간 0.033초

Merkle Tree 기반의 로그인증 메커니즘 설계 및 분석 (Design and Analysis of the Log Authentication Mechanism based on the Merkle Tree)

  • 이정엽;박창섭
    • 융합보안논문지
    • /
    • 제17권1호
    • /
    • pp.3-13
    • /
    • 2017
  • 보안로그의 활용범위가 다양해짐에 따라 저장된 로그 데이터에 대한 무결성의 중요성이 높아지고 있다. 특히, 저장된 로그 데이터는 시스템에 침입한 공격자들이 자신의 흔적을 없애기 위해 우선적으로 조작되는 대상이다. 키 정보가 노출이 된 이후의 로그 데이터의 안전성은 보장하지 못하지만, 그 이전에 축적된 로그 데이터 무결성의 전방 안전성을 보장하는 다양한 이론적 기법들이 소개되었다. 이런 기법들의 인증태그들은 선형 해시체인을 기반으로 하고 있다. 이 경우 부분 검증이 어렵고, 인증태그 생성속도와 검증속도를 높이기 힘들다. 본 논문에서는, 부분 검증이 용이하고 멀티 스레딩이 적용 가능한 Merkle Tree 기반의 로그인증 메커니즘을 제안한다.

Linear regression under log-concave and Gaussian scale mixture errors: comparative study

  • Kim, Sunyul;Seo, Byungtae
    • Communications for Statistical Applications and Methods
    • /
    • 제25권6호
    • /
    • pp.633-645
    • /
    • 2018
  • Gaussian error distributions are a common choice in traditional regression models for the maximum likelihood (ML) method. However, this distributional assumption is often suspicious especially when the error distribution is skewed or has heavy tails. In both cases, the ML method under normality could break down or lose efficiency. In this paper, we consider the log-concave and Gaussian scale mixture distributions for error distributions. For the log-concave errors, we propose to use a smoothed maximum likelihood estimator for stable and faster computation. Based on this, we perform comparative simulation studies to see the performance of coefficient estimates under normal, Gaussian scale mixture, and log-concave errors. In addition, we also consider real data analysis using Stack loss plant data and Korean labor and income panel data.

하둡 기반의 효율적인 보안로그 분석시스템 설계 및 구현 (Design and Implementation of a Hadoop-based Efficient Security Log Analysis System)

  • 안광민;이종윤;양동민;이봉환
    • 한국정보통신학회논문지
    • /
    • 제19권8호
    • /
    • pp.1797-1804
    • /
    • 2015
  • 통합로그관리시스템은 보안 위험 사항을 예측하고 기관의 보안성 향상에 기여하여 적합한 보안 정책을 마련할 수 있도록 도와준다. 본 논문에서는 대용량의 로그 데이터를 저장할 수 있는 분산 데이터베이스 모델과 로그 수집 절차를 자동화하여 분석 시간을 줄일 수 있는 하둡 기반의 로그 분석 시스템을 설계하고 구현하였다. 제안하는 시스템에서는 HBase를 사용하여 데이터 용량에 따라 Scale-Out 방식으로 유연하게 저장할 수 있게 하였고 정규식을 이용하여 분석에 용이한 저장 기법을 제안하여 기존 시스템 대비 분석 속도를 높일 수 있다.

Outlying Cell Identification Method Using Interaction Estimates of Log-linear Models

  • Hong, Chong Sun;Jung, Min Jung
    • Communications for Statistical Applications and Methods
    • /
    • 제10권2호
    • /
    • pp.291-303
    • /
    • 2003
  • This work is proposed an alternative identification method of outlying cell which is one of important issues in categorical data analysis. One finds that there is a strong relationship between the location of an outlying cell and the corresponding parameter estimates of the well-fitted log-linear model. Among parameters of log-linear model, an outlying cell is affected by interaction terms rather than main effect terms. Hence one could identify an outlying cell by investigating of parameter estimates in an appropriate log-linear model.

CERES: 백본망 로그 기반 대화형 웹 분석 시스템 (CERES: A Log-based, Interactive Web Analytics System for Backbone Networks)

  • 서일현;정연돈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권10호
    • /
    • pp.651-657
    • /
    • 2015
  • 웹 응용 프로그램의 급격한 증가와 함께 웹 트래픽이 증가하고 있다. 웹에 대한 요청과 그 응답에 대한 기록인 웹 로그 또한 폭발적으로 증가하고 있다. 웹 로그로부터 가치 있는 정보를 취득하기 위해서는 매우 큰 용량의 데이터를 효과적이고 다양한 방법으로 다룰 수 있는 시스템이 필요하다. 본 논문에서는 백본망 로그 기반 대화형 웹 분석 시스템인 CERES를 소개한다. 기존의 웹 분석 시스템들과 달리, CERES는 하나의 웹 서버에 대한 분석이 아닌 백본망에서 생성되는 모든 웹 로그의 분석을 목적으로 한다. CERES는 하둡 분산 파일 시스템 (HDFS)을 저장소로 하는 서버 클러스터에 배포되며, 대용량의 로그에 기반한 분석을 분산 처리를 통해 지원한다. CERES는 백본망에서 생성된 웹 로그 데이터를 관계형 데이터로 변환하고, 사용자는 변환된 관계형 데이터에 대해 SQL을 이용하여 질의를 요청할 수 있다. 내부적으로 CERES는 웹 로그의 통계적 분석에 대한 질의를 효과적으로 처리하기 위해 데이터 큐브를 활용한다. 또한, CERES는 다양한 통계적 분석을 지원하기 위해 대화형 SQL 질의 인터페이스를 포함한 세 가지 형태의 웹 인터페이스를 제공하며 사용자는 이를 통해 쉽게 질의를 요청할 수 있고 그 결과를 시각적으로 확인할 수 있다.

국가기록원 질의로그 빅데이터 기반 이용자 정보요구 유형 분석 (User Information Needs Analysis based on Query Log Big Data of the National Archives of Korea)

  • 백지연;오효정
    • 정보관리학회지
    • /
    • 제36권4호
    • /
    • pp.183-205
    • /
    • 2019
  • 이용자의 정보요구를 파악하기 위한 다양한 방법 중 로그 분석 방법은 이용자의 실제 검색 행위를 사실적으로 반영하고, 대다수 이용자의 전반적인 이용행태를 분석할 수 있다. 이에 본 연구에서는 국가기록원 웹 포털서비스를 통해 입수된 대량의 질의로그 빅데이터를 기반으로 이용자의 정보요구를 파악하기 위해 1) 질의에 내포된 정보요구 유형별과 2) 검색결과로 제공한 기록 유형별 분석을 진행하였다. 분석에 활용한 질의로그는 국가기록원이 웹을 통해 검색서비스를 제공한 2007년부터 2018년 12월까지, 총 141개월 동안 수집된 월별 상위 100개 질의어 1,571,547개를 대상으로 하였다. 나아가 분석결과를 토대로 이용자 검색 만족도를 향상시킬 수 있는 개선방안을 제안하였다. 본 연구의 결과는 국가기록원 검색 서비스 개선 및 고도화를 위한 구체적이고 실질적 방안을 제시했다는 점에서 의의가 있다.

분산 환경에서 SysLog기반의 방화벽 통합로그관리시스템 개발 (Development of the SysLog-based Integrated Log Management system for Firewalls in Distributed Network Environments)

  • 이동영;서희석;이을석
    • 디지털산업정보학회논문지
    • /
    • 제7권4호
    • /
    • pp.39-45
    • /
    • 2011
  • Application log files contain error messages; operational data and usage information that can help manage applications and servers. Log analysis system is software that read and parse log files, extract and aggregate information in order to generate reports on the application. In currently, the importance of log files of firewalls is growing bigger and bigger for the forensics of cyber crimes and the establishment of security policy. In this paper, we designed and implemented the SILAS(SysLog-based Integrated Log mAanagement System) in distribute network environments. It help to generate reports on the the log fires of firewalls - IP and users, and statistics of application usage.

A Clustering Algorithm Considering Structural Relationships of Web Contents

  • Kang Hyuncheol;Han Sang-Tae;Sun Young-Su
    • Communications for Statistical Applications and Methods
    • /
    • 제12권1호
    • /
    • pp.191-197
    • /
    • 2005
  • Application of data mining techniques to the world wide web, referred to as web mining, has been the focus of several recent researches. With the explosive growth of information sources available on the world wide web, it has become increasingly necessary to track and analyze their usage patterns. In this study, we introduce a process of pre-processing and cluster analysis on web log data and suggest a distance measure considering the structural relationships between web contents. Also, we illustrate some real examples of cluster analysis for web log data and look into practical application of web usage mining for eCRM.

시스템 결함 분석을 위한 이벤트 로그 연관성에 관한 연구 (Correlation Analysis of Event Logs for System Fault Detection)

  • 박주원;김은혜;염재근;김성호
    • 산업경영시스템학회지
    • /
    • 제39권2호
    • /
    • pp.129-137
    • /
    • 2016
  • To identify the cause of the error and maintain the health of system, an administrator usually analyzes event log data since it contains useful information to infer the cause of the error. However, because today's systems are huge and complex, it is almost impossible for administrators to manually analyze event log files to identify the cause of an error. In particular, as OpenStack, which is being widely used as cloud management system, operates with various service modules being linked to multiple servers, it is hard to access each node and analyze event log messages for each service module in the case of an error. For this, in this paper, we propose a novel message-based log analysis method that enables the administrator to find the cause of an error quickly. Specifically, the proposed method 1) consolidates event log data generated from system level and application service level, 2) clusters the consolidated data based on messages, and 3) analyzes interrelations among message groups in order to promptly identify the cause of a system error. This study has great significance in the following three aspects. First, the root cause of the error can be identified by collecting event logs of both system level and application service level and analyzing interrelations among the logs. Second, administrators do not need to classify messages for training since unsupervised learning of event log messages is applied. Third, using Dynamic Time Warping, an algorithm for measuring similarity of dynamic patterns over time increases accuracy of analysis on patterns generated from distributed system in which time synchronization is not exactly consistent.

APP 분석 시스템 및 CMS시스템 오픈API 개발 (Development of App Analysis System and CMS System Open API)

  • 김성림;박형록;전수진
    • 디지털산업정보학회논문지
    • /
    • 제10권3호
    • /
    • pp.23-33
    • /
    • 2014
  • The smart phone are changing the way people communicate. And, the mobile app marketplace is greatly fast-growing. The app store continues its rapid growth, there are already more than 900,000 mobile apps on AppStore. We anticipate to see gained momentum throughout the business. Mobile is also becoming popular for marketers. Therefore, specialized app analysis systems are becoming important to how marketers and app developers invest, analyze and market their apps. App analysis systems enable users to discover and analyze behavior through data observations and meaningful patterns. In this paper, we introduce app analysis system and CMS System Open API, NugaLog. The NugaLog acquires users data and engages with them in a variety of ways. It will be essential for us to understand how users interact with and move through the app. The NugaLog will be able to see the number of users, smart phone model, smart phone OS, resolution, page views, and app version.