• 제목/요약/키워드: Log data analysis

검색결과 972건 처리시간 0.034초

NoSQL기반의 MapReduce를 이용한 방화벽 로그 분석 기법 (The Method of Analyzing Firewall Log Data using MapReduce based on NoSQL)

  • 최보민;공종환;홍성삼;한명묵
    • 정보보호학회논문지
    • /
    • 제23권4호
    • /
    • pp.667-677
    • /
    • 2013
  • 방화벽은 대표적인 네트워크 보안 장비로서 대부분의 네트워크 내/외부에 설치되어 패킷의 입/출입을 통제하는 시스템이다. 때문에 이에 저장된 로그 데이터를 분석하는 것은 네트워크 보안연구에 중요한 기초 자료를 제공해 줄 수 있다. 그런데 최근 기술의 발달로 인터넷망의 속도가 향상되고, 네트워크가 대형화 되면서 방화벽에서 저장하는 로그데이터들의 양도 대용량화 또는 빅데이터화 되어 가고 있다. 이러한 추세 속에서, 기존의 전통적인 RDBMS방식으로 로그데이터를 분석하는 데는 한계가 있다. 본 논문은 NoSQL 기반의 MapReduce 설계를 이용한 방화벽 로그 분석기법을 통해 NoSQL방식을 도입하는 것이 대용량 로그 데이터를 더욱 효율적으로 분석할 수 있다는 점을 발견했다. 우리는 기존의 RDBMS방식과의 데이터 처리 성능을 비교하여 NoSQL방식 데이터베이스의 우수한 성능을 입증하였고, 이를 바탕으로 제안하는 설계 기법을 평가하기 위해 3가지 공격 패턴을 선정하고 이를 집계 하여 분석을 수행하는 실험을 통해 제안하는 분석 기법의 성능 및 정확성을 입증하였다.

A guideline for the statistical analysis of compositional data in immunology

  • Yoo, Jinkyung;Sun, Zequn;Greenacre, Michael;Ma, Qin;Chung, Dongjun;Kim, Young Min
    • Communications for Statistical Applications and Methods
    • /
    • 제29권4호
    • /
    • pp.453-469
    • /
    • 2022
  • The study of immune cellular composition has been of great scientific interest in immunology because of the generation of multiple large-scale data. From the statistical point of view, such immune cellular data should be treated as compositional. In compositional data, each element is positive, and all the elements sum to a constant, which can be set to one in general. Standard statistical methods are not directly applicable for the analysis of compositional data because they do not appropriately handle correlations between the compositional elements. In this paper, we review statistical methods for compositional data analysis and illustrate them in the context of immunology. Specifically, we focus on regression analyses using log-ratio transformations and the alternative approach using Dirichlet regression analysis, discuss their theoretical foundations, and illustrate their applications with immune cellular fraction data generated from colorectal cancer patients.

로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법 (MapReduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis)

  • 이협건;김영운;박지용;이진우
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.593-600
    • /
    • 2018
  • 인터넷과 스마트기기의 발달로 인해 소셜미디어 등 다양한 미디어의 접근의 용이해짐에 따라 많은 양의 빅데이터들이 생성되고 있다. 특히 다양한 인터넷 서비스를 제공하는 기업들은 고객 성향 및 패턴, 보안성 강화를 위해 맵리듀스 기반 빅데이터 분석 기법들을 활용하여 빅데이터 분석하고 있다. 그러나 맵리듀스는 리듀스 단계에서 생성되는 리듀서 객체의 수를 한 개로 정의하고 있어, 빅데이터 분석할 때 처리될 많은 데이터들이 하나의 리듀서 객체에 집중된다. 이로 인해 리듀서 객체는 병목현상이 발생으로 빅데이터 분석 처리율이 감소한다. 이에 본 논문에서는 로그 분석처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과병합 단계로 구분하며 리듀서 객체의 수를 유동적으로 생성하여 병목현상을 감소시켜 빅데이터 처리율을 향상시킨다.

빅데이터기반의 로그분석을 통한 통합 관리 솔루션 개발 (Development of integrated management solution through log analysis based on Big Data)

  • 강선경;이현창;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.541-542
    • /
    • 2017
  • 본 논문에서는 복잡하고 다양한 클라우드 환경을 통합하여 간편하게 운영할 수 있는 통합관리 솔류션을 개발하고자 한다. 이는 빅데이터 기반의 정형로그데이터와 비정형로그데이터를 수집하고 분석하여 실시간으로 통합 모니터링이 가능하여 사용자와 관리자가 편리하게 문제를 해결할 수 있다는 장점을 가지고 있다. Hypervisor 로그패턴 분석 기술을 통해 기존의 복잡하고 다양한 클라우드 환경을 좀 더 효율적으로 운용 관리할 수 있는 솔루션이라 하겠다.

  • PDF

Estimation of Log-Odds Ratios for Incomplete $2{\times}2$ Tables with Covariates using FEFI

  • Kang, Shin-Soo;Bae, Je-Min
    • Journal of the Korean Data and Information Science Society
    • /
    • 제18권1호
    • /
    • pp.185-194
    • /
    • 2007
  • The information of covariates are available to do fully efficient fractional imputation(FEFI). The new method, FEFI with logistic regression is proposed to construct complete contingency tables. Jackknife method is used to get a standard errors of log-odds ratio from the completed table by the new method. Simulation results, when covariates have more information about categorical variables, reveal that the new method provides more efficient estimates of log-odds ratio than either multiple imputation(MI) based on data augmentation or complete case analysis.

  • PDF

제어시스템 위협분석을 위한 Event Log 상관분석에 관한 연구 (A Study on Event Log Correlation Analysis for Control System Threat Analysis)

  • 김종민;김민수;이동휘
    • 융합보안논문지
    • /
    • 제17권5호
    • /
    • pp.35-40
    • /
    • 2017
  • 제어시스템은 공공 네트워크와의 통신망 융합에 따라 다양한 루트를 통해 정보유출 및 변조 등의 위협이 제어시스템에서도 그대로 나타날 수 있다. 최근 다양한 보안에 대한 이슈와 새로운 공격기법에 의한 침해 사례가 다변화됨에 따라서, 단순히 차단 및 확인 등의 학습을 통해 정보를 데이터베이스화하는 보안 시스템으로는 새로운 형태의 위협에는 대처하기 힘들어지고 있으며, 보안 접근 권한을 가진 내부자에 의한 보안위협에 대해서도 기존의 보안장비로는 대응하기가 어렵다. 내부자에 의한 위협에 대응하기 위해 내부 시스템에서 실시간으로 발생한 Event Log를 수집하고 분석하여야 한다. 이에 따라 본 연구에서는 제어시스템에서 실시간으로 발생한 Event Log들을 토대로 상관분석을 통해 Event Log간 요소들의 상관관계의 여부를 알 수 있었으며, 분석결과를 바탕으로 이 분야의 연구에 기여할 수 있을 것으로 판단된다.

Log-based petrophysical analysis of Khatatba Formation in Shoushan Basin, North Western Desert, Egypt

  • Osli, Liyana Nadiah;Yakub, Nur Yusrina;Shalaby, Mohamed Ragab;Islam, Md. Aminul
    • Geosciences Journal
    • /
    • 제22권6호
    • /
    • pp.1015-1026
    • /
    • 2018
  • This paper aims to investigate the good reservoir quality and hydrocarbon potentiality of the Khatatba Formation, Qasr Field in the Shoushan Basin of the North Western Desert, Egypt by combining results from log-based petrophysical analysis, petrographic description and images from scanning electron microscope (SEM). Promising reservoir units are initially identified and evaluated through well log analysis of three wells in the field of study. Petrophysical results are then compared with petrographic and SEM images from rock samples to identify features that characterize the reservoir quality. Well log results show that Khatatba Formation in the study area has good sandstone reservoir intervals from depths ranging from 12848 ft to 13900 ft, with good effective porosity records of 13-15% and hydrocarbon saturations of greater than 83%. Petrographic analysis of these sandstone reservoir units indicate high concentrations of vacant pore spaces with good permeability that can be easily occupied by hydrocarbon. The availability of these pore spaces are attributed to pore-enhancing diagenetic features, mainly in the form of good primary porosity and dissolution. SEM images and EDX analysis confirmed the presence of hydrocarbon, therefore indicating a good hydrocarbon-storing potential for the Khatatba Formation sandstones.

공작기계 부품의 신뢰성 데이터 해석에 관한 연구 (A Study on Reliability Data Analysis for Components of Machining Center)

  • 이수훈;김종수;송준엽;이승우;박화영
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 2001년도 춘계학술대회 논문집
    • /
    • pp.88-91
    • /
    • 2001
  • The reliability data analysis for components of CNC machining center is studied in this paper. The failure data of mechanical part is analyzed by Exponetial, Weibull, and Log-normal distributions. And then, the optimum failure distribution model is selected by goodness of fit test. The reliability data analysis program is developed using ASP language. The failure rate, MTBF, life, and failure mode of mechanical parts are estimated and searched by this program. The failure data and analysis results are stored in the database.

  • PDF

급경사지 산림작업을 위한 차량의 역학분석에 관한 연구 -차륜형 집재작업 트랙터를 중심으로- (A Study on Ground Vehicle Mechanics for Steep Slope Forest Operations - Rubber-Tired Log Skidding Tractor Operations -)

  • 정주상;정우담
    • 한국산림과학회지
    • /
    • 제84권2호
    • /
    • pp.218-225
    • /
    • 1995
  • 이 논문에서는 임업용 트랙터의 집재작업 분석에 요구되는 역학분석모델을 제시하고 사례분석을 통해 적용성을 검토하였다. 역학분석모델은 크게 견인목의 역학구조해석모델, 차량하중분석모델 및 주행중인 차량의 구동력과 저항력 분석모델의 3부분으로 구성되어 있다. 사례분석에서는 가상적인 집재작업 시나리오를 만들어 역학적으로 중요하거나 혹은 집재생산성에 중요한 인자들에 대한 영향력분석을 통해 모델의 적용성을 검토하였다. 사례분석은 1) 당김줄을 견인목에 묶는 방법이 견인력에 미치는 영향, 2)주행속도 및 견인목 하중이 차륜의 동력요구에 미치는 영향, 3) 2륜구동과 4륜구동 트랙터의 견인작업 수행 성능 비교에 관한 내용을 포함한다.

  • PDF

사용자의 실제 이용과 인지된 선호도 차이 분석: 레거시 시스템의 ERP 기능을 중심으로 (The Difference Analyses between Users' Actual Usage and Perceived Preference: The Case of ERP Functions on Legacy Systems)

  • 조용탁;김인재
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제23권1호
    • /
    • pp.185-202
    • /
    • 2014
  • ERP, a typical enterprise application, helps companies to increase their productivity and to support their decision makings. ERP is composed of diverse functions that are optimized under PC environment, whereas the ERP applications on a mobile platform have many constraints such as a small screen, limited resolution, and computing power. Because all the functions of a ERP legacy system are not required for ERP on a mobile device, the core functions of the ERP system should be selected to increase system efficiency. In this study, two main methods were used; interviews and log analyses. The end users using a ERP system were interviewed for their perceptions, and log data analyses were made for the hitting number of specific ERP functions. The differences between the actual usage based on log data and users' cognitive preferences about ERP functions were analysed. Finally, the functional differences between users' perception and actual usage were suggested for some practical implications.