• 제목/요약/키워드: Log data analysis

검색결과 979건 처리시간 0.026초

빅데이터 플랫폼을 이용한 보안로그 분석 시스템 구현 모델 연구 (A Study on implementation model for security log analysis system using Big Data platform)

  • 한기형;정형종;이두식;채명희;윤철희;노규성
    • 디지털융복합연구
    • /
    • 제12권8호
    • /
    • pp.351-359
    • /
    • 2014
  • 보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.

셰일가스정 천이유동 생산자료분석의 기술적 고려사항 (Technical Consideration for Production Data Analysis with Transient Flow Data on Shale Gas Well)

  • 한동권;권순일
    • 한국가스학회지
    • /
    • 제20권1호
    • /
    • pp.13-22
    • /
    • 2016
  • 본 연구에서는 다단계 수압파쇄와 수평시추가 적용된 셰일가스정에서 생산자료의 유동형태에 따라 적절한 분석 방법과 궁극가채량을 산출하는 기법을 결정하는 방법을 정리한 흐름도를 제안하였다. 또한 1차 천이유동만이 나타나는 현장자료에 대해 생산천이유동 분석을 수행할 때 고려해야 하는 사항들을 제안하였다. log-log 그래프와 시간제곱근 그래프 분석을 통해 생산자료의 유동 특성을 분류할 수 있고, 이 결과, 1차 천이유동만이 나타나는 생산자료는 이 유동이 종료되는 시점을 정확히 예측하여 이 시점을 기준으로 생산성을 각각 예측하여야 한다. 이 시점은 미세탄성파 탐사자료 해석을 통해 균열자극부피의 면적을 계산함으로써 산출할 수 있다. 공저압력자료나 미세탄성파 탐사자료가 없다면 셰일가스정에 적절한 경험적 방법을 활용하여 생산성을 예측할 수 있다. 생산기간이 짧은 자료는 상대적으로 생산기간이 긴 인접 생산정의 자료를 활용하여 생산기간의 적절성을 평가한 후 필요하다면 생산초기 자료를 제외하고 분석하는 것이 정확도를 향상시킬 수 있다. 또한 미세탄성파 탐사자료 해석에 의해 산출된 SRV는 분석방법이나 분석자의 주관에 의해 과대, 과소 평가될 수 있기 때문에 파쇄 단계, 파쇄유체 주입량, 생산성 분석을 통한 적절성평가를 수행하여 필요한 경우, 저류층 시뮬레이션, 균열모델링, 생산천이분석을 통해 재산정하는 것이 필요하다.

Design of a machine learning based mobile application with GPS, mobile sensors, public GIS: real time prediction on personal daily routes

  • Shin, Hyunkyung
    • International journal of advanced smart convergence
    • /
    • 제7권4호
    • /
    • pp.27-39
    • /
    • 2018
  • Since the global positioning system (GPS) has been included in mobile devices (e.g., for car navigation, in smartphones, and in smart watches), the impact of personal GPS log data on daily life has been unprecedented. For example, such log data have been used to solve public problems, such as mass transit traffic patterns, finding optimum travelers' routes, and determining prospective business zones. However, a real-time analysis technique for GPS log data has been unattainable due to theoretical limitations. We introduced a machine learning model in order to resolve the limitation. In this paper presents a new, three-stage real-time prediction model for a person's daily route activity. In the first stage, a machine learning-based clustering algorithm is adopted for place detection. The training data set was a personal GPS tracking history. In the second stage, prediction of a new person's transient mode is studied. In the third stage, to represent the person's activity on those daily routes, inference rules are applied.

웹기반 교육에서 학습자별 학습현황 분석에 관한 연구 (The Analysis of Individual Learning Status on Web-Based Instruction)

  • 신지연;정옥란;조동섭
    • 컴퓨터교육학회논문지
    • /
    • 제6권2호
    • /
    • pp.107-120
    • /
    • 2003
  • 웹기반 교육에서 학습과정을 평가한다는 것은 개별 학습자들의 학습 활동을 평가하는 것을 의미하기 때문에 학습자의 특정 수업내용에 대한 학습 시간, 학습 패턴, 학습 참여도(의견 교환, 질문), 학습 환경 등의 정보가 요구된다. 본 연구의 목적은 웹 기반 교육에서 쟁점이 되고 있는 학습과정 평가문제를 해결하기 위해 최적의 웹 로그 마이닝을 이용하여 학습자 개인별 학습현황에 관한 정보를 얻어 이를 수행 평가에 반영하고자 함이다. 연구 내용 및 결과로는 먼저, 학습현황 분석을 위한 항목을 선정하고 웹 로그 마이닝을 위한 로그 데이터 전처리 과정을 실행하였다. 다음으로는, 위의 웹 로그 데이터를 기초로 학습자별 데이터베이스를 구축하고 질의어를 사용하여 학습현황을 분석하였다.

  • PDF

수주생산기업 B2B에서 e-CRM을 위한 웹 로그 분석 (Analysis of Web Log for e-CRM on B2B of the Make-To-Order Company)

  • 고재문;서준용;김운식
    • 산업공학
    • /
    • 제18권2호
    • /
    • pp.205-220
    • /
    • 2005
  • This study presents a web log analysis model for e-CRM, which combines the on-line customer's purchasing pattern data and transaction data between companies in B2B environment of make-to-order company. With this study, the customer evaluation and the customer subdivision are available. We can forecast the estimate demands with periodical products sales records. Also, the purchasing rate per each product, the purchasing intention rate, and the purchasing rate per companies can be used as the basic data for the strategy for receiving the orders in future. These measures are used to evaluate the business strategy, the quality ability on products, the customer's demands, the benefits of customer and the customer's loyalty. And it is used to evaluate the customer's purchasing patterns, the response analysis, the customer's secession rate, the earning rate, and the customer's needs. With this, we can satisfy various customers' demands, therefore, we can multiply the company's benefits. And we presents case of the 'H' company, which has the make-to-order manufacture environment, in order to verify the effect of the proposal system.

Disjunctive Process Patterns Refinement and Probability Extraction from Workflow Logs

  • Kim, Kyoungsook;Ham, Seonghun;Ahn, Hyun;Kim, Kwanghoon Pio
    • 인터넷정보학회논문지
    • /
    • 제20권3호
    • /
    • pp.85-92
    • /
    • 2019
  • In this paper, we extract the quantitative relation data of activities from the workflow event log file recorded in the XES standard format and connect them to rediscover the workflow process model. Extract the workflow process patterns and proportions with the rediscovered model. There are four types of control-flow elements that should be used to extract workflow process patterns and portions with log files: linear (sequential) routing, disjunctive (selective) routing, conjunctive (parallel) routing, and iterative routing patterns. In this paper, we focus on four of the factors, disjunctive routing, and conjunctive path. A framework implemented by the authors' research group extracts and arranges the activity data from the log and converts the iteration of duplicate relationships into a quantitative value. Also, for accurate analysis, a parallel process is recorded in the log file based on execution time, and algorithms for finding and eliminating information distortion are designed and implemented. With these refined data, we rediscover the workflow process model following the relationship between the activities. This series of experiments are conducted using the Large Bank Transaction Process Model provided by 4TU and visualizes the experiment process and results.

Log-Pearson Type III 분포형에 의한 강우의 점빈도 및 지역빈도 비교분석 (Comparative Analysis of regional and at-site frequency for the design rainfall by Log-Pearson Type III Distribution)

  • 류경식;이순혁;맹승진;송기헌;김기창
    • 한국농공학회:학술대회논문집
    • /
    • 한국농공학회 2003년도 학술발표논문집
    • /
    • pp.475-478
    • /
    • 2003
  • This study was conducted to compare the design rainfall derived by the at-site and regional frequency analysis based on the regionalization of the precipitation. The regional and at-site design rainfalls were calculated by Log-Pearson type III distribution using Indirect Methods of Moments(WRC). The regional and at-site analysis for the design rainfall were tested by Monte Carlo simulation. Relative root-mean-square error(RRMSE), Relative bias(RBIAS) and Relative reduction(RR) in RRMSE were computed and compared between design rainfalls resulted from observed and simulated data using the regional and at-site analysis. It was shown that the regional analysis procedure can substantially reduce the RRMSE, RBIAS in comparison with those of at-site analysis. Consequently, optimal design rainfalls following the regions and consecutive durations were derived by the regional frequency analysis.

  • PDF

즉석섭취 샌드위치류의 황색포도상구균에 대한 위해분석 (Hazard Analysis of Staphylococcus aureus in Ready-to-Eat Sandwiches)

  • 박해정;배현주
    • 한국식품영양과학회지
    • /
    • 제36권7호
    • /
    • pp.938-943
    • /
    • 2007
  • 향후 소비가 더욱 증가할 것으로 예상되는 즉석섭취식품 중 샌드위치를 대상으로 제조공정의 특성상 생물학적 위해 중 높은 빈도로 검출될 것으로 예상되는 황색포도상구균에 대해서 정성적${\cdot}$정량적 검출실험을 실시하였다. 분석시료는 편의점, 대형할인마트, 샌드위치 전문점, 개인운영제과점, 패스트푸드점, 급식소에서 판매되는 샌드위치를 대상으로 하였다. 분석결과 전체 174개의 시료 중 18개, 전체 10.3%에서 황색포도상구균이 검출되었으며 검출량은 평균 1.74 log CFU/g으로 0.30 log CFU/g에서 최대 4.08 log CFU/g까지 검출되었다. 황색포도상구균의 계절에 따른 검출량은 여름철(3.24 log CFU/g)이 겨울철(1.10 log CFU/g)에 비해서 3배 정도 많아 통계적으로 유의적인 차이가 있었다(p<0.001). 영국 PHLS의 즉석섭취식품의 황색포도상구균에 대한 미생물 가이드라인을 기준으로 평가했을 때 본 실험의 전체 분석 대상 시료 중 95.4%가 허용할 수 있는 수준이었다. 또한 햄 치즈샌드위치에 대한 독소형성 확인 실험 결과 4.95 log CFU/g 이상으로 황색포도상구균이 증식되지 않으면 독소가 생성되지 않는다는 것을 알 수 있었다. 샌드위치의 황색포도상구균에 대한 정량적 오염도 분석에 대한 본 실험 결과는 샌드위치를 포함한 즉석섭취식품의 정량적 위해평가를 위한 기초자료로써 활용될 수 있을 것으로 사료된다.

도서관 운영 평가를 고려한 공공도서관 업무(운영)일지 항목 분석 (An Analysis of a Working Diary Log of Public Libraries Considering the Library Evaluation)

  • 강윤호;박영애
    • 정보관리학회지
    • /
    • 제26권3호
    • /
    • pp.417-434
    • /
    • 2009
  • 국가도서관통계시스템에서 요구하는 통계항목들은 이론적 견지에서 보면 도서관평가 또는 도서관운영 정책수립을 위해 필요한 데이터를 기반으로 한 항목들이라고 할 수 있다. 그러나 국가도서관통계시스템에서 요구하는 통계항목과 공공도서관현장에서 일반적으로 수집될 수 있는 통계항목들과는 차이가 있음을 알 수 있다. 따라서 공공도서관 평가로 활용되고 있는 국가도서관통계가 신뢰할 수 있는 또는 타당성이 있는 객관적 데이터인지를 알아보기 위하여, 공공도서관 현장에서 통계를 수집할 수 있는 근거자료인 도서관 업무(운영)일지의 항목들을 분석하고 아울러 통계의 자동수집이 가능한 도서관리 프로그램에 대한 공공도서관에서의 사용 현황을 조사하였다. 이 연구의 분석 자료는 향후 공공도서관 업무(운영)일지의 표준안 마련을 위한 기초 자료로 활용될 것이다.

디지털 도서관 이용자의 검색행태 연구 - 검색 로그 데이터의 네트워크 분석을 중심으로 - (A Study on the Search Behavior of Digital Library Users: Focus on the Network Analysis of Search Log Data)

  • 이수상;위성광
    • 한국도서관정보학회지
    • /
    • 제40권4호
    • /
    • pp.139-158
    • /
    • 2009
  • 본 논문에서는 검색로그 데이터의 네트워크 분석방법을 통해 검색자들의 검색행위에 나타난 다양한 특성을 살펴보았다. 이러한 작업을 통해 얻어진 결과는 다음과 같다. 첫째, 검색자들은 검색어의 유사성에 따라 네트워크라는 연결구조를 나타내었다. 둘째, 특정한 검색자 네트워크에서 중심적인 위치를 차지하는 검색자들이 존재하였다. 셋째, 중심 검색자들은 다른 검색자들과 검색 키워드를 공유하고 있었다. 넷째, 전체 검색자들은 다수의 하위 집단으로 군집되어 있다. 이 연구의 결과는 네트워크 분석 방법에 의한 연관된 검색자와 검색어를 추천하는 알고리즘을 개발하는데 활용이 가능할 것이다.

  • PDF