• 제목/요약/키워드: Log data

검색결과 2,131건 처리시간 0.068초

남한지역 검층밀도 자료의 특성 분석 (Frequency Distribution Characteristics of Formation Density Derived from Log and Core Data throughout the Southern Korean Peninsula)

  • 김영화;김기환;김종만;황세호
    • 지질공학
    • /
    • 제25권2호
    • /
    • pp.281-290
    • /
    • 2015
  • 남한 지역에서 수행된 검층밀도 자료를 수집하고 코어밀도 자료와 비교 분석하였다. 먼저 코어밀도와 검층밀도 자료의 비교로부터 검층밀도가 비이상적으로 낮은 현상이 얻어졌으며 이는 소선원 검층밀도 자료에서의 비이상적으로 낮은 밀도와 연관되어 있음이 밝혀졌다. 표준선원과 소선원 자료간의 큰 밀도 차이를 비롯하여 표준선원 검층밀도와 코어밀도 간의 상관성 비교에서 나타난 분포곡선의 형태, 평균값, 표준편차 등 모든 결과들이 소선원 밀도자료의 품질에 이상이 있음을 보였다. 소선원 밀도자료에서의 품질 이상은 검층밀도 결정에서 소선원 밀도검층기가 지니는 선원 특성과 연결되었으며 결론적으로 지금까지의 소선원 밀도자료는 정확성을 유지하기 위한 최소의 조건이 충족되지 못한 상태에서 얻어진 것으로 판단하였다. 끝으로 코어자료와 표준선원 자료를 사용하여 남한지역 주요 지층의 밀도 분포 특성이 결정되었다.

보안로그 빅데이터 분석 효율성 향상을 위한 방화벽 로그 데이터 표준 포맷 제안 (For Improving Security Log Big Data Analysis Efficiency, A Firewall Log Data Standard Format Proposed)

  • 배춘석;고승철
    • 정보보호학회논문지
    • /
    • 제30권1호
    • /
    • pp.157-167
    • /
    • 2020
  • 최근 4차 산업혁명 도래의 기반을 제공한 빅데이터와 인공지능 기술은 산업 전반의 혁신을 견인하는 주요 동력이 되고 있다. 정보보안 영역에서도 그동안 효과적인 활용방안을 찾기 어려웠던 대규모 로그 데이터에 이러한 기술들을 적용하여 지능형 보안 체계를 개발 및 발전시키고자 노력하고 있다. 보안 인공지능 학습의 기반이 되는 보안로그 빅데이터의 품질은 곧 지능형 보안 체계의 성능을 결정짓는 중요한 입력 요소라고 할 수 있다. 하지만 다양한 제품 공급자에 따른 로그 데이터의 상이성과 복잡성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하고 품질저하를 초래하는 문제가 있다. 본 연구에서는 다양한 방화벽 로그 데이터 포맷 관련 사례와 국내외 표준 조사를 바탕으로 데이터 수집 포맷 표준안을 제시하여 보안 로그 빅데이터를 기반으로 하는 지능형 보안 체계 발전에 기여하고자 한다.

웹 로그데이터를 이용한 대학입시 지원자 행태 분석 (Behavior analysis of entrance applicants using web log data)

  • 최승배;강창완;조장식
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권3호
    • /
    • pp.493-504
    • /
    • 2009
  • 홈페이지는 홈페이지를 운영하고 있는 모든 조직체들을 대변하는 얼굴이다. 웹 로그데이터는 홈페이지를 방문하는 사람들의 행적을 나타낸다. 웹 로그데이터를 분석함으로써 홈페이지 운용에 대한 유용한 정보를 얻을 수 있고, 이러한 정보를 이용하여 효율적인 홈페이지 관리 및 고객관계 관리를 수행할 수 있다. 본 연구에서는 D대학교의 홈페이지에서 얻어진 웹 로그데이터를 분석함으로써 효율적인 홈페이지 관리와 신입생 유치를 위한 홍보 전략을 세우는데 기초적인 정보를 제공한다.

  • PDF

클라우드 컴퓨팅 환경에서의 안전한 로그 시스템 설계 (Design of Secure Log System in Cloud Computing Environment)

  • 이병도;신상욱
    • 한국멀티미디어학회논문지
    • /
    • 제19권2호
    • /
    • pp.300-307
    • /
    • 2016
  • Cloud computing that provide a elastic computing service is more complex compared to the existing computing systems. Accordingly, it has become increasingly important to maintain the stability and reliability of the computing system. And troubleshooting and real-time monitoring to address these challenges must be performed essentially. For these goals, the handling of the log data is needed, but this task in cloud computing environment may be more difficult compared to the traditional logging system. In addition, there are another challenges in order to have the admissibility of the collected log data in court. In this paper, we design secure logging service that provides the management and reliability of log data in a cloud computing environment and then analyze the proposed system.

A Pilot Study of the Scanning Beam Quality Assurance Using Machine Log Files in Proton Beam Therapy

  • Chung, Kwangzoo
    • 한국의학물리학회지:의학물리
    • /
    • 제28권3호
    • /
    • pp.129-133
    • /
    • 2017
  • The machine log files recorded by a scanning control unit in proton beam therapy system have been studied to be used as a quality assurance method of scanning beam deliveries. The accuracy of the data in the log files have been evaluated with a standard calibration beam scan pattern. The proton beam scan pattern has been delivered on a gafchromic film located at the isocenter plane of the proton beam treatment nozzle and found to agree within ${\pm}1.0mm$. The machine data accumulated for the scanning beam proton therapy of five different cases have been analyzed using a statistical method to estimate any systematic error in the data. The high-precision scanning beam log files in line scanning proton therapy system have been validated to be used for off-line scanning beam monitoring and thus as a patient-specific quality assurance method. The use of the machine log files for patient-specific quality assurance would simplify the quality assurance procedure with accurate scanning beam data.

MapReduce 분산 데이터처리 플랫폼에 기반한 모바일 디바이스 UX 분석 (UX Analysis for Mobile Devices Using MapReduce on Distributed Data Processing Platform)

  • 김성숙;김성규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권9호
    • /
    • pp.589-594
    • /
    • 2013
  • 웹의 특징인 개방과 공유의 사고방식이 더욱 일반화 되면서 개발자 뿐 만 아니라 사용자가 직접 발생시키는 데이터도 복합적으로 늘어나고 있는 실정이다. 이러한 상황에서 모바일 디바이스 User eXperience(UX) 분석에서 다른 무엇보다도 디바이스에 기록되는 대용량의 로그 기록에서 필요한 데이터들을 자동으로 요약 정리해 주는 기법이 필요하다. 이에, 본 논문에서는 분석하고자 하는 모바일 디바이스 특성에 맞게 사전에 로그 데이터 속성에 대한 정의를 먼저하고, 직접 이를 반영한 사용자의 로그를 수집하여 저장하였다. 또한, 발생되는 대용량의 로그 기록에 기초한 UX를 분석하고자 다양한 로그 데이터 타입을 설정 및 처리할 수 있는 Hadoop(하둡)에서 제공하는 MapReduce 기법을 활용하여 데이터를 분산 처리하였다. 이를 통해, Map과 Reduce의 다양한 조합으로 대용량의 모바일 디바이스에서 발생되는 로그 데이터 셋에서 복잡한 스키마를 단순화시켜 분산 데이터 처리 환경에 맞게 UX 분석 방안을 제시하였다.

이동 평균과 3-시그마를 이용한 하둡 로그 데이터의 이상 탐지 (Anomaly Detection of Hadoop Log Data Using Moving Average and 3-Sigma)

  • 손시운;길명선;문양세;원희선
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권6호
    • /
    • pp.283-288
    • /
    • 2016
  • 최근 빅데이터 처리를 위한 연구들이 활발히 진행 중이며, 관련된 다양한 제품들이 개발되고 있다. 이에 따라, 기존 환경에서는 처리가 어려웠던 대용량 로그 데이터의 저장 및 분석이 가능해졌다. 본 논문은 다수의 서버에서 빠르게 생성되는 대량의 로그 데이터를 Apache Hive에서 분석할 수 있는 데이터 저장 구조를 제안한다. 그리고 저장된 로그 데이터로부터 특정 서버의 이상 유무를 판단하기 위해, 이동 평균 및 3-시그마 기반의 이상 탐지 기술을 설계 및 구현한다. 또한, 실험을 통해 로그 데이터의 급격한 증가폭을 나타내는 구간을 이상으로 판단하여, 제안한 이상 탐지 기술의 유효성을 보인다. 이 같은 결과를 볼 때, 본 연구는 하둡 기반으로 로그 데이터를 분석하여 이상치를 바르게 탐지할 수 있는 우수한 결과라 사료된다.

Likelihood based inference for the shape parameter of Pareto Distribution

  • Lee, Jae-Un;Lee, Woo-Dong
    • Journal of the Korean Data and Information Science Society
    • /
    • 제19권4호
    • /
    • pp.1173-1181
    • /
    • 2008
  • In this paper, when the parameter of interest is the shape parameter in Pareto distribution, we develop likelihood based inference for this parameter. Specially, we develop signed log-likelihood ratio statistic and the modified signed log-likelihood ratio statistic for the shape parameter. It is well-known that as sample size grows, the modified signed log-likelihood ratio statistic converges to standard normal distribution faster than the signed log-likelihood ratio statistic. But the computation of the modified signed log-likelihood statistic is hard or even impossible when the sufficient statistics and the ancillary statistics are not clear. In this case, one can consider an approximation to the modified signed log-likelihood statistic. Specially, when the parameter of interest is informationally orthogonal to the nuisance parameters, we propose the approximate modified signed log-likelihood statistic. Through simulation, we investigate the performances of the proposed statistics with the signed log-likelihood statistic.

  • PDF

Energy Feature Normalization for Robust Speech Recognition in Noisy Environments

  • Lee, Yoon-Jae;Ko, Han-Seok
    • 음성과학
    • /
    • 제13권1호
    • /
    • pp.129-139
    • /
    • 2006
  • In this paper, we propose two effective energy feature normalization methods for robust speech recognition in noisy environments. In the first method, we estimate the noise energy and remove it from the noisy speech energy. In the second method, we propose a modified algorithm for the Log-energy Dynamic Range Normalization (ERN) method. In the ERN method, the log energy of the training data in a clean environment is transformed into the log energy in noisy environments. If the minimum log energy of the test data is outside of a pre-defined range, the log energy of the test data is also transformed. Since the ERN method has several weaknesses, we propose a modified transform scheme designed to reduce the residual mismatch that it produces. In the evaluation conducted on the Aurora2.0 database, we obtained a significant performance improvement.

  • PDF

Small sample likelihood based inference for the normal variance ratio

  • Lee, Woo Dong
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권4호
    • /
    • pp.911-918
    • /
    • 2013
  • This study deals with the small sample likelihood based inference for the ratio of two normal variances. The small sample likelihood inference is an approximation method. The signed log-likelihood ratio statistic and the modified signed log-likelihood ratio statistic, which converge to standard normal distribution, are proposed for the normal variance ratio. Through the simulation study, the coverage probabilities of confidence interval and power of the exact, the signed log-likelihood and the modified signed log-likelihood ratio statistic will be compared. A real data example will be provided.