• Title/Summary/Keyword: 이동 로그

Search Result 203, Processing Time 0.029 seconds

Web Document Prediction System by using Web Log Mining (웹 로그 마이닝을 이용한 웹 문서 예측 시스템)

  • Lee Bum-suk;Hwang Byung-yeon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.97-99
    • /
    • 2005
  • 웹 문서 수의 급격한 증가는 사용자로 하여금 방대한 양의 웹 문서들로부터 필요한 정보를 선별하기 위한 시간과 비용을 낭비하게 만들었다. 따라서 이러한 문제를 해결하기 위한 연구의 필요성이 점차 증가하였는데, 그 중 웹 서버 로그 데이터에 마이닝 기법을 적용하여 사용자들의 사이트 내 문서의 접근 패턴을 분석하고, 그 데이터를 이용하여 동적으로 변화하는 적응형 웹 사이트를 제공하려는 것이 대표적인 연구 사례이다. 본 논문에서는 웹 서버 로그 마이닝을 이용하여 사용자가 필요로 하거나, 관심을 가지고 있는 페이지를 예측하여 추천해 주는 시스템에 대해 소개한다. 이러한 시스템을 구현하기 위해 순차 패턴 마이닝이나 빈발 에피소드 발견 기법 등의 알고리즘을 사용할 수 있다. 제안하는 시스템에서는 사용자 접근 패턴을 분석할 때 순차 패턴 마이닝 기법을 사용하고, 사용자의 이동 패턴을 근거로 웹 문서를 예측하여 추천해줄 때에는 에피소드 발견 기법에서의 window 개념을 이용한다. 본 논문에서 제안한 시스템은 웹 문서를 사용자가 머물었던 시간에 따라 관심 있는 문서와 지나간 문서로 구분하여 관심 있는 문서에 대해서안 마이닝을 수행한다. 또한 일정한 크기를 갖는 History window에 의해 다음 문서를 추천해주기 때문에 사용자의 모든 로그를 저장하지 않으므로 보다 효율적이다.

  • PDF

Real time predictive analytic system design and implementation using Bigdata-log (빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현)

  • Lee, Sang-jun;Lee, Dong-hoon
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.25 no.6
    • /
    • pp.1399-1410
    • /
    • 2015
  • Gartner is requiring companies to considerably change their survival paradigms insisting that companies need to understand and provide again the upcoming era of data competition. With the revealing of successful business cases through statistic algorithm-based predictive analytics, also, the conversion into preemptive countermeasure through predictive analysis from follow-up action through data analysis in the past is becoming a necessity of leading enterprises. This trend is influencing security analysis and log analysis and in reality, the cases regarding the application of the big data analysis framework to large-scale log analysis and intelligent and long-term security analysis are being reported file by file. But all the functions and techniques required for a big data log analysis system cannot be accommodated in a Hadoop-based big data platform, so independent platform-based big data log analysis products are still being provided to the market. This paper aims to suggest a framework, which is equipped with a real-time and non-real-time predictive analysis engine for these independent big data log analysis systems and can cope with cyber attack preemptively.

Anomaly Detection Technique of Log Data Using Hadoop Ecosystem (하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법)

  • Son, Siwoon;Gil, Myeong-Seon;Moon, Yang-Sae
    • KIISE Transactions on Computing Practices
    • /
    • v.23 no.2
    • /
    • pp.128-133
    • /
    • 2017
  • In recent years, the number of systems for the analysis of large volumes of data is increasing. Hadoop, a representative big data system, stores and processes the large data in the distributed environment of multiple servers, where system-resource management is very important. The authors attempted to detect anomalies from the rapid changing of the log data that are collected from the multiple servers using simple but efficient anomaly-detection techniques. Accordingly, an Apache Hive storage architecture was designed to store the log data that were collected from the multiple servers in the Hadoop ecosystem. Also, three anomaly-detection techniques were designed based on the moving-average and 3-sigma concepts. It was finally confirmed that all three of the techniques detected the abnormal intervals correctly, while the weighted anomaly-detection technique is more precise than the basic techniques. These results show an excellent approach for the detection of log-data anomalies with the use of simple techniques in the Hadoop ecosystem.

Performance Evaluation of the Mobile Agent Based Fault-Tolerance Service (이동 에이전트 기반 결함 내성 서비스의 성능 평가)

  • Kim, Dong-Ryung;Youn, Jae-Hwan;Park, Tae-Soon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.1491-1494
    • /
    • 2005
  • 이동 컴퓨팅 시스템에 결함 내성 기능을 제공하기 위한 많은 방법들이 제안되어졌다. 그 중 하나가 이동 에이전트를 이용하여 이동 호스트의 검사점과 메시지 로그를 분산 관리하는 방법이다. 이동 에이전트 기반의 결함 내성 서비스는 기존 기지국 기반의 서비스에 비해, 비동기적인 복구 정보의 이동 및 복구 정보의 유연한 분산 관리 등의 장점이 있으나, 이동 에이전트 자체의 이동 비용 등이 문제가 될 수 있다. 따라서 본 논문에서는 기존의 기지국 기반 복구 정보 관리 기법과 이동 에이전트 기반 복구 정보 관리 기법의 성능을 비교 평가한다. 특히, 다양한 시스템 환경에서 이동 에이전트 자체 비용이 결함 내성 서비스의 성능에 미치는 영향을 분석한다.

  • PDF

Development of a File-based Moving Objects Storage Component for Efficient Storage and Retrieval of Moving Objects (이동 객체의 효율적인 저장과 검색을 위한 화일 기반 이동 객체 저장 컴포넌트의 개발)

  • 장유정;김동오;홍동숙;한기준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.118-120
    • /
    • 2004
  • 최근 무선 인터넷 인구의 증가로 인해 이동 객체의 위치 데이타를 활용하여 다양한 서비스를 제공하는 위치 기반 서비스와 텔레매틱스에 대찬 관심이 급증하고 있다 위치 기반 서비스와 텔레매틱스 분야에서 다양한 응용 서비스를 제공하기 위해서는 대용량의 위치 데이타를 빠르고 정확하게 저장하고 검색할 수 있는 이동 객체 데이타베이스 시스템이 필수적으로 요구된다. 그러나, 기존의 데이타베이스 시스템을 사용하여 대용량의 위치 데이타를 처리할 경우 트랜잭션 연산의 증가로 인하여 저장 밀 검색 성능이 저하된다 이러한 문제점을 해결하기 위해 본 논문에서는 이동 객체의 위치 데이타를 효율적으로 저장하고 검색하기 위한 화일 기반 이동 객체 저장 컴포넌트를 개발하고 성능 평가를 수행하였다. 화일 기반 이동 객체 저장 컴포넌트는 다중 연결 관리자, 단순 질의 처리기, 인덱스 관리자. 데이타 화일 관리자, 인덱스 파일 관리자, 메타데이타 관리자, 로그 관리자, OLE DB 데이타 제공자, 그리고 관리툴로 구성된다.

  • PDF

A Log-Energy Feature Normalization Method Using ARMA Filter (ARMA 필터를 이용한 로그 에너지 특징의 정규화 방법)

  • Shen, Guang-Hu;Jung, Ho-Youl;Chung, Hyun-Yeol
    • Journal of Korea Multimedia Society
    • /
    • v.11 no.10
    • /
    • pp.1325-1337
    • /
    • 2008
  • The difference of environments between training and recognition is the major reason of degradation of speech recognition. To solve this mismatch of environments, various noise processing methods have been studied. Among them, ERN(log-Energy dynamic Range Normalization) and SEN(Silence Energy Normalization) for normalization of log energy features show better performance than others. However, these methods have a problem that they can hardly achieve normalization for the relatively higher values of log energy features and the environmental mismatch caused by this problem becomes bigger especially in low SNR environments. To solve these problems, we propose applying ARMA filter as post-processing for smoothing log energy features by calculating the moving average in auto-regression scheme. From the recognition results conducted on Aurora 2.0 DB, the proposed method shows improved recognition results comparing with conventional methods.

  • PDF

Decision Support System to Detect Unauthorized Access in Smart Work Environment (스마트워크 환경에서 이상접속탐지를 위한 의사결정지원 시스템 연구)

  • Lee, Jae-Ho;Lee, Dong-Hoon;Kim, Huy-Kang
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.22 no.4
    • /
    • pp.797-808
    • /
    • 2012
  • In smart work environment, a company provides employees a flexible work environment for tele-working using mobile phone or portable devices. On the other hand, such environment are exposed to the risks which the attacker can intrude into computer systems or leak personal information of smart-workers' and gain a company's sensitive information. To reduce these risks, the security administrator needs to analyze the usage patterns of employees and detect abnormal behaviors by monitoring VPN(Virtual Private Network) access log. This paper proposes a decision support system that can notify the status by using visualization and similarity measure through clustering analysis. On average, 88.7% of abnormal event can be detected by this proposed method. With this proposed system, the security administrator can detect abnormal behaviors of the employees and prevent account theft.

Evaluation Of Improved Usage Profiles Using Frequency Support Threshold In Clusters (클러스터 내부 빈발 지지도를 이용한 개선된 사용 프로파일 평가)

  • 안계순;이필규
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.277-279
    • /
    • 2002
  • 웹 로그 기반의 웹 사용 마이닝은 명시적 평가 의존, 확장성 결여, 그리고 다차원 및 희박한 데이터에 성능이 떨어지는 협력적 여과의 문제를 다소 해결할 수 있다. 그러나 k-Means 군집화 방법으로 생성된 군집속 유사 사용자 이동 패턴으로는 클러스터속 사용자 전체의 선호도를 표현할 수 없으므로 사용자 이동 패턴인 트랜잭션들로부터 사용 프로파일을 유도해야 한다. 본 논문에서는 유사 군집 사용자들의 관심과 기호를 표현할 수 있도록 클러스터 내부 데이타로부터 평균 가중치 및 빈발 지지도 임계값을 사용하여 개선된 사용 프로파일을 생성하고 실험 데이터를 통한 예측력과 추천에 대한 성능을 평가한다.

  • PDF

Effect of turbulence on size distribution of suspended sediment (난류 강도에 따른 부유사의 입도 분포 변화)

  • Son, Minwoo;Byun, Jisun;Park, Byeoungeun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.248-248
    • /
    • 2019
  • 유사는 이동 형태에 따라 소류사와 부유사로 구분된다. 하천의 흐름을 통해 이동하는 유사의 대부분은 부유사의 형태로 이동하며, 부유사의 부유 거동은 난류 강도와 유사 입자의 침강 속도로 인해 결정된다. 이에 따라 부유사의 부유 거동을 이해하기 위해서는 정확한 침강 속도의 산정과 난류에 대한 이해가 요구된다. 유사의 침강 속도는 밀도와 크기로 대표되는 유사의 특성을 이용하여 결정된다. 하천에서 부유사가 여러 크기를 갖는 유사 입자들이 혼재된 형태로 이동하는 것을 생각해 볼 때, 침강 속도의 분포를 이해하기 위해서 입도 분포에 대한 연구는 필수적임을 알 수 있다. 본 연구에서는 유사 입자의 입도 분포에 난류 강도가 미치는 영향을 살펴본다. 연구를 수행하기 위해 모래의 입도 분포가 로그 정규 분포를 따를 것이라는 가정을 적용하여 난류의 영향을 고려하는 부유사의 입도 분포 모형이 개발되었다. 부유사의 입도 분포는 흐름의 유사 이송 능력에 따라 분포의 표준 편차와 같은 물리량이 변화할 것으로 예측되는데, 흐름 내 유사의 이동과 흐름의 유사 이송 능력을 함께 고려하기 위해 개발되는 유사의 입도 분포 모형은 유사 이동 모형과 결합된다.

  • PDF

Effect of turbulence intensity and settling velocity on size distribution of suspended sediment (부유사의 입도분포에 난류 강도와 침강속도가 미치는 영향)

  • Byun, Jisun;Son, Minwoo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.308-308
    • /
    • 2020
  • 유사는 이동 형태에 따라 소류사와 부유사로 구분된다. 하천의 흐름을 통해 이동하는 유사의 대부분은 부유사의 형태로 이동하며, 부유사의 부유 거동은 난류 강도와 유사 입자의 침강 속도로 인해 결정된다. 이에 따라 부유사의 부유 거동을 이해하기 위해서는 정확한 침강 속도의 산정과 난류에 대한 이해가 요구된다. 유사의 침강 속도는 밀도와 크기로 대표되는 유사의 특성을 이용하여 결정된다. 하천에서 부유사가 여러 크기를 갖는 유사 입자들이 혼재된 형태로 이동하는 것을 생각해 볼 때, 침강 속도의 분포를 이해하기 위해서 입도 분포에 대한 연구는 필수적임을 알 수 있다. 본 연구에서는 유사 입자의 입도 분포에 난류 강도가 미치는 영향을 살펴본다. 연구를 수행하기 위해 모래의 입도 분포가 로그 정규 분포를 따를 것이라는 가정을 적용하여 난류의 영향을 고려하는 부유사의 입도 분포 모형이 개발되었다. 부유사의 입도 분포는 흐름의 유사 이송 능력에 따라 분포의 표준 편차와 같은 물리량이 변화할 것으로 예측되는데, 흐름 내 유사의 이동과 흐름의 유사 이송 능력을 함께 고려하기 위해 개발되는 유사의 입도 분포 모형은 유사 이동 모형과 결합된다.

  • PDF