• 제목/요약/키워드: 이동 로그

검색결과 203건 처리시간 0.031초

웹 로그 마이닝을 이용한 웹 문서 예측 시스템 (Web Document Prediction System by using Web Log Mining)

  • 이범석;황병연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.97-99
    • /
    • 2005
  • 웹 문서 수의 급격한 증가는 사용자로 하여금 방대한 양의 웹 문서들로부터 필요한 정보를 선별하기 위한 시간과 비용을 낭비하게 만들었다. 따라서 이러한 문제를 해결하기 위한 연구의 필요성이 점차 증가하였는데, 그 중 웹 서버 로그 데이터에 마이닝 기법을 적용하여 사용자들의 사이트 내 문서의 접근 패턴을 분석하고, 그 데이터를 이용하여 동적으로 변화하는 적응형 웹 사이트를 제공하려는 것이 대표적인 연구 사례이다. 본 논문에서는 웹 서버 로그 마이닝을 이용하여 사용자가 필요로 하거나, 관심을 가지고 있는 페이지를 예측하여 추천해 주는 시스템에 대해 소개한다. 이러한 시스템을 구현하기 위해 순차 패턴 마이닝이나 빈발 에피소드 발견 기법 등의 알고리즘을 사용할 수 있다. 제안하는 시스템에서는 사용자 접근 패턴을 분석할 때 순차 패턴 마이닝 기법을 사용하고, 사용자의 이동 패턴을 근거로 웹 문서를 예측하여 추천해줄 때에는 에피소드 발견 기법에서의 window 개념을 이용한다. 본 논문에서 제안한 시스템은 웹 문서를 사용자가 머물었던 시간에 따라 관심 있는 문서와 지나간 문서로 구분하여 관심 있는 문서에 대해서안 마이닝을 수행한다. 또한 일정한 크기를 갖는 History window에 의해 다음 문서를 추천해주기 때문에 사용자의 모든 로그를 저장하지 않으므로 보다 효율적이다.

  • PDF

빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현 (Real time predictive analytic system design and implementation using Bigdata-log)

  • 이상준;이동훈
    • 정보보호학회논문지
    • /
    • 제25권6호
    • /
    • pp.1399-1410
    • /
    • 2015
  • 기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터 분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고 있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량 로그에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을 탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다.

하둡 에코시스템을 활용한 로그 데이터의 이상 탐지 기법 (Anomaly Detection Technique of Log Data Using Hadoop Ecosystem)

  • 손시운;길명선;문양세
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권2호
    • /
    • pp.128-133
    • /
    • 2017
  • 최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.

이동 에이전트 기반 결함 내성 서비스의 성능 평가 (Performance Evaluation of the Mobile Agent Based Fault-Tolerance Service)

  • 김동령;윤재환;박태순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1491-1494
    • /
    • 2005
  • 이동 컴퓨팅 시스템에 결함 내성 기능을 제공하기 위한 많은 방법들이 제안되어졌다. 그 중 하나가 이동 에이전트를 이용하여 이동 호스트의 검사점과 메시지 로그를 분산 관리하는 방법이다. 이동 에이전트 기반의 결함 내성 서비스는 기존 기지국 기반의 서비스에 비해, 비동기적인 복구 정보의 이동 및 복구 정보의 유연한 분산 관리 등의 장점이 있으나, 이동 에이전트 자체의 이동 비용 등이 문제가 될 수 있다. 따라서 본 논문에서는 기존의 기지국 기반 복구 정보 관리 기법과 이동 에이전트 기반 복구 정보 관리 기법의 성능을 비교 평가한다. 특히, 다양한 시스템 환경에서 이동 에이전트 자체 비용이 결함 내성 서비스의 성능에 미치는 영향을 분석한다.

  • PDF

이동 객체의 효율적인 저장과 검색을 위한 화일 기반 이동 객체 저장 컴포넌트의 개발 (Development of a File-based Moving Objects Storage Component for Efficient Storage and Retrieval of Moving Objects)

  • 장유정;김동오;홍동숙;한기준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.118-120
    • /
    • 2004
  • 최근 무선 인터넷 인구의 증가로 인해 이동 객체의 위치 데이타를 활용하여 다양한 서비스를 제공하는 위치 기반 서비스와 텔레매틱스에 대찬 관심이 급증하고 있다 위치 기반 서비스와 텔레매틱스 분야에서 다양한 응용 서비스를 제공하기 위해서는 대용량의 위치 데이타를 빠르고 정확하게 저장하고 검색할 수 있는 이동 객체 데이타베이스 시스템이 필수적으로 요구된다. 그러나, 기존의 데이타베이스 시스템을 사용하여 대용량의 위치 데이타를 처리할 경우 트랜잭션 연산의 증가로 인하여 저장 밀 검색 성능이 저하된다 이러한 문제점을 해결하기 위해 본 논문에서는 이동 객체의 위치 데이타를 효율적으로 저장하고 검색하기 위한 화일 기반 이동 객체 저장 컴포넌트를 개발하고 성능 평가를 수행하였다. 화일 기반 이동 객체 저장 컴포넌트는 다중 연결 관리자, 단순 질의 처리기, 인덱스 관리자. 데이타 화일 관리자, 인덱스 파일 관리자, 메타데이타 관리자, 로그 관리자, OLE DB 데이타 제공자, 그리고 관리툴로 구성된다.

  • PDF

ARMA 필터를 이용한 로그 에너지 특징의 정규화 방법 (A Log-Energy Feature Normalization Method Using ARMA Filter)

  • 신광호;정호열;정현열
    • 한국멀티미디어학회논문지
    • /
    • 제11권10호
    • /
    • pp.1325-1337
    • /
    • 2008
  • 훈련과 인식의 환경적 차이가 음성 인식 성능 저하의 주요 요인이며, 이러한 환경적 불일치를 줄이기 위한 다양한 잡음 처리 방법들이 연구되고 있다. 이 가운데 로그 에너지 특징에 대한 ERN(log-Energy dynamic Range Normalization), SEN(Silence Energy Normalization) 등이 우수한 성능을 보이고 있다. 그러나 이들 방법은 상대적으로 큰 갈을 갖는 로그 에너지 특징에 대해서는 처리가 불가능한 문제점이 이으며, 특히 SNR값이 작은 환경에서는 이러한 문제로 인하여 환경적 불일치가 더욱 크게 나타나고 있다. 이를 해결하기 위해서 본 논문은 자동 회귀 방식으로 이동 평균을 계산하여 로그 에너지 특징을 스무딩(smoothing)하는 ARMA(Auto-Regression and Moving Average) 필터를 후처리로 적용하는 방법을 제안한다. Aurora 2.0 DB를 이용한 인식 실험 결과, 제안 방법이 기존의 방법들에 비해 향상된 인식 결과를 얻을 수 있었다.

  • PDF

스마트워크 환경에서 이상접속탐지를 위한 의사결정지원 시스템 연구 (Decision Support System to Detect Unauthorized Access in Smart Work Environment)

  • 이재호;이동훈;김휘강
    • 정보보호학회논문지
    • /
    • 제22권4호
    • /
    • pp.797-808
    • /
    • 2012
  • 스마트워크 환경에서는 재택근무나 기업에서 구축한 스마트워크 센터, 휴대 가능한 모바일 단말기 등을 활용하여 원격 협업 환경을 구성하고 유연한 근무 환경을 조성하지만, 개인정보 및 업무상 중요 정보의 해킹, 노출 등의 위험성이 상존한다. 이러한 위험에 빠르게 대처하기 위해 기업 외부에서 일하는 직원이 내부망으로 접속할 때 사용하는 VPN(Virtual Private Network) 접속로그를 모니터링함으로써 직원들의 사용 패턴을 파악하고 비이상적인 행동을 탐지할 수 있다. 본 논문에서는 VPN 접속로그를 이용하여 기존의 로그 셋과 현재 접속의 유사도 측정 및 설문을 통한 적합한 시각화 방식을 제시하여 현재 접속의 정상 유무를 판단하는 시스템을 관리자에게 제공한다. 제안한 방법론을 통해 실제 기업환경에서 사용한 VPN 접속로그를 이용하여 실험을 한 결과 비정상 접속로그를 평균 88.7%로 추출할 수 있었으며, 관리자는 이 시스템을 이용하여 비정상으로 접속하는 주체를 실시간으로 확인하여 대응할 수 있다.

클러스터 내부 빈발 지지도를 이용한 개선된 사용 프로파일 평가 (Evaluation Of Improved Usage Profiles Using Frequency Support Threshold In Clusters)

  • 안계순;이필규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.277-279
    • /
    • 2002
  • 웹 로그 기반의 웹 사용 마이닝은 명시적 평가 의존, 확장성 결여, 그리고 다차원 및 희박한 데이터에 성능이 떨어지는 협력적 여과의 문제를 다소 해결할 수 있다. 그러나 k-Means 군집화 방법으로 생성된 군집속 유사 사용자 이동 패턴으로는 클러스터속 사용자 전체의 선호도를 표현할 수 없으므로 사용자 이동 패턴인 트랜잭션들로부터 사용 프로파일을 유도해야 한다. 본 논문에서는 유사 군집 사용자들의 관심과 기호를 표현할 수 있도록 클러스터 내부 데이타로부터 평균 가중치 및 빈발 지지도 임계값을 사용하여 개선된 사용 프로파일을 생성하고 실험 데이터를 통한 예측력과 추천에 대한 성능을 평가한다.

  • PDF

난류 강도에 따른 부유사의 입도 분포 변화 (Effect of turbulence on size distribution of suspended sediment)

  • 손민우;변지선;박병은
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.248-248
    • /
    • 2019
  • 유사는 이동 형태에 따라 소류사와 부유사로 구분된다. 하천의 흐름을 통해 이동하는 유사의 대부분은 부유사의 형태로 이동하며, 부유사의 부유 거동은 난류 강도와 유사 입자의 침강 속도로 인해 결정된다. 이에 따라 부유사의 부유 거동을 이해하기 위해서는 정확한 침강 속도의 산정과 난류에 대한 이해가 요구된다. 유사의 침강 속도는 밀도와 크기로 대표되는 유사의 특성을 이용하여 결정된다. 하천에서 부유사가 여러 크기를 갖는 유사 입자들이 혼재된 형태로 이동하는 것을 생각해 볼 때, 침강 속도의 분포를 이해하기 위해서 입도 분포에 대한 연구는 필수적임을 알 수 있다. 본 연구에서는 유사 입자의 입도 분포에 난류 강도가 미치는 영향을 살펴본다. 연구를 수행하기 위해 모래의 입도 분포가 로그 정규 분포를 따를 것이라는 가정을 적용하여 난류의 영향을 고려하는 부유사의 입도 분포 모형이 개발되었다. 부유사의 입도 분포는 흐름의 유사 이송 능력에 따라 분포의 표준 편차와 같은 물리량이 변화할 것으로 예측되는데, 흐름 내 유사의 이동과 흐름의 유사 이송 능력을 함께 고려하기 위해 개발되는 유사의 입도 분포 모형은 유사 이동 모형과 결합된다.

  • PDF

부유사의 입도분포에 난류 강도와 침강속도가 미치는 영향 (Effect of turbulence intensity and settling velocity on size distribution of suspended sediment)

  • 변지선;손민우
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.308-308
    • /
    • 2020
  • 유사는 이동 형태에 따라 소류사와 부유사로 구분된다. 하천의 흐름을 통해 이동하는 유사의 대부분은 부유사의 형태로 이동하며, 부유사의 부유 거동은 난류 강도와 유사 입자의 침강 속도로 인해 결정된다. 이에 따라 부유사의 부유 거동을 이해하기 위해서는 정확한 침강 속도의 산정과 난류에 대한 이해가 요구된다. 유사의 침강 속도는 밀도와 크기로 대표되는 유사의 특성을 이용하여 결정된다. 하천에서 부유사가 여러 크기를 갖는 유사 입자들이 혼재된 형태로 이동하는 것을 생각해 볼 때, 침강 속도의 분포를 이해하기 위해서 입도 분포에 대한 연구는 필수적임을 알 수 있다. 본 연구에서는 유사 입자의 입도 분포에 난류 강도가 미치는 영향을 살펴본다. 연구를 수행하기 위해 모래의 입도 분포가 로그 정규 분포를 따를 것이라는 가정을 적용하여 난류의 영향을 고려하는 부유사의 입도 분포 모형이 개발되었다. 부유사의 입도 분포는 흐름의 유사 이송 능력에 따라 분포의 표준 편차와 같은 물리량이 변화할 것으로 예측되는데, 흐름 내 유사의 이동과 흐름의 유사 이송 능력을 함께 고려하기 위해 개발되는 유사의 입도 분포 모형은 유사 이동 모형과 결합된다.

  • PDF