• 제목/요약/키워드: Access Log

검색결과 199건 처리시간 0.029초

웹 마이닝을 위한 입력 데이타의 전처리과정에서 사용자구분과 세션보정 (User Identification and Session completion in Input Data Preprocessing for Web Mining)

  • 최영환;이상용
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권9호
    • /
    • pp.843-849
    • /
    • 2003
  • 웹 이용 마이닝은 거대한 웹 로그들을 이용하여 웹 사용자의 이용 패턴을 분석하는 데이타 마이닝 기술이다. 이러한 웹 이용 마이닝 기술을 사용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 로그 파일만으로는 완전히 구분할 수 없다. 사용자와 세션을 구분하기 위해서는 로컬캐시, 방화벽, ISP, 사용자 프라이버시, 쿠키 등과 같은 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 특히, 로컬캐시 문제는 웹 마이닝 시스템의 입력으로 사용되는 사용자 세션을 구분하는데 가장 어려운 문제이다 본 연구에서는 참조 로그와 에이전트 로그, 그리고 액세스 로그 둥의 서버측 클릭스트림 데이타만을 이용하여 로컬캐시 문제를 해결하고, 사용자 세션을 구분하고 세션을 보정하는 휴리스틱 방법을 제안한다.

대규모 로그를 사용한 유저 행동모델 분석 방법론 (The Analysis Framework for User Behavior Model using Massive Transaction Log Data)

  • 이종서;김성국
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.1-8
    • /
    • 2016
  • 사용자로그는 많은 숨겨진 정보를 포함하고 있지만 데이터 정형화가 이루어지지 않았고, 데이터 크기도 너무 방대하여 처리하기 까다로워서 아직 밝혀져야 할 부분들을 많이 내포하고 있다. 특히 행동마다의 모든 시간정보를 포함하고 있어서 이를 응용하여 많은 부분을 밝혀낼 수 있다. 하지만 로그데이터 자체를 바로 분석으로 사용할 수는 없다. 유저 행동 모델 분석을 위해서는 별도의 프레임워크를 통한 변환과정들이 필요하다. 이 때문에 유저 행동모델 분석 프레임워크를 먼저 파악을 하고 데이터에 접근해야 한다. 이 논문에서는, 우리는 유저 행동모델을 효과적으로 분석하기 위한 프레임워크 모델을 제안한다. 본 모델은 대규모 데이터를 빨리 처리하기 위한 분산환경에서의 MapReduce 프로세스와 유저별 행동분석을 위한 데이터 구조 설계에 대한 부분을 포함한다. 또한 실제 온라인 서비스 로그의 구조를 바탕으로 어떤 방식으로 MapReduce를 처리하고 어떤 방식으로 유저행동모델을 분석을 위해 데이터 구조를 어떤식으로 변형할지 설명하고, 이를 통해 어떤 방식의 모델 분석으로 이어질지에 대해 상세히 설명한다. 이를 통해 대규모 로그 처리방법과 분석모델 설계에 대한 기초를 다질 수 있을 것이다.

  • PDF

시스템 결함 분석을 위한 이벤트 로그 연관성에 관한 연구 (Correlation Analysis of Event Logs for System Fault Detection)

  • 박주원;김은혜;염재근;김성호
    • 산업경영시스템학회지
    • /
    • 제39권2호
    • /
    • pp.129-137
    • /
    • 2016
  • To identify the cause of the error and maintain the health of system, an administrator usually analyzes event log data since it contains useful information to infer the cause of the error. However, because today's systems are huge and complex, it is almost impossible for administrators to manually analyze event log files to identify the cause of an error. In particular, as OpenStack, which is being widely used as cloud management system, operates with various service modules being linked to multiple servers, it is hard to access each node and analyze event log messages for each service module in the case of an error. For this, in this paper, we propose a novel message-based log analysis method that enables the administrator to find the cause of an error quickly. Specifically, the proposed method 1) consolidates event log data generated from system level and application service level, 2) clusters the consolidated data based on messages, and 3) analyzes interrelations among message groups in order to promptly identify the cause of a system error. This study has great significance in the following three aspects. First, the root cause of the error can be identified by collecting event logs of both system level and application service level and analyzing interrelations among the logs. Second, administrators do not need to classify messages for training since unsupervised learning of event log messages is applied. Third, using Dynamic Time Warping, an algorithm for measuring similarity of dynamic patterns over time increases accuracy of analysis on patterns generated from distributed system in which time synchronization is not exactly consistent.

야생동물 출입이 괴산 지역 배추 재배 농업용수의 미생물 안전성에 미치는 영향 (Effect of Wildlife Access on Microbial Safety of Irrigation Water Used in the Cultivation of Chinese Cabbage in Goesan)

  • 윤보현;임상진;박영철;웅웬바오훙;박대수;김원일;정규석;함현희;김현주;류경열;김세리
    • 한국식품위생안전성학회지
    • /
    • 제33권6호
    • /
    • pp.447-452
    • /
    • 2018
  • 유해 미생물에 오염된 농업용수는 배추의 재배기간 동안 지속적인 식중독세균 오염의 주원인이 될 수 있다. 농업용수는 야생동물 및 가축의 분변에 의해 오염되고 있다. 따라서 본 연구는 야생동물의 출입이 농업용수의 미생물학적 안전성에 미치는 영향을 조사하기 위하여 수행하였다. 이를 위하여 산악지대에 위치한 배추 재배농가에 사용되는 농업용수의 상류에서부터 하류까지 시기별 위생지표세균 오염도와 수원 상류의 야생동물의 출입 빈도를 조사하였다. 배추를 재배하는 기간 동안 멧돼지, 고라니 등 총 37회의 야생동물들이 농업용수 수원 근처에서 관찰되었다. 농업용수의 위생지표세균을 조사한 결과, 3종의 위생지표세균 모두 사람의 출입이 없는 상류에서부터 검출되었으며 대장균군, 대장균, 장구균의 오염도는 각각 2.13~4.32 log MPN/100mL, 0.26~2.03 log MPN/100mL, 1.43~3.49 log MPN/100mL 수준이었다. 대장균군과 대장균의 오염수준은 배추 이식기 보다 수온이 낮은 수확기에 낮았으나 장구균은 시기별로 큰 차이가 없었다. 본 연구의 결과로 미루어 볼 때 농업용수의 오염은 야생동물의 출입과 관련이 있을 것으로 판단된다.

웹 문서와 접근로그의 하이퍼링크 추출을 통한 웹 구조 마이닝 (Web Structure Mining by Extracting Hyperlinks from Web Documents and Access Logs)

  • 이성대;박휴찬
    • 한국정보통신학회논문지
    • /
    • 제11권11호
    • /
    • pp.2059-2071
    • /
    • 2007
  • 웹 사이트의 구조가 정확하게 주어진다면, 정보 제공자의 입장에서는 사용자의 행위 패턴이나 특성을 효과적으로 파악할 수 있어 보다 나은 서비스를 제공할 수 있고, 사용자의 입장에서는 더욱 쉽고 정확하게 유용한 정보를 찾을 수 있을 것이다. 하지만 웹상의 문서들은 빈발하게 수정되기 때문에 웹 사이트의 구조를 정확하게 추출하는 것은 상당한 어려움이 있다. 본 논문에서는 이러한 웹 사이트의 구조를 자동으로 추출하는 알고리즘을 제안한다. 제안하는 알고리즘은 두 단계로 구성된다. 첫 번째 단계는 웹 문서를 분석하여 그들 간의 하이퍼링크를 추출하고 이를 웹 사이트의 구조를 나타내는 방향 그래프로 표현한다. 하지만 플래시나 자바 애플릿에 포함된 하이퍼링크는 추출할 수 없는 한계가 있다. 두 번째 단계에서는 이러한 숨겨진 하이퍼링크를 추출하기 위하여 웹 사이트의 접근로그를 이용한다. 즉, 접근로그로부터 각 사용자의 클릭스트림을 추출한 후, 첫 번째 단계에서 생성한 그래프와 비교하여 숨겨진 하이퍼링크를 추출한다. 본 논문에서 제안한 알고리즘의 성능을 평가하기 위하여 다양한 실험을 수행하였고, 이러한 실험을 통하여 웹 사이트의 구조를 보다 정확하게 추출할 수 있음을 확인하였다.

논제 부정 Access에 대한 Firewall의 과제와 대책

  • 변성준;서정석;최원석
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 2000년도 추계학술대회 E-Business와 정보보안
    • /
    • pp.227-238
    • /
    • 2000
  • Firewall은 다양한 부정Access의 방지책으로서 확실히 유효한 수단이지만 이 Firewall은 사용자로부터 지시된 설정을 충실히 실행하는 것으로 설정 오류, 소프트웨어의 정지, 허가된 룰을 악용한 침입 등 반드시 사용자가 바라는 작용을 무조건적 상태에서 보증해 주는 것은 아니다. 따라서 사용자는 도입 후 에도 운용시에 Access log를 감시하고 본래의 Security Policy에 반하는 행위를 매일 매일 체크하지 않으면 안될 상황에 처해 있다. 본 연구는 이러한 부정Access에 대한 이와 같은 Firewall의 현상에 대한 과제 중에서 "부정Access를 어떻게 하면 일찍, 정확히 체크할 수 있는가\ulcorner"라는 주제를 선택하여 Firewall의 한계와 그 대응책을 실제로 부정Access를 시험해 보는 것으로 검증하기로 하였다. 실험결과에서 (1)Port Scan이나 전자메일 폭탄(서비스정지공격)등은 Firewall로 방지하는 것은 불가능하거나 혹은 Checking이 곤란하다. (2)공격마다 로그 수집을 했음에도 관계없이 Firewall의 로그는 번잡하므로 단시간에 사태의 발견이 대단히 곤란하다고 하는 Firewall의 한계를 인식하였다. 그리고 그 대책으로서 우리는 체크 툴의 유효성에 착안하여 조사한 결과, 결국 무엇이 부정Access인가에 대해서는 어디까지나 이용하는 측이 판단하여 Firewall 상에 설정하지 않으면 안되지만 체크 툴은 이 부정Access 정보를 데이터베이스로서 갖고 있음으로써 '무엇이 부정Access인가'를 이용자 대신에 판단하고 툴에 따라서는 설정을 자동적으로 변경하여 부정 Access의 저지율을 향상시킨다. 이처럼 체크 툴은 Firewall의 수비능력을 보강하는 위치에 있다고 생각할 수 있다.다. 4 장에서는 3장에서 제기한 각각의 문제점에 대해 RAD 의 관점에 비추어 e-business 시스템의 단기개발을 실현하기 위한 고려사항이나 조건 해결책을 제안한다. 본 논문이 지금부터 e-business 를 시작하려고 하는 분, e-business 시스템의 개발을 시작하려고 하는 분께 단기간의 e-business 실현을 위한 하나의 지침이 된다면 다행이겠다.formable template is used to optimize the matching. Then, clustering the similar shapes by the distance between each centroid, papaya can be completely detected from the background.uage ("Association of research for algorithm of calculating machine (1992)"). As a result, conventional NN and CNN were available for interpolation of sampling data. Moreover, when nonlinear intensity is not so large under the field condition of small slope, interpolation performance of CNN was a little not so better than NN. However, when nonlinear intensity is large under the field condition of large slope, interpolation performance of CNN was relatively better than NN.콩과 자연 콩이 성분 분석에서 차이를

  • PDF

User Authentication Technology using Multiple SSO in the Cloud Computing Environment

  • Cho, Min-Hee;Jang, Eun-Gyeom;Choi, Yong-Rak
    • 한국컴퓨터정보학회논문지
    • /
    • 제21권4호
    • /
    • pp.31-38
    • /
    • 2016
  • The interface between servers and clients and system management in the cloud computing environment is different from the existing computing environment. The technology for information protection. Management and user authentication has become an important issue. For providing a more convenient service to users, SSO technology is applied to this cloud computing service. In the SSO service environment, system access using a single key facilitates access to several servers at the same time. This SSO authentication service technology is vulnerable to security of several systems, once the key is exposed. In this paper, we propose a technology to solve problems, which might be caused by single key authentication in SSO-based cloud computing access. This is a distributed agent authentication technology using a multiple SSO agent to reinforce user authentication using a single key in the SSO service environment. For user authentication reinforcement, phased access is applied and trackable log information is used when there is a security problem in system to provide a safe cloud computing service.

격리 네트워크를 활용한 네트워크 방어 기법 (Network Defense Mechanism Based on Isolated Networks)

  • 정용범;박민호
    • 한국통신학회논문지
    • /
    • 제41권9호
    • /
    • pp.1103-1107
    • /
    • 2016
  • 현재까지 내부 네트워크에 접근하는 단말의 무결성을 검증하기 위한 방안으로 네트워크 접근제어 시스템 NAC(Network Access Control), 백신, 망분리, MDM(Mobile Device Management) 등 다양한 방법들을 이용하여 내부 네트워크의 자산을 보호하고자 하였다. 그러나 기존의 접근제어 시스템에서 사용하는 정책은 획일화 되어 사용자에게 적용되고 있고, 또한 APT(Advance Persistent Threat) 대응 솔루션, 방화벽, 백신 등의 보안 솔루션은 단말이 내부 네트워크에 접근한 이후에 이상 트래픽 등이 발생 시 이를 감지하고 처리하는 형태이므로 근본적으로 무결성 검사를 수행한 이후에 내부 네트워크에 접근하는 등의 방안이 필요하다. 따라서 본 논문에서는 악성코드에 감염된 단말이 내부 네트워크에 접속하기 이전에 이를 검증하고 조치하는 방안에 대한 보안네트워크 설계를 제시하고자 한다.

주문형 전자신문 시스템에서 사용자 접근패턴을 이용한 기사 프리패칭 기법 (Article Data Prefetching Policy using User Access Patterns in News-On-demand System)

  • 김영주;최태욱
    • 한국정보처리학회논문지
    • /
    • 제6권5호
    • /
    • pp.1189-1202
    • /
    • 1999
  • As compared with VOD data, NOD article data has the following characteristics: it is created at any time, has a short life cycle, is selected as not one article but several articles by a user, and has high access locality in time. Because of these intrinsic features, user access patterns of NOD article data are different from those of VOD. Thus, building NOD system using the existing techniques of VOD system leads to poor performance. In this paper, we analysis the log file of a currently running electronic newspaper, show that the popularity distribution of NOD articles is different from Zipf distribution of VOD data, and suggest a new popularity model of NOD article data MS-Zipf(Multi-Selection Zipf) distribution and its approximate solution. Also we present a life cycle model of NOD article data, which shows changes of popularity over time. Using this life cycle model, we develop LLBF (Largest Life-cycle Based Frequency) prefetching algorithm and analysis he performance by simulation. The developed LLBF algorithm supports the similar level in hit-ratio to the other prefetching algorithms such as LRU(Least Recently Used) etc, while decreasing the number of data replacement in article prefetching and reducing the overhead of the prefetching in system performance. Using the accurate user access patterns of NOD article data, we could analysis correctly the performance of NOD server system and develop the efficient policies in the implementation of NOD server system.

  • PDF

Framework for Efficient Web Page Prediction using Deep Learning

  • Kim, Kyung-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.165-172
    • /
    • 2020
  • 웹에서 접근하는 정보의 폭발적인 증가에 따라 사용자의 다음 웹 페이지 사용을 예측하는 문제의 중요성이 증가되었다. 사용자의 다음 웹 페이지 접근을 예측하는 방법 중 하나가 딥 러닝 기법이다. 웹 페이지 예측 절차는 데이터 전처리 과정을 통해 웹 로그 정보들을 분석하고 딥 러닝 기법을 이용하여 분석된 웹 로그 결과를 가지고 사용자가 접근할 다음 웹 페이지를 예측한다. 본 논문에서는 웹 페이지 예측을 위한 효율적인 웹 로그 전처리 작업과 분석을 위해 딥 러닝 기법을 사용하는 웹 페이지 예측 프레임워크를 제안한다. 대용량 웹 로그 정보의 전처리 작업 속도를 높이기 위하여 Hadoop 기반 맵/리듀스(MapReduce) 프로그래밍 모델을 사용한다. 또한 웹 로그 정보의 전처리 결과를 이용한 학습과 예측을 위한 딥 러닝 기반 웹 예측 시스템을 제안한다. 실험을 통해 논문에서 제안한 방법이 기존의 방법과 비교하여 성능 개선이 있다는 사실을 보였고 아울러 다음 페이지 예측의 정확성을 보였다.