• 제목/요약/키워드: Web Log Data

검색결과 175건 처리시간 0.028초

클라우드 환경에서 블록체인 기반의 웹서버 로그 관리 시스템 (Log Management System of Web Server Based on Blockchain in Cloud Environment)

  • 손용범;김영학
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권7호
    • /
    • pp.143-148
    • /
    • 2020
  • 최근에 클라우드 환경의 발전과 더불어 다양한 영역에서 웹을 통한 서비스가 확대되고 있다. 사용자가 웹 서비스에 접속할 때마다 웹 서버에 사용자의 로그 정보가 저장된다. 이러한 로그 정보는 사용자의 웹 서비스 성향을 분석하는 자료로 활용되며 또한 시스템에서 보안 문제가 발생시에 사용자의 시스템 접속을 추적하기 위한 중요한 자료로 사용된다. 현재 대부분 웹 서버의 경우 사용자의 로그 정보를 중앙 집중 방식으로 관리한다. 사용자 로그 정보를 중앙 집중식으로 관리할 경우 운영 측면에서 단순하지만 외부의 악의적인 공격에 매우 취약한 단점을 갖는다. 중앙 집중 관리의 경우 외부 공격에 의해 웹 서버에 저장된 사용자 로그 정보가 임의로 조작될 수 있으며 심한 경우 조작된 정보가 유출될 수 있다. 이러한 경우 웹 서비스의 신뢰를 떨어뜨릴 뿐만 아니라 웹 서버의 공격에 대한 원인 발생지와 공격자의 추적이 어려워진다. 이러한 문제를 해결하기 위해 본 논문에서는 기존의 중앙 집중식 로그 관리 방법의 대안으로 블록체인 기술을 적용하여 클라우드 환경에서 사용자 로그 정보를 관리하는 새로운 방법을 제안한다. 제안된 방법은 사용자의 로그 정보가 클라우드 환경을 갖는 프라이빗 네트워크에 블록체인으로 분산 저장되기 때문에 외부 공격으로부터 안전하게 로그 정보를 관리할 수 있다.

대용량 웹 로그 마이닝 및 공격탐지를 위한 B-트리 인덱스 벡터 기반 고속 검색 기법 (High-Speed Search Mechanism based on B-Tree Index Vector for Huge Web Log Mining and Web Attack Detection)

  • 이형우;김태수
    • 한국멀티미디어학회논문지
    • /
    • 제11권11호
    • /
    • pp.1601-1614
    • /
    • 2008
  • 최근 대부분의 인터넷 환경이 쳅 기반 시스템으로 발전하면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 따라서 일반 사용자가 대형 포털 사이트 웹 서버 접속시 생성되는 로그 정보를 분석하여 웹 서버에 대한 공격을 탐지하거나 웹 마이닝 기술과 접목하기 위해서는 대용량의 웹 로그 정보에 대한 효율적인 분석 기법이 필요하다. 기존 웹 로그 전처리 기법은 로그 문자열의 순차적인 탐색을 수행하므로 대용량의 웹 로그 고속화 처리에 적합하지 않다. 본 연구에서는 대용량 웹 로그 정보에 대해 B-트리 인덱싱 벡터 구조를 이용하여 필드별 분류 및 고속 검색 알고리즘을 개발하였다 이를 통해 효율적으로 대용량 로고로부터 효율적인 세션 분석 기능과 개선된 검색 성능을 제공할 수 있었으며 웹 서버에 대한 공격 탐지에도 활용할 수 있었다.

  • PDF

Pre-Processing of Query Logs in Web Usage Mining

  • Abdullah, Norhaiza Ya;Husin, Husna Sarirah;Ramadhani, Herny;Nadarajan, Shanmuga Vivekanada
    • Industrial Engineering and Management Systems
    • /
    • 제11권1호
    • /
    • pp.82-86
    • /
    • 2012
  • In For the past few years, query log data has been collected to find user's behavior in using the site. Many researches have studied on the usage of query logs to extract user's preference, recommend personalization, improve caching and pre-fetching of Web objects, build better adaptive user interfaces, and also to improve Web search for a search engine application. A query log contain data such as the client's IP address, time and date of request, the resources or page requested, status of request HTTP method used and the type of browser and operating system. A query log can offer valuable insight into web site usage. A proper compilation and interpretation of query log can provide a baseline of statistics that indicate the usage levels of website and can be used as tool to assist decision making in management activities. In this paper we want to discuss on the tasks performed of query logs in pre-processing of web usage mining. We will use query logs from an online newspaper company. The query logs will undergo pre-processing stage, in which the clickstream data is cleaned and partitioned into a set of user interactions which will represent the activities of each user during their visits to the site. The query logs will undergo essential task in pre-processing which are data cleaning and user identification.

로그 히스토리 분석을 사용한 웹 포렌식 알고리즘 연구 (A Study of Web Forensics Algorithm that used Log History Analysis)

  • 정정기;박대우
    • 한국컴퓨터정보학회지
    • /
    • 제14권2호
    • /
    • pp.245-254
    • /
    • 2006
  • 수많은 로그 히스토리의 자료에서 컴퓨터 사이버범죄에 대한 증거자료로 채택되기 위한 기술적인 웹 포렌식 자료의 추출에 사용되는 웹 포렌식 알고리즘은 필수적인 요소이다. 본 논문에서는 웹 포렌식 알고리즘을 제안하고 설계하여, 실제 기업의 웹 서버 시스템에 제안한 알고리즘을 구현해 본다. 그리고 웹 로그 히스토리 정보에 대한 무결성이나 정보출처에 대한 인증을 적용한 웹 발신 로깅 시스템 구성실험을 한다. 회사의 이메일, 웹메일, HTTP(웹게시판, 블로그 등), FTP, Telnet 및 메신저(MSN, NateOn, Yahoo, DaumTouch, BuddyBuddy. MsLee, AOL, SoftMe)의 서버에서 웹 로그 히스토리 분석을 위해 사용한 웹 포렌식 알고리즘과 플로우를 설계하고 코딩을 통한 구현을 한다. 구현 결과 웹 포렌식을 통한 컴퓨터 사이버범죄에 대한 학문적 기술적 발전에 기여하고자 하는데 본 논문의 목적이 있다.

  • PDF

로그 히스토리 분석을 사용한 웹 포렌식 알고리즘 연구 (A Study of Web Forensics Algorithm that used Log History Analysis)

  • 정정기;박대우
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.117-126
    • /
    • 2007
  • 수많은 로그 히스토리의 자료에서 컴퓨터 사이버범죄에 대한 증거자료로 채택되기 위한 기술적인 웹 포렌식 자료의 추출에 사용되는 웹 포렌식 알고리즘은 필수적인 요소이다. 본 논문에서는 웹 포렌식 알고리즘을 제안하고 설계하여, 실제 기업의 웹 서버 시스템에 제안한 알고리즘을 구현해 본다. 그리고 웹 로그 히스토리 정보에 대한 무결성이나 정보출처에 대한 인증을 적용한 웹 발신 로깅 시스템 구성실험을 한다. 회사의 이메일, 웹메일, HTTP(웹게시판, 블로그 등), FTP, Telnet 및 메신저(MSN, NateOn, Yahoo, DaumTouch, BuddyBuddy, MsLee, AOL, SoftMe)의 서버에서 웹 로그 히스토리 분석을 위해 사용한 웹 포렌식 알고리즘과 플로우를 설계하고 코딩을 통한 구현을 한다. 구현 결과 웹 포렌식을 통한 컴퓨터 사이버범죄에 대한 학문적 기술적 발전에 기여하고자 하는데 본 논문의 목적이 있다.

  • PDF

웹 컨텐츠 선호도 측정을 위한 대용량 웹로그 분석기 구현 (Implementation of big web logs analyzer in estimating preferences for web contents)

  • 최은정;김명주
    • 디지털산업정보학회논문지
    • /
    • 제8권4호
    • /
    • pp.83-90
    • /
    • 2012
  • With the rapid growth of internet infrastructure, World Wide Web is evolving recently into various services such as cloud computing, social network services. It simply go beyond the sharing of information. It started to provide new services such as E-business, remote control or management, providing virtual services, and recently it is evolving into new services such as cloud computing and social network services. These kinds of communications through World Wide Web have been interested in and have developed user-centric customized services rather than providing provider-centric informations. In these environments, it is very important to check and analyze the user requests to a website. Especially, estimating user preferences is most important. For these reasons, analyzing web logs is being done, however, it has limitations that the most of data to analyze are based on page unit statistics. Therefore, it is not enough to evaluate user preferences only by statistics of specific page. Because recent main contents of web page design are being made of media files such as image files, and of dynamic pages utilizing the techniques of CSS, Div, iFrame etc. In this paper, large log analyzer was designed and executed to analyze web server log to estimate web contents preferences of users. With mapreduce which is based on Hadoop, large logs were analyzed and web contents preferences of media files such as image files, sounds and videos were estimated.

상품간 연관 규칙의 효율적 탐색 방법에 관한 연구 : 인터넷 쇼핑몰을 중심으로 (A Fast Algorithm for Mining Association Rules in Web Log Data)

  • 오은정;오상봉
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2003년도 추계공동학술대회
    • /
    • pp.621-626
    • /
    • 2003
  • Mining association rules in web log files can be divided into two steps: 1) discovering frequent item sets in web data; 2) extracting association rules from the frequent item sets found in the previous step. This paper suggests an algorithm for finding frequent item sets efficiently The essence of the proposed algorithm is to transform transaction data files into matrix format. Our experimental results show that the suggested algorithm outperforms the Apriori algorithm, which is widely used to discover frequent item sets, in terms of scan frequency and execution time.

  • PDF

Sparse Data Cleaning using Multiple Imputations

  • Jun, Sung-Hae;Lee, Seung-Joo;Oh, Kyung-Whan
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제4권1호
    • /
    • pp.119-124
    • /
    • 2004
  • Real data as web log file tend to be incomplete. But we have to find useful knowledge from these for optimal decision. In web log data, many useful things which are hyperlink information and web usages of connected users may be found. The size of web data is too huge to use for effective knowledge discovery. To make matters worse, they are very sparse. We overcome this sparse problem using Markov Chain Monte Carlo method as multiple imputations. This missing value imputation changes spare web data to complete. Our study may be a useful tool for discovering knowledge from data set with sparseness. The more sparseness of data in increased, the better performance of MCMC imputation is good. We verified our work by experiments using UCI machine learning repository data.

Design and Implementation of Customer Personalized System Using Web Log and Purchase Database

  • Lee Jae-Hoon;Chung Hyun-Sook;Lee Sung-Joo
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제6권1호
    • /
    • pp.21-26
    • /
    • 2006
  • In this paper, we propose a customer personalized system that presents the web pages to users which are customized to their individuality. It analyzes the action of users who visit the shopping mall, and preferentially supplies the necessary information to them. When they actually buy some items, it forecasts the user's access pattern to web site and their following purchasable items and improves their web page on the bases of their individuality. It reasons the relation among the web documents and among the items by using the log data of web server and the purchase information of DB. For reasoning, it employs Apriori algorithm, which is a method that searches the association rule. It reasons the web pages by considering the user's access pattern and time by using the web log and reasons the user's purchase pattern by using the purchase information of DB. On the basis of the relation among them, it appends the related web pages to link of user's web pages and displays the inferred goods on user's web pages.

Customer Personalized System of eCRM Using Web Log Mining and Rough Set

  • Lee, Jae-Hoon;Chung, Il-Yong;Lee, Sung-Joo
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2006년도 추계학술대회 학술발표 논문집 제16권 제2호
    • /
    • pp.29-32
    • /
    • 2006
  • In this paper, we propose a customer personalized system that presents the web pages to users which are customized to their individuality. It analyzes the action of users who visit the shopping mall, and preferentially supplies the necessary information to them. When they actually buy some items, it forecasts the users' access pattern to web site and their following purchasable items and improves their web pare on the bases of their individuality. It reasons the relation among the web documents and among the items by using the log data of web server and the purchase information of DB. For reasoning it employs Rough Set, which is a method that searches the association rule and offers most suitable cases by reduces cases. It reasons the web pages by considering the users' access pattern and time by using the web log and reasons the users' purchase pattern by using the purchase information of DB. On the basis of the relation among them, it appends the related web pages to link of users' web pages and displays the inferred goods on users' web pages.

  • PDF