• Title/Summary/Keyword: 웹 데이터 마이닝

Search Result 222, Processing Time 0.026 seconds

Classification of Web Data Using SASOM+DT for Web Usage Mining (웹 사용 마이닝을 위한 SASOM+DT를 이용한 웹 데이터의 분류)

  • 유시호;김경중;조성배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.346-348
    • /
    • 2002
  • 웹 마이닝은 크게 구조 마이닝, 컨텐츠 마이닝, 사용 마이닝으로 분류될 수 있다. 이 중에서도 사용 마이닝은 사용자의 로그 데이터를 바탕으로 사용자가 탐색한 웹 페이지의 순서를 추출하거나 연관관계를 분석하는 작업이다. 특히 웹에 기반을 둔 애플리케이션의 요구를 충족시키기 위해서 사용 마이닝은 웹 마이닝에 있어서 중요한 부분으로 부각되고 있다. 본 논문에서는 사용자들의 웹 페이지의 방문 패턴을 분석하여, 미래행동을 예측하는 것을 문제로 삼고, 사용자들의 이용패턴을 SASOM(Strtcture-Adaptive SOM)분류기들의 DT(Decision Tree)앙상블을 이용하여 분류하는 방법을 제안해보았다. MS웹 데이터를 가지고 SASOM 분류기의 집합을 DT를 이용하여 결합한 결과, 분류기 하나만 사용한 경우 보다 더 좋은 결과를 얻어, 3.5% 이하의 낮은 오류율을 보였다.

  • PDF

Design of the web data mining system and definition of useful access patterns (웹 마이닝 시스템 설계 및 유용한 접근 패턴 정의)

  • 김종달;김성민;남도원;이동하;이전영
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2000.04a
    • /
    • pp.283-291
    • /
    • 2000
  • 인터넷 서비스 제공자들이 관심을 가지고 있는 것 중 하나는 인터넷 사용자들의 서비스 이용 패턴과 경향을 분석하는 것이다. 이를 통해 매출 증대와 실제 경영에 도움이 되는 사용자의 특성을 이해할 수 있기 때문이다. 이와 관련된 기본적인 접근방법은 사용자가 웹 서버에 접근했을 때 서버에 남는 웹 로그를 분석하여 사용자 패턴을 분석하는 것이다. 웹 로그 분석에 전형저인 통계기법이 사용되고 있다. 그러나 단순 통계 기법만으로는 알려지지 않는 데이터들 사이에 숨겨진 유용한 정보를 찾는 데에는 한계가 있다. 최근에는 이러한 한계를 극복하기 위해 데이터 마이닝 기술을 이용한 새로운 접근 방법이 시도되고 있다. 그러나 실제로 웹 로그에서부터 데이터 마이닝 기술을 이용하는 데에는 전처리 과정의 어려움과 실제 유용한 패턴을 어떻게 정의하는 가가 어려운 문제이다. 본 연구에서는 로(raw) 데이터인 웹 로그에서 유용한 패턴을 찾기 위한 전처리 과정을 알아보고, 웹 마이닝 시스템에 적합한 트랜잭션의 데이터 구조를 제시한다. 그리고 정의된 데이터 구조를 통한 패턴 발견 과정인 웹 사이트의 개념계층을 이용한 통계 기법과 연관규칙(Association Rules) 탐사에 대해 알아본다. 마지막으로 정의된 데이터 구조를 통한 새로운 유용한 패턴을 정의한ㄷ.

  • PDF

Research on Data Acquisition Strategy and Its Application in Web Usage Mining (웹 사용 마이닝에서의 데이터 수집 전략과 그 응용에 관한 연구)

  • Ran, Cong-Lin;Joung, Suck-Tae
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.12 no.3
    • /
    • pp.231-241
    • /
    • 2019
  • Web Usage Mining (WUM) is one part of Web mining and also the application of data mining technique. Web mining technology is used to identify and analyze user's access patterns by using web server log data generated by web users when users access web site. So first of all, it is important that the data should be acquired in a reasonable way before applying data mining techniques to discover user access patterns from web log. The main task of data acquisition is to efficiently obtain users' detailed click behavior in the process of users' visiting Web site. This paper mainly focuses on data acquisition stage before the first stage of web usage mining data process with activities like data acquisition strategy and field extraction algorithm. Field extraction algorithm performs the process of separating fields from the single line of the log files, and they are also well used in practical application for a large amount of user data.

A Survey of Web Mining Focused on Web Structure Mining (웹 구조 마이닝에 초점을 둔 웹 마이닝의 조사)

  • Lee, Seok-Min;Park, Dae-Myeong;Yoo, Dae-Hun;Choi, Woong-Chul
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.334-338
    • /
    • 2010
  • 컴퓨터 기술의 발달 및 웹의 확산으로 인해 개인이 얻을 수 있는 정보의 양이 증가되었지만, 이로 인해 필요한 관련 정보를 탐색하는 것과 다량의 정보로부터 지식을 창출한다는 것이 어렵게 되었고, 고객 또는 사용자에 대한 학습 과정 및 정보의 개인화 등의 문제가 대두되게 되었다. 이러한 문제들을 해소하기 위해 웹으로부터 정보를 얻을 수 있는 자동화된 툴이 필요하게 되었고, 얻은 정보를 이용하여 웹 사용자들의 패턴을 식별할 수 있는 방법 또한 필요하게 되었다. 이러한 관심은 데이터 마이닝을 온라인에서 적용하고자 하는 노력으로 이어졌고, 현재 데이터 마이닝 기술을 온라인에 적용한 웹 마이닝 기술을 사용하고 있다. 웹 마이닝은 웹의 방대한 양의 자료 및 구조를 좀 더 유용하고, 효율적인 정보로 가공하여 사용자에게 제공할 수 있도록 도와주는 기술이다. 본 논문에서는 웹 마이닝의 전반적인 개념과 분류를 소개한다. 또한, 웹 마이닝의 분류 중 웹 구조 마이닝에 초점을 맞추어 개념 및 웹 구조 마이닝의 대표적인 알고리듬을 소개한다.

  • PDF

A Study of User Identification in Data Preprocessing for Web Usage Mining (웹 이용 마이닝을 위한 데이터 전처리에서 사용자 구분에 관한 연구)

  • 최영환;이상용
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10b
    • /
    • pp.118-120
    • /
    • 2001
  • 웹 이용 마이닝은 거대만 웹 데이터 저장소의 로그들을 이용하여 웹 사용자의 사용 패턴을 분석하는 데이터 마이닝 기술이다. 마이닝 기술을 적용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 웹 로그만으로는 사용자를 완전히 구분할 수 없다. 따라서 정확한 결과를 얻기 위해 사용자와 세션을 구분할 수 있는 모듈을 웹 서버에서 제공하거나, 각각의 페이지에 적당한 실행 필드를 삽입해야 한다. 사용자와 세션을 구분하는 데는 캐시 문제, 방화벽 문제. IP(ISP)문제, 프라이버시 문제, 쿠키 문제 등 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 이 논문은 참조 로그와 에이전트 로그, 그리고 액세스 로그 등 서버측 클릭스트림 데이터만을 이용하여 사용자와 세션을 구분하는 방법을 제안한다.

  • PDF

User Access Patterns Discovery based on Apriori Algorithm under Web Logs (웹 로그에서의 Apriori 알고리즘 기반 사용자 액세스 패턴 발견)

  • Ran, Cong-Lin;Joung, Suck-Tae
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.12 no.6
    • /
    • pp.681-689
    • /
    • 2019
  • Web usage pattern discovery is an advanced means by using web log data, and it's also a specific application of data mining technology in Web log data mining. In education Data Mining (DM) is the application of Data Mining techniques to educational data (such as Web logs of University, e-learning, adaptive hypermedia and intelligent tutoring systems, etc.), and so, its objective is to analyze these types of data in order to resolve educational research issues. In this paper, the Web log data of a university are used as the research object of data mining. With using the database OLAP technology the Web log data are preprocessed into the data format that can be used for data mining, and the processing results are stored into the MSSQL. At the same time the basic data statistics and analysis are completed based on the processed Web log records. In addition, we introduced the Apriori Algorithm of Web usage pattern mining and its implementation process, developed the Apriori Algorithm program in Python development environment, then gave the performance of the Apriori Algorithm and realized the mining of Web user access pattern. The results have important theoretical significance for the application of the patterns in the development of teaching systems. The next research is to explore the improvement of the Apriori Algorithm in the distributed computing environment.

Fuzzy category based transaction analysis for web usage mining (웹 사용 마이닝을 위한 퍼지 카테고리 기반의 트랜잭션 분석 기법)

  • 이시헌;이지형
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2004.04a
    • /
    • pp.341-344
    • /
    • 2004
  • 웹 사용 마이닝(Web usage mining)은 웹 로그 파일(web log file)이나 웹 사용 데이터(Web usage data)에서 의미 있는 정보를 찾아내는 연구 분야이다. 웹 사용 마이닝에서 일반적으로 많이 사용하는 웹 로그 파일은 사용자들이 참조한 페이지의 단순한 리스트들이다. 따라서 단순히 웹 로그 파일만을 이용하는 방법만으로는 사용자가 참조했던 페이지의 내용을 반영하여 분석하는데에는 한계가 있다. 이러한 점을 개선하고자 본 논문에서는 페이지 위주가 아닌 웹 페이지가 포함하고 있는 내용(아이템)을 고려하는 새로운 퍼지 카테고리 기반의 웹 사용 마이닝 기법을 제시한다. 또한 사용자를 잘 파악하기 위해서 시간에 따라 관심의 변화를 파악하는 방법을 제시한다.

  • PDF

Development of a Web Analyzing System based on Data Mining Techniques (데이터 마이닝 기술을 이용한 웹 분석 시스템의 개발)

  • Jun Jae-Bum;Yang Sung-Mo;Yoon Seok-Ho;Kim Sang-Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.67-70
    • /
    • 2006
  • 최근 웹 분석 시스템은 단순히 통계 정보를 이용한 분석을 넘어서서 웹 마이닝 기술을 이용한 웹 분석 시스템의 형태로 변화하고 있다. 이는 기존의 단순 통계 분석으로는 점차 거대하고 복잡해져가는 현재의 웹 사이트를 분석하는 데 한계가 있기 때문이다. 따라서 앞으로 웹 분석 시스템은 웹 마이닝 기술을 활용한 다양한 측면의 연구와 구현이 이루어 질 것으로 보인다. 본 연구에서는 기존의 웹 마이닝 기술을 이용한 웹 마이닝 분석 시스템을 구현하여 웹 마이닝 기술에 대한 분석과 응용을 고찰한다. 또한, 실제로 한양대학교 웹사이트를 대상으로 웹 분석 시스템을 설계 구현함으로써 웹 마이닝 기술을 이용한 웹 분석 시스템의 가능성을 타진한다.

  • PDF

Web Document Prediction System by using Web Log Mining (웹 로그 마이닝을 이용한 웹 문서 예측 시스템)

  • Lee Bum-suk;Hwang Byung-yeon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.97-99
    • /
    • 2005
  • 웹 문서 수의 급격한 증가는 사용자로 하여금 방대한 양의 웹 문서들로부터 필요한 정보를 선별하기 위한 시간과 비용을 낭비하게 만들었다. 따라서 이러한 문제를 해결하기 위한 연구의 필요성이 점차 증가하였는데, 그 중 웹 서버 로그 데이터에 마이닝 기법을 적용하여 사용자들의 사이트 내 문서의 접근 패턴을 분석하고, 그 데이터를 이용하여 동적으로 변화하는 적응형 웹 사이트를 제공하려는 것이 대표적인 연구 사례이다. 본 논문에서는 웹 서버 로그 마이닝을 이용하여 사용자가 필요로 하거나, 관심을 가지고 있는 페이지를 예측하여 추천해 주는 시스템에 대해 소개한다. 이러한 시스템을 구현하기 위해 순차 패턴 마이닝이나 빈발 에피소드 발견 기법 등의 알고리즘을 사용할 수 있다. 제안하는 시스템에서는 사용자 접근 패턴을 분석할 때 순차 패턴 마이닝 기법을 사용하고, 사용자의 이동 패턴을 근거로 웹 문서를 예측하여 추천해줄 때에는 에피소드 발견 기법에서의 window 개념을 이용한다. 본 논문에서 제안한 시스템은 웹 문서를 사용자가 머물었던 시간에 따라 관심 있는 문서와 지나간 문서로 구분하여 관심 있는 문서에 대해서안 마이닝을 수행한다. 또한 일정한 크기를 갖는 History window에 의해 다음 문서를 추천해주기 때문에 사용자의 모든 로그를 저장하지 않으므로 보다 효율적이다.

  • PDF

전자상거래마이닝을 위한 웹데이터베이스시스템의 설계 및 구현

  • 이현호;나민영
    • Proceedings of the CALSEC Conference
    • /
    • 1998.10a
    • /
    • pp.287-300
    • /
    • 1998
  • 인터넷 사용자의 폭발적인 증가와 더불어 웹을 이용한 전자상거래가 활성화되고 있다. 웹기반 전자상거래시스템은 웹데이터베이스를 이용하여 구축되는데 전자상거래 정보의 효과적인 분석을 위해 데이터마이닝기법이 요구되고 있다. 본 논문에서는 전자상거래 마이닝의 개념을 살펴보고 효과적인 전자상거래 데이터마이닝을 위한 웹데이터베이스시스템을 제안하고 그 프로토타입을 구현하였다. 본 논문에서 제안한 웹데이터베이스는 전자상거래 자체의 내용정보를 저장하는 구조화 데이터 DB와 전자상거래의 사용자 인터페이스를 저장하는 HTML 폼 DB로 나뉘어 전자상거래 자체의 내용정보 뿐 아니라 접속횟수, 접속시간, 원격접속지 등 사용자 인터페이스에서 추출할 수 있는 정보까지 마이닝 대상정보에 포함시켜 효율적인 마이닝환경을 제공할 수 있다.

  • PDF