• 제목/요약/키워드: 웹 마이닝 시스템

검색결과 144건 처리시간 0.035초

사용자 로그 분석과 클러스터 내의 문서 유사도를 이용한 동적 추천 시스템 (A Dynamic Recommendation System Using User Log Analysis and Document Similarity in Clusters)

  • 김진수;김태용;최준혁;임기욱;이정현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권5호
    • /
    • pp.586-594
    • /
    • 2004
  • 웹 문서들은 빠른 생성과 소멸의 특징 때문에, 사용자는 찾고자하는 웹 문서를 신속하고 정확하게 추천해 줄 시스템을 요구하고 있다. 정제되지 않은 웹 데이타에는 사용자들의 축적된 경험들을 포함하는 유용한 정보들을 포함하고 있다. 현재, 이러한 유용한 정보를 마이닝 기법이나 통계학적 측정 방법 등을 가지고 정제하여 추천 시스템을 통해 사용자에게 제공하려는 노력이 시도되고 있다. 기존의 정보 필터링 방식은 사용자들의 프로파일을 반드시 이용해야 하는 문제점을 갖고 있으며, 협력적 필터링 방식은 First Rater 문제와 Sparsity 문제가 있다. 또한 사용자 브라우징 패턴을 이용하는 동적 추천 시스템은 연관성이 없는 웹 문서들을 결과로서 제공한다는 문제점이 있다. 본 논문에서는 웹 문서 형식에 따라 웹 문서 사이의 유사도를 이용하여 웹 문서를 분류하고, 웹 서버에 기록된 로그 파일을 이용하여 사용자 브라우징 순차 패턴 DB를 생성한다. 이렇게 생성된 정보들과 사용자들의 세션 정보를 이용하여, 사용자가 웹 문서에 접근했을 때 현재 웹 문서와 유사도가 높은 상위 N개의 연관 웹 문서 집합을 제공하고, 순차적인 특성을 갖는 웹 문서를 추천 문서로 제공하는 시스템을 제안한다.

시맨틱 웹에서 다중 혼합필터링을 이용한 개인화된 의상 코디 시스템 (Personalized Apparel Coordi System using Multiple Hybrid-Filtering on Semantic Web)

  • 은채수;송창우;이승근;이정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.178-182
    • /
    • 2006
  • 인터넷과 웹이 일상생활의 일부가 되면서 온라인상에는 방대한 양의 정보가 쌓이게 되었다. 이러한 흐름 속에서 정보의 양은 급속도로 늘어나는 현상을 보이며, ‘개인화’ 를 통해 수많은 데이터들 사이에서 원하는 정보를 자동으로 찾아내는 기술의 중요성이 부각되고 있다. 이를 ‘추천시스템’ 이라 부르며, 내용기반 필터링과 협력적 필터링 등의 연구가 활발히 이루어지고 있다. 그러나 사용자에게 가장 중요한 영향을 미치는 또래의 선호도, 지역, 시대 등의 복합적인 환경을 반영하는데 아직까지 어려움을 지니고 있다. 따라서 본 논문에서는 기존의 필터링들을 조합하고 좀더 편리하게 정보를 공유하고 학습할 수 있는 시맨틱 웹에서 연관 이웃 마이닝 기법을 통해 개인화된 추천 시스템을 설계한다. 생활에서 흔히 접할 수 있는 의상을 다양한 사용자에게 특화되어 코디해주는 시스템을 웹에서 제공한 결과 불필요한 검색시간이 줄어들고 사용자의 피드백을 통해 점차 만족도가 향상됨을 알 수 있었다.

  • PDF

의견정보 모니터링을 위한 웹 마이닝 시스템에 관한 연구 (A Study on Web Mining System for Real-Time Monitoring of Opinion Information Based on Web 2.0)

  • 주해종;홍봉화;정복철
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.149-157
    • /
    • 2010
  • 최근에 인터넷 사용이 점차 활발해 짐에 따라, 다른 사람들이 인터넷 상에 올려놓은 의견정보를 참조하고자 하는 수요가 높아지고 있다. 하지만, 이러한인터넷상에존재하는의견들은개개의웹사이트들에만존재하여, 이러한 의견정보들을 사용하고자 할 경우에는 사용자가 일일이 이러한 개개의 모든 웹사이트를 수동으로 찾아보아야 하는 번거로움이 존재하는 문제점이 있다. 본 논문은 웹 콘텐츠에서의 통계기반 웹 마이닝(Web Mining)을 통한 의견 추출 및 분석 시스템에 관한 것으로, 인터넷 상에 존재하는 여러 웹사이트들에 흩어져 있는 웹문서에서 사용자 의견정보들을 자동으로 추출 및 분석한다. 또한, 긍정/부정 의견별로 실시간으로 검색 및 통계를 확인할 수 있는 의견정보 검색 서비스를 간편하게 제공할수 있으며, 의견정보 검색 사용자들은 특정 키워드에 대하여 다른 사용자들의 의견정보를 손쉽게 실시간으로 검색 및 모니터링(Monitoring)할 수 있는 시스템이다. 제안한 기법들은 기존의 다른 기법들과의 비교 실험을 수행하여 실제 성능이 우수함을 증명하였다. 성능 평가는 긍정/부정 의견정보를 추출하는 기능의 성능 평가를 실시하였다. 그 적용 사례로 대표적인 영화 리뷰 문장 실험 데이터를 대상으로 실험하고 그 결과를 분석하였다.

클릭스트림 분석을 통한 확장된 웹 로그 처리 시스템 (Extended Web Log Processing System by using Click-Stream)

  • 강미정;조동섭
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2001년도 하계학술대회 논문집 D
    • /
    • pp.2798-2800
    • /
    • 2001
  • 인터넷 사용자가 급증하고, 인터넷을 통한 비즈니스에 수익 모델에 대한 관심이 높아지면서 방문자별로 맞춤 정보를 제공하는 퍼스널라이제이션이 인터넷 개발자 및 사용자들의 관심을 모으고 있다. 원투원 마케팅은 개별 고객의 성별, 나이, 소득 등 인구 통계 정보와 고객의 취미, 레저 등에 관한 정보 및 구매 패턴을 DB화하여 고객에게 가장 적절한 상품, 정보, 광고를 제공하는 것이다. 원투원 마케팅을 기본으로 개인과의 끊임없는 상호교류를 통해 고객에게 맞춤 서비스를 제공할수 있다. 본 논문에서는 맞춤 서비스 제공을 위한 전처리과정으로 클릭스트림 분석을 통한 확장된 웹 로그 정보를 통해서 고객들의 성향을 분석하였다. 그리고 이 웹 로그서버는 웹사이트로부터 얻은 로그정보를 분류하고 저장하여 관리자가 확장된 웹 로그 정보를 쉽게 분석할 수 있다. 이때 데이터베이스 저장 기술로 OLE DB Provider상에서 수행되는 ADO 기술을 사용함으로써 확장된 웹 로그 처리 시스템을 설계하였다. 확장된 웹 로그 DB를 패턴분석, 군집분석 등의 마이닝(Mining) 기법을 통하여 맞춤 서비스에 대한 사용자 프로파일을 구축 할 수 있다.

  • PDF

웹 사용 정보 마이닝 기반의 동적 사용자 프로파일 생성 (Generator of Dynamic User Profiles Based on Web Usage Mining)

  • 안계순;고세진;정준;이필규
    • 정보처리학회논문지B
    • /
    • 제9B권4호
    • /
    • pp.389-390
    • /
    • 2002
  • 동적 웹 컨텐츠 제공에서 고객을 위한 추천서비스에 이르는 인터넷 기반의 전자상거래 애플리케이션에서는 고객이 어떤 성향을 가지고 있는가에 대한 정보를 획득하는 것이 중요하다. 웹 개인화의 대표적인 기술인 협력적 석과는 사용자의 정보를 정적인 프로파일 형태로 저장하여 사용자의 성향 변화를 빨리 획득할 수 없다. 또한 사용자의 명시적 평가 의존성, 확장성 부족, 다차원 공간 데이터에 대한 적용 어려움 둥의 문제점을 가지고 있다. 이와 같은 단점을 해결하기 위한 해결 방안으로 웹 사용 정보 마이닝(web usage mining)이 쓰이고 있다. 웹 사용 정보 마이닝은 서버에 축적된 웹 사용 데이터(web usage data)를 이용하여 패턴을 발견하는 기술이다. 특히 연관 규칙 생성 알고리즘으로 웹 사용 패턴(web usage pattern)을 찾고 패턴을 클러스터링하는 기술이 사용되고 있다. 그러나 연관 규칙 생성 알고리즘은 많은 수의 패턴들을 찾고 또 유용하지 못한 패턴을 발견하는 단점이 있다. 본 논문에서는 검증된 웹 사용 패턴을 이용한 동적 사용자 프로파일 생성 방법을 제안한다. 먼저 패턴 발견을 위해 연관 규칙 생성 알고리즘인 Apriori를 이용하고 사용자 프로파일을 위한 클러스터를 생성하기 위해 ARHP를 채택하였다. 클러스터를 생성하기 전에 Dempster-Shafer 이론을 이용하여 유용하지 못한 패턴을 제거하는 패턴 검증 과정을 수행한다. 검증된 패턴을 이용하여 클러스터를 생성하고 사용자의 현재 활성화된 세션에 따라 동적으로 사용자 프로파일이 생성된다

m-CRM을 위한 음악추천시스템: 웹 마이닝과 서열척도를 이용한 협업 필터링 (A Music Recommender System for m-CRM: Collaborative Filtering using Web Mining and Ordinal Scale)

  • 이석기
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.45-54
    • /
    • 2008
  • 모바일 웹 (Web)과 관련한 기술이 점점 발달함에 따라 모바일 전자상거래 시장, 그 중에서도 벨소리나 컬러링과 같은 음악 다운로드 시장의 크기는 괄목할 만한 성장을 거듭하고 있다. 하지만, 이러한 급성장에도 불구하고 소비자들은 여전히 자신이 원하는 음악을 찾는 과정에서 많은 불편함을 겪고 있다. 이는 소비자들의 음악에 대한 재구매율을 저하시키게 되고, 모바일 음악을 제공하는 서비스 업체 입장에서도 수익 정체의 원인으로 작용할 수 있다. 따라서 고객관계 관리 측면에서 모바일 고객의 불편을 최소화함으로써 결국 수익을 더욱 많이 창출하기 위한 새로운 방법이 절실한 상황이다. 이에 본 연구는 모바일 웹 환경 하에서 소비자들이 편리하게 자신이 원하는 음악을 검색할 수 있도록 하기 위하여, 모바일 웹 마이닝과 서열척도를 활용하는 협업 필터링 기반의 새로운 음악 추천 시스템을 제안한다. 또한 실험을 통해 우리가 제안하는 새로운 추천 시스템이 기존의 추천 시스템들에 비하여 우수한 성능을 나타냄을 입증하고자 한다.

  • PDF

Python을 이용한 SNS 크롤링 시스템 구축 (Building an SNS Crawling System Using Python)

  • 이종화
    • 한국산업정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.61-76
    • /
    • 2018
  • 현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠를 파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

웹로그 마이닝을 통한 인터넷 쇼핑몰에서의 사용자 행동 분석

  • 이동하;김성민;오재훈;서동렬;임규건
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2004년도 추계학술대회
    • /
    • pp.305-312
    • /
    • 2004
  • 인터넷 웹 사이트 상에서 사용자 행동은 클릭(click)을 단위로 모두 로그 (log)에 기록된다. 웹 서버를 통해 남는 웹로그를 가공하여 단순한 통계 수치 외에, 사용자 행동을 분석할 수가 있다. 특히 인터넷 쇼핑몰에서 사용자의 행동에 대한 분석은 중요하며, 고객의 획득, 유지 전략을 수립하기 위한 중요한 정보가 된다. 본 논문에서는 인터넷 쇼핑몰에서의 사용자 행동을 비즈니스 관점에서 분석한다. 쇼핑몰 사이트의 유입 경로 분석의 다양한 관점에 대해 논의하며, 관심 카테고리 및 상품 분석, 첫페이지 영역별 분석 등 새로운 분석 방법에 대해 소개한다. 이와 함께, 이 분석과정에서 필요한 효율적인 데이터 구조, 운영계 데이터 베이스 정보 및 이들간의 연동방안과 분석 결과의 활용 방안을 제시한다.

  • PDF

웹 기반 교육환경에서 데이터 웹어하우스 개념을 도입한 DBS시스템에 관한 연구 (A Study on DBS system with Data Warehouse at WBI)

  • 전주현;홍찬기
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.723-725
    • /
    • 2000
  • 인터넷을 이용한 웹 기반 교육환경(WBI)의 가장 큰 문제점은 학습평가 보안과 전자수업안의 작성 및 제작에 어려움 그리고 웹 기반 교육환경의 평가 기준을 정하는 것이다. 이 연구에서는 이러한 문제점들을 데이터 에어하우스(DW)를 이용한 DBS 시스템을 제안하여 해결하고자 했으며 제안된 DataBase Study(DBS) 시스템의 특징을 살펴보고자 한다. DBS 시스템은 교수화면과 수강자화면으로 구성되며 WBI상에 있는 데이터를 가공하여 DW를 작성하고 이것을 다시 데이터 마이닝하여 DBS시스템의 장점은 기존의 자료를 가공하여 좀더 유용한 자료를 제공받으며 기존의 자료를 이용하여 전자수업안의 제작을 좀 더 쉽게 할 수 있고 교사의 일방적인 수업진행이 아닌 등록된 정보를 활용한 학생들의 참여를 유도할 수 있다는 것이다.

앙상블 SVM을 이용한 동적 웹 정보 예측 시스템 (Dynamic Web Information Predictive System Using Ensemble Support Vector Machine)

  • 박창희;윤경배
    • 정보처리학회논문지B
    • /
    • 제11B권4호
    • /
    • pp.465-470
    • /
    • 2004
  • 기존의 웹 정보 예측 시스템은 예측에 필요한 정보를 얻기 위하여 사용자 프로파일과 사용자로부터의 명시적 피드백 정보를 필요로 하는 단점이 존재한다. 본 논문에서는 이러한 단점을 극복하고자 웹 사이트에 접속한 고객의 행동을 나타내는 클릭 스트림 데이터와 이를 기반으로 한 사용자의 암시적 피드백 정보를 이용하여 각 사용자가 가장 필요로 하는 웹 정보를 예측한다. 이를 이용하여 관련 정보를 제공할 수 있는 앙상블 SVM을 이용한 동적 웹 정보 예측 시스템을 설계하고 구현하며, 기존의 웹 정보 예측 시스템과 성능 비교를 수행한 결과, 제안된 방법의 우수함이 입증되었다.