• 제목/요약/키워드: 웹 마이닝 시스템

검색결과 144건 처리시간 0.022초

클라우드 기반 R&D 연구 보고서 문서표절 및 유사도 검출 시스템 (R&D Redundancy and Similarity Check System)

  • 신효정;박기흥;허덕행
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
    • /
    • pp.31-32
    • /
    • 2016
  • 최근 정부의 R&D 연구에 대한 지원 규모 증가로 인해 전국가적으로 활발하게 기술 연구가 진행되고 있지만 예산을 집행하는 과정에서 기술 연구개발 과제의 중복연구로 시간과 예산을 낭비하는 사례를 노출하고 있다. 이와 같은 문제점을 해결하기 위해서는 정부 R&D 과제 선정과정에서 연구주제의 중복성 방지 등 근원적 혁신이 필요하다. 본 논문에서는 텍스트 마이닝 기술 및 빅데이터 분석 기술(하둡, 아마존 웹 서비스)과 같은 데이터 분석 기술이 도입된 클라우드 기반 R&D 연구 보고서 문서표절 및 유사도를 검출하는 시스템을 제안한다. 본 시스템은 SaaS 형태의 "on-demand software"로 웹 접속만으로 사용이 가능하다.

  • PDF

데이터마이닝을 이용한 웹 데이터 분석 (Analysis of Web Data Applying Data Mining)

  • 채승경;서용무
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 2001년도 춘계 Conference: CRM과 DB응용 기술을 통한 e-Business혁신
    • /
    • pp.345-361
    • /
    • 2001
  • 인터넷의 확산으로 웹 구조, 웹 로그 등을 분석하는 웹마이닝(Web Mining)에 대한 연구가 활발히 진행되고 있다. 그러나 웹에서 발생하는 데이터에 대한 분석은 아직 미약한 상태이다. 웹에서 획득된 데이터는 신뢰도가 낮아 통계와 같은 기존의 분석 방법을 적용하기에 많은 어려움이 따른다. 또한 대용량 데이터와 실제 데이터에 유연한 분석을 제공하는 데이터 마이닝은 아직까지 적용 분야가 매우 한정되어 있다. 본 논문에서는 인터넷 사이트의 실제 데이터를 이용하여 데이터마이닝 과정에 따라 데이터 정제, 데이터 선택, 데이터 변환 등 효과적인 데이터 전처리 방법을 제시한다. 또한 이렇게 전처리된 데이터로 고객 세분화, 우수 고객 분류를 위한 데이터마이닝 기법을 적용한 후 수행 결과를 분석한다. 마지막으로 분석의 한계점을 지적하고 보다 양질의 데이터마이닝을 위한 시스템 및 사이트 설계 방안을 제시한다.

  • PDF

텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션 (Data Analysis Web Application Based on Text Mining)

  • 길완제;김재웅;박구락;이윤열
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.103-104
    • /
    • 2021
  • 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

  • PDF

대용량 웹 로그 마이닝 및 공격탐지를 위한 B-트리 인덱스 벡터 기반 고속 검색 기법 (High-Speed Search Mechanism based on B-Tree Index Vector for Huge Web Log Mining and Web Attack Detection)

  • 이형우;김태수
    • 한국멀티미디어학회논문지
    • /
    • 제11권11호
    • /
    • pp.1601-1614
    • /
    • 2008
  • 최근 대부분의 인터넷 환경이 쳅 기반 시스템으로 발전하면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 따라서 일반 사용자가 대형 포털 사이트 웹 서버 접속시 생성되는 로그 정보를 분석하여 웹 서버에 대한 공격을 탐지하거나 웹 마이닝 기술과 접목하기 위해서는 대용량의 웹 로그 정보에 대한 효율적인 분석 기법이 필요하다. 기존 웹 로그 전처리 기법은 로그 문자열의 순차적인 탐색을 수행하므로 대용량의 웹 로그 고속화 처리에 적합하지 않다. 본 연구에서는 대용량 웹 로그 정보에 대해 B-트리 인덱싱 벡터 구조를 이용하여 필드별 분류 및 고속 검색 알고리즘을 개발하였다 이를 통해 효율적으로 대용량 로고로부터 효율적인 세션 분석 기능과 개선된 검색 성능을 제공할 수 있었으며 웹 서버에 대한 공격 탐지에도 활용할 수 있었다.

  • PDF

웹 개인화를 통한 자동화된 뉴스레터 시스템 (Automatic Newsletter System with Web Personalization)

  • 김계숙;박우수;권오현;박규석
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 추계학술발표논문집
    • /
    • pp.389-392
    • /
    • 2001
  • 본 논문에서는 웹 데이터 마이닝을 통하여 웹 사이트를 방문한 사용자의 컨텐츠 유형에 따른 정보를 조사하고, 필터링 과정을 통해 분류화하고, 이러한 과정을 통해 얻은 정보를 이용하여 뉴스레터를 발송하며, 발송된 뉴스레터로부터의 컨텐츠 유형에 따른 CTR(Click Through Rate)과 사용자 반응을 추적하여 이러한 정보를 분석하고 사용자 프로파일 및 웹 사이트로부터 분류화된 정보, 그리고 추적된 정보와 함께 뉴스레터 컨텐츠를 재구성하는 개인화된 자동화 뉴스레터 시스템을 설계하고 구현한다.

  • PDF

심리학적 감정과 소셜 웹 자료를 이용한 감성의 실증적 분류 (Empirical Sentiment Classification Using Psychological Emotions and Social Web Data)

  • 장문수
    • 한국지능시스템학회논문지
    • /
    • 제22권5호
    • /
    • pp.563-569
    • /
    • 2012
  • 소셜 웹이 확산되면서 오피니언 마이닝 혹은 감성 분석 연구가 주목을 받고 있다. 감성 분석을 위해서는 감성을 판별하기 위한 감성자원이 제공되어야 한다. 기존 감성 분석에서는 감성의 극성에 대한 강도를 표현하는 방법으로 리소스를 구축하고 이를 통하여 의견의 극성을 결정하였다. 본 논문에서는 의견의 극성뿐만 아니라 긍/부정의 근거가 되는 감성의 카테고리를 구성하고자 한다. 본 논문에서는 합리적인 분류를 위하여 심리학적 감정들을 초기 감성으로 정의한다. 그리고 실제로 소셜 웹에서 사용되는 감성의 분포를 얻기 위하여 소셜 웹의 텍스트를 분석하여 감성 정보를 추출한다. 추출한 감성 정보를 이용하여 초기 감성들을 재분류함으로써 소셜 웹을 위한 감성 카테고리를 구성한다. 본 논문에서는 이 방법을 통하여 23개의 감성 카테고리를 제시한다.

형식개념분석기법을 이용한 폭소노미 데이터 마이닝 (Folksonomy Data Mining using Formal Concept Analysis)

  • 강유경;황석형;양해술
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.562-565
    • /
    • 2009
  • 웹 2.0시대의 대표적인 특징인 폭소노미(folksonomy)는 웹에 존재하는 리소스에 대해 구성원이 자유롭게 선택한 태그(tag)를 붙여서 정보를 체계화하는 새로운 분류 체계이다. 폭소노미를 기반으로하는 웹 애플리케이션 시스템에는 WWW를 이용하는 전 세계의 수많은 사용자들의 다양한 데이터가 축적되어 있으며, 이러한 웹 데이터는 계속적으로 증가 확장 변화하고 있다. 본 논문에서는, 방대한 양의 폭소노미 데이터로부터 유용한 정보를 추출하기 위해 형식개념분석기법을 기반으로, 사용자, 태그, 리소스들 사이의 3항관계를 고려한 폭소노미 데이터 마이닝 기법을 제안하고, 본 연구에서 제안한 기법을 BibSonomy의 데이터에 적용하여 분석한 실험 결과를 보고한다.

데이터 마이닝을 이용한 인터넷 쇼핑몰 상품추천시스템

  • 김경재;김병국
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2005년도 춘계학술대회
    • /
    • pp.258-265
    • /
    • 2005
  • 전자상거래의 확산에 따라 인터넷 쇼핑몰에서의 구매활동은 일반적인 현상이 되었다. 그 결과, 유사한 업종이나 업태의 인터넷 쇼핑몰이 범람하게 되었고 업체들 간의 경쟁도 심화되어 차별화된 서비스를 제공하지 않는 업체는 도태되기 쉬운 상황이다. 본 연구에서는 치열한 경쟁환경 하에서 인터넷 쇼핑몰의 차별화된 마케팅 서비스의 수단으로써 이용되고 있는 상품추천시스템의 개선된 모형을 제시하고자 한다. 본 연구에서 제안하는 모형은 전역 최적화 기법 중의 하나인 유전자 알고리즘을 데이터 마이닝의 도구로 활용한 인터넷 쇼핑몰에서의 개인화된 상품추천시스템 모형이다. 유전자 알고리즘은 추출하기가 어려운 소비자의 성향을 데이터를 통해 추출하고 이에 맞는 상품군을 선택할 수 있도록 해주는 최적화 기법으로 상품추천시스템의 추천엔진으로써 유용할 것으로 기대된다. 본 연구에서는 제안한 유전자 알고리즘에 기반한 추천 규칙들이 장착된 웹 기반의 개인화된 상품추천시스템의 프로토타입을 개발하고 이에 대한 실제 사용자들의 이용 만족도를 확인함으로써 본 연구에서 제안한 방법론의 유용성을 확인하고자 한다.

  • PDF

일대일 마켓팅 기반의 지능형 고객 특화 모듈의 설계 (A Design of an Intelligent Specialized Customer Module based on One to One Marketing)

  • 나윤지;한군희
    • 한국산학기술학회논문지
    • /
    • 제5권2호
    • /
    • pp.108-113
    • /
    • 2004
  • 웹 기반 시스템의 고객 만족도를 증가시키기 위한 다양한 연구가 활발히 진행되고 있다. 또한 근래에는 고객 관점에서 서비스를 지원하는 일대일 마켓팅에 대한 관심이 높아졌으며, 웹 기반 시스템에서도 일대일 마켓팅을 지원하기 위한 연구가 필요하다. 본 논문에서는 일대일 마켓팅을 지원하는 지능형 고객 특화 모듈을 설계하였다. 제안 시스템은 일대일 마켓팅을 지원하기 위해 타겟 셀링, 크로스 셀링, 업 셀링과 같은 데이터 마이닝 기법을 사용하였다. 또한 이러한 고객 특화 모듈의 마이닝 결과를 프로토타입에 직접 적용하여 제안 시스템이 실제 웹 기반 시스템에 적용가능함을 보였다.

  • PDF