• 제목/요약/키워드: Web data mining

검색결과 412건 처리시간 0.022초

The World as Seen from Venice (1205-1533) as a Case Study of Scalable Web-Based Automatic Narratives for Interactive Global Histories

  • NANETTI, Andrea;CHEONG, Siew Ann
    • Asian review of World Histories
    • /
    • 제4권1호
    • /
    • pp.3-34
    • /
    • 2016
  • This introduction is both a statement of a research problem and an account of the first research results for its solution. As more historical databases come online and overlap in coverage, we need to discuss the two main issues that prevent 'big' results from emerging so far. Firstly, historical data are seen by computer science people as unstructured, that is, historical records cannot be easily decomposed into unambiguous fields, like in population (birth and death records) and taxation data. Secondly, machine-learning tools developed for structured data cannot be applied as they are for historical research. We propose a complex network, narrative-driven approach to mining historical databases. In such a time-integrated network obtained by overlaying records from historical databases, the nodes are actors, while thelinks are actions. In the case study that we present (the world as seen from Venice, 1205-1533), the actors are governments, while the actions are limited to war, trade, and treaty to keep the case study tractable. We then identify key periods, key events, and hence key actors, key locations through a time-resolved examination of the actions. This tool allows historians to deal with historical data issues (e.g., source provenance identification, event validation, trade-conflict-diplomacy relationships, etc.). On a higher level, this automatic extraction of key narratives from a historical database allows historians to formulate hypotheses on the courses of history, and also allow them to test these hypotheses in other actions or in additional data sets. Our vision is that this narrative-driven analysis of historical data can lead to the development of multiple scale agent-based models, which can be simulated on a computer to generate ensembles of counterfactual histories that would deepen our understanding of how our actual history developed the way it did. The generation of such narratives, automatically and in a scalable way, will revolutionize the practice of history as a discipline, because historical knowledge, that is the treasure of human experiences (i.e. the heritage of the world), will become what might be inherited by machine learning algorithms and used in smart cities to highlight and explain present ties and illustrate potential future scenarios and visionarios.

인구통계특성 기반 디지털 마케팅을 위한 클릭스트림 빅데이터 마이닝 (Clickstream Big Data Mining for Demographics based Digital Marketing)

  • 박지애;조윤호
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.143-163
    • /
    • 2016
  • 인구통계학적 정보는 디지털 마케팅의 핵심이라 할 수 있는 인터넷 사용자에 대한 타겟 마케팅 및 개인화된 광고를 위해 고려되는 가장 기초적이고 중요한 정보이다. 하지만 인터넷 사용자의 온라인 활동은 익명으로 행해지는 경우가 많기 때문에 인구통계특성 정보를 수집하는 것은 쉬운 일이 아니다. 정기적인 설문 조사를 통해 사용자들의 인구통계특성 정보를 수집할 수도 있지만 많은 비용이 들며 허위 기재 등과 같은 위험성이 존재한다. 특히, 모바일 환경에서는 대부분의 사용자들이 익명으로 활동하기 때문에 인구통계특성 정보를 수집하는 것은 더욱 더 어려워지고 있다. 반면, 인터넷 사용자의 온라인 활동을 기록한 클릭스트림 데이터는 해당 사용자의 인구통계학적 정보에 활용될 수 있다. 특히, 인터넷 사용자의 온라인 행위 특성 중 하나인 페이지뷰는 인구통계학적 정보 예측에 있어서 중요한 요인이 된다. 본 연구에서는 기존 선행 연구를 토대로 클릭스트림 데이터 분석을 통해 인터넷 사용자의 온라인 행위 특성을 추출하고 이를 해당 사용자의 인구통계학적 정보 예측에 사용한다. 또한, 1)의사결정나무를 이용한 변수 축소, 2)주성분분석을 활용한 차원축소, 3)군집분석을 활용한 변수축소의 방법을 제안하고 실험에 적용함으로써 많은 설명변수를 이용하여 예측 모델 생성 시 발생하는 차원의 저주와 과적합 문제를 해결하고 예측 모델의 정확도를 높이고자 하였다. 실험 결과, 범주의 수가 많은 다분형 종속변수에 대한 예측 모델은 모든 설명변수를 사용하여 예측 모델을 생성했을 때보다 본 연구에서 제안한 방법론들을 적용했을 때 예측 모델에 대한 정확도가 향상됨을 알 수 있었다. 본 연구는 클릭스트림 분석을 통해 추출된 인터넷 사용자의 온라인 행위는 해당 사용자의 인구통계학적 정보 예측에 활용 가능하며, 예측된 익명의 인터넷 사용자들에 대한 인구통계학적 정보를 디지털 마케팅에 활용 할 수 있다는데 의의가 있다. 또한, 제안 방법론들을 통해 어느 종속변수에 대해 어떤 방법론들이 예측 모델의 정확도를 개선하는지 확인하였다. 이는 추후 클릭스트림 분석을 활용하여 인구통계학적 정보를 예측할 때, 본 연구에서 제안한 방법론을 사용하여 보다 높은 정확도를 가지는 예측 모델을 생성 할 수 있다는데 의의가 있다.

지자체 사이버 공간 안전을 위한 금융사기 탐지 텍스트 마이닝 방법 (Financial Fraud Detection using Text Mining Analysis against Municipal Cybercriminality)

  • 최석재;이중원;권오병
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.119-138
    • /
    • 2017
  • 최근 SNS는 개인의 의사소통뿐 아니라 마케팅의 중요한 채널로도 자리매김하고 있다. 그러나 사이버 범죄 역시 정보와 통신 기술의 발달에 따라 진화하여 불법 광고가 SNS에 다량으로 배포되고 있다. 그 결과 개인정보를 빼앗기거나 금전적인 손해가 빈번하게 일어난다. 본 연구에서는 SNS로 전달되는 홍보글인 비정형 데이터를 분석하여 어떤 글이 금융사기(예: 불법 대부업 및 불법 방문판매)와 관련된 글인지를 분석하는 방법론을 제안하였다. 불법 홍보글 학습 데이터를 만드는 과정과, 데이터의 특성을 고려하여 입력 데이터를 구성하는 방안, 그리고 판별 알고리즘의 선택과 추출할 정보 대상의 선정 등이 프레임워크의 주요 구성 요소이다. 본 연구의 방법은 실제로 모 지방자치단체의 금융사기 방지 프로그램의 파일럿 테스트에 활용되었으며, 실제 데이터를 가지고 분석한 결과 금융사기 글을 판정하는 정확도가 사람들에 의하여 판정하는 것이나 키워드 추출법(Term Frequency), MLE 등에 비하여 월등함을 검증하였다.

소프트웨어 에이전트 및 지식탐사기술 기반 지능형 인터넷 쇼핑몰 지원도구의 개발 (Development of Intelligent Internet Shopping Mall Supporting Tool Based on Software Agents and Knowledge Discovery Technology)

  • 김재경;김우주;조윤호;김제란
    • 지능정보연구
    • /
    • 제7권2호
    • /
    • pp.153-177
    • /
    • 2001
  • 데이터베이스 마케팅을 필두로 최근 마케팅 분야에서는 보다 고객에 적합한 제품이나 서비스를 제공하고 또한 이로 인해 그 마케팅 비용을 최소화하고 또한 그 매출효과를 극대화하고자 하는 움직임이 가속화되고 있으며, 극단적으로는 일대일 마케팅이라고까지 표현하고 있다. 더욱이 전자쇼핑몰에 있어서는 실제 판매원이 존재하지 않는 이상 보다 더 고객의 관심을 유도하고 궁극적으로 매출을 발생시키기가 더욱 어려운 실정이며 따라서 고객을 파악하기 또한 그 고객에 적합한 제품이나 서비스에 대한 정보를 즉각적 또는 사전적으로 추측 제시하여야 하는 역량이 매우 중요하다 하겠다. 그러나 이와 같은 즉시성의 추정이나 판단의 유효성을 제고하기 위해서는 전자쇼핑몰 입장에서 일단의 단편적 정보에 의존하는 방식보다는 이용가능한 모든 정보에 대한 통합적 고찰과 또한 고객에 대한 제안 여부와 추천 의사 결정을 개별적이고 순차적인 절차로 보는 관점보다는 하나의 통일된 관점에서 최대의 효과를 발생시킬 수 있도록 하는 상품 추천 방법론이 필요하다 하겠다. 본 연구는 이를 위해 전자쇼핑몰에서의 오프라인/온라인의 통합 정보를 바탕으로 추천 대상 고객 선정 및 추천 효과의 최적화를 목적으로 추천 상품 및 서비스 결정의 의사결정들에 대한 단일 의사결정 방법론 즉 상품 추천 방법론을 제안하며 이를 에이전트 기법을 바탕으로 설계하였다. 또한 이상의 방법론과 설계기법을 국내 유수의 전자쇼핑몰에 적용하여 그 실험적 성과를 제시하고 있다.

  • PDF

빅데이터 분석을 활용한 기금지원 체육시설 활성화 방안 (A study of the vitalization strategy for public sports facility through big-data)

  • 김미옥;고진수;노승철;정재훈
    • 디지털융복합연구
    • /
    • 제15권2호
    • /
    • pp.527-535
    • /
    • 2017
  • 운동을 통한 건강증진에 대한 관심이 증가하면서 공공체육시설에 대한 수요는 꾸준히 증가하고 있다. 그러나 공공체육시설의 공급 계획에 비해 운영과 관리에 대한 연구는 부족한 상황이다. 이와 같은 맥락에서 본 연구는 국민체육진흥기금지원 체육시설 사업인 국민체육센터와 개방형체육관에 대한 빅데이터 분석을 통해 시설 활성화 방안을 모색하였다. 2015년 1년 간 뉴스, 블로그, 까페 등 인터넷 문서를 분석한 결과 국민체육센터와 개방형 체육관은 유사한 이용행태를 보이면서도 다른 수요를 갖고 있는 것으로 나타났다. 두 시설 모두 주민의 체육장소로 이용되고 있으나 국민체육시설이 좀 더 전문적인 프로그램을 보이는 반면 개방형 체육관은 생활체육공간으로 이용되는 차이를 보였다. 한편 두 시설 모두 운동 이외 산책, 소풍 등 휴식을 목적으로 방문하는 비율이 높아 시설 활성화를 위해서는 편의시설 확충과 다양한 기능의 복합이 필요할 것으로 보인다.

엔터티 검색의 정확성을 높이기 위한 검색 키워드 마이닝 (Mining Search Keywords for Improving the Accuracy of Entity Search)

  • 이선구;온병원;정수목
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권9호
    • /
    • pp.451-464
    • /
    • 2016
  • 최근 Google Product Search와 Yahoo Pipes와 같은 엔터티 검색이 각광을 받고 있다. 특정 엔터티와 관련 있는 웹 페이지를 검색하기 위해 엔터티 검색이 사용된다. 그러나 엔터티(예를 들면, 차이나타운 영화)가 다양한 의미(예를 들면, 차이나타운 영화, 차이나타운 음식점, 인천 차이나타운 등)을 포함하고 있다면 엔터티 검색의 정확성은 크게 떨어진다. 이러한 문제를 해결하기 위해, 본 논문에서는 웹 페이지의 빈도수와 엔터티 관련성 간의 상관관계를 고려하여, Frequent Pattern (FP)-Tree에 기반을 둔 질의어의 중요도를 측정하고 베스트 질의어를 제안하는 새로운 방안을 제안한다. 본 논문의 실험 결과에 의하면, 기존 방안의 정확도가 10% 미만인데 비해, 제안 방안의 평균 정확도는 59%로, 약 5배 향상시킨다.

쇼핑 웹사이트 탐색 유형과 방문 패턴 분석 (Analysis of shopping website visit types and shopping pattern)

  • 최경빈;남기환
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.85-107
    • /
    • 2019
  • 온라인 소비자는 쇼핑 웹사이트에서 특정 제품군이나 브랜드에 속한 제품들을 둘러보고 구매를 진행할 수 있고, 혹은 단순히 넓은 범위의 탐색 반경을 보이며 여러 페이지들을 돌아보다 구매를 진행하지 않고 이탈할 수 있다. 이러한 온라인 소비자의 행동과 구매에 관련된 연구는 꾸준히 진행되어왔으며, 실무에서도 소비자들의 행동 데이터를 바탕으로 한 서비스 및 어플리케이션이 개발되고 있다. 최근에는 빅데이터 기술의 발달로 소비자 개인 단위의 맞춤화 전략 및 추천 시스템이 활용되고 있으며 사용자의 쇼핑 경험을 최적화하기 위한 시도가 진행되고 있다. 하지만 이와 같은 시도에도 온라인 소비자가 실제로 웹사이트를 방문해 제품 구매 단계까지 전환될 확률은 매우 낮은 실정이다. 이는 온라인 소비자들이 단지 제품 구매를 위해 웹사이트를 방문하는 것이 아니라 그들의 쇼핑 동기 및 목적에 따라 웹사이트를 다르게 활용하고 탐색하기 때문이다. 따라서 단지 구매가 진행되는 방문 외에도 다양한 방문 형태를 분석하는 것은 온라인 소비자들의 행동을 이해하는데 중요하다고 할 수 있다. 이러한 관점에서 본 연구에서는 온라인 소비자의 탐색 행동의 다양성과 복잡성을 설명하기 위해 실제 E-commerce 기업의 클릭스트림 데이터를 기반으로 세션 단위의 클러스터링 분석을 진행해 탐색 행동을 유형화하였다. 이를 통해 각 유형별로 상세 단위의 탐색 행동과 구매 여부가 차이가 있음을 확인하였다. 또한 소비자 개인이 여러 방문에 걸친 일련의 탐색 유형에 대한 패턴을 분석하기 위해 순차 패턴 마이닝 기법을 활용하였으며, 같은 기간 내에 제품 구매까지 완료한 소비자와 구매를 진행하지 않은 채 방문만 진행한 소비자들의 탐색패턴에 대한 차이를 확인할 수 있었다. 본 연구의 시사점은 대규모의 클릭스트림 데이터를 활용해 온라인 소비자의 탐색 유형을 분석하고 이에 대한 패턴을 분석해 구매 과정 상의 행동을 데이터 기반으로 설명하였다는 점에 있다. 또한 온라인 소매 기업은 다양한 형태의 탐색 유형에 맞는 마케팅 전략 및 추천을 통해 구매 전환 개선을 시도할 수 있으며, 소비자의 탐색 패턴의 변화를 통해 전략의 효과를 평가할 수 있을 것이다.

기업 직무 정보를 활용한 OOPP(Optimized Online Portfolio Platform)설계 (A Design of the OOPP(Optimized Online Portfolio Platform) using Enterprise Competency Information)

  • 정보근;박진욱;이병관
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.493-506
    • /
    • 2018
  • 본 논문에서는 직무별로 취업에 필요한 역량을 나타내고, 구직자가 온라인상에서 포트폴리오를 효율적으로 작성하고 관리하는 OOPP(Optimized Online Portfolio Platform)를 제안한다. 제안하는 OOPP는 세 가지 모듈로 구성된다. 첫째, JDCM(Job Data Collection Module)은 직업정보 사이트의 구인 광고들을 수집하여 스프레드시트에 저장한다. 둘째, CSM(Competency Statistical Medel)은 수집한 구인 광고들을 텍스트 마이닝하여 직무별로 요구되는 핵심 역량을 분류한다. 셋째, OBBM(Optimize Browser Behavior Module)은 브라우저의 처리속도를 개선하여 사용자가 데이터를 빠르게 조회할 수 있게 한다. OBBM은 검색엔진의 연산을 최적화하는 PSES(Parallel Search Engine Sub-Module)과 이미지 텍스트 등의 로드를 최적화하는 OILS(Optimized Image Loading Sub-Module)로 구성된다. 제안하는 OOPP의 성능분석 결과 CSM로 분석된 데이터의 정확도는 최대 100%, 최소 99.4%로 실제 광고와 분석된 데이터의 차이가 거의 발생하지 않았으며, OBBM을 이용한 브라우저 최적화를 실행하면, 작업시간이 약 68.37%가 감소한다. 결과적으로 OOPP는 직현재 직업정보 사이트의 구인 광고를 정확하게 분석하여 사용자가 분석한 결과를 웹페이지에서 신속하게 조회할 수 있다.

트위터 상의 악의적 이용 자동분류 (Automatic Classification of Malicious Usage on Twitter)

  • 김민철;심규승;한남기;김예은;송민
    • 한국문헌정보학회지
    • /
    • 제47권1호
    • /
    • pp.269-286
    • /
    • 2013
  • 웹 2.0과 소셜미디어의 출현은 빅 데이터의 생성을 주도하고 있다. 하지만 이와 정비례하여 권리침해 및 사회질서위반 등의 역기능도 가파르게 증가하고 있는 실정이다. 이에 본 연구에서는 소셜미디어를 통해 생산되는 방대한 양의 데이터 중에서 악의적 이용을 필터링하여 건전한 사이버 생태계 구현에 기여할 수 있는 자동화 기법을 고안하고자 하였다. 실험 결과, 악의적 이용의 효과적 분류를 위해 사전을 이용한 규칙기반 자동분류에서 통계적으로 유의미한 성능 향상률을 보였다. 이러한 연구결과를 바탕으로 효과적인 악의적 이용 자동분류를 위한 방법을 제시하였다.

연관규칙과 협업적 필터링을 이용한 상품 추천 시스템 개발 (Development of the Goods Recommendation System using Association Rules and Collaborating Filtering)

  • 김지혜;박두순
    • 컴퓨터교육학회논문지
    • /
    • 제9권1호
    • /
    • pp.71-80
    • /
    • 2006
  • 전자상거래가 급속도로 발전함에 따라 고객들의 행동 패턴을 어떻게 발견하느냐와 웹 마이닝 기술을 사용하는 것에 의해 어떻게 상거래를 지능화 할 것인가에 대한 연구가 진행되고 있다. 현재까지 개인화와 상품 추천 시스템을 만들기 위해 가장 성공적이고 가장 넓게 사용되는 기술은 협업필터링 방법이다. 그러나 협업 필터링 방법은 특정 수 이상의 아이템에 대한 평가가 필요하다는 문제를 가지고 있다. 또한, 기존의 연관 규칙 기법은 개인별 사용자의 성향을 반영하지 못하는 단점을 가지고 있다. 본 논문에서는 개선된 Apriori 알고리즘을 이용하고, 아이템들 간에 상호 관계를 가진 협업 필터링 방법을 사용하여 사용자 성향이 반영된 상품 추천 시스템을 개발하였다.

  • PDF