• 제목/요약/키워드: 실시간 데이터 마이닝

검색결과 146건 처리시간 0.031초

데이터 마이닝을 적용한 에이전트 침입 탐지 시스템 설계 (Design of agent intrusion detection system applying data mining)

  • Jeong Jong Kun;Lee Sung Tae;Kim Yong Ho;Lee Yun Bae
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2001년도 춘계종합학술대회
    • /
    • pp.676-679
    • /
    • 2001
  • 침입 탐지 시스템은 침입 판정과 감사 자료(audit data) 수집 분야에서 많은 연구가 진행되고 있다. 침입 판정은 주어진 일련의 행위들이 침입인지 아닌지를 정확히 판정해야하고 감사 자료 수집에서는 침입 판정에 필요한 자료만을 정확히 수집하는 능력이 필요하다. 최근에 이러한 문제점을 해결하기 위해 규칙기반 시스템과 신경망등의 인공지능적인 방법들이 도입되고 있다. 하지만 이러한 방법들은 단일 호스트 구조로 되어있거나 새로운 침입 패턴이 발생했을 때 탐지하지 못하는 단점이 존재한다. 본 논문에서는 분산된 이기종 간의 호스트에서 사용자의 행위를 추출하여 패턴을 검색, 예측할 수 있는 데이터 마이닝을 적용하여 실시간으로 침입을 탐지하는 방법을 제안하고자 한다.

  • PDF

이동 사용자의 다음 장소 예측을 위한 맵리듀스 기반의 분산 데이터 마이닝 (A MapReduce-Based Distributed Data Mining Approach to Next Place Prediction for Mobile Users)

  • 김종환;이석준;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.777-780
    • /
    • 2014
  • 본 논문에서는 휴대용 기기 사용자들의 이동 궤적을 기록한 대용량의 GPS 위치 데이터 집합으로부터 각 사용자의 이동 패턴 모델을 학습해내고, 이 모델을 적용하여 각 사용자의 다음 방문 장소를 효율적으로 예측할 수 있는 맵리듀스 기반의 분산 데이터 마이닝 시스템을 소개한다. 본 시스템은 크게 사용자별 이동 패턴 모델을 학습하는 후단부와 실시간으로 다음 방문 장소를 예측하는 전단부로 구성된다. 이 중에서 후단부는 주요 장소 추출, 이동 궤적 변환, 이동 패턴 모델 학습 등 총 3개의 맵리듀스 작업 모듈들로 구성된다. 이에 반해, 본 시스템의 전단부는 이동 경로 후보군 생성, 다음 장소 예측 등 총 2개의 맵리듀스 작업 모듈들로 구성된다. 그리고 본 시스템을 구성하는 각각의 작어마다 분산처리를 극대화할 수 있도록 맵과 리듀스 함수를 설계하였다. 끝으로, 대용량의 GeoLife 벤치마크 데이터 집합을 이용하여 본 논문에서 소개한 시스템의 예측 성능을 분석하기 위한 실험을 수행하였고, 이를 통해 본 시스템의 높은 성능을 확인할 수 있었다.

데이터 마이닝을 이용한 공격 탐지 메커니즘의 실험적 비교 연구 (An Empirical Comparison Study on Attack Detection Mechanisms Using Data Mining)

  • 김미희;오하영;채기준
    • 한국통신학회논문지
    • /
    • 제31권2C호
    • /
    • pp.208-218
    • /
    • 2006
  • 본 논문에서는 최신의 공격 유형을 잘 분류해 내고, 기존 공격의 변형이나 새로운 공격에도 탐지 가능하도록 데이터 마이닝 기법을 이용한 공격 탐지 모델 생성 방법들을 소개하고, 다양한 실험을 통해 탐지율 및 탐지 시간 측면에서 이 모델들의 성능을 비교한다. 이러한 탐지 모델을 생성하는데 중요한 요소로 데이터, 속성, 탐지 알고리즘을 꼽을 수 있는데, 실제 네트워크에서 수집된 NetFlow 데이터와 대량의 KDD Cup 1999 데이터를 사용하였다. 또한 탐지 알고리즘으로서 단일 지도/비지도학습 데이터 마이닝 기법 및 결합된 방법을 이용하여 탐지 모델을 생성, 비교 실험하였다. 시험 결과, 결합된 지도학습 알고리즘을 사용한 경우 모델링 시간은 길었지만 가장 탐지율이 높았고, 모든 경우 탐지 시간이 1초 내외로 실시간 탐지 가능성을 입증할 수 있었다. 또한 새로운 공격에 대한 이상탐지 결과로도 92$\%$ 이상의 탐지율을 보임으로 탐지 가능성을 입증할 수 있었고, SOM 기법을 사용하는 경우에는 새로운 공격이 기존 어느 공격에 유사한 특성을 갖는지에 대한 부과적인 정보도 제공하였다.

지능 정보검색 서비스를 위한 실시간검색어 변화량 평가 (Evaluating real-time search query variation for intelligent information retrieval service)

  • 정민영
    • 디지털융복합연구
    • /
    • 제16권12호
    • /
    • pp.335-342
    • /
    • 2018
  • 포털 사이트의 핵심 서비스인 검색서비스는 입력되는 검색어 중에서 짧은 순간에 급상승하는 검색어를 대상으로 순간 검색빈도가 높은 것을 기준으로 순위별로 제시하는 것이므로 일정기간 동안 관심도가 높은 검색어를 곧바로 알려주기는 힘들다. 따라서 이를 극복하고 검색어 변화에 대한 향상된 분석결과가 나오게 하여 보다 지능적인 정보검색 서비스를 제공하기 위한 노력이 필요하다. 이를 위하여 본 논문에서는 실시간검색어의 관심도와 지속도, 그리고 주목도를 측정할 수 있는 기준을 제시한다. 그리고 그 기준에 맞추어 일정기간 동안 시간, 일간, 주간, 월간 실시간검색어에 대한 변화의 측정과 집계를 하고 이를 통해 관심도가 높은 이슈, 관심이 길게 지속된 이슈, 변화가능성이 커서 앞으로 주목해야 할 이슈를 평가한다.

빅데이터 분석 도구 R을 이용한 비정형 데이터 텍스트 마이닝과 시각화 (Text Mining and Visualization of Unstructured Data Using Big Data Analytical Tool R)

  • 남수태;신성윤;진찬용
    • 한국정보통신학회논문지
    • /
    • 제25권9호
    • /
    • pp.1199-1205
    • /
    • 2021
  • 빅데이터 시대에는 단순히 데이터베이스에 잘 정리된 정형 데이터뿐만 아니라 인터넷, 소셜 네트워크 서비스, 모바일 환경에서 실시간 생성되는 웹 문서, 이메일, 소셜 데이터 등 비정형 빅데이터를 효과적으로 분석하는 것이 매우 중요하다. 빅데이터 분석은 데이터 저장소에 저장된 빅데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 빅데이터 분석 도구인 R 언어를 이용하여 비정형 논문 데이터를 빈도분석을 통해 분석결과를 요약과 시각화하고자 한다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 1월호-5월호 총 논문 104편을 대상으로 분석하였다. 최종 분석결과 가장 많이 언급된 키워드는 "데이터"가 1,538회로 1위를 차지하였다. 따라서 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

결제로그 분석 및 데이터 마이닝을 이용한 이상거래 탐지 연구 조사 (A Survey of Fraud Detection Research based on Transaction Analysis and Data Mining Technique)

  • 정성훈;김하나;신영상;이태진;김휘강
    • 정보보호학회논문지
    • /
    • 제25권6호
    • /
    • pp.1525-1540
    • /
    • 2015
  • 금융 산업과 IT 기술의 결합으로 지불 방법이 간편화됨에 따라 소비자의 지불 수단이 현금 결제에서 신용카드, 모바일 소액결제, 앱카드 등을 이용한 전자결제로 변화되고 있다. 이에 전자금융결제를 악용하여 이상거래를 시도하는 사례가 증가하는 추세로, 금융사는 이상거래로부터 소비자를 보호하기 위해 FDS(Fraud Detection System)를 구축하고 있다. 이상거래 탐지 시스템은 실시간으로 이용자 정보와 결제 정보를 분석하여 높은 정확도로 이상거래를 식별하는 것이 목표이다. 본 연구에서는 결제로그 분석 및 데이터 마이닝을 이용한 이상거래 탐지 연구 동향을 조사하였으며, 이상거래 탐지에 사용된 데이터 마이닝 알고리즘을 정리하고 이상거래 탐지 연구를 사용된 데이터 셋, 알고리즘, 연구 관점으로 분류하였다.

오피니언 마이닝과 협업필터링을 이용한 웹툰 추천 시스템 (A Webtoon Recommendation System using Opinion Mining and Collaborate Filtering)

  • 심대수;박진수;박두순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.521-524
    • /
    • 2017
  • 최근 다양한 웹툰 콘텐츠의 증가와 함께 스마트폰 보급률이 높아지면서, 사용자들의 실시간 웹툰 서비스의 이용이 증가하고 있다. 웹툰 콘텐츠의 가치가 갈수록 점점 높아지고 있으며, 각종 영화 애니메이션 게임 등 다양한 콘텐츠 사업에 많은 데이터가 사용되고 있다. 본 논문에서는 기존 웹툰의 리뷰를 오피니언 마이닝기법을 사용하여 각 웹툰의 선호도를 평가하며 나이, 성별, 선호 장르, 선호 웹툰 플랫폼 등과 같은 개인 성향을 통하여 사용자간의 유사도를 측정하는 협업 필터링 방법을 적용해 각각의 사용자들이 보고 싶어하는 웹툰을 자동적으로 추천해주는 웹툰 추천 시스템을 제안한다.

데이터 마이닝에서 Cohen의 kappa를 이용한 분류정확도 측정 (Assessing Classification Accuracy using Cohen's kappa in Data Mining)

  • 엄용환
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권1호
    • /
    • pp.177-183
    • /
    • 2013
  • 본 논문에서는 데이터 마이닝에서 분류 작업을 실시할 때 그 분류정확도을 측정하기 위해 Cohen의 kappa 계수와 weighted kappa 계수를 제안하였다. kappa 계수는 우연에 의해 생기는 분류를 보정하여 분류정확도을 측정하며 명목척도와 순서척도의 데이터에 대해 사용된다. 특히 순서척도의 데이터에서는 오분류의 크기를 가중치에 의해 정량화하여 분류정확도을 측정하는 weighted kappa 계수가 더 유용하게 사용된다. weighted kappa 계수 계산을 위해서는 2가지 가중치(일차형 가중치, 이차형 가중치)를 사용하였다.. 또한 실제 데이터인 지방간 데이터에 대해 kappa 계수와 weighted kappa 계수를 계산하여 비교하였다.

웹마이닝을 활용한 사이클웨어 소비자 인식 분석 (Analysis of Consumer Awareness of Cycling Wear Using Web Mining)

  • 김춘정;이은주
    • 한국산학기술학회논문지
    • /
    • 제19권5호
    • /
    • pp.640-649
    • /
    • 2018
  • 본 연구는 빅데이터 분석방법 중 하나인 웹마이닝을 이용하여 사이클웨어의 요구성능 및 착용 현황 및 소비자 감성을 분석하였다. 이를 위해 네이버 카페인 '자전거로 출퇴근하는 사람들'을 대상으로 2006년~2017년 기간 동안 사이클웨어와 관련 있는 게시글과 댓글을 R 패키지를 사용하여 크롤링하였다. 수집된 데이터는 데이터 전처리 과정을 거쳐 선별된 15,321건의 문서를 데이터를 분석에 사용하였다. 추출된 데이터에서 텍스트는 한국어형태소분석기(KoNLP)를 사용하여 키워드를 추출한 후 TDM(Term Document Matrix)과 co-occurrence matrix로 변환하여 키워드별 출현 빈도수와 키워드 간 관계를 계산하였다. 사이클웨어에서 가장 출현빈도수가 높았던 키워드는 '타이츠'로 전문적인 사이클웨어에 대한 높은 관심을 나타내었으나 몸에 달라붙어 착용 시 민망하다는 의견이 많았다. 사이클웨어 '구매'와 관련하여 '가격', '사이즈', '브랜드' 등과 관련이 많았으며 '가격'과 관련하여 '저가'와 '가성비'에 대한 출현빈도수가 높았다. 이것은 최근 고가의 브랜드보다는 가격대비 성능을 만족시키는 실용적인 제품들이 선호되는 경향을 나타내주었다. 사이클웨어에서 소재의 흡한속건성이나 패드의 기능성, 불편함 등에 대한 소재나 디자인 등에 대한 개선이 요구되었다. 이처럼 웹마이닝을 이용하여 사이클웨어에 대한 소비자의 의견을 분석할 수 있었으며 기존의 설문조사와도 유사한 결과를 보여주었다. 그러므로 웹마이닝을 이용하여 소비자의 의견이나 요구사항을 실시간으로 분석하여 제품개발에 반영할 수 있는 객관적 지표로 사용할 수 있을 것으로 기대된다.

실시간 거시지표 예측과 증시뉴스 마이닝을 통한 주가 예측시스템 모델연구 (Research model on stock price prediction system through real-time Macroeconomics index and stock news mining analysis)

  • 홍성혁
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.31-36
    • /
    • 2021
  • 중국 우한발 코로나 19 바이러스로 인하여 세계 경제가 침체하여, 미국연방준비제도를 비롯한 대부분 국가에서는 통화량을 늘려 경기를 부양하는 정책을 내놓았다. 주식 투자자들 대부분은 기업에 대한 재무제표 분석이 없이 유명 유튜버의 추천종목이나 지인의 말만 듣고 투자하는 경향이 있어서 주식투자의 손실 가능성이 크다. 따라서, 본 연구에서는 기존 자동매매 조건에서 발전된 인공지능 딥러닝 기법을 이용하여 주가에 영향을 미치는 거시지표를 분석하고 예측하여 주가에 미치는 상관관계를 통한 개별주가예측에 가중치를 부여하고 주가를 예측한다. 또한, 주가는 실시간 증시뉴스에 민감하게 반응하기 때문에 증시뉴스 텍스트 마이닝을 통하여 인공지능으로 예측된 주가에 가중치를 반영하여 더 정확한 주가 예측을 하여 주식 투자자에게 매매의 판단 근거를 제공하여 건전한 주식투자가 되도록 이바지하였다.