• 제목/요약/키워드: 실시간 데이터 마이닝

검색결과 145건 처리시간 0.034초

전자상거래 상에서의 실시간 데이터 마이닝 활용 모델 (Real-time Data Mining application Model In Electronic Commerce)

  • 김고은;옥지웅;김응모
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
    • /
    • pp.155-158
    • /
    • 2007
  • 현재 전자상거래는 우리의 생활과 밀접히 연관되어 있다. 최근 인터넷을 기반으로 전자조달, 수출입 브로커 등과 같은 유형의 B2B 전자상거래가 활발히 이루어지고 있으며, 소비자를 대상으로 하는 전자상거래 또한 점차 확산되는 시장을 형성하고 있다. 국제적으로도 전자상거래 시장 규모가 급속도로 증가할 것이라는 전망은 자명한 사실이다. 전자상거래에 대한 의존도가 높아지면서 관리해야 하는 데이터의 양 또한 급속도로 증가하고 있다. 본 논문에서는 실시간으로 유입되는 데이터를 효율적으로 활용하기 위챈 실시간 데이터 마이닝 활용 모델을 제안한다. 이 실시간 데이터 마이닝 모델은 지속적으로 유입되는 데이터의 규칙화를 통해 저장 공간의 효율성을 극대화하고 중요도 분석을 통한 총체적인 접근 방법을 시도함으로써 전자상거래 상에서 유용하게 쓰일 수 있는 활용 모델이다. 이 실시간 데이터 마이닝 모델의 바탕은 데이터 마이닝의 기법인 SEMMA를 따르며, 그 특징에 따라 규칙 추출과 의사 결정 나무 기법을 이용하여 전자상거래 상에서 유용하게 사용될 수 있는 모델을 제시하고자 한다.

  • PDF

규칙 Set 을 이용한 효율적인 실시간 침입탐지 (Efficient real time intrusion detection using a rule set)

  • 추혜연;옥지웅;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.247-249
    • /
    • 2007
  • 데이터 마이닝은 데이터 속에 숨겨져 있는 의미 있는 패턴을 찾아내는 것이다. 이러한 패턴들을 찾아내는 것은 데이터 마이닝에서 중요한 부분을 차지한다. 그러나 기존의 데이터 마이닝 방법들에 사용되는 데이터는 시간의 흐름에 데이터가 변하지 않는다는 특징을 가지고 있다. 시간의 흐름에 따라 변화하는 데이터의 특성을 고려해볼 때 변하지 않는 데이터에서 패턴을 찾아내는 것은 의미가 없는 일이다. 따라서 실시간으로 변하는 데이터의 특성을 고려하고 더불어 적합한 실시간 침입 탐지 방법이 필요하다. 따라서, 본 연구에서는 시간의 흐름에 따라 변하는 데이터에서 규칙을 발견하여 규칙 Set 을 생성하는 실시간 데이터 마이닝 기법을 이용하여 시간의 흐름에 따라 변하는 데이터에 대한 침입을 감시하기 위해 실시간 침입 탐지 시스템에 적용함으로써 보다 효율적으로 침입을 탐지하기 위한 방법을 제시한다.

  • PDF

다차원 스트림 데이터 요약 및 인과 관계 탐사를 위한 실시간 데이터 마이닝 기법 (A Method of Realtime Mining for Summarization and Discovery of a Casual Relationship based on Multidimensional Stream Data)

  • 송명진;김대인;황부현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.152-155
    • /
    • 2010
  • 실시간 데이터 마이닝 기법은 다양한 종류의 센서에서 수집된 다차원 스트림 데이터들 사이에 존재하는 의미있는 정보를 탐사할 수 있다. 전통적인 데이터베이스 시스템에서의 마이닝 기법은 정적인 데이터베이스에 기초하므로 실시간으로 수집되는 스트림 데이터는 시간 속성을 갖는 인터벌 이벤트로 요약되어야 한다. 이 논문은 다차원 스트림 데이터 환경에서 스트림 데이터를 요약하고 이들 사이에 존재하는 인과 관계를 탐사하는 실시간 데이터 마이닝 기법을 제안한다. 제안 기법은 센서에서 수집되는 데이터의 대부분이 객체의 정상적인 상태 데이터임을 고려하여 의미있는 이상 이벤트를 선별하여 전송한다. 그리고 스트림 데이터의 연속성을 고려하며 스트림 데이터를 세 가지 상태의 이벤트로 요약하고 인과 관계 규칙을 탐사한다. 인과 관계 규칙은 시간에 따라 이벤트 발생에 영향력을 미치는 원인 이벤트를 발견함으로써 이벤트의 발생을 미리 예측할 수 있다.

  • PDF

CEP를 위한 데이터 마이닝 기법 연구 (A Study of Data Mining Techniques for CEP)

  • 강동현;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1116-1117
    • /
    • 2012
  • 최근에 이슈가 되고 있는 빅 데이터 처리 방법중의 하나로 CEP가 있다. 그러나 CEP는 사전에 정의된 질의에 해당되는 이벤트만을 선별하여 패턴 매칭 등의 기능을 수행하므로, 새로이 발견되는 이벤트를 찾는데 제약이 있다. 또한 실시간으로 생산되는 빅 데이터에 기초한 다양한 패턴 탐사에 한계를 노출하고 있다. 이 논문에서는, CEP 환경에서 빅 데이터 사이에 존재하는 다양한 이벤트와 패턴 탐사를 위한 실시간 데이터 마이닝 기법을 제안한다. 제안 방법은 CEP 엔진을 위한 고급의 패턴 매칭을 개발하고, CEP를 위한 실시간 데이터 마이닝 기법을 개발한다. 마지막으로, 기존의 CQL을 확장하여 개발한다. 이라한 방법을 통하여 기존의 CEP의 기능적인 한계를 극복할 수 있다.

물 수요예측을 위한 데이터 마이닝 기법 분석 (Data mining analysis for short-term water demand forecasting)

  • 신강욱;홍성택
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2009년도 제40회 하계학술대회
    • /
    • pp.1771_1772
    • /
    • 2009
  • 본 연구에서는 안정적인 물 공급과 에너지의 효율적 사용을 위한 단기 물 수요예측에 대하여 데이터 마이닝 기법의 적용성을 검토하고자 한다. 물 공급이 이루어진 요일과 특이일에 대한 시계열 분석을 통한 단기 물 수요예측과 데이터 마이닝 기법을 적용한 결과를 상호 비교하여 데이터 마이닝 기법의 적용성을 제시하고자 한다. 이를 통하여 단기 물 수요예측알고리즘의 실용화 가능성을 높일 뿐만 아니라 실시간 예측을 위한 기초 데이터 마이닝 체계를 구축하고자 한다.

  • PDF

헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델 (Heterogeneous Lifelog Mining Model in Health Big-data Platform)

  • 강지수;정경용
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.75-80
    • /
    • 2018
  • 본 논문에서는 헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델을 제안한다. 이는 사용자의 라이프 로그를 실시간으로 수집하고 헬스케어 서비스를 제공하기 위한 온톨로지 기반의 마이닝 모델이다. 제안하는 방법은 이기종 라이프 로그 데이터를 분산처리하고, 클라우드 컴퓨팅 환경에서 실시간으로 처리한다. 이를 이기종 온톨로지를 기반으로 구성한 환경에 적합하도록 상위 온톨로지 방식으로 지식베이스를 재구성한다. 재구성한 지식베이스는 Jena 4.0 추론엔진을 이용해 추론 규칙들을 생성하고, 규칙 기반 추론 방법으로 실시간 헬스 서비스를 제공한다. 라이프로그 마이닝을 숨겨진 관계에 대한 분석과 시계열적 생체신호에 대한 예측모델을 구성한다. 이는 관계나 추론규칙에서 포함되지 않은 음의 상관관계나 양의 상관관계를 탐색하여 사용자의 생체신호에 대한 변화를 감지하고 예방 의료 서비스를 현실화하는 실시간 헬스케어 서비스가 가능하다. 성능 평가는 제안한 이기종 라이프로그 마이닝 모델 방법이 정확도에서 0.734, 재현율에서 0.752로 다른 모델에 비해 우수하게 나타난다.

데이터 스트림에서 개방 데이터 마이닝 기반의 빈발항목 탐색 (Finding Frequent Itemsets based on Open Data Mining in Data Streams)

  • 장중혁;이원석
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.447-458
    • /
    • 2003
  • 기존의 데이터 마이닝 방법들은 기본적으로 지식 발견의 대상이 되는 데이터 집합이 마이닝 작업 시작 이전에 명확히 정의되는 것으로 가정하며 이러한 가정은 고정적으로 정의된 특정 데이터 집합에 내재된 정보 추출이 데이터 마이닝의 목적이 될 때 유효하다. 또한, 기존의 데이터 마이닝 방법들은 대용량의 데이터 집합에 대한 마이닝 결과를 얻는데 있어서 상당한 처리 시간을 요구한다. 따라서, 새로운 트랜잭션 데이터가 지속적으로 추가되는 데이터 스트림에서 추가된 트랜잭션의 정보들을 포함하는 최신의 마이닝 결과를 최대한 빠른 시간 안에 얻기를 기대하는 실시간 처리 환경에서는 기존의 데이터 마이닝 방법을 적용하는 것이 거의 불가능하다. 이러한 목적에 부합하기 위해서 본 논문에서는 새로운 데이터 마이닝 개념인 개방 데이터 마이닝을 제안한다. 개방 데이터 마이닝에서는 새로운 트랜잭션이 발생함에 따라 이전에 발생한 트랜잭션들에 대한 마이닝 결과가 새롭게 갱신되며 따라서 확장된 전체 트랜잭션 집합에 대한 마이닝 결과를 빠르게 얻을 수 있다. 이러한 방법을 효과적으로 구현하기 위해서는 새롭게 출현한 항목에 대한 지연추가와 이전 데이터 집합에 출현한 항목들 중에서 중요하지 않는 항목에 대한 전지작업이 병행되어야 한다. 논문에서 제안하는 알고리즘은 알고리즘의 특성을 파악하기 위한 일련의 다양한 실험을 통해서 검증된다.

데이터 스트림 빈발항목 마이닝의 프라이버시 보호를 위한 더미 데이터 삽입 기법 (Dummy Data Insert Scheme for Privacy Preserving Frequent Itemset Mining in Data Stream)

  • 정재열;김기성;정익래
    • 정보보호학회논문지
    • /
    • 제23권3호
    • /
    • pp.383-393
    • /
    • 2013
  • 데이터 스트림 마이닝 기술은 실시간으로 발생하는 데이터를 분석하여 유용한 정보를 얻는 기술이다. 데이터 스트림 마이닝 기술 중에서 빈발항목 마이닝은 전송되는 데이터들 중에서 어떤 항목이 빈발한지 찾는 기술이며, 찾은 빈발항목들은 다양한 분야에서 패턴분석이나 마케팅의 목적으로 사용된다. 기존에 제안된 데이터 스트림 빈발항목 마이닝은 악의적인 공격자가 전송되는 데이터를 스니핑할 경우 데이터 제공자의 실시간 정보가 노출되는 문제점을 가지고 있다. 이러한 문제는 전송되는 데이터에서 원본 데이터를 구별 못하게 하는 더미 데이터 삽입 기법을 통해 해결가능하다. 본 논문에서는 더미 데이터 삽입 기법을 이용한 프라이버시 보존 데이터 스트림 빈발항목 마이닝 기법을 제안한다. 또한, 제안하는 기법은 암호화 기법이나 다른 수학적 연산이 요구되지 않아 연산량 측면에서 효과적이다.

소셜 빅데이터 마이닝 기반 실시간 랜섬웨어 전파 감지 시스템 (Real-Time Ransomware Infection Detection System Based on Social Big Data Mining)

  • 김미희;윤준혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권10호
    • /
    • pp.251-258
    • /
    • 2018
  • 파일을 암호화시켜 몸값을 요구하는 악성 소프트웨어인 랜섬웨어는 빠른 전파력과 지능화로 더욱 위협적이 되고 있다. 이에 빠른 탐지 및 위험 분석이 요구되고 있지만, 실시간 분석 및 보고가 미비한 상태이다. 본 논문에서는 실시간 분석이 가능하도록 소셜 빅데이터 마이닝 기술을 활용하여 랜섬웨어 전파 감지 시스템을 제안한다. 본 시스템에서는 트위터 스트림을 실시간 분석하여 랜섬웨어와 관련된 키워드를 가진 트윗을 크롤링한다. 또한 뉴스피드 분석기를 통해 뉴스서버를 크롤링하여 랜섬웨어 관련 키워드를 추출하고, 보안업체의 서버나 탐색 엔진을 통해 뉴스나 통계데이터를 추출한다. 수집된 데이터는 데이터 마이닝 알고리즘으로 랜섬웨어 감염 정도를 분석한다. 2017년 전파가 많이 되었던 워너크라이와 록키 랜섬웨어 감염전파 시 관련 트윗의 수와 구글 트렌드(통계 정보) 정보, 관련 기사를 비교하여 트윗을 이용한 본 시스템의 랜섬웨어 감염 탐지 가능성을 보이고, 엔트로피와 카이-스퀘어 분석을 통해 제안 시스템 성능을 보인다.

빅 데이터 환경하에서 프로세스 마이닝을 이용한 구매 감사 통합 실시간 모니터링 시스템에 대한 연구 (A Study on Procurement Audit Integration Real Time Monitoring System Using Process Mining Under Big Data Environment)

  • 유영석;박한규;백승훈;홍성찬
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.71-83
    • /
    • 2017
  • 최근에는 프로세스 마이닝의 최대 강점을 활용함으로써, 기업 조직의 감사 업무에 적극적으로 활용하기 위한 다양한 연구 활동이 활발히 진행 중에 있다. 한편 기업 조직의 중요한 경영 활동중의 하나인 구매 부문 감사 시 빅 데이터 환경 하에서 생성된 방대한 데이터를 프로세스 마이닝을 이용하여 체계적이고 효율적으로 분석하고 감사 측면에서 위험 관리 사전 모니터링 하는 관련 연구는 미흡한 실정이다. 본 연구에서는 기업현장에서 발생되는 대량의 데이터들을 단순하게 사후에 모니터링하는 수준에서 벗어나 기업의 구매 부문에서 이상 징후들을 사전에 탐지하고 사고를 미리 방지하기 위하여 하둡 기반의 내부 감사 통합 실시간 모니터링 시스템을 구현하고자 한다. 이렇게 구현된 시스템을 통해 발주한 구매 자재의 납기관리 강화, 구매원가 절감, 경쟁력 있는 협력업체 관리, 사기 발생 억제, 규정준수, 내부통제 회계제도 준수 및 강화를 실현하고자 한다. 이러한 목적을 달성하기 위해 프로세스 마이닝을 이용하여 데이터를 효율적으로 분석하고 하둡기반의 시스템을 구축함으로써 이 결과로 구매감사 통합 실시간 모니터링 방식을 활용하여 실시간으로 실행할 수 있는 정보 제공이 가능하게 되었다. 또한, 통합적인 관점에서 입체적으로 업무 상태를 관리할 수 있게 되었고, 상시 모니터링 보다 대량의 작업을 실시간에 빠른 속도로 처리하게 됨으로써 구매 감사 품질개선 및 구매 프로세스 혁신의 효과가 나타났다.