• Title/Summary/Keyword: 데이타마이닝

Search Result 106, Processing Time 0.03 seconds

Taxonomy of XML Document Types (XML 문서 타입의 분류)

  • Lee Jung-Won;Park Seung-Soo
    • Journal of KIISE:Databases
    • /
    • v.32 no.2
    • /
    • pp.161-176
    • /
    • 2005
  • oping and applying XML techniques. One key aspect of our taxonomy is the support of the credibility of the result by evaluating which XML document types can be processed by a method. Another key aspect is to provide a basis for determining which is the best for target XML document types. Application with preparations for XML document mining shows that our taxonomy may present XML document types to be able to consider during the preparation process and target XML document types to be used for experiments.

Data Mining Approaches for DDoS Attack Detection (분산 서비스거부 공격 탐지를 위한 데이터 마이닝 기법)

  • Kim, Mi-Hui;Na, Hyun-Jung;Chae, Ki-Joon;Bang, Hyo-Chan;Na, Jung-Chan
    • Journal of KIISE:Information Networking
    • /
    • v.32 no.3
    • /
    • pp.279-290
    • /
    • 2005
  • Recently, as the serious damage caused by DDoS attacks increases, the rapid detection and the proper response mechanisms are urgent. However, existing security mechanisms do not effectively defend against these attacks, or the defense capability of some mechanisms is only limited to specific DDoS attacks. In this paper, we propose a detection architecture against DDoS attack using data mining technology that can classify the latest types of DDoS attack, and can detect the modification of existing attacks as well as the novel attacks. This architecture consists of a Misuse Detection Module modeling to classify the existing attacks, and an Anomaly Detection Module modeling to detect the novel attacks. And it utilizes the off-line generated models in order to detect the DDoS attack using the real-time traffic. We gathered the NetFlow data generated at an access router of our network in order to model the real network traffic and test it. The NetFlow provides the useful flow-based statistical information without tremendous preprocessing. Also, we mounted the well-known DDoS attack tools to gather the attack traffic. And then, our experimental results show that our approach can provide the outstanding performance against existing attacks, and provide the possibility of detection against the novel attack.

An Incremental Method Using Sample Split Points for Global Discretization (전역적 범주화를 위한 샘플 분할 포인트를 이용한 점진적 기법)

  • 한경식;이수원
    • Journal of KIISE:Software and Applications
    • /
    • v.31 no.7
    • /
    • pp.849-858
    • /
    • 2004
  • Most of supervised teaming algorithms could be applied after that continuous variables are transformed to categorical ones at the preprocessing stage in order to avoid the difficulty of processing continuous variables. This preprocessing stage is called global discretization, uses the class distribution list called bins. But, when data are large and the range of the variable to be discretized is very large, many sorting and merging should be performed to produce a single bin because most of global discretization methods need a single bin. Also, if new data are added, they have to perform discretization from scratch to construct categories influenced by the data because the existing methods perform discretization in batch mode. This paper proposes a method that extracts sample points and performs discretization from these sample points in order to solve these problems. Because the approach in this paper does not require merging for producing a single bin, it is efficient when large data are needed to be discretized. In this study, an experiment using real and synthetic datasets was made to compare the proposed method with an existing one.

Classification of False Alarms based on the Decision Tree for Improving the Performance of Intrusion Detection Systems (침입탐지시스템의 성능향상을 위한 결정트리 기반 오경보 분류)

  • Shin, Moon-Sun;Ryu, Keun-Ho
    • Journal of KIISE:Databases
    • /
    • v.34 no.6
    • /
    • pp.473-482
    • /
    • 2007
  • Network-based IDS(Intrusion Detection System) gathers network packet data and analyzes them into attack or normal. They raise alarm when possible intrusion happens. But they often output a large amount of low-level of incomplete alert information. Consequently, a large amount of incomplete alert information that can be unmanageable and also be mixed with false alerts can prevent intrusion response systems and security administrator from adequately understanding and analyzing the state of network security, and initiating appropriate response in a timely fashion. So it is important for the security administrator to reduce the redundancy of alerts, integrate and correlate security alerts, construct attack scenarios and present high-level aggregated information. False alarm rate is the ratio between the number of normal connections that are incorrectly misclassified as attacks and the total number of normal connections. In this paper we propose a false alarm classification model to reduce the false alarm rate using classification analysis of data mining techniques. The proposed model can classify the alarms from the intrusion detection systems into false alert or true attack. Our approach is useful to reduce false alerts and to improve the detection rate of network-based intrusion detection systems.

A Feature Selection Technique for an Efficient Document Automatic Classification (효율적인 문서 자동 분류를 위한 대표 색인어 추출 기법)

  • 김지숙;문현정;김영지;우용태
    • Proceedings of the Korea Database Society Conference
    • /
    • 2001.06a
    • /
    • pp.295-302
    • /
    • 2001
  • 최근 대량의 텍스트 문서로부터 의미 있는 패턴이나 연관 규칙을 발견하기 위한 텍스트마이닝 기법에 대한 연구가 활발히 전개되고 있다. 하지만 비정형 텍스트 문서로부터 추출된 용어의 수는 불규칙적이고 일반적인 용어가 많이 추출되는 관계로 기존의 연관 규칙 탐사 방법을 사용하게 되면 무의미한 연관 규칙이 대량으로 생성되어 지식 정보를 효과적으로 검색하기 어렵다. 본 논문에서는 연관 규칙 탐사 기법을 이용하여 비감독학습 기법에 의해 대량의 문서를 효율적으로 분류하기 위한 대표 색인어 추출 기법을 제안하였다. 컴퓨터 분야의 논문을 대상으로 각 분야별 대표 색인어를 추출하여 유사한 문서끼리 분류하는 실험을 통해 제안된 방법의 효율성을 보였다.

  • PDF

Analysis of Web Data Applying Data Mining (데이터마이닝을 이용한 웹 데이터 분석)

  • 채승경;서용무
    • Proceedings of the Korea Database Society Conference
    • /
    • 2001.06a
    • /
    • pp.345-361
    • /
    • 2001
  • 인터넷의 확산으로 웹 구조, 웹 로그 등을 분석하는 웹마이닝(Web Mining)에 대한 연구가 활발히 진행되고 있다. 그러나 웹에서 발생하는 데이터에 대한 분석은 아직 미약한 상태이다. 웹에서 획득된 데이터는 신뢰도가 낮아 통계와 같은 기존의 분석 방법을 적용하기에 많은 어려움이 따른다. 또한 대용량 데이터와 실제 데이터에 유연한 분석을 제공하는 데이터 마이닝은 아직까지 적용 분야가 매우 한정되어 있다. 본 논문에서는 인터넷 사이트의 실제 데이터를 이용하여 데이터마이닝 과정에 따라 데이터 정제, 데이터 선택, 데이터 변환 등 효과적인 데이터 전처리 방법을 제시한다. 또한 이렇게 전처리된 데이터로 고객 세분화, 우수 고객 분류를 위한 데이터마이닝 기법을 적용한 후 수행 결과를 분석한다. 마지막으로 분석의 한계점을 지적하고 보다 양질의 데이터마이닝을 위한 시스템 및 사이트 설계 방안을 제시한다.

  • PDF

Grid Cell Based Spatial Clustering Method (그리드 셀 기반 공간 클러스터링 방법)

  • 이동규;정정수;문상호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.10-12
    • /
    • 2001
  • 대용량의 공간 데이터베이스로부터 임시적이고 유용한 지식을 자동적으로 추출하는 공간데이터 마이닝은 데이터양의 급격히 증가하면서 필요성이 더욱 증대되고 있다. 공간데이타 마이닝에서 데이터를 분석하여 유사한 그룹으로 분류하는 것은 중요한 분야이며, 이를 위해서는 공간 클러스터링 과정이 먼저 수행되어야 한다. 이러한 공간 클러스터링에서 가장 중요한 점은 클러스터링에 드는 비용의 감소와 점 공간객체에 한정된 클러스터링이 아닌 선 및 다각형 객체들의 클러스터링도 가능해야 한다. 본 본문은 이를 위하여 공간지역성을 보장하는 대표적인 공간분할 방법인 그리드 셀을 이용한다. 기존의 클러스터링에서 사용되는 객체들 간의 거리 계산을 인접한 그리드 셀들 간의 관계 연산으로 대체시키는 것이 핵심아이디어이다. 이 방법은 기존 클러스터링에서 객체들 간의 거리 계산으로 인한 비용을 현저하게 줄일 수 있고, 선 및 다각형 객체들의 클러스터링도 가능하게 하는 장점이 있다.

  • PDF

An Efficient Algorithm for Mining Sequential Patterns with Quantities (퀀터티가 있는 순차 패턴을 찾는 효율적인 알고리즘)

  • 임종화;심규석;김철연
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.569-571
    • /
    • 2003
  • 순차 패턴을 찾는 것은 데이타 마이닝 응용분야에서 중요한 문제이다. 기존의 순차 패턴 마이닝 알고리즘들은 아이템으로만 이루어진 순차 패턴만을 찾아 주었다. 하지만 아이템과 관련된 퀀터티 정보가 더욱 유용한 정보를 제공해 주는 경우가 많이 있다. 본 논문에서는 퀀터티가 있는 순차 패턴을 찾는 알고리즘을 소개한다. 기존 알고리즘을 초보적으로 확장한 알고리즘은 탐색 공간을 모두 다 검색하여 결과를 얻는 방법을 사용하기 때문에 결과적으로 나쁜 성능을 나타내었다. 이러한 단점을 없애기 위해 여과 과정과 샘플링 기반 알고리즘을 사용하여 검색해야 하는 후보 패턴의 수를 줄여줌으로써 알고리즘의 성능을 개선하였다. 실험 결과는 새로운 방법들이 초보적인 확장을 한 기존 알고리즘보다 훨씬 더 좋은 성능을 나타냄을 보여주었다.

  • PDF

Design of Spatial Clustering Method for Spatial Objects with Polygonometry (다각형 객체를 지원하는 공간 클러스터링 기법의 설계)

  • 황지완;문상호
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2004.05b
    • /
    • pp.374-377
    • /
    • 2004
  • Existing Clustering Methods for spatial data mining process only point objects, not objects with polygonometry such as lines and areas. It is because that distance computation between objects with polygonomery for clustering is more complex than point objects. To solve this problem, we design a clustering method based on regular grid cell structures. In details, it refutes cost and time for distance computation using cell relationships in grid cell structures.

  • PDF

Product reputation mining based on sentiment analysis (감성 분석 기반의 제품 평판 마이닝)

  • Song, In-Hwan;Han, Jinju;On, Byung-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.429-433
    • /
    • 2019
  • 스마트폰 보급의 확산으로 제품 구매 시 웹 사이트 및 SNS를 이용하여 제품 리뷰를 참고하는 소비자들이 증가하고 있다. 전자 상거래 사이트의 제품 리뷰는 구매 예정자들에게 유용한 정보로 활용되곤 한다. 하지만 구매 예정자가 직접 제품에 대한 리뷰 데이터를 찾아 전체 내용을 일일이 읽고 분석해야하기 때문에 시간이 오래 걸릴뿐만 아니라 가공되지 않는 데이터가 줄 수 있는 정보는 한정적이다. 또한 이러한 리뷰들은 상품의 특징을 파악하기에도 어려움이 있다. 본 논문에서는 제품의 주요 이슈를 추출하고 주요 이슈에 대한 감성 분석과 감성 요약을 통해 제품 분석 및 평가를 제공하는 시스템을 설계 및 구현하였다. 이를 휴대폰 제품에 적용하여 구축한 시스템을 통해 소비자가 방대한 양의 제품의 리뷰 데이터를 분석할 필요 없이 제품의 주요 이슈와 가공된 분석 결과를 시각적으로 빠르게 제공받을 수 있음을 보였다.

  • PDF