• Title/Summary/Keyword: 데이터 항목

Search Result 1,278, Processing Time 0.029 seconds

Memory Improvement Method for Extraction of Frequent Patterns in DataBase (데이터베이스에서 빈발패턴의 추출을 위한 메모리 향상기법)

  • Park, In-Kyu
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.19 no.2
    • /
    • pp.127-133
    • /
    • 2019
  • Since frequent item extraction so far requires searching for patterns and traversal for the FP-Tree, it is more likely to store the mining data in a tree and thus CPU time is required for its searching. In order to overcome these drawbacks, in this paper, we provide each item with its location identification of transaction data without relying on conditional FP-Tree and convert transaction data into 2-dimensional position information look-up table, resulting in the facilitation of time and spatial accessibility. We propose an algorithm that considers the mapping scheme between the location of items and items that guarantees the linear time complexity. Experimental results show that the proposed method can reduce many execution time and memory usage based on the data set obtained from the FIMI repository website.

Efficient Dynamic Weighted Frequent Pattern Mining by using a Prefix-Tree (Prefix-트리를 이용한 동적 가중치 빈발 패턴 탐색 기법)

  • Jeong, Byeong-Soo;Farhan, Ahmed
    • The KIPS Transactions:PartD
    • /
    • v.17D no.4
    • /
    • pp.253-258
    • /
    • 2010
  • Traditional frequent pattern mining considers equal profit/weight value of every item. Weighted Frequent Pattern (WFP) mining becomes an important research issue in data mining and knowledge discovery by considering different weights for different items. Existing algorithms in this area are based on fixed weight. But in our real world scenarios the price/weight/importance of a pattern may vary frequently due to some unavoidable situations. Tracking these dynamic changes is very necessary in different application area such as retail market basket data analysis and web click stream management. In this paper, we propose a novel concept of dynamic weight and an algorithm DWFPM (dynamic weighted frequent pattern mining). Our algorithm can handle the situation where price/weight of a pattern may vary dynamically. It scans the database exactly once and also eligible for real time data processing. To our knowledge, this is the first research work to mine weighted frequent patterns using dynamic weights. Extensive performance analyses show that our algorithm is very efficient and scalable for WFP mining using dynamic weights.

A Design and Implementation of Web-based Multiple item Data Analysis System using RDBMS (RDBMS를 이용한 웹기반 다중항목 데이터 분석 시스템 설계 및 구현)

  • Lee, Sun-Young;Lee, Ji-Sun;Choi, Jung-Min;Chang, Keun;Lee, Byoung-Soo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.27-30
    • /
    • 2001
  • 기존의 오프라인에서 이루어지는 데이터 분석 방법은 대부분 수작업으로 이루어지기 때문에 데이터를 분석하는데 시간과 장소의 제약을 받으며 데이터 수집 과정에서 오류 발생률이 높게 나타나고, 예전보다 분석해야 할 데이터의 양이 방대해짐에 따라 사용자는 더 많은 시간과 노력을 할애해야 한다. 이에 데이터를 신속, 정확하게 분석하기 위해서는 보다 향상된 데이터 분석 기법의 개발이 필요하다. 따라서 본 논문에서는 이러한 문제점을 해결함과 동시에 온라인 환경에서 사용자가 데이터를 효율적으로 입력하고 분석할 수 있는 다중항목 데이터 분석 시스템을 제안한다. 이 시스템으로 사용자는 현재 일반화되어 있는 웹을 통하여 분석된 데이터 결과를 제공받을 수 있다.

  • PDF

A New Method for Efficiently Generating of Frequent Items by IRG in Data Mining (데이터 마이닝에서 IRG에 의한 효율적인 빈발항목 생성방법)

  • 허용도;이광형
    • Journal of Korea Multimedia Society
    • /
    • v.5 no.1
    • /
    • pp.120-127
    • /
    • 2002
  • The common problems found in the data mining methods current in use have following problems. First: It is ineffective in searching for frequent items due to changing of minimal support values. Second: It is not adaptable to occurring of unuseful relation rules. Third: It is very difficult to re-use preceding results while adding new transactions. In this paper, we introduce a new method named as SPM-IRG(Selective Patters Mining using item Relation Graph), that is designed to solve above listed problems. SPM-IRG method creates a frequent items using minimal support values obtained by investigating direct or indirect relation of all items in transaction. Moreover, the new method can minimize inefficiency of existing method by constructing frequent items using only the items that we are interested.

  • PDF

Development of Risk Prediction Index in Water Distribution System (상수관로 위험도 예측을 위한 평가 지표 개발)

  • Ye Ji Choi;Han Na Jung;Dong Woo Jang
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.402-402
    • /
    • 2023
  • 상수관망은 충분한 양질의 수돗물을 공급하기 위한 사회기반 시설물이다. 상수관로의 노후화, 누수 등은 수도 사고 발생의 가능성을 증가시키고, 수돗물 안전성에 대한 신뢰도를 감소시킨다. 수돗물 공급 전 과정을 인공지능(AI), 정보통신기술(ICT)과 결합한 지능형 상수도관 예측 및 관리 시스템을 구축하여, 상수도 수질 사고를 조기에 감지하고 사전에 취약지점을 예측할 필요가 있다. 이를 위해서는 상수관로의 위험도를 평가하기 위한 체계적인 데이터와 기준이 필요하다. 본 연구에서는 상수관로의 위험도 예측모델을 개발하기 위해 상수관로 위험도와 관련된 평가 인자를 선정하고 분류하였으며, 각 인자의 명확한 기준을 제시하였다. 국내·외 상수도 위험도 평가 항목에 대한 자료를 비교 및 분석하였고, 전문가 자문을 통해 인자를 정립하여 상수관로 위험도 평가 지표를 개발하였다. 개발된 평가 지표의 현장 적용성과 실효성 검증을 위해 정량적인 데이터 확보가 가능하고 상태를 평가할 수 있는 대상 지역을 선정하였다. 문헌 자료의 평가항목들과 전문가 의견을 바탕으로 상수관로 위험도 평가 인자를 31개의 직접 인자와 5개의 간접 인자로 구분하였고, 인자별 평가 기준을 제시하였다. 직접 인자는 노후화 정도를 파악할 수 있는 노후도 평가 항목, 지역 특성을 반영한 토양 부식성 항목, 실시간으로 측정하여 결과를 제공하는 실시간 계측 항목, 직접적인 수질 결과를 제공하는 정수장 수질 항목, 상수관로의 건전성을 평가하는 자산관리 항목으로 분류하였다. 추후, 위험도 평가 운용을 위한 알고리즘을 개발하면 상수도 사고 위험에 대한 예방 및 대응 전략을 수립할 수 있을 것으로 기대된다.

  • PDF

A Study on Association-Rules for Recurrent Items Mining of Multimedia Data (멀티미디어 데이타의 재발생 항목 마이닝을 위한 연관규칙 연구)

  • 김진옥;황대준
    • Journal of Korea Multimedia Society
    • /
    • v.5 no.3
    • /
    • pp.281-289
    • /
    • 2002
  • Few studies have been systematically pursued on a multimedia data mining in despite of the over-whelming amounts of multimedia data by the development of computer capacity, storage technology and Internet. Based on the preliminary image processing and content-based image retrieval technology, this paper presents the methods for discovering association rules from recurrent items with spatial relationships in huge data repositories. Furthermore, multimedia mining algorithm is proposed to find implicit association rules among objects of which content-based descriptors such as color, texture, shape and etc. are recurrent and of which descriptors have spatial relationships. The algorithm with recurrent items in images shows high efficiency to find set of frequent items as compared to the Apriori algorithm. The multimedia association-rules algorithm is specially effective when the collection of images is homogeneous and it can be applied to many multimedia-related application fields.

  • PDF

Construction of the Guidelines for National Statistical Metadata (국가 통계표준 메타데이터 설계에 관한 연구)

  • Nam, Young-Joon
    • Journal of Information Management
    • /
    • v.36 no.1
    • /
    • pp.33-56
    • /
    • 2005
  • This paper proposes some guidelines for Korean standards for statistical metadata to share on the Internet. The construction includes the minimum metadata set needed in the international standards based on the report and Korean Statistics Office. In result, 29 categories were selected from the SDMX and SDDS’consistency items and 14 categories from Dublin Core. Overall, 43 international statistics metadata was completed.

Design and Implementation of Web-based Visualization System (웹 기반 가시화 시스템의 설계 및 구현)

  • 이재일;송정길
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2000.04a
    • /
    • pp.429-432
    • /
    • 2000
  • 일반사용자들이 쉽게 웹을 통하여 컴퓨터 그래픽스, 이미지(CT, MARI) 컴퓨터공학, 지리정보, 수치적 통계, 데이터분석 데이터를 그래픽으로 표현하고자 한다. VRML Visualization Server 구축하여 웹 기반 Visualizer 설계한다. 궁극적으로는 가시화의 실시간 표현에 있다. 모델링 기법에 있어서는 객체지향 그래픽 라이브러인 Visualization Toolkit을 이용하여 데이터의 Surface, Contour, Plane, Streamline, Probe 등을 구현하며, VRML 파일형태로 변환하여 클라이언트 웹으로 보내지게된다. 클라이언트 측 웹은 자신이 원하는 형태의 가시화 항목들을 선택하면 HTTP 에 의해 Visualization Server로 전송되어지고 Server의 ISAP는 전송되어져온 가시화항목을 가지고 가시화하여 VRML화일 형식으로 클라이언트 측으로 보내게된다.

  • PDF

A Study on the Extraction into the Logical Structure of a Specific Document using Knowledge (지식을 이용한 특정 문서의 논리 구조 추출에 관한 연구)

  • 손영우;남궁재찬
    • The Journal of Information Technology and Database
    • /
    • v.3 no.1
    • /
    • pp.85-95
    • /
    • 1996
  • 본 논문은 특정문서에서 문서가 갖고 있는 일반적인 지식을 이용하여 논리적 항목을 추출하는 방법에 관한 연구이다. 먼저 입력된 문서의 영역 분할, 분리자 추출, 그리고 문자와 비문자를 구별하였다. 논리구조 추출단계에서는 구별된 요소의 상대적 크기, 위치 및 전후 블록들의 연관성에 관한 지식을 이용하여 각 블록들을 레이블링 하였고, 레이블된 항목들의 위치정보값을 이용하여 각 항목들을 자료화하였다. 마지막으로, 오분류된 항목에 대해서는 배치기술자를 이용한 검증을 통해 정정하였다. 본 논문에서 구현한 방법으로 실험한 결과 96.5%의 논리항목 추출율을 획득함으로써 그 유효성을 입증하였다.

  • PDF

Efficient Mining of Frequent Itemsets in a Sparse Data Set (희소 데이터 집합에서 효율적인 빈발 항목집합 탐사 기법)

  • Park In-Chang;Chang Joong-Hyuk;Lee Won-Suk
    • The KIPS Transactions:PartD
    • /
    • v.12D no.6 s.102
    • /
    • pp.817-828
    • /
    • 2005
  • The main research problems in a mining frequent itemsets are reducing memory usage and processing time of the mining process, and most of the previous algorithms for finding frequent itemsets are based on an Apriori-property, and they are multi-scan algorithms. Moreover, their processing time are greatly increased as the length of a maximal frequent itemset. To overcome this drawback, another approaches had been actively proposed in previous researches to reduce the processing time. However, they are not efficient on a sparse .data set This paper proposed an efficient mining algorithm for finding frequent itemsets. A novel tree structure, called an $L_2$-tree, was proposed int, and an efficient mining algorithm of frequent itemsets using $L_2$-tree, called an $L_2$-traverse algorithm was also proposed. An $L_2$-tree is constructed from $L_2$, i.e., a set of frequent itemsets of size 2, and an $L_2$-traverse algorithm can find its mining result in a short time by traversing the $L_2$-tree once. To reduce the processing more, this paper also proposed an optimized algorithm $C_3$-traverse, which removes previously an itemset in $L_2$ not to be a frequent itemsets of size 3. Through various experiments, it was verified that the proposed algorithms were efficient in a sparse data set.