• 제목/요약/키워드: Apriori

검색결과 144건 처리시간 0.031초

Analysis and Prediction of Energy Consumption Using Supervised Machine Learning Techniques: A Study of Libyan Electricity Company Data

  • Ashraf Mohammed Abusida;Aybaba Hancerliogullari
    • International Journal of Computer Science & Network Security
    • /
    • 제23권3호
    • /
    • pp.10-16
    • /
    • 2023
  • The ever-increasing amount of data generated by various industries and systems has led to the development of data mining techniques as a means to extract valuable insights and knowledge from such data. The electrical energy industry is no exception, with the large amounts of data generated by SCADA systems. This study focuses on the analysis of historical data recorded in the SCADA database of the Libyan Electricity Company. The database, spanned from January 1st, 2013, to December 31st, 2022, contains records of daily date and hour, energy production, temperature, humidity, wind speed, and energy consumption levels. The data was pre-processed and analyzed using the WEKA tool and the Apriori algorithm, a supervised machine learning technique. The aim of the study was to extract association rules that would assist decision-makers in making informed decisions with greater efficiency and reduced costs. The results obtained from the study were evaluated in terms of accuracy and production time, and the conclusion of the study shows that the results are promising and encouraging for future use in the Libyan Electricity Company. The study highlights the importance of data mining and the benefits of utilizing machine learning technology in decision-making processes.

SNS 대화 분석을 통한 주제별 적합 광고 시간대 도출 (When is the best time to run SNS AD per topic?: through conversation data analysis)

  • 이지민;전예림;이지선;우지영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.335-336
    • /
    • 2022
  • 본 논문에서는 시간대와 대화 주제를 활용하여 카테고리별로 적절한 SNS 광고 시간대 예측 방법을 제시한다. 위의 분석으로 광고주들에게 적절한 광고시간을 제안할 수 있다. 연관규칙분석 알고리즘인 apriori를 사용하였다. 주제는 상거래(쇼핑), 미용과 건강, 시사/교육, 식음료, 여가생활로 추려서 분석하였다. 연관분석 결과, 미용과 건강이 18시, 17시, 16시에 가장 활발히 대화를 나누었다. 상거래(쇼핑)이 14시, 16시, 17시 순으로 가장 활발히 대화를 나누었으며, 시사/교육이 15시, 17시, 16시 순으로 많은 대화를 나누었으며, 식음료가 18시, 17시, 19시 순으로 대화를 많이 나눈 것을 확인했다. 마지막으로, 여가생활은 22시, 23시, 21시 순으로 각각의 대화 주제별로 가장 많이 대화를 나눈 시간대가 달라지는 것을 확인할 수 있었다. 이를 통해 소비자 입장에서는 알맞은 광고를 적절한 시간대에 추천받을 수 있다.

  • PDF

시계열 데이터로부터의 경향성 기반 순차패턴 탐색 (Trend-based Sequential Pattern Discovery from Time-Series Data)

  • 오용생;이동하;남도원;이전영
    • 지능정보연구
    • /
    • 제7권1호
    • /
    • pp.27-45
    • /
    • 2001
  • 데이터마이닝에서 시계열 데이터로부터 순차패턴을 발견하는 연구는 사건이나 아이템이 주로 연구되어왔지만, 최근에는 설비의 상태를 알 수 있는 센서와 같은 수치 값의 형태를 가지는 분야에 관심을 가지게 되었다. 그러나 수치 형태의 데이터는 패턴을 만드는 동안 동일한 값을 가지는 경우가 거의 없기 때문에 기존의 사건이나 아이템 등으로 변환될 수 있는 패턴요소의 특징을 만드는 것이 가장 중요하다. 이러한 패턴요소를 발견하는 지금가지 방법은 이동 윈도우와 클러스터링을 사용하는 방법을 적용하였는데, 이러한 방법은 다양한 윈도우의 크기와 클러스터 값을 적용하여 반복적으로 작업을 하며, 찾아진 결과를 해석하는데도 많은 문제가 있다. 본 연구는 수치 값을 가진 데이터를 벡터의 형태로 만들어 패턴요소를 만드는 방법을 제시한다. 이렇게 만들어진 패턴요소는 전체 데이터를 사용하는 것 보다 이해되기 쉽고 보다 빠르게 순차패턴을 찾을 수 있다. 벡터로 변환된 패턴요소는 각도와 크기를 가지는데 우리는 이들 벡터들의 상호 연관성을 정의하고, 이들 연관성을 이용하여 순차패턴을 찾는 방법을 제시한다.

  • PDF

Research on a handwritten character recognition algorithm based on an extended nonlinear kernel residual network

  • Rao, Zheheng;Zeng, Chunyan;Wu, Minghu;Wang, Zhifeng;Zhao, Nan;Liu, Min;Wan, Xiangkui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권1호
    • /
    • pp.413-435
    • /
    • 2018
  • Although the accuracy of handwritten character recognition based on deep networks has been shown to be superior to that of the traditional method, the use of an overly deep network significantly increases time consumption during parameter training. For this reason, this paper took the training time and recognition accuracy into consideration and proposed a novel handwritten character recognition algorithm with newly designed network structure, which is based on an extended nonlinear kernel residual network. This network is a non-extremely deep network, and its main design is as follows:(1) Design of an unsupervised apriori algorithm for intra-class clustering, making the subsequent network training more pertinent; (2) presentation of an intermediate convolution model with a pre-processed width level of 2;(3) presentation of a composite residual structure that designs a multi-level quick link; and (4) addition of a Dropout layer after the parameter optimization. The algorithm shows superior results on MNIST and SVHN dataset, which are two character benchmark recognition datasets, and achieves better recognition accuracy and higher recognition efficiency than other deep structures with the same number of layers.

A Neural Network and Kalman Filter Hybrid Approach for GPS/INS Integration

  • Wang, Jianguo Jack;Wang, Jinling;Sinclair, David;Watts, Leo
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2006년도 International Symposium on GPS/GNSS Vol.1
    • /
    • pp.277-282
    • /
    • 2006
  • It is well known that Kalman filtering is an optimal real-time data fusion method for GPS/INS integration. However, it has some limitations in terms of stability, adaptability and observability. A Kalman filter can perform optimally only when its dynamic model is correctly defined and the noise statistics for the measurement and process are completely known. It is found that estimated Kalman filter states could be influenced by several factors, including vehicle dynamic variations, filter tuning results, and environment changes, etc., which are difficult to model. Neural networks can map input-output relationships without apriori knowledge about them; hence a proper designed neural network is capable of learning and extracting these complex relationships with enough training. This paper presents a GPS/INS integrated system that combines Kalman filtering and neural network algorithms to improve navigation solutions during GPS outages. An Extended Kalman filter estimates INS measurement errors, plus position, velocity and attitude errors etc. Kalman filter states, and gives precise navigation solutions while GPS signals are available. At the same time, a multi-layer neural network is trained to map the vehicle dynamics with corresponding Kalman filter states, at the same rate of measurement update. After the output of the neural network meets a similarity threshold, it can be used to correct INS measurements when no GPS measurements are available. Selecting suitable inputs and outputs of the neural network is critical for this hybrid method. Detailed analysis unveils that some Kalman filter states are highly correlated with vehicle dynamic variations. The filter states that heavily impact system navigation solutions are selected as the neural network outputs. The principle of this hybrid method and the neural network design are presented. Field test data are processed to evaluate the performance of the proposed method.

  • PDF

"순수이성비판"에 나타난 수학적 인식의 특성: 개념의 구성 (Mathematical Cognition as the Construction of Concepts in Kant's Critique of Pure Reason)

  • 임재훈
    • 한국초등수학교육학회지
    • /
    • 제16권1호
    • /
    • pp.1-19
    • /
    • 2012
  • 칸트는 "순수이성비판"에서 수학적 인식과 철학적 인식의 차이를 개념에 의한 인식과 개념의 구성에 의한 인식의 차이로 설명한다. 이 논문에서는 칸트가 주장한 수학적 인식의 특성인 '개념의 구성'의 의미를 "순수이성비판"에 나타난 감성과 지성에 관한 칸트의 이론을 바탕으로 고찰한다. 개념의 구성은 개념을 직관에 나타내는 것으로, 상상력의 종합에 의해 개념의 역동적인 도식을 형성하는 과정이다. 개념의 구성에 관한 칸트의 이론은 수학적 개념 학습 지도에서 경험에서의 추상화를 통한 개념 형성을 넘어 주어진 표상을 개념의 도식으로 보는 관점의 형성을 요청하는 것으로 해석될 수 있다.

  • PDF

과탐지 감소를 위한 NSA 기반의 다중 레벨 이상 침입 탐지 (Negative Selection Algorithm based Multi-Level Anomaly Intrusion Detection for False-Positive Reduction)

  • 김미선;박경우;서재현
    • 정보보호학회논문지
    • /
    • 제16권6호
    • /
    • pp.111-121
    • /
    • 2006
  • 인터넷이 빠르게 성장함에 따라 네트워크 공격기법이 변화되고 새로운 공격 형태가 나타나고 있다. 네트워크상에서 알려진 침입의 탐지는 효율적으로 수행되고 있으나 알려지지 않은 침입에 대해서는 오탐지(false negative)나 과탐지(false positive)가 너무 높게 나타난다. 또한, 네트워크상에서 지속적으로 처리되는 대량의 패킷에 대하여 실시간적인 탐지와 새로운 침입 유형에 대한 대응방법과 인지능력에 한계가 있다. 따라서 다양한 대량의 트래픽에 대해서 탐지율을 높이고 과탐지를 감소할 수 있는 방법이 필요하다. 본 논문에서는 네트워크 기반의 이상 침입 탐지 시스템에서 과탐지를 감소하고, 침입 탐지 능력을 향상시키기 위하여 다차원 연관 규칙 마이닝과 수정된 부정 선택 알고리즘(Negative Selection Algorithm)을 결합한 다중 레벨 이상 침입 탐지 기술을 제안한다. 제안한 알고리즘의 성능 평가를 위하여 기존의 이상 탐지 알고리즘과 제안된 알고리즘을 수행하여, 각각의 과탐지율을 평가, 제시하였다.

트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법의 성능분석 (Performance analysis of Frequent Itemset Mining Technique based on Transaction Weight Constraints)

  • 윤은일;편광범
    • 인터넷정보학회논문지
    • /
    • 제16권1호
    • /
    • pp.67-74
    • /
    • 2015
  • 최근, 아이템들의 가치를 고려한 빈발 아이템셋 마이닝 방법은 데이터 마이닝 분야에서 가장 중요한 이슈 중 하나로 활발히 연구되어왔다. 아이템들의 가치를 고려한 마이닝 기법들은 적용 방법에 따라 크게 가중화 빈발 아이템셋 마이닝, 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝, 유틸리티 아이템셋 마이닝으로 구분된다. 본 논문에서는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝들에 대해 실증적인 분석을 수행한다. 일반적으로 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법들은 데이터베이스 내 아이템들의 가치를 고려함으로써 트랜잭션 가중치를 계산한다. 또한, 그 기법들은 계산된 각 트랜잭션의 가중치를 바탕으로 가중화 빈발 아이템셋들을 마이닝 한다. 트랜잭션 가중치는 트랜잭션 내에 높은 가치의 아이템이 많이 포함 될수록 높은 값으로 나타나기 때문에 우리는 각 트랜잭션의 가중치의 분석을 통해 그 가치를 파악할 수 있다. 우리는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 기법 중에서 가장 유명한 알고리즘인 WIS와 WIT-FWIs, IT-FWIs-MODIFY, WIT-FWIs-DIFF의 장 단점을 분석하고 각각의 성능을 비교한다. WIS는 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝의 개념과 그 기법이 처음 제안된 알고리즘이며, 전통적인 빈발 아이템셋 마이닝 기법인 Apriori를 기반으로 하고 있다. 또 다른 트랜잭션 가중치 기반의 빈발 아이템셋 마이닝 방법인 WIT-FWIs와 WIT-FWIs-MODIFY, WIT-FWIs-DIFF는 가중화된 빈발 아이템셋 마이닝을 더 효율적으로 수행하기 위해 격자구조(Lattice) 형태의 특별한 저장구조인 WIT-tree를 이용한다. WIT-tree의 각 노드에는 아이템셋 정보와 아이템셋이 포함된 트랜잭션의 ID들이 저장되며, 이 구조를 사용함으로써 아이템셋 마이닝 과정에서 발생되는 다수의 데이터베이스 스캔 과정이 감소된다. 특히, 전통적인 알고리즘들이 수많은 데이터베이스 스캔을 수행하는 반면에, 이 알고리즘들은 WIT-tree를 이용해 데이터베이스를 오직 한번만 읽음으로써 마이닝과정에서 발생 가능한 오버헤드 문제를 해결한다. 또한, 공통적으로 길이 N의 두 아이템셋을 이용해 길이 N+1의 새로운 아이템셋을 생성한다. 먼저, WIT-FWIs는 각 아이템셋이 동시에 발생되는 트랜잭션들의 정보를 활용하는 것이 특징이다. WIT-FWIs-MODIFY는 조합되는 아이템셋의 정보를 이용해 빈도수 계산에 필요한 연산을 줄인 알고리즘이다. WIT-FWIs-DIFF는 두 아이템셋 중 하나만 발생한 트랜잭션의 정보를 이용한다. 우리는 다양한 실험환경에서 각 알고리즘의 성능을 비교분석하기 위해 각 트랜잭션의 형태가 유사한 dense 데이터와 각 트랜잭션의 구성이 서로 다른 sparse 데이터를 이용해 마이닝 시간과 최대 메모리 사용량을 평가한다. 또한, 각 알고리즘의 안정성을 평가하기 위한 확장성 테스트를 수행한다. 결과적으로, dense 데이터에서는 WIT-FWIs와 WIT-FWIs-MODIFY가 다른 알고리즘들보다 좋은 성능을 보이고 sparse 데이터에서는 WIT-FWI-DIFF가 가장 좋은 효율성을 갖는다. WIS는 더 많은 연산을 수행하는 알고리즘을 기반으로 했기 때문에 평균적으로 가장 낮은 성능을 보인다.

구인구직사이트의 구인정보 기반 지능형 직무분류체계의 구축 (Development of Intelligent Job Classification System based on Job Posting on Job Sites)

  • 이정승
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.123-139
    • /
    • 2019
  • 주요 구인구직사이트의 직무분류체계가 사이트마다 상이하고 SW분야에서 제안한 'SQF(Sectoral Qualifications Framework)'의 직무분류체계와도 달라 SW산업에서 SW기업, SW구직자, 구인구직사이트가 모두 납득할 수 있는 새로운 직무분류체계가 필요하다. 본 연구의 목적은 주요 구인구직사이트의 구인정보와 'NCS(National Competaency Standars)'에 기반을 둔 SQF를 분석하여 시장 수요를 반영한 표준 직무분류체계를 구축하는 것이다. 이를 위해 주요 구인구직사이트의 직종 간 연관분석과 SQF와 직종 간 연관분석을 실시하여 직종 간 연관규칙을 도출하고자 한다. 이 연관규칙을 이용하여 주요 구인구직사이트의 직무분류체계를 맵핑하고 SQF와 직무 분류체계를 맵핑함으로써 데이터 기반의 지능형 직무분류체계를 제안하였다. 연구 결과 국내 주요 구인구직사이트인 '워크넷,' '잡코리아,' '사람인'에서 3만여 건의 구인정보를 open API를 이용하여 XML 형태로 수집하여 데이터베이스에 저장했다. 이 중 복수의 구인구직사이트에 동시 게시된 구인정보 900여 건을 필터링한 후 빈발 패턴 마이닝(frequent pattern mining)인 Apriori 알고리즘을 적용하여 800여 개의 연관규칙을 도출하였다. 800여 개의 연관규칙을 바탕으로 워크넷, 잡코리아, 사람인의 직무분류체계와 SQF의 직무분류체계를 맵핑하여 1~4차로 분류하되 분류의 단계가 유연한 표준 직무분류체계를 새롭게 구축했다. 본 연구는 일부 전문가의 직관이 아닌 직종 간 연관분석을 통해 데이터를 기반으로 직종 간 맵핑을 시도함으로써 시장 수요를 반영하는 새로운 직무분류체계를 제안했다는데 의의가 있다. 다만 본 연구는 데이터 수집 시점이 일시적이기 때문에 시간의 흐름에 따라 변화하는 시장의 수요를 충분히 반영하지 못하는 한계가 있다. 계절적 요인과 주요 공채 시기 등 시간에 따라 시장의 요구하는 변해갈 것이기에 더욱 정확한 매칭을 얻기 위해서는 지속적인 데이터 모니터링과 반복적인 실험이 필요하다. 본 연구 결과는 향후 SW산업 분야에서 SQF의 개선방향을 제시하는데 활용될 수 있고, SW산업 분야에서 성공을 경험삼아 타 산업으로 확장 이전될 수 있을 것으로 기대한다.

하도(河圖)${\cdot}$락서(書洛)${\cdot}$선천팔괘(先夭八卦)${\cdot}$후천팔괘(後夭八卦)의 상호 유기적 관계 연구 (Study on the Orgainc Relations among Hado. Laks${\u{\lrcorner}}$, a Priori Eight Trigrams, and a Posteriori Eight Trigrams)

  • 김병수
    • 동의생리병리학회지
    • /
    • 제21권2호
    • /
    • pp.379-386
    • /
    • 2007
  • Hado(河圖) and Laks${\u{\lrcorner}}$(書洛) are the diagrams composed of the symbols of numbers from one to ten. And the eight-trigrams, P'al-gwoe divide into two types one is a priori eight-trigrams (先夭八卦) or the Bok-Hui's eight trigrams(伏羲八卦); and the other is a posterior eight trigrams (後夭八卦) or the king Mun's eight trigrams (文王八卦). Relating these two diagrams of Hado and Laks${\u{\lrcorner}}$ with the two types of eight trigrams, they are said to be a term of Ha-Lak-Hui-Mun (HLHM). Each of HLHM represents the process of creating and changing of 'heaven and Earth' and every beingby the symbols of numbers and trigrams. In other words, each of HLHM symbolizes the origin and the structure of the universe as well as the birth of every life represented in the diagram of theosophany (福智學) or Kabbalah. HLHM are also regarded as the origin of l-ching or Book of Change. Hado produces Laks${\u{\lrcorner}}$ through the principle of yin-yang(陰陽). Laks${\u{\lrcorner}}$ produces a priori eight trigrams through the zigzag shapes which means Heaven and Earth are mutually responding. And a priori eight trigrams produce a posteriori eight trigrams through the triangle principle of connecting Heaven and Earth. In this process, Hado and a priori eight trigrams are respectively prior to Laks${\u{\lrcorner}}$ and a posteriori eight trigrams. HLHM represent fractal shape resembling the symbol of five on the center of Hado, or Hado itself. In the dynamic process of HLHM, a diagram of Circle, Quadrangle, and Triangle (CQT) is produced as follows: Circle, the symbol of 'infinify' or Heaven, represents the origin of life or birth. Hadois the symbol of creation. Quadrangle, the symbol of Earth, represents that Laks${\u{\lrcorner}}$is scattered into four directions of front, back, left, and rifht. Quadrangle, which is immovable, represents materiality. Triangle, being described from the eight trigrams, means the movements of the process of 'mutual inclusion' of Circle and Quadrangle. Triangle also means the process of harmonizing human beings with natural law.