• Title/Summary/Keyword: 시퀀스 데이터베이스

Search Result 83, Processing Time 0.034 seconds

The Performance Bottleneck of Subsequence Matching in Time-Series Databases: Observation, Solution, and Performance Evaluation (시계열 데이타베이스에서 서브시퀀스 매칭의 성능 병목 : 관찰, 해결 방안, 성능 평가)

  • 김상욱
    • Journal of KIISE:Databases
    • /
    • v.30 no.4
    • /
    • pp.381-396
    • /
    • 2003
  • Subsequence matching is an operation that finds subsequences whose changing patterns are similar to a given query sequence from time-series databases. This paper points out the performance bottleneck in subsequence matching, and then proposes an effective method that improves the performance of entire subsequence matching significantly by resolving the performance bottleneck. First, we analyze the disk access and CPU processing times required during the index searching and post processing steps through preliminary experiments. Based on their results, we show that the post processing step is the main performance bottleneck in subsequence matching, and them claim that its optimization is a crucial issue overlooked in previous approaches. In order to resolve the performance bottleneck, we propose a simple but quite effective method that processes the post processing step in the optimal way. By rearranging the order of candidate subsequences to be compared with a query sequence, our method completely eliminates the redundancy of disk accesses and CPU processing occurred in the post processing step. We formally prove that our method is optimal and also does not incur any false dismissal. We show the effectiveness of our method by extensive experiments. The results show that our method achieves significant speed-up in the post processing step 3.91 to 9.42 times when using a data set of real-world stock sequences and 4.97 to 5.61 times when using data sets of a large volume of synthetic sequences. Also, the results show that our method reduces the weight of the post processing step in entire subsequence matching from about 90% to less than 70%. This implies that our method successfully resolves th performance bottleneck in subsequence matching. As a result, our method provides excellent performance in entire subsequence matching. The experimental results reveal that it is 3.05 to 5.60 times faster when using a data set of real-world stock sequences and 3.68 to 4.21 times faster when using data sets of a large volume of synthetic sequences compared with the previous one.

Generalization of Window Construction for Subsequence Matching in Time-Series Databases (시계열 데이터베이스에서의 서브시퀀스 매칭을 위한 윈도우 구성의 일반화)

  • Moon, Yang-Sae;Han, Wook-Shin;Whang, Kyu-Young
    • Journal of KIISE:Databases
    • /
    • v.28 no.3
    • /
    • pp.357-372
    • /
    • 2001
  • In this paper, we present the concept of generalization in constructing windows for subsequence matching and propose a new subsequence matching method. GeneralMatch, based on the generalization. The earlier work of Faloutsos et al.(FRM in short) causes a lot of false alarms due to lack of the point-filtering effect. DualMatch, which has been proposed by the authors, improves performance significantly over FRM by exploiting the point filtering effect, but it has the problem of having a smaller maximum window size (half that FRM) given the minimum query length. GeneralMatch, an improvement of DualMatch, offers advantages of both methods: it can use large windows like FRM and, at the same time, can exploit the point-filtering effect like DualMatch. GeneralMatch divides data sequences into J-sliding windows (generalized sliding windows) and the query sequence into J-disjoint windows (generalized disjoint windows). We formally prove that our GeneralMatch is correct, i.e., it incurs no false dismissal. We also prove that, given the minimum query length, there is a maximum bound of the window size to guarantee correctness of GeneralMatch. We then propose a method of determining the value of J that minimizes the number of page accesses, Experimental results for real stock data show that, for low selectivities ($10^{-6}~10^{-4}$), GeneralMatch improves performance by 114% over DualMatch and by 998% iver FRM on the average; for high selectivities ($10^{-6}~10^{-4}$), by 46% over DualMatch and by 65% over FRM on the average.

  • PDF

An Efficient Approach for Single-Pass Mining of Web Traversal Sequences (단일 스캔을 통한 웹 방문 패턴의 탐색 기법)

  • Kim, Nak-Min;Jeong, Byeong-Soo;Ahmed, Chowdhury Farhan
    • Journal of KIISE:Databases
    • /
    • v.37 no.5
    • /
    • pp.221-227
    • /
    • 2010
  • Web access sequence mining can discover the frequently accessed web pages pursued by users. Utility-based web access sequence mining handles non-binary occurrences of web pages and extracts more useful knowledge from web logs. However, the existing utility-based web access sequence mining approach considers web access sequences from the very beginning of web logs and therefore it is not suitable for mining data streams where the volume of data is huge and unbounded. At the same time, it cannot find the recent change of knowledge in data streams adaptively. The existing approach has many other limitations such as considering only forward references of web access sequences, suffers in the level-wise candidate generation-and-test methodology, needs several database scans, etc. In this paper, we propose a new approach for high utility web access sequence mining over data streams with a sliding window method. Our approach can not only handle large-scale data but also efficiently discover the recently generated information from data streams. Moreover, it can solve the other limitations of the existing algorithm over data streams. Extensive performance analyses show that our approach is very efficient and outperforms the existing algorithm.

A study on skip-connection with time-frequency self-attention for improving speech enhancement based on complex-valued spectrum (복소 스펙트럼 기반 음성 향상의 성능 향상을 위한 time-frequency self-attention 기반 skip-connection 기법 연구)

  • Jaehee Jung;Wooil Kim
    • The Journal of the Acoustical Society of Korea
    • /
    • v.42 no.2
    • /
    • pp.94-101
    • /
    • 2023
  • A deep neural network composed of encoders and decoders, such as U-Net, used for speech enhancement, concatenates the encoder to the decoder through skip-connection. Skip-connection helps reconstruct the enhanced spectrum and complement the lost information. The features of the encoder and the decoder connected by the skip-connection are incompatible with each other. In this paper, for complex-valued spectrum based speech enhancement, Self-Attention (SA) method is applied to skip-connection to transform the feature of encoder to be compatible with the features of decoder. SA is a technique in which when generating an output sequence in a sequence-to-sequence tasks the weighted average of input is used to put attention on subsets of input, showing that noise can be effectively eliminated by being applied in speech enhancement. The three models using encoder and decoder features to apply SA to skip-connection are studied. As experimental results using TIMIT database, the proposed methods show improvements in all evaluation metrics compared to the Deep Complex U-Net (DCUNET) with skip-connection only.

Mining Commuter Patterns from Large Smart Card Transaction Databases (대용량 교통카드 트랜잭션 데이터베이스에서 통근 패턴 탐사)

  • Park, Jong-Soo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06a
    • /
    • pp.38-39
    • /
    • 2010
  • 수도권 대중교통 이용자는 2004년 서울시의 대중교통 체계 개편에 따라 교통 카드를 사용하여 버스와 지하철을 이용하게 되었다. 교통 카드를 사용하는 각 승객의 승차와 하차에 관한 데이터가 하나의 트랜잭션으로 구성되고, 하루 천만 건 이상의 트랜잭션들로 구성된 대용량 교통카드 트랜잭션 데이터베이스가 만들어지고 있다. 대중교통을 이용하는 승객들의 승차와 하차에 관한 여러 정보를 담고 있는 교통카드 트랜잭션 데이터베이스에서 유용한 패턴이나 정보를 탐사해내는 연구가 계속 진행되고 있다. 이런 연구 결과는 수도권 대중교통 정책을 입안하는데 중요한 기초 자료가 되고 수도권 승객들에게 대중교통을 보다 잘 이용할 수 있는 정보로 제공된다. 교통카드 이용률은 2006년 79.5%, 2007년 80.3%, 2008년 81.6%로 점차적으로 증가하고 있다. 대용량의 교통카드 트랜잭션 데이터베이스에 대한 연구를 살펴보면 하루 동안의 교통카드 트랜잭션 데이터베이스에서 순차 패턴을 탐사하는 알고리즘을 연구하였고[1], 승객들의 통행 패턴에 대한 분석연구를 확장하여 일 년에 하루씩 2004년에서 2006년까지 3일간의 교통카드 트랜잭션 데이터베이스로부터 승객 시퀀스의 평균 정류장 개수와 환승 횟수 등을 연도별로 비교하였다[2]. 수도권 지하철 시스템의 특성에 관한 연구로는 네트워크 구조 분석이 있었고[3], 승객의 기종점 통행 행렬(Origin-Destination trip matrix)에 의한 승객 흐름의 분포가 멱함수 법칙(power law)임을 보여주는 연구가 있었고[4], 지하철 교통망에서 모든 링크상의 승객들의 흐름을 찾아내는 연구가 있었다[5]. 본 논문에서는 교통카드 트랜잭션 데이터베이스에서 지하철 승객들의 통근 패턴을 탐사해내는 방법을 연구하였다. 수도권 지하철 네트워크에 대한 정보를 입력하고 하루치의 교통카드 트랜잭션 데이터베이스에 연구된 방법을 적용하여 8가지 통근 패턴들을 탐사해내고 분석하였다. 탐사된 패턴들 중에서 많은 승객들이 지지하는 출퇴근 패턴에 대해서는 시간대별로 승객수를 그래프로 보여주었다.

  • PDF

Motion Segmentation based on Modified Hierarchical Block-based Motion Estimation and Contour Extraction (블록 기반 움직임 추정과 윤곽선 추출을 통한 움직임 분할)

  • 장정진;김태용;최종수
    • Proceedings of the IEEK Conference
    • /
    • 2001.09a
    • /
    • pp.333-336
    • /
    • 2001
  • 본 논문에서는 영상 시퀀스 상에서 물체의 가려짐을 고려하여 상대적인 깊이 순서에 의해 정렬되는 계층을 분리하기 위한 새로운 움직임 분할 방법을 제안한다. 블록을 기반으로 한 움직임 추정 및 클러스터링 과정을 통하여 각 계층에 대한 블록영역을 구하고, 이 블록영역에 대하여 윤곽선 추출을 이용하여 각 계층에 대한 정확한 객체를 분리할 수 있다. 이러한 움직임 분할방법을 통한 동영상의 계층적인 표현은 영상에서 원하지 않는 물체, 전경, 배경의 제거나 기존의 영상을 이용한 새로운 영상의 합성에 이용될 수 있으며, 분할을 통해 얻어진 객체는 영상 압축, 영상 합성 등을 위한 데이터베이스에 저장되어 응용될 수 있다.

  • PDF

Shape-Based Subsequence Matching in Time-Series Databases (시계열 데이터베이스에서의 모양 기반 서브시퀀스 매칭)

  • 김태훈;윤지희;김상욱;박상현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.178-180
    • /
    • 2001
  • 모양 기반 검색은 주어진 질의 시퀸스의 요소 값에 상관없이, 모양이 유사한 시퀸스 혹은 부분시퀸스를 찾는 연산이다. 본 논문에서는 시프트, 스케일링, 타임 워핑 등 동일 모양 변환의 다양한 조합을 지원할 수 있는 새로운 모양 기반유사 검색 모델을 제안하고, 효과적인 유사 부분 시퀸스 검색을 위한 인덱싱과 질의 처리 방법을 제안한다. 또한 실세계의 증권데이터를 이용한 다양한 실험 결과에 의하여, 본 방식이 질의 시퀸스와 유사한 모양의 모든 서브시퀸스를 성공적으로 찾는 것은 물론 순차검색 방법과 비교하여 매우 빠른 검색 효율을 가짐을 보인다.

  • PDF

Token Classification for Detecting Modified Profanity (변형된 비속어 탐지를 위한 토큰 분류)

  • Sung-Min Ko;Youhyn Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.498-499
    • /
    • 2023
  • 비속어 탐지 기법으로 주로 사용되는 비속어 데이터베이스 활용 방식 혹은 문장 자체를 혐오, 비혐오로 분류하는 방식은 변형된 비속어 탐지에 어려움이 있다. 본 논문에서는 자연어 처리 태스크 중 하나인 개체명 인식 방법에서 착안하여 시퀀스 레이블링 기반의 비속어 탐지 방법을 제안한다. 한국어 악성 댓글 중 비속어 부분에 대해 레이블링 된 데이터셋을 구축하여 실험을 진행하고, 이를 통해 F1-Score 약 0.88 의 결과를 보인다.

Design and Implementation of Mining System for Audit Data Analysis (감사데이터 분석을 위한 마이닝 시스템 설계 및 구현)

  • 김은희;문호성;신문선;류근호;김기영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.4-6
    • /
    • 2002
  • 네트워크의 광역화와 새로운 공격 유형의 발생으로 침입 탐지 시스템에서 새로운 시퀀스의 추가나 침입탐지 모델 구축의 수동적인 접근부분이 문제가 되고 있다. 특히 기존의 침입탐지 시스템들은 대량의 네트워크 하부구조를 가진 네트워크 정보를 수집 및 분석하는데 있어 각각 전담 시스템들이 담당하고 있다. 따라서 침입탐지 시스템에서 증가하는 많은 양의 감사데이터를 분석하여 다양한 공격 유형들에 대해서 능동적으로 대처할 수 있도록 하는 것이 필요하다. 최근, 침입 탐지 시스템에 데이터 마이닝 기법을 적용하여 능동적인 침입탐지시스템을 구축하고자 하는 연구들이 활발히 이루어지고 있다. 이 논문에서는 대량의 감사 데이터를 정확하고 효율적으로 분석하기 위한 마이닝 시스템을 설계하고 구현한다. 감사데이터는 트랜잭션데이터베이스와는 다른 특성을 가지는 데이터이므로 이를 고려한 마이닝 시스템을 설계하였다. 구현된 마이닝 시스템은 연관규칙 기법을 이용하여 감사데이터 속성간의 연관성을 탐사하고, 빈발 에피소드 기법을 적용하여 주어진 시간 내에서 상호 연관성 있게 발생한 이벤트들을 모음으로써 연속적인 시간간격 내에서 빈번하게 발생하는 사건들의 발견과 알려진 사건에서 시퀀스의 행동을 예측하거나 기술할 수 있는 규칙을 생성한 수 있다. 감사데이터의 마이닝 결과 생성된 규칙들은 능동적인 보안정책을 구축하는데 활용필 수 있다. 또한 데이터양의 감소로 침입 탐지시간을 최소화하는데도 기여한 것이다.

  • PDF

A Tag Response Loss Detection Scheme for RFID Group Proof (RFID 그룹증명을 위한 응답손실 감지기법)

  • Ham, Hyoungmin
    • The Journal of the Korea Contents Association
    • /
    • v.19 no.9
    • /
    • pp.637-645
    • /
    • 2019
  • The RFID group proof is an extension of the yoking proof proving that multiple tags are scanned by a reader simultaneously. Existing group proof schemes provide only delayed tag loss detection which detects loss of tag response in a verification phase. However, delayed tag loss detection is not suitable for real-time applications where tag loss must be detected immediately. In this study, I propose a tag response loss detection scheme which detects loss of tag response in the proof generation process quickly. In the proposed scheme, the tag responds with the sequence number assigned to the tag group, and the reader detects the loss of the tag response through the sequence number. Through an experiment for indistinguishability, I show that the sequence number is secure against an analyzing message attack to distinguish between specific tags and tag groups. In terms of efficiency, the proposed scheme requires fewer transmissions and database operations than existing techniques to determine which tags response is lost.