• 제목/요약/키워드: time-series databases

검색결과 86건 처리시간 0.116초

시계열 데이타베이스에서 서브시퀀스 매칭의 성능 병목 : 관찰, 해결 방안, 성능 평가 (The Performance Bottleneck of Subsequence Matching in Time-Series Databases: Observation, Solution, and Performance Evaluation)

  • 김상욱
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권4호
    • /
    • pp.381-396
    • /
    • 2003
  • 서브시퀀스 매칭은 주어진 질의 시퀀스와 변화의 추세가 유사한 서브시퀀스들을 시계열 데이타베이스로부터 검색하는 연산이다. 본 논문에서는 서브시퀀스 매칭 처리의 성능 병목을 파악하고, 이를 해결함으로써 전체 서브시퀀스 매칭의 성능을 크게 개선하는 방안에 관하여 논의한다. 먼저, 사전 실험을 통하여 전체 서브시퀀스 매칭의 처리 시간 중 인덱스 검색 단계와 후처리 단계에서 디스크 액세스 시간 및 CPU 처리 시간이 차지하는 비중을 분석한다. 이를 바탕으로 후처리 단계가 서브시퀀스 매칭의 성능 병목이며, 후처리 단계의 최적화가 기존의 서브시퀀스 매칭 기법들이 간과한 매우 중요한 이슈임을 지적한다. 이러한 서브시퀀스 매칭의 성능 병목을 해결하기 위하여 후처리 단계를 최적으로 처리할 수 있는 간단하면서도 매우 효과적인 기법을 제안한다. 제안된 기법은 후처리 단계에서 후보 서브시퀀스들이 질의 시퀀스와 실제로 유사한가를 판단하는 순서를 조정함으로써 기존의 후처리 단계의 처리에서 발생하는 많은 디스크 액세스의 중복과 CPU 처리의 중복을 완전히 제거한 수 있다 제안된 기법이 착오 기각을 발생시키지 않음과 후처리 단계를 처리하기 위한 최적의 기법임을 이론적으로 증명한다. 또한, 실제 데이타와 생성 데이타를 이용한 다양한 실험들을 통하여 제안된 기법의 성능 개선 효과를 정량적으로 검증한다. 실험 결과에 의하면, 제안된 기법은 기존 기법의 후처리 단계 수행 시간을 실제 주식 데이타를 이용한 실험의 경우 ,3.91 배에서 9.42배까지, 대규모의 생성 데이터를 이용한 실험의 경우 4.97 배에서 5.61배까지 개선시키는 것으로 나타났다. 또한, 제안된 기법을 채택함으로써 전체 서브시퀀스 매칭 처리 시간의 90%에 이르던 후처리 단계의 비중을 70%이하로 내릴 수 있었다. 이것은 제안된 기법이 서브시퀀스 매칭의 성능 병목을 성공적으로 해결하였음을 보여주는 것이다. 이 견과, 제안된 기법은 전체 서브시퀀tm 매칭의 성능을 실제 주식 데이타를 사용한 실험의 경우 3.05 배에서 5.60 배까지, 대규모의 생성 데이타를 이용한 실험의 경우 3.68 배에서 4.21 배까지 개선시킬 수 있었다.

다중 해시함수 기반 데이터 스트림에서의 아이템 의사 주기 탐사 기법 (Finding Pseudo Periods over Data Streams based on Multiple Hash Functions)

  • 이학주;김재완;이원석
    • 한국IT서비스학회지
    • /
    • 제16권1호
    • /
    • pp.73-82
    • /
    • 2017
  • Recently in-memory data stream processing has been actively applied to various subjects such as query processing, OLAP, data mining, i.e., frequent item sets, association rules, clustering. However, finding regular periodic patterns of events in an infinite data stream gets less attention. Most researches about finding periods use autocorrelation functions to find certain changes in periodic patterns, not period itself. And they usually find periodic patterns in time-series databases, not in data streams. Literally a period means the length or era of time that some phenomenon recur in a certain time interval. However in real applications a data set indeed evolves with tiny differences as time elapses. This kind of a period is called as a pseudo-period. This paper proposes a new scheme called FPMH (Finding Periods using Multiple Hash functions) algorithm to find such a set of pseudo-periods over a data stream based on multiple hash functions. According to the type of pseudo period, this paper categorizes FPMH into three, FPMH-E, FPMH-PC, FPMH-PP. To maximize the performance of the algorithm in the data stream environment and to keep most recent periodic patterns in memory, we applied decay mechanism to FPMH algorithms. FPMH algorithm minimizes the usage of memory as well as processing time with acceptable accuracy.

GIS기반 실시간 도시용수 관리시스템 구현에 관한 연구 (A Research on the Development of a GIS-based Real-time Urban Water Management System)

  • 김성훈;김의명;임용민
    • 한국산학기술학회논문지
    • /
    • 제12권11호
    • /
    • pp.5290-5299
    • /
    • 2011
  • 본 연구의 궁극적인 목적은 물의 효율적 공급과 관리를 위한 한 방안을 제시하는데 있다. 그 총체적 접근의 일환으로, 전체 물 순환 중 도시용수를 대상으로 각 사용테마(주거, 상업, 공업 등)별 수요예측모형을 개발하고 개발된 모델을 적용한 GIS기반 정보시스템 구현방안을 제시하는데 본 논문의 목적이 있다. 이를 위해 적절한 연구대상지의 평가 및 선정, 테마별 센서의 설치위치 및 종류 선정, 센서를 포함한 무선통신인프라 및 현장서버의 설치가 이루어졌다. 그리고 통신프로토콜과 실시간 데이터 모니터링시스템이 개발되었다. 다음으로 도시용수 및 관련시설 데이터의 GIS DB화 과정이 수행되었으며, 용수시설 및 실시간 모니터링된 유량 데이터를 활용할 GIS기반 관리시스템이 설계되고 구현 청사진이 제시된다.

신 패러다임 맵 구현을 위한 프레임워크 설계 (Design of Framework for Implementation of the New Paradigm Map)

  • 김선우;양광호;박기식;박주영;나인호
    • 한국콘텐츠학회논문지
    • /
    • 제15권3호
    • /
    • pp.32-39
    • /
    • 2015
  • 본 논문에서는 첨단 ICT기반의 다양한 기술들을 이용하여 미래형 지도에 대해 제안한다. 미래형 지도는 현실세계에 존재하는 유무형의 사실과 현상에 대한 이해와 해석을 통하여 다양한 형식으로 결과를 표현하고 사용자 참여형의 새로운 모습으로 발전될 것으로 전망되고 있다. 향후 지도는 경제, 산업, 일상생활에 필요한 정보의 수집, 처리, 활용, 분석, 배포 및 공유가 실시간으로 이루어지는 새로운 패러다임을 지향하는 지도 형태로 발전할 것으로 예상된다. 이러한 관점으로 본 논문에서는 지도, 데이터베이스, 공간분석의 개념을 기반으로 현실공간의 정보를 디지털화하여 실시간 개인 맞춤형 콘텐츠를 제공하고, 시계열 데이터의 표현을 특징으로 하여 사회, 경제, 문화 등 모든 분야의 거시 현상을 분석 및 예측하여, 미래창조경제를 선도할 수 있는 '신 패러다임 맵'에 대한 개념을 정립하고 그에 따른 핵심 기술들을 기술한다.

자동 부품 정렬기 응용계획과 전용 DB 설계 (Planning of Part Feeder and Design of a Data Base for Part Feeder Planning System)

  • 국금환;박용택
    • 한국정밀공학회지
    • /
    • 제19권7호
    • /
    • pp.116-124
    • /
    • 2002
  • The planning of part feeder and other manufacturing automation equipments is almost always underestimated. Planning ahead for those crucial pitfalls can permit steps to take to minimize heir impacts, especially if the problems can be discovered in the planning phase, not on the shop floor. Planning process is an engineering process, namely a series of trade-offs. The effective trade-offs in the shortest amount of time can be possible with the help of a computer-aided ngineering (CAE) technique. The main parts of CAE fur part feeder are database system of fabricated workpiece parts, part feeders, part feeder components. In this study, a planning process of part feeder is presented. Especially, a systematic analysis of workpiece parts and part feeders is performed for the design of databases of CAE system.

시계열 데이터베이스와 강결합된 규칙발견 알고리즘 설계와 구현 (Design and Implementation of Rule Discovery Algorithm strongly coupled with Time-series databases)

  • 박인창;김성규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.43-45
    • /
    • 2001
  • 마이닝 시스템은 그 특성에 따라 매우 다른 형태의 구현 방법이 존재한다. 그러므로 마이닝 시스템간 호환성이나 재사용성은 매우 낮다. 본 노문에서는 이 문제를 시계열 데이터베이스를 통한 RDB와 강 결합함으로써 표준화에 대한 문제를 해겨라고자 시도하였다. RDB와의 강 결합은 표준화 문제를 해결함과 더불어 마이닝 시스템에 DBMS의 관련 기술을 이용함으로써 성능을 극대화시킨다. 특히 DBMS의 인텍스 기능을 이용함으로써 마이닝 시스템의 성능 향상을 시도하였다. 본 논문에서는 기존의 순차패턴 탐사의 시간개념 부재, 트랜잭션 데이터베이스 기반구조, 그리고 알고리즘 수행에 있어서 메모리 한계에 따른 문제등의 단점을 지적하고, 이를 수정하고 보완하기 위해서 시간 거리와 패턴 길이의 개념을 확장하였으며 그에 따른 연관규칙의 관련 공식을 수정 보완하여 제안한다. 또한 RDB와의 강 결합되어 기존의 트랜잭션 데이터베이스 구조를 벗어나 시계열 데이터에 보다 쉽게 적용할 수 있는 절차와 알고리즘을 제안한다.

  • PDF

시계열 데이타베이스의 인덱스 보간법을 기반으로 정규화 변환을 지원하는 서브시퀀스 매칭 알고리즘 (An Index-Based Subsequence Matching Algorithm Supporting Normalization Transform in Time-Series Databases)

  • 노웅기;감상욱;황규영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.152-154
    • /
    • 2000
  • 본 논문에서는 시계열 데이터베이스에서 정규화 변환을 지원하는 서브시퀀스 매칭 알고리즘을 제안한다. 정규화 변환은 시계열 데이터간의 절대적인 유클리드 거리에 관계없이, 구성하는 값들의 상대적인 변화 추이가 유사한 패턴을 갖는 시계열 데이터를 검색하는 데에 유용하다. 제안된 알고리즘은 몇 개의 질의 시퀀스 길이에 대해서만 각각 인덱스를 생성한 후, 이를 이용하여 모든 가능한 길이의 질의 시퀀스에 대해서 탐색을 수행한다. 이때, 착오 기각이 발생하지 않음을 증명한다. 본 논문에서는 이와 같이 인덱스가 요구되는 모든 경우 중에서 적당한 간격의 일부에 대해서만 생성된 인덱스를 이용한 탐색 기법을 인덱스 보간법이라 부른다. 질의 시퀀스의 길이 256~512 중 다섯 개의 길이에 대해 인덱스를 생성하여 실험한 결과, 탐색 결과를 선택률이 10-5일 때 제안된 알고리즘의 탐색 성능이 순차 검색에 비하여 평균 14.6배 개선되었다.

  • PDF

시퀀스 데이타들 간의 관계성에 기반한 유사 검색 기법 (Association Based Similarity Search in Time Series Databases)

  • 강성구;이석호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.52-54
    • /
    • 2005
  • 시퀀스 데이타는 크기를 가지는 일련의 값들로 이루어져 있어 일반적인 상품 데이타와는 달리 서로간의 관계성을 파악하기가 어려운 것으로 알려져 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 관계성을 보이는 시퀀스를 유사 시퀀스로 검색해 내는 기법을 제안한다. 이를 위해 유클리드 거리만으로 유사도가 결정되던 기존의 유사 검색을 변형하여 시퀀스의 상대적 위치와 형태를 고려한 시퀀스의 변화율을 척도로 사용하였으며 고차원이라는 문제를 해결하기 위하여 관계성을 수치로 표현하였다. 또한 본 논문에서는 기존의 하르 웨이블릿을 변형한 기하 웨이블릿을 이용하여 인덱스를 구성하였으며 보정 과정을 통해 기존의 유사 검색 기법으로도 문제가 변형될 수 있음을 보였다.

  • PDF

자동차 가상생산 기술 적용 (II) - 차체공장 가상플랜트 구축 및 운영 (Virtual Manufacturing for an Automotive Company (II) - Constuction and Operation of a Virtual Body Shop)

  • 노상도;홍성원;김덕영;손창영;한형상
    • 산업공학
    • /
    • 제14권2호
    • /
    • pp.127-133
    • /
    • 2001
  • Virtual Manufacturing is a technology facilitating effective development and agile production of products via computer models representing physical and logical schema and the behavior of the real manufacturing systems. For the successful application of this technology, a virtual plant as a well-designed and integrated environment is essential. We propose a series of systematic approaches and effective methods for construction and operation of a virtual plant in this paper, such as a 3-D CAD modeling, cell and line simulations and databases. We developed key technologies for measuring and 3-D CAD modeling of many equipments, facilities and structures of the buildings. In order to study the benefit of virtual manufacturing, we constructed a sophisticated virtual plant model of a Korean automotive company's body shop, and conducted precise simulations of unit cell, lines and the whole plant. We could obtain the benefit of savings in time and cost in many manufacturing preparation activities in the new car development processes.

  • PDF

시계열 데이터베이스를 위한 서브시퀀스 매칭 후처리 과정의 최적화 (Optimizing the Post-Processing Step of Subsequence Matching in Time-Series Databases)

  • 김상욱;박대현;이헌길;정병대;손성용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.39-42
    • /
    • 2001
  • 본 논문에서는 시계열 데이터베이스에서 서브시퀀스 매칭을 효과적으로 처리하는 방안에 관하여 논의한다. 먼저, 서브시퀀스 매칭의 후처리 과정에서 발생하는 기존 기법의 문제점을 지적하고, 이를 해결할 수 있는 최적의 기법을 제안하였다. 제안된 기법은 이진 트리 내에 후보 시퀀스에 대한 정보를 삽입해 둠으로써 같은 시퀀스에 속하는 후보 윈도우들과 같은 서브시퀀스에 속하는 후보 윈도우들을 연속적으로 처리하는 방식을 사용한다. 이 결과, 디스크 액세스와 서브시퀀스 비교의 측면에서 중복 작업을 완전히 제거할 수 있다. 제안된 기법의 성능 개선 효과를 검증하기 위하여 실제 주식 데이터를 위한 성능 평가를 수행하였다. 실험 결과에 의하면, 제안된 기법은 기존의 기법과 비교하여 전체적으로 55배에서 156배까지의 성능 개선 효과가 있는 것으로 나타났다.

  • PDF