• 한국IT서비스학회지
• /
• 제16권1호
• /
• pp.73-82
• /
• 2017

Recently in-memory data stream processing has been actively applied to various subjects such as query processing, OLAP, data mining, i.e., frequent item sets, association rules, clustering. However, finding regular periodic patterns of events in an infinite data stream gets less attention. Most researches about finding periods use autocorrelation functions to find certain changes in periodic patterns, not period itself. And they usually find periodic patterns in time-series databases, not in data streams. Literally a period means the length or era of time that some phenomenon recur in a certain time interval. However in real applications a data set indeed evolves with tiny differences as time elapses. This kind of a period is called as a pseudo-period. This paper proposes a new scheme called FPMH (Finding Periods using Multiple Hash functions) algorithm to find such a set of pseudo-periods over a data stream based on multiple hash functions. According to the type of pseudo period, this paper categorizes FPMH into three, FPMH-E, FPMH-PC, FPMH-PP. To maximize the performance of the algorithm in the data stream environment and to keep most recent periodic patterns in memory, we applied decay mechanism to FPMH algorithms. FPMH algorithm minimizes the usage of memory as well as processing time with acceptable accuracy.

• 정보처리학회논문지D
• /
• 제12D권3호
• /
• pp.335-344
• /
• 2005

근래들어 구성 요소가 빠른 속도로 지속적으로 발생되는 무한 집합으로 정의되는 데이터 스트림에 대한 개방 데이터 마이닝 방법들이 활발히 제안되고 있다. 데이터 스트림에 내재된 정보들은 시간 흐름에 따른 변화의 가능성이 매우 높다. 따라서, 이러한 변화를 빠른 시간에 분석할 수 있다면 해당 데이터 스트림에 대한 분석에서 보다 유용한 정보를 제공할 수 있다. 본 논문에서는 개방 데이터 마이닝 환경에서 효율적인 최근 빈발 항목 탐색을 위한 이동 윈도우 기법을 제시한다. 해당 기법에서는 데이터 스트림이 지속적으로 확장되더라도 지연 추가 및 전지 작업을 적용하여 마이닝 수행과정에서의 메모리 사용량이 매우 작게 유지되며, 분석 대상 범위의 데이터 객체들을 반복적으로 탐색하지 않기 때문에 각 시점에서 마이닝 결과를 짧은 시간에 구할 수 있다. 더불어, 해당 방법은 데이터 스트림의 최근 정보에 집중한 분석을 통해 해당 데이터 집합의 변화를 효율적으로 감지할 수 있다.

• 한국정보과학회논문지:데이타베이스
• /
• 제33권1호
• /
• pp.117-128
• /
• 2006

본 논문에서는 무선 방송 환경에서 에너지 효율적인 질의 처리를 위한 XML 데이타 스트리밍 방법을 제안한다. 제안하는 방법은 원본 XML 문서의 데이타를 효과적으로 캡슐화하여 클라이언트에서의 스트림 접근 시간을 단축시킨다. 또한 연관된 데이타들 사이의 주소 정보를 이용하여 서로 다른 방식의 스트림 구조를 제안하고 이들에 대한 이벤트 구동 방식의 스트림 생성 방법과 단순 경로 질의에 대한 처리 알고리즘을 제시한다. 또한 실제 XML 데이타에 대한 실험을 통해 질의 처리 시 튜닝 성능을 크게 향상시킴을 보인다.

• Environmental Engineering Research
• /
• 제16권2호
• /
• pp.69-79
• /
• 2011

Rapid population growth and land use changes have severely degraded streams across the United States. In response, there has been a surge in the number of stream restoration projects, including stream restoration for mitigation purposes. Currently, most projects do not include evaluation and monitoring, which are critical in the success of stream restoration projects. The goal of this study is to review the current status of assessment methodologies and restoration approaches for streams in Virginia, with the aim of assisting the restoration community in making sound decisions. As part of the study, stream restoration projects data from a project in Fairfax County, Virginia was assessed. This review revealed that the stream assessment methodologies currently applied to restoration are visuallybased and do not include biological data collection and/or a method to incorporate watershed information. It was found from the case study that out of the twenty nine restoration projects that had occurred between 1995 and 2003 in Fairfax County, nineteen projects reported bank stabilization as a goal or the only goal, indicating an emphasis on a single physical component rather than on the overall ecological integrity of streams. It also turned out that only seven projects conducted any level of monitoring as part of the restoration, confirming the lack of evaluation and monitoring. However, Fairfax County has recently improved its stream restoration practices by developing and incorporating watershed management plans. This now provides one of the better cases that might be looked upon by stakeholders when planning future stream restoration projects.

• 전자공학회논문지CI
• /
• 제46권3호
• /
• pp.24-33
• /
• 2009

유비쿼터스 센서 네트워크를 통해 수집되는 데이터는 끊임없이 변화하는 스트림 데이터이다. 이 스트림 데이터는 기존의 데이터베이스와는 매우 다른 특성을 가지고 있어서, 이를 저장하고 분석 및 질의 처리하는 방법에 대한 새로운 기법이 필요하며, 이에 대한 연구가 최근에 많은 관심을 끌고 있다. 본 연구에서는 센서 네트워크로부터 끊임없이 들어오는 스트림 데이터를 수집하고 이를 효율적으로 데이터베이스에 저장하는 저장 관리자를 구현하였다. 이 저장 관리자는 무선 센서 환경에서 발생하는 오류에 대한 정제, 반복적으로 센싱되는 동일한 데이터에 대한 축소 기능, 장기간의 스트림 데이터를 경동 시간 구조로 유지하는 기능 등을 제공한다. 또 이 연구에서는, 구현된 저장 관리자를 건물의 온도, 습도, 조도 등을 수집하는 건물 화재 감시 센서네트워크에 적용하여 그 성능을 측정하였다. 실험 결과, 이 저장 관리자는 스트림 데이터의 저장 공간을 현저히 줄이며, 건물 화재 감시를 위한 장기간의 스트림 데이터를 저장하는데 효과적임을 보였다.

• 한국항행학회논문지
• /
• 제6권4호
• /
• pp.290-295
• /
• 2002

MPEG-4 시스템에서의 객체들은 ES(Elementary Stream)로 구성되며 객체기반 코딩을 통하여 각각의 객체들이 독립적으로 운용될 수 있으며 DMIF(Delivery Multimedia Integration Framework)를 통해 전송된다. MPEG-4 시스템에서의 데이터 스트림은 DVB-Data Carousel을 이용하여 전송할 수 있으며, DVB-Data Carousel은 데이터의 반복적인 전송을 통해 서비스의 안정성 및 효율성을 향상시킬 수 있다. 본 논문에서는 MPEG-4 시스템 객체중 일부 데이터 스트림을 DVB-Data Carousel을 이용하여 인공위성을 통해 클라이언트에게 전달하는 시스템에 대하여 다루었다. 또한 위성을 이용할 경우 발생하는 연동지연시간을 줄이기 위해 성능향상서버(Performance Enhancing Proxy server)를 사용하였다.

• 한국멀티미디어학회논문지
• /
• 제12권9호
• /
• pp.1242-1251
• /
• 2009

유비쿼터스 환경에서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)은 수많은 센서로부터 생성되는 대량의 데이터 스트림을 처리한다. 기존의 시스템은 처리 능력 이상의 데이터 스트림이 입력되면 데이터의 일부를 제거하여 적정 부하를 유지하는 부하 제한 기법(Load Shedding)을 사용한다. 부하 제한 기법은 입력되는 데이터의 일부를 의도적으로 손실하여 데이터 완전도(Data Completeness)가 감소하기 때문에 처리 결과의 신뢰도 또한 감소한다. 따라서 본 논문에서는 시스템 처리 능력 이상의 데이터 스트림 입력 시 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법을 제안한다. 제안 기법은 데이터 손실이 예상되는 부하 시점을 미리 예측하고 예측된 부하 시점에 도달 시 부하를 분산하여 데이터 손실을 감소시킨다. 본 논문에서는 기존의 부하 제한 기법과의 비교 실험을 통해 제안 기법의 성능을 평가한다.

• 정보과학회 논문지
• /
• 제42권7호
• /
• pp.840-845
• /
• 2015

최근 빅데이터는 전사적 자원관리 분야뿐만 아니라 해양플랜트내 생산 및 운영 작업 분야에서도 큰 관심을 받고 있다. 이력데이터를 기반으로 미래의 설비에 대한 성능을 예측하는 것은 설비들의 생산성을 향상 시킬 수 있다. 특히 해양플랜트의 주요설비 중 하나인 원심압축기는 고장 시 폭발 할 수 있는 위험한 설비이기 때문에 실시간으로 설비성능을 모니터링 해야 한다. 본 논문에서 원심압축기의 성능을 계산하기 위한 스트림 데이터 처리 구조를 제안한다. 제안하는 시스템은 크게 가상태그 스트림 생성기와 실시간 데이터 스트림 관리자와 같이 두 가지 컴포넌트로 구성된다. 시스템 성능 확장성을 제공하기 위해, 멀티 코어 CPU를 사용하여 대용량 스트림 데이터를 처리할 수 있는 병렬 프로그래밍 접근 방식을 이용하였다. 또한, 실험을 통해 원심압축기의 스트림 데이터 처리에 대한 성능 개선을 보여주었다.

• 한국정보전자통신기술학회논문지
• /
• 제4권2호
• /
• pp.103-110
• /
• 2011

u-Health 시스템의 센서들로부터 측정된 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 센서네트워크에서 대용량의 입력 스트림 데이터 전체를 데이터베이스에 모두 저장하여 한꺼번에 처리하는 것은 효율적이지 못하다. 본 논문에서는 u-Health 시스템 내 센서 네트워크의 에너지 효율성과 정확성을 고려하여 여러 센서에서 지속적으로 들어오는 다차원 스트림 데이터의 처리 성능을 높이고자 한다. 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 질의를 처리하고 Mjoin 방법으로 다중 질의 계획을 수립한 후 역전파 알고리즘을 통해 저장 데이터를 축소하는 효율적인 처리 기법을 제안한다. 14,324개의 데이터 집합을 사용하여 실험한 결과 실제 입력되는 데이터보다 저장 공간의 18.3%를 축소함으로써 효과적임을 보였다.

• Journal of Information Processing Systems
• /
• 제7권4호
• /
• pp.717-732
• /
• 2011

Classification in biomedical applications is an important task that predicts or classifies an outcome based on a given set of input variables such as diagnostic tests or the symptoms of a patient. Traditionally the classification algorithms would have to digest a stationary set of historical data in order to train up a decision-tree model and the learned model could then be used for testing new samples. However, a new breed of classification called stream-based classification can handle continuous data streams, which are ever evolving, unbound, and unstructured, for instance--biosignal live feeds. These emerging algorithms can potentially be used for real-time classification over biosignal data streams like EEG and ECG, etc. This paper presents a pioneer effort that studies the feasibility of classification algorithms for analyzing biosignals in the forms of infinite data streams. First, a performance comparison is made between traditional and stream-based classification. The results show that accuracy declines intermittently for traditional classification due to the requirement of model re-learning as new data arrives. Second, we show by a simulation that biosignal data streams can be processed with a satisfactory level of performance in terms of accuracy, memory requirement, and speed, by using a collection of stream-mining algorithms called Optimized Very Fast Decision Trees. The algorithms can effectively serve as a corner-stone technology for real-time classification in future biomedical applications.