• 제목/요약/키워드: Data Stream

검색결과 2,512건 처리시간 0.033초

물리 결정 모델링에 의한 충청도 병천천 유역의 하천 유출량 복원과 물 수지 수립 (Restoration of the Stream Runoff by the Physical Deterministic Modeling and Formulation of Water Balance for the Catchment of Byungchun River in Chungcheong Province in Korea)

  • 김만규
    • 한국지형학회지
    • /
    • 제15권2호
    • /
    • pp.37-53
    • /
    • 2008
  • 본 연구는 장기적인 기상 자료(meterological data)와 하천 유출량 자료(stream run off data)의 획득이 가능한 충청도 병천천 유역에 대해 BROOK90 4.4e 물리 결정 물 수지 모델(physical deterministic water balance model)을 사용하여 '병천천 유역의 물 수지 모델'을 수립한 것이다. 모델 조작 매개변수(model fitting parameter)를 교정(calibration)한 비준 모델(validation model)을 가지고 기상 자료(meterological data)가 있지만 하천 유출량 자료(stream runoff data)는 없는 시기에 대한 장기적인 물 수지를 수립하였다. 연구의 결과는 a priori 모의 단계에서 실측 하천 유출량(measured stream runoff data)과 모의 하천 유출량(simulated stream runoff data)이 유사하게 나옴으로써 물 수지 모의 실험(experiment for water balance modeling)이라는 연구 성격으로서 목표하는 첫 번째 기대 수준에 도달하고 있다. 모델 조작 매개변수(model fitting parameter)를 확정하고 수행한 비준 모의(validated simulation)를 통해 과거 9년(1998년 ~ 2006년)의 물 수지가 복원되었다. 이 유역의 지형(geomophology), 식생(vegetation), 토양(soil), 토지이용(land use) 상황이 변하지 않는다면 기상자료(meterological data)만 가지고서 언제나 하천 유출량(stream runoff amount), 토양수량(siol water amount) 그리고 증발산량(evapotranspiration) 등 다양한 수문기후 자료를 생산할 수 있다. 이 연구는 현재 한국의 물 수지(water balance) 수립은 물론이고 과거의 물 수지 복원(water balance reconstruction) 분야에 또 하나 새로운 지평을 열었다. 이러한 연구 결과는 한반도에서의 기후(climate)와 식생(vegetation)의 변화에 따른 미래 물 수지(water balance) 예측 분야에서도 널리 활용할 수 있을 것이다.

Performance Evaluation and Analysis of Multiple Scenarios of Big Data Stream Computing on Storm Platform

  • Sun, Dawei;Yan, Hongbin;Gao, Shang;Zhou, Zhangbing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권7호
    • /
    • pp.2977-2997
    • /
    • 2018
  • In big data era, fresh data grows rapidly every day. More than 30,000 gigabytes of data are created every second and the rate is accelerating. Many organizations rely heavily on real time streaming, while big data stream computing helps them spot opportunities and risks from real time big data. Storm, one of the most common online stream computing platforms, has been used for big data stream computing, with response time ranging from milliseconds to sub-seconds. The performance of Storm plays a crucial role in different application scenarios, however, few studies were conducted to evaluate the performance of Storm. In this paper, we investigate the performance of Storm under different application scenarios. Our experimental results show that throughput and latency of Storm are greatly affected by the number of instances of each vertex in task topology, and the number of available resources in data center. The fault-tolerant mechanism of Storm works well in most big data stream computing environments. As a result, it is suggested that a dynamic topology, an elastic scheduling framework, and a memory based fault-tolerant mechanism are necessary for providing high throughput and low latency services on Storm platform.

데이터 스트림 환경에서 효율적인 빈발 항목 집합 탐사 기법 (A Method for Frequent Itemsets Mining from Data Stream)

  • 서복일;김재인;황부현
    • 정보처리학회논문지D
    • /
    • 제19D권2호
    • /
    • pp.139-146
    • /
    • 2012
  • 데이터 마이닝은 다양한 분야에서 축적된 데이터로부터 필요한 지식을 탐사하기 위하여 널리 이용되고 있다. 연관규칙을 탐사하기 위하여 이벤트의 빈발 횟수에 기반을 둔 많은 방법들이 존재하지만, 이들은 이벤트가 연속적으로 발생하는 스트림 환경에는 적합하지 않다. 또한 실시간으로 연관규칙을 탐사해야 하는 스트림 환경에 적용하기에는 많은 비용이 든다. 이 논문에서는 스트림 환경에서 연관규칙을 탐사하기 위한 새로운 방법을 제안한다. 제안하는 방법은 데이터 스트림에서 목적 이벤트의 발생 간격에 따른 가변 윈도우로부터 이벤트의 존재 유무에 근거한 COBJ(Count object) 계산법을 이용하여 데이터 항목을 추출한다. 추출된 데이터는 FPMDSTN(Frequent Pattern Mining over Data Stream using Terminal Node) 알고리즘을 통해 실시간으로 연관규칙을 탐사한다. 실험 결과를 통해 제안하는 방법이 기존의 방법에 비해 스트림 환경에 효율적임을 보인다.

Exon-Intron이론을 활용한 상황중심 데이터 스트림 분할 방안 (A Novel Way of Context-Oriented Data Stream Segmentation using Exon-Intron Theory)

  • 이승훈;서동혁
    • 한국전자통신학회논문지
    • /
    • 제16권5호
    • /
    • pp.799-806
    • /
    • 2021
  • 사물인터넷 환경에서는 센서로부터의 이벤트 데이터가 시간의 흐름에 따라 지속적으로 보고된다. 이러한 추세로 입수되는 이벤트 데이터는 무한정 쌓이게 되므로 데이터의 효율적인 분석과 관리를 위한 방안이 필요하다. 본 연구에서는 지속적으로 보고되어 유입되는 센서로부터의 이벤트 데이터에 대하여 효과적인 선택과 활용을 뒷받침 할 수 있도록 하는 데이터 스트림 분할 방안을 제안하였다. 분석 처리를 시작할 지점을 식별하기 위한 식별자를 선정하도록 하였다. 이러한 식별자의 역할을 존치시킴으로써 분석할 대상을 명확하게 할 수 있으며 데이터 처리량을 감소시킬 수 있다. 본 연구에서 제안하는 스트림 분할을 위한 식별자는 각 스트림의 이벤트 발생을 기준으로 하기에 의미 중심의 데이터 스트림 분할 방안이라고 할 수 있다. 스트림 처리에서의 식별자의 존재는 대용량의 지속적인 데이터 유입환경에서 효율성을 제공하고 비용을 저감하는 측면에서 유용하다고 할 수 있다.

시계열 스트림 데이터 상에서 핸드헬드 디바이스를 위한 효율적인 스트림 시퀀스 매칭 알고리즘 (Efficient Stream Sequence Matching Algorithms for Handheld Devices over Time-Series Stream Data)

  • 문양세;노웅기
    • 한국통신학회논문지
    • /
    • 제31권8B호
    • /
    • pp.736-744
    • /
    • 2006
  • 핸드헬드 디바이스의 경우, 반복 작업에 대한 CPU 연산 최소화가 성능에 중요한 요소이다. 본 논문에서는 주식 데이터, 네트워크 트래픽, 센서 데이터 등의 시계열 스트림 데이터 상에서 유사 시퀀스를 효율적으로 찾아내는 핸드헬드 디바이스용 알고리즘을 제시한다. 이를 위하여, 우선 시계열 스트림 데이터 상에서 유사 시퀀스를 찾아내는 문제를 스트림 시퀀스 매칭(stream sequence matching)으로 정형적으로 정의한다. 다음으로, 기존의 서브시퀀스 매칭에서 사용했던 윈도우 구성법을 적용하여, 스트림 시퀀스 매칭을 효율적으로 처리하는 윈도우 기반 접근법을 제안한다. 그리고 이러한 윈도우 기반 접근법을 가능하게 하는 윈도우 MBR(window MBR) 개념을 제시하고, 이 개념을 사용하면 스트림 시퀀스 매칭을 정확하게 수행할 수 있음을 증명한다. 또한, 윈도우 기반 접근법에 기반한 두 가지 스트림 시퀀스 매칭 알고리즘을 제안한다. 마지막으로, 분석과 실험을 통해 제안한 알고리즘이 단순 접근법에 비해 CPU 연산을 크게 줄이고 성능을 향상시킴을 보인다. 이 같은 결과를 볼 때, 제안한 방법은 CPU 연산 능력이 부족한 핸드헬드 디바이스의 내장형 알고리즘으로 매우 적합하다고 사료된다.

DESIGN OF A CONTEXT ANALYSIS MODEL ON USN ENVIRONMENT

  • Jin, Cheng-Hao;Lee, Yong-Mi;Nam, Kwang-Woo;Lee, Jun-Wook;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2008년도 International Symposium on Remote Sensing
    • /
    • pp.122-125
    • /
    • 2008
  • Sensors used in many USN (Ubiquitous Sensor Network) domain applications generate a large amount of sensor stream data. The volume of sensor stream data is too huge to store the whole data and data speed is too fast to control each of them. In order to provide rapid and reliable context analysis service over sensor stream data, we propose a WHEN-DO context analysis model that supports the functionality of sliding window. This model is designed to be used as follows: If the sensor stream data satisfies condition in 'WHEN' clause, then it will execute actions in 'DO' clause in WHEN-DO context analysis model. The proposed WHEN-DO context analysis model can be applied to many other USN environment applications such as monitoring the status of a building and then taking actions in corresponding context condition.

  • PDF

열추적자를 이용한 지하수-하천수 혼합대 연구

  • 김구영;전철민;김태희;성현정;오준호;김용제;정재훈;박승기
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2006년도 총회 및 춘계학술발표회
    • /
    • pp.277-281
    • /
    • 2006
  • A study on stream-groundwater exchange was performed using head and temperature data of stream water, streambed, and groundwater. Groundwater level and temperature were obtained from multi-depth monitoring wells in small-scale watershed. In the summer time, time series of temperatrue data at streambed and groundwater were monitored for three months. In the winter time, we measured the temperature gradient between stream water and streambed. The observed data showed three typical types of temperature characteristics. First, the temperature of streambed was lower than that of stream water; second, the temperature of streambed and stream water was similar; and last, the temperature of streambed was higher than that of stream water. The interconnections between the stream and the streambed were not homogeneously distributed due to weakly developed sediments and heterogeneous bedrock exposed as bed of the stream. The temperature data may be used in formal solutions of the inverse problems to estimate groundwater flow and hydraulic conductivity.

  • PDF

전진적 단계 알고리즘을 이용한 대용량 데이터와 순차적 배치 데이터의 분류 (Classification of large-scale data and data batch stream with forward stagewise algorithm)

  • 윤영주
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권6호
    • /
    • pp.1283-1291
    • /
    • 2014
  • 본 논문에서는 대용량이거나 시간에 따라 순차적으로 들어오는 데이터의 분류를 위한 전진적 단계 알고리즘을 제안한다. Adaboost 알고리즘은 노이즈가 있는 데이터에 대하여 성능이 떨어지는 것으로 알려져 있다. 이를 해결하기 위한 한 가지 방법으로 전진적 단계 선형 회귀 방법을 사용한다. 대용량 데이터나 순차적 배치 데이터의 경우에도 이러한 상황을 극복하기 위해 전진적 단계 알고리즘 방법을 적용한 방법을 제안한다. 모의실험과 실제 자료 분석을 통해 제안된 알고리즘이 좋은 성능을 보임을 알 수 있었다.

WT-Heuristics: 스트림 데이터 환경에서의 효율적인 필터 연산자 순서화 기법 (WT-Heuristics: An Efficient Filter Operator Ordering Technology in Stream Data Environments)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권2호
    • /
    • pp.163-170
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리 (stream data processing) 와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 본 논문에서는 시간에 따라서 예측할 수 없게 특성이 바뀌는 데이터 스트림에 대한 처리에 대하여 다룬다. 특별히, 본 논문에서는 스트림 데이터에 대한 질의문을 구성하는 연산자들 간의 효율적인 수행 순서 생성 기법인 WT-Heuristics를 제안한다. WT-Heuristics 기법은 연산 실행 순서에서 인접한 두 연산자들의 연산 순서만을 고려함으로써 효율적으로 연산자 순서를 결정할 수 있다. 또한 본 논문에서 제안하는 방법은 시스템의 부담을 적게 주면서도 데이터의 변화에 따라 수행 순서를 변화시킨다.

QUISIS: Interval Skip List를 활용한 질의 색인 기법 (QUISIS: A Query Index Method Using Interval Skip List)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권3호
    • /
    • pp.297-304
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리(stream data processing)와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 스트림 데이터 환경에서는 복수 개의 질의들이 미리 등록되고 후에 도착되는 데이터는 등록된 질의들에 의하여 평가된다. 따라서 질의 성능을 향상시키기 위하여, 스트림 데이터 처리 시스템을 위한 다양한 연속성 질의 색인 방법들이 제안되었다. 본 논문에서는 스트림 데이터를 위한 질의 색인에 대하여 다룬다. 일반적으로, 스트림 질의는 간격 조건식을 포함하고 있다. 따라서, 간격 조건식을 이용하여, 질의들을 색인화할 수 있다. 이 논문에서, 탐색 속도를 향상시키기 위하여, Interval Skip List를 수정한 효율적인 질의 색인 방법, QUISIS를 제안한다. QUISIS는 최근 데이터 값이 근 미래에 도착하는 값과 비슷하다는 지역성을 활용한다. 성능 평가를 통하여, 본 논문에서 제안하는 기법의 효율성을 보인다.