• 제목/요약/키워드: DataStream Analysis

검색결과 907건 처리시간 0.021초

Performance Evaluation and Analysis of Multiple Scenarios of Big Data Stream Computing on Storm Platform

  • Sun, Dawei;Yan, Hongbin;Gao, Shang;Zhou, Zhangbing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권7호
    • /
    • pp.2977-2997
    • /
    • 2018
  • In big data era, fresh data grows rapidly every day. More than 30,000 gigabytes of data are created every second and the rate is accelerating. Many organizations rely heavily on real time streaming, while big data stream computing helps them spot opportunities and risks from real time big data. Storm, one of the most common online stream computing platforms, has been used for big data stream computing, with response time ranging from milliseconds to sub-seconds. The performance of Storm plays a crucial role in different application scenarios, however, few studies were conducted to evaluate the performance of Storm. In this paper, we investigate the performance of Storm under different application scenarios. Our experimental results show that throughput and latency of Storm are greatly affected by the number of instances of each vertex in task topology, and the number of available resources in data center. The fault-tolerant mechanism of Storm works well in most big data stream computing environments. As a result, it is suggested that a dynamic topology, an elastic scheduling framework, and a memory based fault-tolerant mechanism are necessary for providing high throughput and low latency services on Storm platform.

GIS를 이용한 건천화 하천의 특성분석 (Analysis of Drying Streams Characteristics Using a GIS)

  • 정관수;조효섭;김정엽;심명필
    • 한국수자원학회논문집
    • /
    • 제36권6호
    • /
    • pp.1083-1095
    • /
    • 2003
  • 중소하천의 건천화 원인분석 기술개발을 위해 500여개 하천에 대하여 19개 조사항목으로 현장조사를 통해 취득된 조사자료를 기반으로 건천화 하천특성을 분석하였고, 현지조사 대상 하천 중에서 가용할 수 있는 수문자료의 확보여부, 하천의 연장 및 유역면적, 지역별 특성에 대한 선정기준을 수립하여 최종적으로 8개의 대상하천을 선정하였다. 선정된 8개하천에 대하여 현장의 상세조사를 수행하였고, 하천 시설물 및 수문자료가 비교적 잘 구축된 5개 하천을 중심으로 GIS를 이용하여 건천화 하천의 특성을 분석하였다. GIS의 공간분석은 건천화 하천의 구간에 대한 경사분석, 하천의 시설물정보와 하천의 유심선을 중심으로 공간영역분석을 통하여 하천내 유수를 사용하기 위한 이수시설물이 하천에 주는 영향권분석, 건천화 하천의 사행도를 분석하였다. 본 연구 결과 500여개의 현지조사를 통한 건천화 하천의 특성은 대부분이 토사 및 자연제방, 하천단면은 사다리꼴, 사행하천, 하상재료는 자갈 및 모래, 하천시설물은 대부분이 보가 많이 존재하는 특성을 보여줬다. 또한 GIS를 이용한 공간분석결과 보가 있는 위치에서 하천의 상하류의 경사분포는 보에 가까운 경우 하류쪽의 경사가 심하고, 보에서 멀수록 상류쪽 기복이 심한 것으로 나타났다. 건천화 하천구간내 대부분의 관정은 하천중심선으로부터 반경 500m이내에 존재하였으며, 각 건천화 하천의 평균 사행도는 최소 1.229∼최대 1.475로서 비교적 사행도가 심한 것으로 나타났다.

개방 데이터 마이닝에 효율적인 이동 윈도우 기법 (A Sliding Window Technique for Open Data Mining over Data Streams)

  • 장중혁;이원석
    • 정보처리학회논문지D
    • /
    • 제12D권3호
    • /
    • pp.335-344
    • /
    • 2005
  • 근래들어 구성 요소가 빠른 속도로 지속적으로 발생되는 무한 집합으로 정의되는 데이터 스트림에 대한 개방 데이터 마이닝 방법들이 활발히 제안되고 있다. 데이터 스트림에 내재된 정보들은 시간 흐름에 따른 변화의 가능성이 매우 높다. 따라서, 이러한 변화를 빠른 시간에 분석할 수 있다면 해당 데이터 스트림에 대한 분석에서 보다 유용한 정보를 제공할 수 있다. 본 논문에서는 개방 데이터 마이닝 환경에서 효율적인 최근 빈발 항목 탐색을 위한 이동 윈도우 기법을 제시한다. 해당 기법에서는 데이터 스트림이 지속적으로 확장되더라도 지연 추가 및 전지 작업을 적용하여 마이닝 수행과정에서의 메모리 사용량이 매우 작게 유지되며, 분석 대상 범위의 데이터 객체들을 반복적으로 탐색하지 않기 때문에 각 시점에서 마이닝 결과를 짧은 시간에 구할 수 있다. 더불어, 해당 방법은 데이터 스트림의 최근 정보에 집중한 분석을 통해 해당 데이터 집합의 변화를 효율적으로 감지할 수 있다.

자연 친화적인 하천 정비사업의 평가방법에 관한 연구 (A Study on the Evaluation Method of Close-to-Nature Stream Improvement Works)

  • 김석규;김철
    • 한국수자원학회논문집
    • /
    • 제40권7호
    • /
    • pp.503-510
    • /
    • 2007
  • 현재 하천정비는 하천생태계에 초점을 맞추고 자연하천에 근접할 수 있는 공법을 사용하는 자연 친화적인 하천정비가 비약적으로 늘어나고 있다. 하지만 자연 친화적인 하천정비는 아직까지 많은 기술이 축적되지 않아 어떤 공법이 하천환경에 적합한 공법인지가 확립되어 있지 않은 상태이다. 또한, 값비싼 공법을 적용하여 하천을 자연 친화적으로 정비하였다. 하더라도 하천정비에 대한 종합적인 평가방법이 확립되어있지 않아 자연 친화적 하천정비에 대한 타당성을 객관화하지 못하고 있다. 따라서 하천환경기능을 포함한 종합적이고 다양한 평가방법을 개발하여 정비하천에 대한 평가를 수행할 필요가 있다. 본 연구에서는 자연 친화적으로 정비된 하천에 대해 정비의 타당성과 효율성을 평가하는 평가방법에 대해 연구하였다. 전라북도 순창읍에 있는 경천을 대상으로 2000년${\sim}$2000년 월별로 모니터링을 수행하여 자료를 수집하였으며, 수집된 자료를 분석하여 하천환경기능을 종합적으로 고려할 수 있는 방법으로서 하천자연도 평가, 전 과정 평가, 어메니티 평가, 경제적 편익 평가 등의 평가방법을 개발하였다. 본 연구에서 개발한 4가지의 평가방법은 하천정비사업의 종합적이고 정량적인 평가를 수행할 수 있는 방법으로 판단된다. 하지만 하나의 하천을 대상으로 개발된 방법을 적용하였기 때문에 차후 각 하천마다 갖는 특성을 고려하여 하천정비의 평가방법이 요구된다.

다차원 스트림 데이터의 연관 규칙 탐사 기법 (Mining Association Rules in Multidimensional Stream Data)

  • 김대인;박준;김홍기;황부현
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.765-774
    • /
    • 2006
  • 연관 규칙 탐사는 데이터베이스를 분석하여 잠재되어 있는 지식을 발견하기 위한 기법으로 스트림 데이터 시스템에서 연관 규칙 탐사에 대한 연구가 활발하게 진행되고 있다. 그러나 대부분의 연구들은 센서에서 수집되는 단일 스트림 데이터에 관한 것이며 다차원 스트림 데이터간의 연관 정보는 간과하고 있다. 본 논문에서는 다차원 스트림 데이터간의 연관 규칙을 탐사할 수 있는 AR-MS 방법을 제안한다. AR-MS 방법은 한 번의 데이터 스캔으로 연관 규칙 탐사에 필요한 요약 정보를 구축함으로써 스트림 데이터의 특성을 반영하며, 자주 발생하지는 않지만 특정 이벤트와 빈번하게 발생하는 의미 있는 희소 항목 집합에 대한 연관 규칙을 탐사할 수 있다. 또한 AR-MS 방법은 구축된 요약 정보를 사용하여 다차원 스트림 데이터간의 최대 빈발 항목 집합에 대한 연관 규칙도 탐사한다. 그리고 다양한 실험을 통하여 제안하는 방법이 기존의 방법들에 비하여 우수함을 확인하였다.

Uncertainty quantification of PWR spent fuel due to nuclear data and modeling parameters

  • Ebiwonjumi, Bamidele;Kong, Chidong;Zhang, Peng;Cherezov, Alexey;Lee, Deokjung
    • Nuclear Engineering and Technology
    • /
    • 제53권3호
    • /
    • pp.715-731
    • /
    • 2021
  • Uncertainties are calculated for pressurized water reactor (PWR) spent nuclear fuel (SNF) characteristics. The deterministic code STREAM is currently being used as an SNF analysis tool to obtain isotopic inventory, radioactivity, decay heat, neutron and gamma source strengths. The SNF analysis capability of STREAM was recently validated. However, the uncertainty analysis is yet to be conducted. To estimate the uncertainty due to nuclear data, STREAM is used to perturb nuclear cross section (XS) and resonance integral (RI) libraries produced by NJOY99. The perturbation of XS and RI involves the stochastic sampling of ENDF/B-VII.1 covariance data. To estimate the uncertainty due to modeling parameters (fuel design and irradiation history), surrogate models are built based on polynomial chaos expansion (PCE) and variance-based sensitivity indices (i.e., Sobol' indices) are employed to perform global sensitivity analysis (GSA). The calculation results indicate that uncertainty of SNF due to modeling parameters are also very important and as a result can contribute significantly to the difference of uncertainties due to nuclear data and modeling parameters. In addition, the surrogate model offers a computationally efficient approach with significantly reduced computation time, to accurately evaluate uncertainties of SNF integral characteristics.

복합형 유역모델 STREAM의 개발(II): 모델의 시험 적용 (Development of a Hybrid Watershed Model STREAM: Test Application of the Model)

  • 조홍래;정의상;구본경
    • 한국물환경학회지
    • /
    • 제31권5호
    • /
    • pp.507-522
    • /
    • 2015
  • In this study, some of the model verification results of STREAM (Spatio-Temporal River-basin Ecohydrology Analysis Model), a newly-developed hybrid watershed model, are presented for the runoff processes of nonpoint source pollution. For verification study of STREAM, the model was applied to a test watershed and a sensitivity analysis was also carried out for selected parameters. STREAM was applied to the Mankyung River Watershed to review the applicability of the model in the course of model calibration and validation against the stream flow discharge, suspended sediment discharge and some water quality items (TOC, TN, TP) measured at the watershed outlet. The model setup, simulation and data I/O modules worked as designed and both of the calibration and validation results showed good agreement between the simulated and the measured data sets: NSE over 0.7 and $R^2$ greater than 0.8. The simulation results also include the spatial distribution of runoff processes and watershed mass balance at the watershed scale. Additionally, the irrigation process of the model was examined in detail at reservoirs and paddy fields.

건천화된 농촌소하천의 시·공간적 수문 수질 특성분석 (Temporal and Spatial Analysis of Hydrology and Water Quality in Small Rural Streams for Stream Depletion Investigation)

  • 이예은;김상민
    • 한국농공학회논문집
    • /
    • 제55권6호
    • /
    • pp.177-186
    • /
    • 2013
  • The purpose of this study was to analyze the temporal and spatial characteristics of the stream flow of small rural streams for investigating the status of stream depletion located downstream of irrigation reservoir. Bonghyun and Hai reservoirs and each downstream were selected for this study. Streamflow was measured for 8 stations downstream from two reservoirs from 2010 to 2012. The water quality samples were collected monthly from the 8 stream stations and 2 reservoir stations from 2011 to 2012. The stream depletion was found in most of the downstream of reservoirs for the non-irrigation period and even in the irrigation period when there were a lot of antecedent precipitation. We found that the stream segments where there were few streamflow, vegetation covers the stream and block the streamflow which makes the stream lost its original function as a stream. Water quality monitoring results of Bonghyun stream indicated that the concentration of SS, Turbidity, TOC, COD were decreased as the stream flows from the reservoir to downstream while the TN and TP were increased. The correlation analysis for water quality data indicated that the correlation between T-N and T-P was high for Bonghyeon and Sukji streams, respectively. Continuous monitoring for rural streams located in downstream of reservoirs are required to quantify the status of stream flow depletion and determine the amount of environmental flows.

데이타 스트림에서 동적 데이타 큐브 (Dynamic Data Cubes Over Data Streams)

  • 서대홍;양우석;이원석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.319-332
    • /
    • 2008
  • OLAP의 다차원 데이타 모델인 데이타 큐브는 많은 다차원 데이타 분석에 성공적으로 적용되었으며, 데이타 스트림 분석에도 적용하려는 많은 연구가 진행되고 있다. 데이타 스트림은 실시간에 지속적으로 방대하게 생성되며, 데이타의 분포적 특성이 빠르게 변한다는 특징을 가지며, 제한된 메모리 및 처리능력 때문에 한번만 검사하여 처리하는 것을 기본으로 한다. 때문에 데이타 스트림을 메모리에 모두 저장하는 것은 불가능하다. 또한 사용자는 모든 속성 값에 대하여 관심을 두기보다는 일정 지지율 이상을 가진 속성 값에 더욱 관심을 가지게 된다. 본 논문에서는 이러한 데이타 스트림 환경에서 데이타 큐브를 효과적으로 적용하기 위한 동적 데이타 큐브를 제안한다. 동적 데이타 큐브는 속성 값의 지지율에 따라 사용자 관심 영역을 지정하고, 속성 값을 동적으로 그룹화하여 관리한다. 이를 통해 메모리 및 처리시간을 절약하게 된다. 또한 동적으로 지지율이 높은 속성에 대한 분석 상세도를 높여주기 때문에 사용자의 관심영역을 효과적으로 보여준다. 마지막으로 실험을 통하여 제한된 메모리에서 동적 데이타 큐브가 효율적으로 동작함을 검증하였다.

TIM: A Trapdoor Hash Function-based Authentication Mechanism for Streaming Applications

  • Seo, Seog Chung;Youn, Taek-Young
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권6호
    • /
    • pp.2922-2945
    • /
    • 2018
  • Achieving efficient authentication is a crucial issue for stream data commonly seen in content delivery, peer-to-peer, and multicast/broadcast networks. Stream authentication mechanisms need to be operated efficiently at both sender-side and receiver-side at the same time because of the properties of stream data such as real-time and delay-sensitivity. Until now, many stream authentication mechanisms have been proposed, but they are not efficient enough to be used in stream applications where the efficiency for sender and receiver sides are required simultaneously since most of them could achieve one of either sender-side and receiver-side efficiency. In this paper, we propose an efficient stream authentication mechanism, so called TIM, by integrating Trapdoor Hash Function and Merkle Hash Tree. Our construction can support efficient streaming data processing at both sender-side and receiver-side at the same time differently from previously proposed other schemes. Through theoretical and experimental analysis, we show that TIM can provide enhanced performance at both sender and receiver sides compared with existing mechanisms. Furthermore, TIM provides an important feature for streaming authentication, the resilience against transmission loss, since each data block can be verified with authentication information contained in itself.