• Title/Summary/Keyword: 데이터스트림

Search Result 918, Processing Time 0.03 seconds

Implementation of Ring Buffer based Massive VLBI Data Stream Input/Output over the Wide Area Network (광역 네트워크 상의 링 버퍼 기반 대용량 VLBI 데이터 스트림 입출력 구현)

  • Song, Min-Gyu;Kim, Hyo-Ryung;Kang, Yong-Woo;Je, Do-Heung;Wi, Seog-Oh;Lee, Sung-Mo
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.14 no.6
    • /
    • pp.1109-1120
    • /
    • 2019
  • In the field of VLBI, If the quality of the connected network between the VLBI station and the correlation center is ensured, the existing inefficiency of repeatedly storing the observation data in each station and the correlation center can be overcome. In other words, the data center can be unified with the correlation center where data analysis is performed, which can improve data processing speed and productivity. In this paper, we design a massive VLBI data system that directly transmits and stores the observation data stream obtained from the VLBI station to the correlation center via the high - speed network KREONET. Based on this system, VLBI test observations confirmed that the observation data was stored perfectly in the recording system of the correlation center without a single packet loss.

Adaptive Upstream Backup Scheme based on Throughput Rate in Distributed Spatial Data Stream System (분산 공간 데이터 스트림 시스템에서 연산 처리율 기반의 적응적 업스트림 백업 기법)

  • Jeong, Weonil
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.14 no.10
    • /
    • pp.5156-5161
    • /
    • 2013
  • In distributed spatial data stream processing, processed tuples of downstream nodes are replicated to the upstream node in order to increase the utilization of distributed nodes and to recover the whole system for the case of system failure. However, while the data input rate increases and multiple downstream nodes share the operation result of the upstream node, the data which stores to output queues as a backup can be lost since the deletion operation delay may be occurred by the delay of the tuple processing of upstream node. In this paper, the adaptive upstream backup scheme based on operation throughput in distributed spatial data stream system is proposed. This method can cut down the average load rate of nodes by efficient spatial operation migration as it processes spatial temporal data stream, and it can minimize the data loss by fluid change of backup mode. The experiments show the proposed approach can prevent data loss and can decrease, on average, 20% of CPU utilization by node monitoring.

An Efficient Method for Mining Frequent Patterns based on Weighted Support over Data Streams (데이터 스트림에서 가중치 지지도 기반 빈발 패턴 추출 방법)

  • Kim, Young-Hee;Kim, Won-Young;Kim, Ung-Mo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.10 no.8
    • /
    • pp.1998-2004
    • /
    • 2009
  • Recently, due to technical developments of various storage devices and networks, the amount of data increases rapidly. The large volume of data streams poses unique space and time constraints on the data mining process. The continuous characteristic of streaming data necessitates the use of algorithms that require only one scan over the stream for knowledge discovery. Most of the researches based on the support are concerned with the frequent itemsets, but ignore the infrequent itemsets even if it is crucial. In this paper, we propose an efficient method WSFI-Mine(Weighted Support Frequent Itemsets Mine) to mine all frequent itemsets by one scan from the data stream. This method can discover the closed frequent itemsets using DCT(Data Stream Closed Pattern Tree). We compare the performance of our algorithm with DSM-FI and THUI-Mine, under different minimum supports. As results show that WSFI-Mine not only run significant faster, but also consume less memory.

Continuous Query Modelling for Various Kinds of Monitoring Services for Stream Data (다양한 응용의 스트림 데이터 모니터링을 위한 연속질의 모델링)

  • Cho, Dae-Soo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.15 no.7
    • /
    • pp.1525-1530
    • /
    • 2011
  • Techniques for processing continuous queries are required to developing the various types of application services (monitoring services) in ubiquitous environment where the real-time data acquisition from a lot of sensors, analysis, and processing are required. In the previous works of the continuous queries, they have represented all of the continuous queries as the interval queries or region queries, and proposed some methods for processing theses queries. The types of continuous queries, however, are very various, and could be presented by combining the attribute conditions, spatial conditions, and temporal conditions. In this paper, I have classify the types of continuous queries, and have proposed the continuous query model which could be presented by combining those conditions. The contributions of this paper include that it proposes the query model representing the continuous queries and suggests future research directions.

Hierarchical modulation scheme to assure environmental and adaptive receive of terrestrial 3D HDTV based on SFN (SFN 기반 지상파 3D HDTV의 환경 적응적 수신을 보장하기 위한 계층변조 기법)

  • Shin, Dong-Chul;Kim, Jae-Kil;Lee, Je-Won;Lee, Sung-Yoon;Ahn, Jae-Min
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2011.07a
    • /
    • pp.130-132
    • /
    • 2011
  • 본 논문은 지상파 방송망 내 전계강도가 낮은 지역에 최소한의 데이터 전송률을 보장하기 위한 계층변조와 다중경로 채널 극복 및 수신 성능 향상을 위한 다중 안테나 수신기법을 SFN에 적용하여 제안하였다. 계층변조는 기존의 데이터 스트림에 부가적인 데이터 스트림을 삽입함에 따라 지상파 3D HDTV 방송 서비스는 더 많은 유효 전송률을 확보하고 고품질 비디오 서비스를 제공할 수 있었다. 그러나 기본 서비스의 품질을 유지하면서 부가적인 서비스의 품질을 보장하기 위한 대책이 필요하다. 그래서 송, 수신 안테나의 이득을 올리기 위해 다중 안테나 사용 방식을 채용하고, 그 수신 성능을 다중 안테나 위치에 따라 비교해 보았다. 그 결과, 수신 안테나가 한 쪽의 송신 안테나에 가까워질수록 실질적인 SNR이 증가하여 BER 성능이 향상되는 것을 확인하였다.

  • PDF

Efficient Processing of an Aggregate Query Stream in MapReduce (맵리듀스에서 집계 질의 스트림의 효율적인 처리 기법)

  • Choi, Hyunjean;Lee, Ki Yong
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.3 no.2
    • /
    • pp.73-80
    • /
    • 2014
  • MapReduce is a widely used programming model for analyzing and processing Big data. Aggregate queries are one of the most common types of queries used for analyzing Big data. In this paper, we propose an efficient method for processing an aggregate query stream, where many concurrent users continuously issue different aggregate queries on the same data. Instead of processing each aggregate query separately, the proposed method processes multiple aggregate queries together in a batch by a single, optimized MapReduce job. As a result, the number of queries processed per unit time increases significantly. Through various experiments, we show that the proposed method improves the performance significantly compared to a naive method.

A Visualization Method for the Ocean Forecast Data using WMS System (WMS 시스템을 이용한 해양예측모델 데이터의 가시화 기법)

  • Kwon, Taejung;Lee, Jaeryoung;Park, Jaepyo
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.18 no.6
    • /
    • pp.11-19
    • /
    • 2018
  • Recently, many companies offer various web-based map that is based on GIS(Geographic Information System) information. Google Map, Open street, Bing Map, Naver Map, Daum Map, Vwolrd Map, etc are the few examples of such system. In this paper, we propose a method to visualize ocean forecasting model data considering the flow diagram of tidal current, streamline expression algorithm, and user convenience by using vector field data information that is currently being served. It is confirmed that the proposed method of the flow diagram of tidal current, and stream line expression algorithm is faster than that of conventional ocean prediction model data by more than 2 times.

The Bi-Cross Pretraining Method to Enhance Language Representation (Bi-Cross 사전 학습을 통한 자연어 이해 성능 향상)

  • Kim, Sung-ju;Kim, Seonhoon;Park, Jinseong;Yoo, Kang Min;Kang, Inho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.320-325
    • /
    • 2021
  • BERT는 사전 학습 단계에서 다음 문장 예측 문제와 마스킹된 단어에 대한 예측 문제를 학습하여 여러 자연어 다운스트림 태스크에서 높은 성능을 보였다. 본 연구에서는 BERT의 사전 학습 문제 중 다음 문장 예측 문제에 대해 주목했다. 다음 문장 예측 문제는 자연어 추론 문제와 질의 응답 문제와 같이 임의의 두 문장 사이의 관계를 모델링하는 문제들에 성능 향상을 위해 사용되었다. 하지만 BERT의 다음 문장 예측 문제는 두 문장을 특수 토큰으로 분리하여 단일 문자열 형태로 모델에 입력으로 주어지는 cross-encoding 방식만을 학습하기 때문에 문장을 각각 인코딩하는 bi-encoding 방식의 다운스트림 태스크를 고려하지 않은 점에서 아쉬움이 있다. 본 논문에서는 기존 BERT의 다음 문장 예측 문제를 확장하여 bi-encoding 방식의 다음 문장 예측 문제를 추가적으로 사전 학습하여 단일 문장 분류 문제와 문장 임베딩을 활용하는 문제에서 성능을 향상 시키는 Bi-Cross 사전 학습 기법을 소개한다. Bi-Cross 학습 기법은 영화 리뷰 감성 분류 데이터 셋인 NSMC 데이터 셋에 대해 학습 데이터의 0.1%만 사용하는 학습 환경에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 5점 가량의 성능 향상이 있었다. 또한 KorSTS의 bi-encoding 방식의 문장 임베딩 성능 평가에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 1.5점의 성능 향상을 보였다.

  • PDF

An Improved CYK Algorithm based on GPGPU (GPGPU 기반의 개선된 CYK 알고리즘)

  • Kim, Kyoung-Hwan;Han, Yo-Sub
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.409-410
    • /
    • 2012
  • 범용 계산에 GPU를 활용하는 GPGPU 연구가 활발히 이루어지고 있다. 기존 연구에서 사용된 병렬화 기법은 데이터 이동시 GPU의 유휴자원을 잘 활용하지 못한다. 우리는 스트림 기법을 이용하여 CPU-GPU간 데이터 이동과 GPU내 연산을 동시에 실행시켜 데이터 이동시 GPU의 유휴자원을 최대한 활용하여 성능을 향상한다. 제안된 방식은 기존의 병렬화 방법에 비해 약 1.1배 향상된 성능을 나타낸다.

Adaptive Video Stream Cache for Internet Video Transmission (인터넷 비디오 전송을 위한 적응적 비디오 스트림 캐쉬)

  • 김은영;유초롱;권택근
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.635-637
    • /
    • 1999
  • 기존의 인터넷 기반 데이터 서비스는 'Best-effort' 정책으로 멀티미디어 서비스를 위한 트래픽 제어(traffic control) 기능을 제공하지 못한다. 그러므로 실시간 데이터 전송을 기반으로 제공되는 VOD(Video-on-Demand) 서비스는 사용자가 원하는 QoS(Quality of Service)를 제공할 수 없다. 따라서 인터넷 상에서 트래픽 제어 기능을 갖춘 중개자를 두어 VOD 서비스를 제공하는 방법에 대해 제안한다. 중개자의 주요 기능은 비디오 서버와 클라이언트 사이에 비디오 데이터의 버퍼링 기능을 이용하여 실시간 트래픽 제어를 수행한다. 이런 기능을 가진 중개자를 에이전트라 부르고, 에이전트에 대한 설계 및 구현에 대해 기술한다.

  • PDF