• Title/Summary/Keyword: 데이터스트림

Search Result 917, Processing Time 0.026 seconds

Different Load Shedding using utilization of Spatial over Data Stream (데이터 스트림에서 공간의 이용도를 이용한 차등적 부하제한 기법)

  • Kim, Ho;Baek, Sung-Ha;Lee, Dong-Wook;Shin, Soong-Sun;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.340-343
    • /
    • 2009
  • u-GIS 환경에서 GeoSensor로부터 수집되는 시공간 데이터는 데이터 스트림의 특징을 포함한다. 데이터 스트림은 다양한 입력 속도로 끊임없이 입력되고, 데이터의 크기 또한 가변적이다. 이런 이유로 한정적인 메모리와 처리능력의 시스템은 과부하 현상이 발생한다. 이를 해결하기 위해 초과되는 데이터를 버려 메모리 초과를 방지하는 기법들이 연구되고 있다. 공간질의는 공간과 위치 값을 기반으로 이루어지는 연산으로 공간질의 정확도는 공간과 위치 정보를 통해 보장된다. 그러나 기존 기법인 랜덤부하제한 기법과 의미적부하제한 기법은 공간질의가 요구하는 공간과 위치 값에 대해 고려하지 않고 삭제하기 때문에 공간질의에 대한 정확도가 감소하는 문제를 갖는다. 본 논문에서는 공간의 이용도를 이용하여 차등적 비율을 적용한 부하제한 기법은 연구하였다. 이 기법은 등록된 공간질의의 영역 겹침 정도에 따라 중요 레벨을 증가시키고, 이를 토대로 시공간 데이터의 중요도를 파악하여 중요도마다 주어진 비율에 의하여 차등적으로 삭제한다. 결과적으로 기존 기법보다 다소 높은 Drop rate를 통해 질의 처리 속도를 빠르게 회복시켰으며, 중요 데이터를 최대한 유지하여 Error rate를 감소시켰다.

Performance Analysis of Siding Window based Stream High Utility Pattern Mining Methods (슬라이딩 윈도우 기반의 스트림 하이 유틸리티 패턴 마이닝 기법 성능분석)

  • Ryang, Heungmo;Yun, Unil
    • Journal of Internet Computing and Services
    • /
    • v.17 no.6
    • /
    • pp.53-59
    • /
    • 2016
  • Recently, huge stream data have been generated in real time from various applications such as wireless sensor networks, Internet of Things services, and social network services. For this reason, to develop an efficient method have become one of significant issues in order to discover useful information from such data by processing and analyzing them and employing the information for better decision making. Since stream data are generated continuously and rapidly, there is a need to deal with them through the minimum access. In addition, an appropriate method is required to analyze stream data in resource limited environments where fast processing with low power consumption is necessary. To address this issue, the sliding window model has been proposed and researched. Meanwhile, one of data mining techniques for finding meaningful information from huge data, pattern mining extracts such information in pattern forms. Frequency-based traditional pattern mining can process only binary databases and treats items in the databases with the same importance. As a result, frequent pattern mining has a disadvantage that cannot reflect characteristics of real databases although it has played an essential role in the data mining field. From this aspect, high utility pattern mining has suggested for discovering more meaningful information from non-binary databases with the consideration of the characteristics and relative importance of items. General high utility pattern mining methods for static databases, however, are not suitable for handling stream data. To address this issue, sliding window based high utility pattern mining has been proposed for finding significant information from stream data in resource limited environments by considering their characteristics and processing them efficiently. In this paper, we conduct various experiments with datasets for performance evaluation of sliding window based high utility pattern mining algorithms and analyze experimental results, through which we study their characteristics and direction of improvement.

An Efficient One-time Signature Scheme for Stream Authentication (스트림 인증에 적합한 일회용 서명 기법)

  • 박용수;조유근
    • Proceedings of the Korea Institutes of Information Security and Cryptology Conference
    • /
    • 2002.11a
    • /
    • pp.377-380
    • /
    • 2002
  • 본 논문에서는 스트림 데이터를 인증하는데 적합한 일회용 서명 기법을 제시한다. 스트림 인증에 일회용 서명 기법을 사용할 경우, 가장 큰 문제점은 큰 서명 크기로 인해 네트워크 오버헤드가 많다는 점이다. 제시한 기법은 기존 일회용 서명 기법 중 서명 크기와 검증 연산량이 가장 낮다. 스트림 인증에 적합한 기존 기법과 서명 연산량을 비교하면, HORS보다는 다소 높지만, BiBa나 Powerball보다 매우 낮다.

  • PDF

An Efficient One-time Signature Scheme for Stream Authentication (스트림 인증에 적합한 일회용 서명 기법)

  • 박용수;조유근
    • Proceedings of the Korea Institutes of Information Security and Cryptology Conference
    • /
    • 2003.12a
    • /
    • pp.238-241
    • /
    • 2003
  • 본 논문에서는 스트림 데이터를 인증하는데 적합한 일회용 서명 기법을 제시한다. 스트림 인증에 일회용 서명 기법을 사용할 경우, 가장 큰 문제점은 큰 서명 크기로 인해 네트워크 오버헤드가 많다는 점이다. 제시한 기법은 기존 일회용 서명 기법 중 서명 크가 가장 작다. 또한, 제시된 기법의 검증 연산량은 매우 작다. 스트림 인증에 적합한 기존 기법과 온라인 서명 연산량을 비교하면, HORS보다는 다소 많지만, BiBa나 Powerball보다 적다.

  • PDF

Efficient Transport Stream Packet Manager for Digital Broadcast Receiver (디지털 방송 수신기를 위한 효율적인 트랜스포트 스트림 패킷 매니저)

  • Ko, Sang-Won;Jeon, Je-Min;Won, Jae-Hoon;Kim, Seh-Chang;Kim, Jung-Sun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10d
    • /
    • pp.446-449
    • /
    • 2007
  • 기존의 아날로그 방송에서 디지털 방송으로의 전환이 가속화되고 있으며, 디지털 방송은 아날로그 방송과는 다르게 다양한 서비스를 사용자에게 제공 할 수 있다는 장점을 가지고 있다. 디지털 방송에서는 트랜스포트 스트림을 이용하여 비디오/오디오 이외에 데이터를 전달하여 방송과 관련된 정보나 어플리케이션을 다룰 수 있다. 트랜스포트 스트림을 방송환경에서 사용 할 경우 응답시간이나 중복되는 패킷들에 대해서 어떻게 고려하느냐에 따라서 시스템 전제에 성능을 영향을 줄 수 있다. 본 논문에서는 데이터 방송을 위하여 패킷 단위로 전송되어온 트랜스포트 스트림을 효과적으로 처리 및 분류하고 선택적으로 상위 계층으로 전달하는 패킷 매니저를 설계 및 구현하였다.

  • PDF

P2P Transfer for Multimedia Data with Client initiated with Prefetching. (클라이언트 선 저장방식을 위한 멀티미디어 데이터의 P2P 전송.)

  • 신광식;정진하;윤완오;최상방
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10e
    • /
    • pp.154-156
    • /
    • 2002
  • 본 논문에서 우리는 부분 스트림 데이터를 위해 피어 투 피어 방식을 도입하는 방식을 제안하고 평가하였다. 기존의 클라이언트 측 미리 저장 방식과 비슷하게 앞선 요청자에게 지연 없이 두 클라이언트가 같은 비디오 요청에 대해 같은 채널을 공유하는 것을 허용한다. 그것은 앞선 요청에 대해 멀티캐스트 세션을 초기화 및 진행하고 뒤늦게 도달한 클라이언트에게 그 세션을 공유하는 것을 허용함으로써 보장된다. 그러나 공유 스트림 전송과는달리 부분 스트림 전송에 있어서는 기존의 방식과 차이점을 보인다 늦게 도달한 클라이언트는 늦은 만큼의 스트림 조각이 부족하게 되는 데 이 부분을 서버가 아닌 선행 클라이언트로부터 받게끔 함으로써 서버 측의 자원을 절약하는 효과를 얻고 있다. 분석결과는 우리가 제안한 방법이 주는 서버 네트워크 자원 이용의 절감과 그를 위해 대용되는 클라이언트 자원을 보여준다. 또한 시뮬레이션을 통해 실제 얻을 수 있는 이득을 확인하였다.

  • PDF

Design and Implementation of an Integrated Streaming Service Architecture (통합 스트리밍 서비스 구조 설계 및 구현)

  • 이승룡;홍충선
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.26 no.6A
    • /
    • pp.1019-1033
    • /
    • 2001
  • 본 논문에서는 멀티미디어 스트리밍을 위한 표준 프로토콜과 미디어 포맷을 지원하고, 실시간 객체지향형 멀티미디어 데이터베이스(BeeHive)를 지원하는 통합 멀티미디어 스트리밍 서비스 프레임워크(ISSA)를 제안한다. ISSA의 핵심 구성요소는 세션의 생성과 스트림 제어를 담당하는 세션 관리자, 스트리밍 데이터의 전송을 담당하는 전송 관리자, 미디어의 압축과 복원 및 재생을 담당하는 미디어 관리자, 그리고 데이터베이스와의 연동을 담당하는 데이터베이스 커넥터이다. ISSA는 스트림의 제어를 위하여 IETF에서 제안한 RTSP, 스트림과 세션의 표현과 초기화를 위해 SDP와 SIP, 스트림 데이터의 실시간 전송을 위하여 RTP 및 TCP, UDP를 지원한다. 또한, ISSA는 VOD, MOD, 웹캐스팅을 위한 개발과 라이브러리를 제공하며, 웹서버와 CORBA A/V 스트리밍 서비스와의 연동을 위한 게이트웨이도 제공한다. ISSA는 운영체제 환경에서 플랫폼에 독립적으로 작동하고, 객체지향 멀티미디어 데이터베이스 서비스를 지원한다. 그리고 멀티캐스팅, 웹캐스팅, 멀티미디어 통신을 위한 표준 프로토콜을 지원하며, 상용 코덱인 Microsoft 사의 Direct Show를 지원할 수 있는 RTP 소스필터를 가지고 있다. 마지막으로, 기존의 다양한 표준 미디어 포맷을 지원할 뿐만 아니라, 새로운 미디어 포맷도 쉽게 수용할 수 있도록 설계되어 있다.

  • PDF

ISOBMFF encapsulation method based on NNR bitstream (NNR 비트스트림 기반 ISOBMFF 캡슐화 방안)

  • Lee, Minseok;Rhee, Seongbae;Nam, Kwijung;Kim, Kyuheon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.821-824
    • /
    • 2022
  • 최근 딥러닝(Deep Learning) 기술이 다양한 분야에서 활용되고 있으며, 사전 학습된 딥러닝 모델에 대한 압축과 전송 방안에 관한 연구 또한 활발히 진행되고 있다. 이와 관련하여, 국제 표준화 기구인 ISO/IEC 산하 MPEG(Moving Picture Expert Group)에서는 인공신경망 모델을 다양한 딥러닝 프레임워크(Deep Learning Framework)에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNC(Compression of Neural Network for Multimedia Content Description nd Analysis) 표준화를 진행하고 있다. 압축된 딥러닝 모델의 데이터를 효과적으로 저장하여 전송 및 사용하기 위해서는 ISOBMFF(ISO based Media File Format) 캡슐화 과정이 필요하다. 본 논문에서는 MPEG의 NNC 표준에 따라 사전 학습된 딥러닝 모델을 압축한 후 이를 통해 생성된 비트스트림(bitstream)을 ISOBMFF로 캡슐화하기 위한 기술을 제안 및 실험한다. 또한, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 비트스트림으로 복원한 뒤 복호화하여 입력 비트스트림과 차이가 없음을 확인한다.

  • PDF

Iceberg Query Evaluation Technical Using a Cuboid Prefix Tree (큐보이드 전위트리를 이용한 빙산질의 처리)

  • Han, Sang-Gil;Yang, Woo-Sock;Lee, Won-Suk
    • Journal of KIISE:Databases
    • /
    • v.36 no.3
    • /
    • pp.226-234
    • /
    • 2009
  • A data stream is a massive unbounded sequence of data elements continuously generated at a rapid rate. Due to the characteristics of a data stream, it is impossible to save all the data elements of a data stream. Therefore it is necessary to define a new synopsis structure to store the summary information of a data stream. For this purpose, this paper proposes a cuboid prefix tree that can be effectively employed in evaluating an iceberg query over data streams. A cuboid prefix tree only stores those itemsets that consist of grouping attributes used in GROUP BY query. In addition, a cuboid prefix tree can compute multiple iceberg queries simultaneously by sharing their common sub-expressions. A cuboid prefix tree evaluates an iceberg query over an infinitely generated data stream while efficiently reducing memory usage and processing time, which is verified by a series of experiments.

Efficient Processing of Continuous Join Queries between a Data Stream and Multiple Relations for Real-Time Analysis of E-Commerce Data (전자상거래 데이터의 실시간 분석을 위한 데이터 스트림과 다수 릴레이션 간의 효율적인 연속 조인 처리 기법)

  • Kim, Haeri;Lee, Ki Yong
    • The Journal of Society for e-Business Studies
    • /
    • v.18 no.3
    • /
    • pp.159-175
    • /
    • 2013
  • Recently, as real-time availability of e-commerce data becomes possible, the requirement of real-time analysis of e-commerce increases significantly. In the real-time analysis of e-commerce data, it is very important to efficiently process continuous join queries between an e-commerce data stream and disk-based large relations. In this paper, we propose an efficient method for processing a continuous join query between an e-commerce data stream and multiple disk-based relations. The proposed method improves the service rate significantly, while reducing the amount of required memory substantially. Through analysis and various experiments, we show the efficiency of the proposed method compared with the previous one in terms of service rate and memory usage.