• Title/Summary/Keyword: 스트리밍데이터

Search Result 512, Processing Time 0.022 seconds

Outlier Detection By Clustering-Based Ensemble Model Construction (클러스터링 기반 앙상블 모델 구성을 이용한 이상치 탐지)

  • Park, Cheong Hee;Kim, Taegong;Kim, Jiil;Choi, Semok;Lee, Gyeong-Hoon
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.7 no.11
    • /
    • pp.435-442
    • /
    • 2018
  • Outlier detection means to detect data samples that deviate significantly from the distribution of normal data. Most outlier detection methods calculate an outlier score that indicates the extent to which a data sample is out of normal state and determine it to be an outlier when its outlier score is above a given threshold. However, since the range of an outlier score is different for each data and the outliers exist at a smaller ratio than the normal data, it is very difficult to determine the threshold value for an outlier score. Further, in an actual situation, it is not easy to acquire data including a sufficient amount of outliers available for learning. In this paper, we propose a clustering-based outlier detection method by constructing a model representing a normal data region using only normal data and performing binary classification of outliers and normal data for new data samples. Then, by dividing the given normal data into chunks, and constructing a clustering model for each chunk, we expand it to the ensemble method combining the decision by the models and apply it to the streaming data with dynamic changes. Experimental results using real data and artificial data show high performance of the proposed method.

A Study on the Prefetch Method for Multimedia Presentations to play on the Low Bandwidth Mobile Devices (낮은 대역폭을 갖는 이동 단말기에서 멀티미디어 프리젠테이션을 재생하기 위한 프리패치 방법)

  • Hong Maria;Yang Hyuck;Lim Young-Haw
    • Journal of Internet Computing and Services
    • /
    • v.4 no.4
    • /
    • pp.65-74
    • /
    • 2003
  • Recently, It is required that multimedia data display on not only PC but also the Mobile device such as cellar phone, PDA. Mobile divieces has not sufficient of storage space or main memory and has slow network speed. So we can't process the multimedia data with the existing way on PC. This paper presents various methods for MultimediaPresentation which are able to display on the mobile device with the low-bandwidth and small storage. There Is an analysis that Is playable on the mobile device using presentation area devision method and replayable analysis method. If the display of multimedia presentation is impossible from this analysis, to apply prefetch techniques a using EPOB apoint and as User QoS of multimedia data through prefetch techniques have keep, do so that playable. Then, it is proposed to playable smooth multimedia presentation as that each of the presentations through prefetch Scheduling techniques point and quantity of data which are prefetch.

  • PDF

Real-time Optimized Composition and Broadcasting of Multimedia Information (다중 미디어 정보의 실시간 최적화 합성 및 방송)

  • Lee, Sang-Yeob;Park, Seong-Won
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.2
    • /
    • pp.177-185
    • /
    • 2012
  • In this paper, we developed the composition system that it can efficiently edit camera recording data, images, office document such as powerpoint data, MS word data etc in real-time and broadcasting system that the file is made by the composition system. In this Study, we developed two kinds of algorithm; Approximate Composition for Optimization (ACFO) and Sequence Composition using Memory Que (SCUMQ). Especially, the system is inexpensive and useful because the system is based on mobile devices and PCs when lectures hope to make video institutional contents. Therefore, it can be contributed for e-learning and m-learning. In addition, the system can be applied to various fields, different kinds of multimedia creation, remote conferencing, and e-commerce.

Design and Implementation of Buffer Cache for EXT3NS File System (EXT3NS 파일 시스템을 위한 버퍼 캐시의 설계 및 구현)

  • Sohn, Sung-Hoon;Jung, Sung-Wook
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.10 no.12
    • /
    • pp.2202-2211
    • /
    • 2006
  • EXT3NS is a special-purpose file system for large scale multimedia streaming servers. It is built on top of streaming acceleration hardware device called Network-Storage card. The EXT3NS file system significantly improves streaming performance by eliminating memory-to-memory copy operations, i.e. sending video/audio from disk directly to network interface with no main memory buffering. In this paper, we design and implement a buffer cache mechanism, called PMEMCACHE, for EXT3NS file system. We also propose a buffer cache replacement method called ONS for the buffer cache mechanism. The ONS algorithm outperforms other existing buffer replacement algorithms in distributed multimedia streaming environment. In EXT3NS with PMEMCACHE, operation is 33MB/sec and random read operation is 2.4MB/sec. Also, the buffer replacement ONS algorithm shows better performance by 600KB/sec than other buffer cache replacement policies. As a result PMEMCACHE and an ONS can greatly improve the performance of multimedia steaming server which should supportmultiple client requests at the same time.

A architecture and control method of Streaming Packet Scheduler at 100bps for Guaranteed QoS of Internet and Broadcasting Services (인터넷 및 방송서비스의 QoS 보장을 위한 10Gbps급 스트리밍 패킷 스케줄러 구조 및 제어방법)

  • Kim Kwang-Ok;Park Wan-Ki;Choi Byeoun-Chul;Kwak Dong-Yong
    • Journal of the Institute of Electronics Engineers of Korea TC
    • /
    • v.41 no.1
    • /
    • pp.23-34
    • /
    • 2004
  • This paper presents architecture and control method of packet scheduler to guarantee QoS of high quality streaming services in high-speed packet-switched networks. Since streaming services need far more stringent QoS requirements than the typical sort of burst data applications, they should be guaranteed minimum bandwidth and end-to-end delay bound to each flow, regardless of the behavior of other flows. To meet these requirements, a packet scheduler isolate a flow from the undesirable effects of other flows and provides end-to-end delay guarantees for individual flow and divides stringently the available link bandwidth among flows sharing the link. Until now, many vendors are developing traffic management chips running at 10Gbps, but most of chips have drawbacks to support high quality streaming services. In this paper, we investigate the drawbacks of commercial TM chips and traffic characteristic of streaming services and present implementation frameworks of the proposed packet scheduler. Finally, we analyze the simulation results of the proposed scheduler.

User Popularity based Cache Replacement Algorithm for Multimedia Streaming in Proxy Server (멀티미디어 스트리밍을 위한 프록시 서버에서의 사용자 선호도 기반 캐쉬 교환 알고리즘)

  • 이준표;박성한
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10c
    • /
    • pp.412-414
    • /
    • 2004
  • 대용량의 멀티미디어 데이터들을 다수의 시용자가 동시에 요구할 경우 접속이 끊기거나 데이터의 손실과 같은 접속 성능이 현저하게 저하되는 문제가 발생할 수 있다. 이는 대부분의 사용자들의 요청을 원거리의 Central Server가 단독으로 처리하기 때문에 발생하는 문제이다. 띠라서 Central Sever의 Load 감소와 초기 지연시간 및 비디오 패킷의 손실의 문제점을 해결하기 위해 프록시 서버를 사용자의 근거리에 위치시키는 방법을 이용한다. 대용랑의 멀티미디어 데이터들을 복잡한 인터넷의 중간경로를 거치지 않고 다수의 사용자들에게 직접 전달함으로써 데이터의 손실을 방지함과 동시에 보다 안정적이고 빠른 속도로 제공하는 것이 가능하다. 특징적으로 프록시 서버는 Central Server에 비해 비교적 제한된 용랑을 가지고 있다. 따라서 본 논문에서는 사용자의 선호도를 기반으로 하여 앞으로 요구학 것이라고 예측되는 비디오 데이터들만을 선별적으로 저장하도록 하는 알고리즘을 제안한다. 시뮬레이션을 통해 제안하는 캐쉬 교환 알고리즘을 기존의 알고리즘과 비교, 관찰한 결과 상대적으로 높은 Hit rate가 나타남을 확인하였다.

  • PDF

Storm-based Dynamic Tag Cloud of Real-time SNS Data (Storm 기반 실시간 SNS 데이터의 동적 태그 클라우드)

  • Son, Siwoon;Kim, Dasol;Lee, Sujeong;Gil, Myeong-Seon;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.47-49
    • /
    • 2016
  • 최근 SNS(social networking service)의 사용이 급증함에 따라 SNS에서 발생하는 데이터의 분석이 활발해졌다. 하지만 SNS 데이터는 빠르게 생성되며 정형화 되어 있지 않은 빅데이터이기 때문에 그대로 수집할 경우 분석하기가 어렵다. 본 논문은 분산 스트리밍 처리 기술인 Storm을 사용하여 트위터에서 실시간으로 발생하는 데이터를 수집 및 집계하고, 태그 클라우드를 사용하여 집계 결과를 동적으로 시각화하고자 한다. 또한 사용자가 쉽게 키워드를 입력하고 시각화 결과를 실시간으로 확인할 수 있도록 웹 인터페이스를 구현한다. 그리고 결과를 통해 태그 클라우드의 결과가 시간에 따라 바르게 시각화되었는지 확인한다. 본 논문은 빠르게 발생하는 SNS 데이터로부터 각 키워드와 관련된 정보를 시각화하여 각 사용자에게 제공할 수 있는 우수한 결과가 사료된다.

Throughput enhancement for large file delivery using overlay multicast with multiple virtual sources (대용량 파일 전송의 성능 향상을 위한 다중 가상 소스 응용계층 멀티캐스트)

  • 이수전;강경란;이동만
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10c
    • /
    • pp.598-600
    • /
    • 2004
  • 다자간 데이터 송수신을 필요로 하는 다자간 화상 회의, 일대다 스트리밍, 일대다 파일 전송 등의 응용에서는 멀티캐스트를 사용하여 데이터 전송 부담을 줄일 수 있다. 그러나 IP 멀티캐스트가 인터넷 상에서 널리 지원되지 않고 있기 때문에, 멀티캐스트를 응용 계층에 구현하려는 연구가 활발히 진행되고 있다. 본 논문에서는 일대다 대용량 파일 전송에서 효과적으로 전송시간을 단축할 수 있는 응용계층 멀티캐스트 기법을 제시한다. 신뢰적 전송을 위하여 Forward Error Correction (FEC)를 사용하여, 전송시간 단축을 위해 데이터 소스 외에 수신자들이 가상적으로 소스의 역할을 수행하도록 한다. 즉, 임의의 수신자는 데이터 소스뿐만 아니라, 다중 가상 소스로부터도 데이터를 수신할 수 있으므로 파일 수신 시간을 단축시킬 수 있다.

  • PDF

Range Continuous Queries for Efficient Processing of Continuous Queries on RFID streaming data (RFID 스트리밍 데이터의 효율적인 연속 질의처리를 위한 영역 연속 질의)

  • Yi, Ki-Han;Park, Jae-Kwan;Hong, Bong-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.425-428
    • /
    • 2006
  • RFID 미들웨어에서 처리하는 데이터는 스트림 데이터로써 질의색인 기법을 사용하면 효과적이다. 질의색인에서는 RFID 미들웨어의 표준 질의 인터페이스인 ECSpec 이 데이터가 되고, 리더가 태그를 인식하면서 발생하는 태그 이벤트는 질의 색인의 점 칠의가 된다. 질의색인의 데이터인 EXSpec 은 태그 및 리더에 대한 수집 조건과 결과집합의 보고 주기를 포함한다. 이때, 태그 이벤트가 발생할 때마다 점 질의를 즉시 수행하는 것보다 보고 주기까지 지연하고 수집된 질의 집합에서 연속되는 태그 이벤트를 영역 질의로 수행하면 질의 수행 횟수를 줄일 수 있다. 본 논문에서는 일정기간 동안의 연속된 태그 이벤트를 영역 연속 질의(a range continuous query)로 처리하기 위한 큐의 구성 방안과 태그 이벤트 집합으로부터 영역질의를 구성하기 위한 자료구조 및 알고리즘을 제안한다.

  • PDF

Data Reuse Analysis Technique for Software Controlled Memory Hierarchy Design (소프트웨어 제어 메모리를 위한 데이터 재사용 분석 기법)

  • Cho, Jungseok;Cho, Doosan;Jung, Youjin;Park, Sora;Jo, Soomin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.22-23
    • /
    • 2014
  • 멀티미디어 응용을 비롯한 스트리밍 응용들에서는 메모리와 CPU 사이의 데이터 전송이 상당한 비율의 에너지 소모를 차지한다. 데이터 재사용 분석은 이러한 응용 프로그램 에서 빈번히 사용되는 데이터를 고속의 저전력 메모리에 복사하도록 하여 에너지 소비를 줄일 수 있는 기회를 제공한다. 본 연구에서는 데이터의 재사용 분석을 통하여 프로그램이 최적화되도록 자동화된 기법을 제안하고 있다. 제안하는 기법을 사용할 경우 메인 메모리만 사용하는 경우에 비하여 절반 정도의 에너지 소비를 줄일 수 있다.