• Title/Summary/Keyword: 적응적 데이터 처리

Search Result 366, Processing Time 0.033 seconds

A Load Shedding Technique over a Data Stream of Tuples (튜플 데이터 스트림에서 과부하 처리 기법)

  • Chang, Joong-Hyuk;Park, Nam-Hun;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.109-112
    • /
    • 2005
  • 수행 과정에서의 성능 측면에서 기존의 데이터 스트림 처리 방법들은 주로 수행 과정에서의 저장 공간 사용량 및 데이터 객체당 수행 시간을 줄이는데 초점을 맞추고 있다. 이들 방법들에서 일정 시간 내에 처리될 수 있는 데이터 객체의 수보다 많은 데이터 객체가 발생된다면, 그들 중 일부는 실시간으로 처리되지 못한다. 본 논문에서는 튜플 데이터 스트림에서 발생빈도 기반의 중요 튜플 선별 방법을 제안한다. 이는 해당 데이터 스트림 처리 과정에서 전처리 과정으로 간주할 수 있다. 제안된 방법에서는 데이터 스트림의 변화를 고려하여 중요 튜플 선별을 위한 임계값을 적응적으로 조절한다. 이를 지원하기 위해서 튜플의 발생빈도 예측 방법을 제시한다.

  • PDF

Moving Object Tracking in H.264/AVC bitstream ($H.264{\mid}AVC$ 비트스트림에서의 움직임 객체 추적)

  • You, Won-Sang;Sabirin M.S. Housari;Kim, Mun-Chul
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2007.02a
    • /
    • pp.18-24
    • /
    • 2007
  • T-DMB aBIFS 데이터 방송은 방송 AV 콘텐츠에 부가데이터를 연결하여 방송함으로써 대화형 방송 서비스를 가능하게 하고 있다. T-DMB 비디오 콘텐츠에서 움직이는 객체 부분에 부가데이터를 연결함으로써 시청 중에 사용자 Interaction을 통한 움직임 객체 영역의 정보 소비를 위한 응용을 고려할 때에, 저작단계에서 움직임 영역을 정의하고 이를 추적하는 도구가 필요하다. 본 논문에서는 $K264{\mid}AVC$비디오에 대해 효율적인 움직임 객체 영역 추적을 완전 부호화를 수행하지 않고 비트스트림에서 부호화 정보를 이용하여 움직임 영역을 추적하는 방법을 제안한다. 제안된 방법은 움직임 정보 및 부분적으로 복원된 텍스쳐 정보를 사용하여 객체의 특성에 따라 적응적으로 객체의 특성점을 추적함으로써 빠른 처리 속도와 정확한 추적을 동시에 가능하게 한다. 실험을 통하여, 제안하는 방법이 움직임 정보만을 사용한 방법의 처리 속도와 유사하면서도 정확한 추적 성능을 보일 뿐만 아니라 다양한 유형의 객체에 대한 적응적인 추적이 가능함을 확인하였다.

  • PDF

Adaptive User and Topic Modeling based Automatic TV Recommender System for Big Data Processing (빅 데이터 처리를 위한 적응적 사용자 및 토픽 모델링 기반 자동 TV 프로그램 추천시스템)

  • Kim, EunHui;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2015.07a
    • /
    • pp.195-198
    • /
    • 2015
  • 최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

  • PDF

A Design and Implementation of an Adaptive Stream Controller for Mobile Operating System (이동형 운영체제를 위한 적응적 스트림 처리기 설계 및 구현)

  • Park, Seung-Keun;Oh, Mi-Kyong;Lim, Young-Hwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.147-150
    • /
    • 2002
  • 본 논문에서는 이동 단말기 중 하나인 Windows CE 기반 PDA를 위한 적응적 멀티미디어 스트림 처리기를 설계 및 구현하였다. 제한된 시스템 환경을 갖고 있는 PDA 상에서 멀티미디어 데이터를 실시간으로 전송 및 저장할 때 생기는 메모리 문제를 효율적으로 해결하기 위하여 적응적 버퍼 관리 기법을 사용하였다. 단말기에 적합한 형태로 멀티미디어 데티터를 변환하여 전송하기 위하여 필터를 사용하였고, 필터 파이프라인을 구성하였다. 또한 다양한 형태의 미디움과 필터의 입출력을 일관성 있게 처리하기 위해서 DLM(Dynamic Linking Module) 구조를 사용하였다.

  • PDF

Load Shedding via Predicting the Frequency of Tuple for Efficient Analsis over Data Streams (효율적 데이터 스트림 분석을 위한 발생빈도 예측 기법을 이용한 과부하 처리)

  • Chang, Joong-Hyuk
    • The KIPS Transactions:PartD
    • /
    • v.13D no.6 s.109
    • /
    • pp.755-764
    • /
    • 2006
  • In recent, data streams are generated in various application fields such as a ubiquitous computing and a sensor network, and various algorithms are actively proposed for processing data streams efficiently. They mainly focus on the restriction of their memory usage and minimization of their processing time per data element. However, in the algorithms, if data elements of a data stream are generated in a rapid rate for a time unit, some of the data elements cannot be processed in real time. Therefore, an efficient load shedding technique is required to process data streams effcientlv. For this purpose, a load shedding technique over a data stream is proposed in this paper, which is based on the predicting technique of the frequency of data element considering its current frequency. In the proposed technique, considering the change of the data stream, its threshold for tuple alive is controlled adaptively. It can help to prevent unnecessary load shedding.

Adaptive Upstream Backup Scheme based on Throughput Rate in Distributed Spatial Data Stream System (분산 공간 데이터 스트림 시스템에서 연산 처리율 기반의 적응적 업스트림 백업 기법)

  • Jeong, Weonil
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.14 no.10
    • /
    • pp.5156-5161
    • /
    • 2013
  • In distributed spatial data stream processing, processed tuples of downstream nodes are replicated to the upstream node in order to increase the utilization of distributed nodes and to recover the whole system for the case of system failure. However, while the data input rate increases and multiple downstream nodes share the operation result of the upstream node, the data which stores to output queues as a backup can be lost since the deletion operation delay may be occurred by the delay of the tuple processing of upstream node. In this paper, the adaptive upstream backup scheme based on operation throughput in distributed spatial data stream system is proposed. This method can cut down the average load rate of nodes by efficient spatial operation migration as it processes spatial temporal data stream, and it can minimize the data loss by fluid change of backup mode. The experiments show the proposed approach can prevent data loss and can decrease, on average, 20% of CPU utilization by node monitoring.

Methods for screening time series data according to data quality and statistical status (품질 및 조건 기반 시계열 데이터 선별 활용 방법)

  • Moon, JaeWon;Yu, MiSeon;Oh, SeungTaek;Kum, SeungWoo;Hwang, JiSoo;Lee, JiHoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.01a
    • /
    • pp.399-402
    • /
    • 2022
  • 본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

  • PDF

Service Rendering Study for Adaptive Service of 3D Graphics Contents in Middleware (3D 그래픽 콘텐츠의 적응적 서비스를 위한 미들웨어에서의 서비스 렌더링 연구)

  • Kim, Hak-Ran;Park, Hwa-Jin;Yoon, Yong-Ik
    • The KIPS Transactions:PartA
    • /
    • v.14A no.5
    • /
    • pp.279-286
    • /
    • 2007
  • The need of contents adaptation in ubiquitous environments is growing to support multiple target platforms for 3D graphics contents. Since 3D graphics deal with a large data set md a high performance, a service adaptation for context changing is required to manipulate graphics contents with a more complicated method in multiple devices such as desktops, laptops, PDAs, mobile phones, etc. In this paper, we suggest a new notion of service adaptation middleware based on service rendering algorithm, which provides a flexible and customized service for user-centric 3D graphics contents. The service adaptation middleware consists of Service Adaptation(SA) for analyzing environments and Service Rendering(SR) for reconfiguring customized services by processing customized data. These adaptation services are able to intelligently and dynamically support the same computer graphics contents with good quality, when user environments are changed.

A Scheme of Network Error Tolerance for QoS Adaptive Streaming Service (QoS 적응형 스트리밍 서비스를 위한 네트워크 에러 감내 기법)

  • Kim, Sang-Hyong;Won, Yoo-Jae;Yoo, Kwan-Jong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1589-1592
    • /
    • 2015
  • 현재의 멀티미디어 스트리밍 서비스는 무선 환경 같은 여러 형태의 단말에게 동시에 서비스를 제공하고 있다. 그러나 이러한 스트리밍 서비스를 제공하기 위해서는 이질적인 네트워크에서 발생하는 에러를 최소화한 적응형 QoS 기술을 제공해야 하는 것이 우선적으로 고려되어야 한다. 본 논문은 스트리밍 미디어의 효율적인 전송을 향상시키기 위한 방법을 제안한다. 클라이언트의 피드백 정보를 이용하여 전송량에 따라 적응적인 전송 알고리즘을 제시하고, 계층화된 데이터의 중복 전송을 통하여 에러를 감소시키고, 데이터의 전송 효율을 높이는 방법에 대해서 설명한다. 제안되어진 알고리즘이 적용된 적응형 MPEG 시스템의 전송 모듈을 설계하고, 실험을 통해서 우수성을 증명한다.

Generalized Adaptive Spatio-Temporal Auto-Regressive Model for Video Sequences (동영상에서 일반화된 시공간 적응적 Auto-Regressive 모델의 연구)

  • 두석주;강문기
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 1998.06a
    • /
    • pp.131-134
    • /
    • 1998
  • 본 논문에서는 시공간 적응적 기반영역 (Adaptive Spatio-Temporal Support Region : ASTSR)을 바탕으로 하는 일반화된 Auto-Regressive(AT)모델을 제안한다. 시공간 적응적 기반 영역은 영상 내 경계선의 특성과 동영상에서의 시간적 불연속 (temporal discontinuity) 개념을 이용하여 구성되어질 수 있다. 설정된 시공간 적응적 기반영역은 기존의 AR 모델에 적용되어지는 직사각형 형태의 기반영역에 비하여 보다 정상상태(stationarity)의 특성을 가지며 이로 인해 더 정확한 모델 파라미터들을 추출해 낼 수 있을 뿐 아니라 데이터의 처리량에서도 큰 이득을 얻을 수 있다. 제안된 방법은 손상된 동영상 데이터를 복원(motion picture restoration)하는 측면에 응용되어 실험되어졌으며 기존의 모델과 비교하여 우수한 성능을 보여주었다.

  • PDF