• 제목/요약/키워드: 스트림 처리

검색결과 791건 처리시간 0.026초

데이터 스트림 연속 처리 태스크의 병렬 처리 방법 (The Parallel Processing Method of the Continuous Data Stream Processing Tasks)

  • 양경아;이대우;김기헌
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.214-215
    • /
    • 2015
  • 데이터 스트림 환경에서 연속 질의를 처리하기 위한 데이터 스트림 처리 시스템이 개발되었다. 데이터 스트림 처리 시스템에서 질의를 처리하는 태스크에 과도한 데이터가 발생할 경우 일반적으로 데이터 스트림을 선별적으로 버리는 load shedding 방법을 이용하지만 이러한 방법은 처리 결과의 정확도가 저하될 수 있다. 따라서, 본 논문은 이를 해결하는 방법으로 분산 데이터 스트림 처리 시스템에서 데이터 스트림 분할을 통한 데이터 스트림 연속 처리 태스크의 병렬 처리 방법을 제시한다. 이를 위해 분산 데이터 스트림을 처리하기 위한 기준을 제시 및 데이터 분할 방법에 대해서 언급한다.

적응력 있는 XML 스트림 데이터 질의처리 기법 (Adaptive Processing of Queries over XML Streaming Data)

  • 김영현;강현철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.4-6
    • /
    • 2005
  • 스트림 데이터를 생성하는 응용의 증가로 스트림 데이터 처리에 대한 연구가 활발히 진행되고 있다. 이러한 응용의 예로 센서네트워크, 모니터링, Selective dissemination of information(SDI)등이 있다. 특히 SDI와 같은 웹 환경의 응용은 XML을 기반으로 스트림 데이터 처리에 대한 연구를 진행하고 있다. XML은 웹상의 데이터 교환의 표준으로 웹 응용의 증가로 인해 스트림 데이터 처리 분야에서도 XML을 사용하는 스트림 데이터 처리 시스템에 대한 연구가 많이 진행되고 있는 실정이다. 하지만 XML을 기반으로 하는 기존의 시스템들은 정적인 질의계획을 사용하여 스트림 데이터를 처리하기 때문에 동적으로 변하는 스트림 데이터에 적응력있게 대처할 수 있다. 이와 달리 관계 데이터 모델을 사용하는 스트림 데이터 처리 시스템은 동적인 질의 계획과 질의 처리 연산자의 라우팅(스케쥴링) 기법을 사용하여 적응력있는 질의처리를 지원한다. 본 논문에서는 관계 데이터 모델을 사용하는 시스템의 적응력있는 질의처리 모델을 XML을 기반으로 하는 시스템에 적용하는 기법들에 대하여 설명한다. 그리고 XML을 기반으로 하는 기존의 대표적인 시스템인 YFilter[7]와 본 논문의 제안하는 시스템과의 질의처리 성능을 비교 평가한다.

  • PDF

스트림 데이터 환경에서의 효율적인 필터 연산자 순서화 (Efficient Filter Operator Ordering On Stream Data Environments)

  • 민준기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.321-324
    • /
    • 2006
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리 (stream data processing) 와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터의 특징은 실 시간적이고 연속적으로 생성된다는 것이다. 따라서 기존의 질의 처리와는 달리 질의 또한 연속적으로 처리된다. 본 논문에서는 시간에 따라서 예측할 수 없게 특성이 바뀌는 데이터 스트림에 대한 처리에 대하여 다룬다. 특별히, 본 논문에서는 스트림 데이터에 대한 질의문을 구성하는 연산자들 간의 효율적인 수행 순서 생성 기법을 제안한다. 본 논문에서 제안하는 방법은 시스템의 부담을 적게 주면서도 데이터의 변화에 따라 수행 순서를 변화시킨다. 또한 본 논문에서는 고정 연산자 순서와 비교하여 제안한 기법의 우수성을 보였다.

  • PDF

디지털 비디오 라이브러리 서비스를 지원하는 ATM-기반 비디오 스트림 스위치의 설계 및 분석 (Design and Analysis of ATM-based Video Stream Switch for Supporting Digital Video Library Service)

  • 박병섭;김성수
    • 정보처리학회논문지C
    • /
    • 제8C권2호
    • /
    • pp.164-172
    • /
    • 2001
  • 최근 인터넷의 확산과 더불어 디지털 비디오 라이브러리(DVL : Digital Video Library) 서비스에 대한 관심이 고조되고 있다. 그러나 현재의 통신망 대역폭과 스위칭 환경 하에서는 종단간 QoS 보장하는데 많은 제약사항이 존재한다. 따라서 본 논문에서는 비디오 스트림 처리를 효율적으로 수행하여, 지연-처리율 특성을 만족할 수 있는 스트림 스위칭 구조를 제안하고 이에 대한 성능을 분석하였다. 제안된 ATM-기반 스트림 스위치는 각각 다중화되는 CBR(Constant Bit Rate) 및 VBR(Variable Bit Rate) 스트림의 QoS(Quality of Service)를 보장해야만 한다. 성능분석 결과는 제안된 스위치의 처리율이 r=4일 때 약 0.996의 값을 보였으며, 지연시간도 부하가 0.7 이하일 때 2미만으로 특정되었다. 이 결과는 제안된 구조가 적당한 입력 스트림의 그룹핑을 통하여 비디오 응용을 위한 처리율 및 지연 요구사항 QoS를 보장할 수 있음을 보여준다.

  • PDF

범위 질의 인덱싱을 이용한 스트림 데이터의 다중 질의처리 기법 (A Multi-dimensional Query Processing Scheme for Stream Data using Range Query Indexing)

  • 이동언;이윤석
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권2호
    • /
    • pp.69-77
    • /
    • 2009
  • 스트림 서비스 환경에서는 지속적으로 입력되는 막대한 양의 데이터에 대해 원하는 조건을 탐색하는 실시간 질의처리가 요구된다. 기존의 R-tee기반 질의처리 기술은 각 이벤트에 대해 트리 전체에 대해 동일한 탐색과정을 반복해야 하므로 이를 효율적으로 감당할 수 없었다. 한편 센서 측정값을 비롯한 대부분의 스트림 데이터는 매우 높은 지역성을 가지며 이를 활용하여 탐색 공간을 크게 줄일 수 있다. 따라서 본 연구에서는 스트림 데이터의 지역성을 활용하여 스트림 환경에 적합한 질의처리 기법을 제안하였다. 또한 이 프레임웍을 활용하여 스트림 환경에서 어플리케이션이 요구하는 다양한 질의처리 서비스를 개발할 수 있을 것으로 기대된다. 본 연구에서 구현한 프로토타입 시스템을 스트림 환경에 적용해 얻은 실험 결과를 통해, 스트림 환경에서 기존질의처리 기법보다 더 적합하고 효율이 크게 개선됨을 확인할 수 있었다.

센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계 (Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment)

  • 박준용;이광원;황윤철;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF

XML 스트림 데이터에 대한 연속 질의 처리 시스템 (A Continuous Query Processing System for XML Stream Data)

  • 한승철;강현철
    • 정보처리학회논문지D
    • /
    • 제11D권7호
    • /
    • pp.1375-1384
    • /
    • 2004
  • 스트림 데이터 처리는 여러 응용 분야에서 많은 관심을 가지고 활발한 연구가 수행되고 있다. 특히 모니터링, 센서 네트워크 등의 응용 분야에서 끊임없이 생성되는 대량의 스트림 데이터에 대한 효율적인 처리 요구가 높아지고 있다. 본 논문에서는 스트림 데이터에 대한 연속 질의처리 시스템 모델을 개발하고 성능을 평가한다. 스트림 데이터 모델로 웹상의 데이터 교환 표준으로 자리잡은 XML을 사용하였고 연속 질의는 XQuery에 시구간을 추가한 형태로 표현하였다. 제시된 시스템에서는 질의 처리의 성능 향상을 기하기 위해 질의 결과 값을 백그라운드 처리를 통해 생성하고 결과 값을 실체화하여 후속 질의의 결과 계산에 이용하는 기법을 제공한다. 성능 평가 실험을 통해서 XML 스트림 데이터 처리를 위한 제시한 시스템의 타당성을 보였다.

대용량 데이터 스트림을 처리하기 위한 효율적 이진 조인 처리 기법 (Efficient Binary Join Processing for Large Data Streams)

  • 박홍규;이원석
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2008년도 제38차 하계학술발표논문집 16권1호
    • /
    • pp.189-192
    • /
    • 2008
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석등과 관련된 대용량 데이터 스트림을 실시간으로 처리하는 것에 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 조인 처리에 대한 관심이 증가하고 있다. 본 논문에서는 조인 연산을 빠르게 처리하기 위한 효율적인 해시 구조와 조인 방법에 대해서 연구하고 다양한 환경에서 제안 방법을 검증한다.

  • PDF

XML 스트림 데이타에 대한 적응력 있는 질의 처리 시스템 (An Adaptive Query Processing System for XML Stream Data)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.327-341
    • /
    • 2006
  • 센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석 (Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams)

  • 박홍규;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF