• 제목/요약/키워드: 스트림 처리

검색결과 792건 처리시간 0.03초

동기화된 데이터 방송 애플리케이션 제작을 위한 스트림 생성기 개발 (The Stream Generator for Syncronized Data Broadcasting Applications)

  • 김세훈;정문렬
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2003년도 정기총회 및 학술대회
    • /
    • pp.267-270
    • /
    • 2003
  • 본 논문은 DVB-MHP 규약을 따르는 동기화 된 데이터 방송 애플리케이션을 제작하기 위한 스트림 생성기의 구현을 기술한다. 동기화 된 애플리케이션은 비디오와 공유된 시간기준을 가지며 특정시각에 발생한 이벤트(스케쥴드 스트림 이벤트)를 처리할 수 있는 애플리케이션이다. 동기화 된 애플리케이션을 위해서 스트림 생성기는 다음 작업을 수행한다. (1) NPT(Normal Play Time)를 수신기로 보내기 위해 NPT 참조서술자를 전송 스트림 내에 MPEG2 섹션으로 포장하여 넣는다. (2) 스케쥴드 스트림 이벤트들을 생성하여 전송 스트림내의 적당한 위치에 MPEG2 섹션으로 포장하여 넣는다. (3) 애플리케이션 프로그램과 스트림 이벤트에 대한 참조(reference)를 포함하는 객체 카로셀을 생성한다. DVB-J 애플리케이션은 DVB-MHP API중에 섹션필터 관련 API를 이용하여 전송된 NPT 참조 서술자를 읽어들이고 이로부터 NPT를 재구성하며, 스트림 이벤트 관련 API를 이용하여 스트림 이벤트를 처리하도록 구현한다 스트림 생성기가 생성한 MPEG2 전송 스트림으로 Interactive Game Show 애플리케이션을 제작하여 비디오와 애플리케이션이 사용하는 이미지 디스플레이간의 동기화를 테스트하였다.

  • PDF

실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법 (Load Balancing for Distributed Processing of Real-time Spatial Big Data Stream)

  • 윤수식;이재길
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1209-1218
    • /
    • 2017
  • 최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.

실시간 행위인식 시스템을 위한 스트림데이터 처리기 연산자 설계 (Design of Stream Data Processing Operators for Real-time Activity Recognition System)

  • 정종영;이영구;한용구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.302-305
    • /
    • 2009
  • 본 논문은 오프라인 환경에서 연구되던 행위인식 연구들이 온라인 환경에서 통합되어 동작할 수 있도록 하기 위해 스트림데이터 처리기를 이용한 행위인식 시스템을 제안하였다. 스트림데이터 처리는 멀티 센서 환경에서의 방대한 센서 데이터를 처리하기 위한 기술로서, 행위인식 시스템의 실시간으로 발생하는 데이터를 즉각 처리하여 결과를 추론하여야 한다는 요구사항을 만족시킬 수 있다. 이를 위해 행위인식에 사용되는 필수적인 연산을 정의하여 스트림데이터 처리기에 추가할 수 있도록 행위 인식에 필요한 각종 연산자를 설계하였다.

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리 (Real-Time IoT Big-data Processing for Stream Reasoning)

  • 윤창호;박종원;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.1-9
    • /
    • 2017
  • 스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

RTLS를 위한 위치 데이터 스트림 처리기 개발 (Development of Location Data Stream Processor for RTLS)

  • 이승철;홍봉희;김기홍;박재관
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2007년도 GIS 공동춘계학술대회 논문집
    • /
    • pp.15-20
    • /
    • 2007
  • 최근 항만 물류 및 자산 관리 분야에서 실시간 위치 정보를 처리하는 RTLS(Real Time Locating System)시스템이 도입되고 있다. 이러한 시스템에서 RTLS 서버는 태그를 부착한 이동 객체들의 위치 데이터 스트림을 일정 시간 동안 수집하여 애플리케이션으로 전달한다. 이 때 위치 정보는 전파 굴절 현상으로 인해 오차가 발생하며, 이동 객체에 부착된 태그는 수 초 마다 위치 정보를 보고하기 때문에 시스템의 과부하를 초래하게 된다. 본 논문에서는 표준과의 호환성을 고려하고, 요구사항을 반영한 위치 데이터 스트림 처리기를 설계 및 개발하였다. RTLS 시스템의 전파 굴절 현상으로 야기되는 비정상적인 위치 오차를 보정하기 위해 맵 매칭 기법을 도입하여 위치 데이터 스트림의 신뢰성을 제공하며, 위치 변화가 없는 객체의 위치 데이터 스트림을 빠르게 정제하는 정지 상태 제거 필터를 개발하여 질의 처리 시 부하를 줄인다. 또한 각 애플리케이션의 질의 결과에 무의미한 위치 정보를 배제하는 중요 위치 수집기를 개발하여 시스템 성능을 향상시킨다.

  • PDF

UHDTV 표준적합 및 에러 처리 검증을 위한 비디오 시험 스트림 생성 연구 (A Study on Video Compliance and Error Test Streams for UHDTV Standard)

  • 김재일;배성포;양진영;권동현
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2015년도 추계학술대회
    • /
    • pp.91-93
    • /
    • 2015
  • 본 논문에서는 4K UHD(Ultra High Definition) 방송 수신기의 비디오 표준적합 및 에러 처리 평가를 위한 비디오 시험 스트림을 제안한다. 표준적합 시험 스트림은 4K UHD 방송 수신기의 비디오 압축 표준인 HEVC/H.265 의 표준 적합 여부를 판단하기 위해 사용이 가능하며, 에러 처리 평가 스트림은 비디오 스트림 내에 에러가 발생하였을 때 수신기가 에러를 처리하는 방식을 검증하기 위하여 사용 가능하다.

  • PDF

새만금 Smart City 기반 Geosensor 스트림 데이터 관리 시스템 구현 (Implement of Geosensor Stream Data Management System based on Smart City in Saemangum)

  • 문영채;백정호;강풍성;이홍로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1399-1401
    • /
    • 2010
  • 본 연구는 새만금과 새만금 주변에서 Geosensor 스트림 데이터 측정을 위해 대기관련 센서들로 3개의 클러스터를 구성하고, 수질관련 센서들로 하나의 클러스터를 구성하여 Geosensor 네트워크를 구축하였다. 각 클러스터로부터 5분 단위로 수집된 센서 스트림 데이터를 시스템에 전송하고, 시스템에서는 수신된 스트림 데이터를 분석 및 처리하여 DB에 저장한다. 본 연구에서는 Geosensor 데이터 가공 처리 및 저장, Geosensor 관리, 상황정보 관리, Geosensor 스트림 데이터와 GIS 연동 기능을 포함한 시스템을 개발하고자 한다.

질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리 (An Efficient Query Processing in Stream DBMS using Query Preprocessor)

  • 양영휴
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.65-73
    • /
    • 2008
  • 유비쿼터스 시대의 텔레매틱스 데이터 관리는 자동차의 위치나 속도, 엔진의 속도, 타이어의 상태, 운전자의 관심사항 등의 실시간으로 유입되는 스트림 데이터에 대한 질의를 처리하는데 있다. 본 논문에서는 기존의 스트림 DBMS의 질의처리 연구현황을 비교 분석하고, 스트림 DBMS에서 다뤄야 하는 모든 유형의 질의를 질의 전처리기를 사용하여 하나의 통합된 시스템에서 처리할 수 있는 통합 하이브리드 모델을 제안한다. 최근 각종 장치의 가격은 하락하는 반면, 성능은 수직 상승함에 따라 DB와 큐등을 위한 공간을 추가함으로써 최대의 병렬성을 보장받을 수 있다. 그 결과 제안된 하이브리드 모델에서는 다양한 유형의 스트림 DBMS 질의들을 단일 시스템 내에서 일괄적이며 효율적으로 처리하여 시스템 성능 향상을 기대 할 수 있다.

  • PDF

Esper 기반 실시간 필터링 시스템 (Esper-based Real-time Filtering System)

  • 박세빈;이상훈;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

효율적 데이터 스트림 분석을 위한 발생빈도 예측 기법을 이용한 과부하 처리 (Load Shedding via Predicting the Frequency of Tuple for Efficient Analsis over Data Streams)

  • 장중혁
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.755-764
    • /
    • 2006
  • 근래 들어 유비쿼터스 컴퓨팅 및 센서 네트워크 환경 등과 같은 다양한 응용 분야에서 데이터 스트림 형태의 정보를 발생시키고 있으며, 이들 정보를 효율적으로 처리하기 위한 다양한 방법들이 활발히 제안되어 왔다. 대부분의 이들 방법들은 주로 처리 과정에서의 공간 사용량 및 데이터당 처리 시간을 줄이는데 초점을 맞추고 있다. 하지만 이들 방법들에서 데이터 발생량이 급격히 증가되는 경우 일부 데이터는 실시간으로 처리되지 못하며 해당 방법의 성능 저하를 초래한다. 따라서, 데이터 스트림 처리의 효율성을 높이기 위해서는 효율적인 과부하 처리 기법을 필요로 한다. 이를 위해서 본 논문에서는 발생빈도 예측법을 이용한 과부하 처리 기법을 제안한다. 즉, 해당 기법에서는 처리 대상 데이터의 현재 시점까지의 발생빈도를 고려하여 해당 데이터의 향후 발생 상황을 예측하며, 이를 통해서 해당 데이터 스트림에서 과부하가 발생했을 때 효율적으로 대처할 수 있도록 지원한다. 또한, 제안되는 방법에서는 데이터 스트림의 변화를 고려하여 튜플 선별을 위한 임계값을 적응적으로 조절함으로써 불필요한 과부하 처리 수행을 최소화한다.