• 제목/요약/키워드: 데이터스트림

검색결과 917건 처리시간 0.031초

RTLS를 위한 위치 데이터 스트림 처리기 개발 (Development of Location Data Stream Processor for RTLS)

  • 이승철;홍봉희;김기홍;박재관
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2007년도 GIS 공동춘계학술대회 논문집
    • /
    • pp.15-20
    • /
    • 2007
  • 최근 항만 물류 및 자산 관리 분야에서 실시간 위치 정보를 처리하는 RTLS(Real Time Locating System)시스템이 도입되고 있다. 이러한 시스템에서 RTLS 서버는 태그를 부착한 이동 객체들의 위치 데이터 스트림을 일정 시간 동안 수집하여 애플리케이션으로 전달한다. 이 때 위치 정보는 전파 굴절 현상으로 인해 오차가 발생하며, 이동 객체에 부착된 태그는 수 초 마다 위치 정보를 보고하기 때문에 시스템의 과부하를 초래하게 된다. 본 논문에서는 표준과의 호환성을 고려하고, 요구사항을 반영한 위치 데이터 스트림 처리기를 설계 및 개발하였다. RTLS 시스템의 전파 굴절 현상으로 야기되는 비정상적인 위치 오차를 보정하기 위해 맵 매칭 기법을 도입하여 위치 데이터 스트림의 신뢰성을 제공하며, 위치 변화가 없는 객체의 위치 데이터 스트림을 빠르게 정제하는 정지 상태 제거 필터를 개발하여 질의 처리 시 부하를 줄인다. 또한 각 애플리케이션의 질의 결과에 무의미한 위치 정보를 배제하는 중요 위치 수집기를 개발하여 시스템 성능을 향상시킨다.

  • PDF

핫스팟을 지원하는 디지털 TV 데이터 방송용 비트스트림 제작 (Production of bitstreams for digital TV data broadcasting supporting hotspots)

  • 박계철;박성일;김용한
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2002년도 정기총회 및 학술대회
    • /
    • pp.291-294
    • /
    • 2002
  • 본 논문에서는 디지털 TV 데이터 방송에 있어 핫스팟 기능을 지원하기 위한 비트스트림 제작에 관하여 서술한다. 디지털 TV 데이터 방송에 있어 핫스팟이란 시청자의 선택에 의해 더 많은 정보를 제공할 수 있는 "클릭 가능한 비디오 객체"를 의미한다. 이 기능은 다른 용도로도 사용될 수 있으나, 특히 TV 전자상거래(T-commerce)에 유용하게 사용할 수 있다. 이러한 기능을 제공하기 위해서는 핫스팟 기능을 처리할 자바 응용프로그램, 즉 엑슬릿(Xlet)과 화면상에서 핫스팟의 시공간적 위치를 지정하는 핫스팟 데이터, 그리고 핫스팟과 주 프로그램화면 간의 동기화를 위한 시간 기준 등이 송출되는 비트스트림 내에서 제공되어야 한다. 본 논문에서는 핫스팟 적용 시나리오를 설명하고 이 시나리오에 따라 핫스팟 기능을 제공할 수 있는 비트스트림을 제작하였다. 보다 더 구체적으로는, 엑슬릿을 ISO/IEC 13818-6 DSM-CC 확장 표준의 오브젝트 캐루젤로, 그리고 핫스팟 데이터를 MPEG-2 프라이벳 섹션(Private section)으로 구성하여 비트스트림에 포함시켰다. 또한, 시간 기준을 위해 DSM-CC 확장 표준에서 규정하고 있는 정규 재생시간(normal play time, NPT) 클록을 이용하여 시간 참조 값을 생성하였으며, 트리거(trigger)를 보내기 위한 이벤트들도 동일 표준에서 규정하고 있는 이벤트 서술자에 따라 생성하여 비트스트림 내에 포함시켰다. 내에 포함시켰다.

  • PDF

데이터 스트림에서 시간을 고려한 상대적인 빈발항목 탐색 (Finding the Time Sensitive Frequent Itemsets in Data Streams)

  • 박태수;전석주;이주홍;박상호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.145-147
    • /
    • 2005
  • 최근 들어 저장장치의 발전과 네트워크의 발달로 인하여 대용량의 데이터가 매우 빠르게 증가되고 있다. 또한, 대용량의 데이터에 내재되어 있는 정보를 빠른 시간 내에 처리하여 새로운 지식을 창출하려는 요구가 증가하고 있다. 연속적이고 빠르게 증가하는 데이터를 지칭하는 데이터 스트림에서 데이터 마이닝 기법을 이용하여 시간이 흐름에 따라 변하고, 무한적으로 증가하는 데이터 스트림에서의 빈발항목을 찾는 연구가 활발하게 진행되고 있다. 하지만 기존의 연구들은 시간의 흐름에 따른 빈발항목 탐색방법을 적절히 제시하지 못하고 있으며 단지 집계를 이용하여 빈발항목을 탐색하고 있다. 본 논문에서는 데이터 스트림에서 시간적 측면을 고려하여 상대적인 빈발항목을 탐색하기 위한 새로운 알고리즘을 제안한다. 논문에서 제안하는 알고리즘의 성능은 다양한 실험을 통해서 검증된다.

  • PDF

다차원 스트림 데이터 환경에서의 효율적인 데이터 수집 기법 (A Method for Efficiently Collecting Data from Multiple Data Streams)

  • 김재인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.815-818
    • /
    • 2009
  • USN 환경에서의 센서는 일반적으로 많은 제약사항을 가지고 있다. 센서의 제한된 전원의 문제는 센서의 동작 수명과 관련된 것으로 최근의 연구들에서 중요 이슈가 되고 있다. 본 논문에서는 고도화되는 USN 환경에서 발생되는 다차원 스트림데이터를 수집하는데 있어서 센서의 전원 문제를 해결하고 데이터를 효율적으로 수집하기 위한 기법을 제안한다. 제안하는 기법은 센서에 이상 이벤트를 정의하고 이상 이벤트에 해당하는 데이터를 수집하는 경우에만 데이터를 전송하도록 하여 센서의 통신 빈도를 줄여 센서의 전원 문제를 해결하고 스트림 데이터를 기호화 하여 처리함으로써 스트림 데이터를 효율적으로 수집할 수 있다.

다변량 데이터 스트림을 위한 아파치 스톰 기반 질의 필터링 시스템 (Apache Storm based Query Filtering System for Multivariate Data Streams)

  • 김영국;손시운;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.561-564
    • /
    • 2018
  • 최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

USN 환경에서 의미 기반 트랜잭션 구조를 이용한 순차 패턴 탐사 기법 (Sequence Pattern Mining Using Meaning-based Transaction Structure for USN system)

  • 최필선;강동현;김환;김대인;황부현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1105-1108
    • /
    • 2012
  • 순차 패턴 탐사 기법은 순서를 갖는 패턴들의 집합 중에 빈발하게 발생하는 패턴을 찾아내는 기법이다. USN 환경에서 발생하는 스트림 데이터는 시간 속성을 갖는 이벤트들의 집합으로 표현할 수 있으며 순차 패턴 탐사 기법을 이용하여 유용한 정보를 탐사할 수 있다. 그러나 스트림 데이터 환경에서는 데이터가 무한하고 연속적으로 발생하기 때문에 모든 데이터를 저장하여 패턴을 탐사하는 기법을 적용하는 데는 문제가 있다. 이 논문에서는 향상된 데이터 처리방식을 사용하여 순차패턴을 탐사하는 스트림 데이터 마이닝 기법에 대하여 제안한다. 제안하는 기법은 의미 단위의 가변적 윈도우를 사용하여 스트림 데이터로부터 트랜잭션을 생성하고 이 트랜잭션들의 집합을 해시와 슬라이딩 윈도우를 사용하여 스트림 데이터의 순차 패턴을 탐사한다. 이를 이용한 제안 기법은 실시간 시스템에 적합하게 데이터 저장 공간 사용의 효율성을 높이고 신속하게 유용한 패턴을 탐사할 수 있다.

비디오스트리밍 서비스를 위한 의미기반 비디오 표현 및 저장 기법 (Semantic-Based Video Representation and Storing Techniques for Video Streaming Services)

  • 이석룡
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2004년도 춘계공동학술대회 논문집
    • /
    • pp.505-509
    • /
    • 2004
  • 본 논문에서는 비디오 스트림 서버에서 의미 기반 검색을 가능하게 하기 위하여 대용량 스트림 데이터를 효과적으로 표현하고 저장하는 기법을 제시한다. 비디오 스트림 내의 각 프레임을 다차원 공간상의 점으로 사상함으로써 비디오 스트림은 다차원 시퀀스(multidimensional sequence)로 표현되고, 이 시퀀스는 다시 비디오 세그먼트로 분할된다. 분할된 세그먼트로부터 정적인 특성과 연속된 프레임의 움직임을 나타내는 트랜드 벡터(trend vector)등의 의미 정보를 추출하여 모델링 함으로서 스트림 데이터를 효과적으로 표현한다. 또한 제안된 기법은 효율적인 검색을 위하여 비디오 세그먼트를 인덱싱하고 저장하는 방법을 제공함으로써 공간 사용의 효율성을 높이고 신속한 검색을 가능하게 한다.

  • PDF

스트림 데이터의 윈도우 기반 분류 (A Window-Based Classification of Stream Data)

  • 김성현;이용미;김룡;서성보;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.47-50
    • /
    • 2005
  • 센서와 모바일 기술의 발달로 인해 다양한 센서에서 수집된 스트림 데이터를 처리하는 연구들이 많이 수행되고 있다. 다차원 속성의 스트림 데이터는 센서에서 주기적으로 수집되어 버퍼링 후 처리되기 때문에 기존의 투플 기반의 데이터 분류 기법에 적합하지 않다. 따라서 이 논문에서는 윈도우 기반의 스트림 데이터 분류를 위해 각 속성의 평균과 표준편차 값을 이용하여 투플 기반으로 변환하는 기법을 제안한다. 제안된 기법의 타당성은 투플 기반 데이터 분류 기법(의사결정트리, 단순 베이지안 분류기, 베이지안 신뢰 네트워크)에 의한 정확도 측정에 기반 한다. 로봇에서 수집된 센서 데이터를 이용한 실험 결과, 높은 정확도로 제안된 기법이 타당함을 증명하였으며 베이지안 신뢰 네트워크 기법이 다른 기법에 비해 우수함을 발견하였다.

  • PDF

패칭 기법을 이용한 프락시 관리 정책에 기반한 연속형 미디어 스트림 서비스 (Continuous Media Stream Service Using Proxy Cashing Based on Patching Scheme)

  • 백건효;박용운;정기동
    • 정보처리학회논문지B
    • /
    • 제8B권3호
    • /
    • pp.261-268
    • /
    • 2001
  • 연속형 미디어는 대용량이고 실시간으로 전송되어야 하므로 전송에 요구되는 네트워크 자원에 부하를 준다. 일반적으로 프락시는 자주 참조되는 객체를 캐슁하여 서버로의 네트워크 전송 대역폭을 줄이기 위한 기법으로 사용되고 있으나 기존의 연구들이 이미지나 텍스트 등의 비 실 시간성 객체 지향적으로 설계되어 실 시간성 객체의 서비스에는 적합하지 않다. 그러므로 본 논문에서는 패칭기법[10]을 사용한 프락시 관리 기법을 사용하여 연속형 스트림 서비스를 하는 스트림 서비스 기법을 제안한다. 제안한 기법에서는 프락시에 캐슁된 데이터의 양에 따라 스트림 전송 방식을 달리한다. 첫째, 요청된 객체 전체가 캐슁되어 있을 경우 프락시 만으로 서비스한다. 둘째, 요청된 객체가 전혀 캐슁되어 있지 않을 경우 후행 스트림들이 서버로부터 객체를 전송할 때 발생하는 초기 지연을 상쇄할 만큼의 데이터를 선반입한다. 셋째, 일부분만이 캐슁된 경우에는 해당 객체를 요청하는 스트림 사이에 존재하는 양만큼의 데이터를 프락시에 패칭하며 이 경우에는 사용자 노드는 두 개의 채널을 열어 하나는 프락시에 패칭된 데이터를 읽는데 사용하며 또 하나의 채널로는 서버로부터 나머지 부분을 읽어오는데 사용한다.

  • PDF

QUISIS: Interval Skip List를 활용한 질의 색인 기법 (QUISIS: A Query Index Method Using Interval Skip List)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권3호
    • /
    • pp.297-304
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리(stream data processing)와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 스트림 데이터 환경에서는 복수 개의 질의들이 미리 등록되고 후에 도착되는 데이터는 등록된 질의들에 의하여 평가된다. 따라서 질의 성능을 향상시키기 위하여, 스트림 데이터 처리 시스템을 위한 다양한 연속성 질의 색인 방법들이 제안되었다. 본 논문에서는 스트림 데이터를 위한 질의 색인에 대하여 다룬다. 일반적으로, 스트림 질의는 간격 조건식을 포함하고 있다. 따라서, 간격 조건식을 이용하여, 질의들을 색인화할 수 있다. 이 논문에서, 탐색 속도를 향상시키기 위하여, Interval Skip List를 수정한 효율적인 질의 색인 방법, QUISIS를 제안한다. QUISIS는 최근 데이터 값이 근 미래에 도착하는 값과 비슷하다는 지역성을 활용한다. 성능 평가를 통하여, 본 논문에서 제안하는 기법의 효율성을 보인다.