• 제목/요약/키워드: 데이터스트림

검색결과 918건 처리시간 0.026초

XML 스트림 데이터에 대한 연속 질의 처리 시스템 (A Continuous Query Processing System for XML Stream Data)

  • 한승철;강현철
    • 정보처리학회논문지D
    • /
    • 제11D권7호
    • /
    • pp.1375-1384
    • /
    • 2004
  • 스트림 데이터 처리는 여러 응용 분야에서 많은 관심을 가지고 활발한 연구가 수행되고 있다. 특히 모니터링, 센서 네트워크 등의 응용 분야에서 끊임없이 생성되는 대량의 스트림 데이터에 대한 효율적인 처리 요구가 높아지고 있다. 본 논문에서는 스트림 데이터에 대한 연속 질의처리 시스템 모델을 개발하고 성능을 평가한다. 스트림 데이터 모델로 웹상의 데이터 교환 표준으로 자리잡은 XML을 사용하였고 연속 질의는 XQuery에 시구간을 추가한 형태로 표현하였다. 제시된 시스템에서는 질의 처리의 성능 향상을 기하기 위해 질의 결과 값을 백그라운드 처리를 통해 생성하고 결과 값을 실체화하여 후속 질의의 결과 계산에 이용하는 기법을 제공한다. 성능 평가 실험을 통해서 XML 스트림 데이터 처리를 위한 제시한 시스템의 타당성을 보였다.

다차원 스트림 데이터의 연관 규칙 탐사 기법 (Mining Association Rules in Multidimensional Stream Data)

  • 김대인;박준;김홍기;황부현
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.765-774
    • /
    • 2006
  • 연관 규칙 탐사는 데이터베이스를 분석하여 잠재되어 있는 지식을 발견하기 위한 기법으로 스트림 데이터 시스템에서 연관 규칙 탐사에 대한 연구가 활발하게 진행되고 있다. 그러나 대부분의 연구들은 센서에서 수집되는 단일 스트림 데이터에 관한 것이며 다차원 스트림 데이터간의 연관 정보는 간과하고 있다. 본 논문에서는 다차원 스트림 데이터간의 연관 규칙을 탐사할 수 있는 AR-MS 방법을 제안한다. AR-MS 방법은 한 번의 데이터 스캔으로 연관 규칙 탐사에 필요한 요약 정보를 구축함으로써 스트림 데이터의 특성을 반영하며, 자주 발생하지는 않지만 특정 이벤트와 빈번하게 발생하는 의미 있는 희소 항목 집합에 대한 연관 규칙을 탐사할 수 있다. 또한 AR-MS 방법은 구축된 요약 정보를 사용하여 다차원 스트림 데이터간의 최대 빈발 항목 집합에 대한 연관 규칙도 탐사한다. 그리고 다양한 실험을 통하여 제안하는 방법이 기존의 방법들에 비하여 우수함을 확인하였다.

MPEG TS 패킷 분류 프로그램과 데이터 정보의 복원 프로그램 (A Decoding Program of MPEG TS Packet and A Restoring Program of Data Information)

  • 정명수;손승일
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 춘계종합학술대회
    • /
    • pp.646-650
    • /
    • 2005
  • 요즘 아날로그 방송에서 디지털 방송시대로 변화함에 따라 디지털 방송기술이 많이 발전되었다. 디지털 방송은 방송국으로부터 만들어지는 영상, 음성, 데이터 스트림들이 MPEG을 통해 효율적으로 압축하고 동기식으로 패킷화되어서 MPEG TS 패킷형식으로 서비스 이용자에게 위성 또는 지상파를 통해 전송되어진다. 방송되어지는 데이터 정보는 물론 그 외의 비관련 데이터도 제공되어짐으로써 서비스 이용범위도 많이 늘어나고 특히 기존의 영상과 음성위주의 방송과는 달리 사업자와 이용자간의 쌍방향으로 데이터를 송수신할 수 있는 기술이 고부가가치 사업으로 대두되고 있다. 디지털 방송을 수신해서 보기 위해서는 튜너로부터 수신되어 디지털화된 MPEG TS 패킷들을 분류해주는 과정이 필요하다. 본 연구에서는 실제 디지털 방송되었던 패킷 파일을 가지고 분류하였다. 영상 스트림과 음성 스트림을 분류하고 데이터 스트림을 분리하였다. 그리고 데이터 방송 규격의 데이터 스트림 파일을 별도로 입력하여 데이터를 분류하였다. 프로그램은 Microsoft visual c++6.0을 사용하여 구현하였다.

  • PDF

데이터 스트림 처리에 관한 연구 동향 (Research Directions for Data Stream Processing)

  • 안동찬;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.34-36
    • /
    • 2005
  • 데이터 스트림 처리에 관한 연구들은 최근 컴퓨터 과학 분야에서 가장 않은 관심을 가지고 있고 흥미있는 이슈 중 하나이다. 이러한 경향은 다양한 어플리케이션의 출현으로 질의 저리에 대한 효율적인 방법과 새로운 데이터 스트림의 모델을 필요로 하기 때문일 것이다. 본 논문은 그 중에서도 데이터 스트림 분야의 가장 중요한 부분으로 생각되는 스케줄링, 적절한 질의 처리, 부하 분산, 근사화, 분산 데이터 모니터링에 대한 연구 분석을 도모하였다.

  • PDF

다중 사용자 MIMO 시스템에서 전체 채널 용량을 최대화하기 위한 데이터 스트림 할당 기법 (Data Stream Allocation Algorithm for Maximizing Sum Capacity in Multiuser MIMO Systems)

  • 김봉석;최권휴
    • 한국위성정보통신학회논문지
    • /
    • 제6권1호
    • /
    • pp.19-27
    • /
    • 2011
  • 본 논문에서는 블록 대각화 프리코딩 기법을 사용하는 다중 사용자 MIMO 하향링크 시스템에서 전체 채널 용량을 최대화하기 위한 데이터 스트림 할당 기법을 제안한다. 기존의 블록 대각화 프리코딩 기법은 모든 사용자에게 동일한 수의 데이터 스트림을 할당하고 water-filling에 의한 전력제어 만으로 전체 채널 용량을 최대화함으로써 데이터 스트림의 수의 차이에 의한 채널 용량의 이득을 스스로 제한했다. 제안하는 블록 대각화 프리코딩의 데이터 스트림 할당 기법은 시스템의 전체 채널 용량을 최대화하기 위하여 평균 채널이득, 순시 채널 이득의 크기를 비교하여 채널 이득이 좋은 사용자에게 많은 수의 데이터 스트림을 할당하고 water-filling을 통한 전력 제어를 하는 방법으로 채널 이득에 대한 채널 용량을 최대화 시킨다. 본 논문에서 제안된 데이터 스트림 할당 기법을 이용하여 시스템의 성능을 향상시킬 수 있음을 모의실험을 통해 증명했다.

튜플 데이터 스트림에서 과부하 처리 기법 (A Load Shedding Technique over a Data Stream of Tuples)

  • 장중혁;박남훈;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.109-112
    • /
    • 2005
  • 수행 과정에서의 성능 측면에서 기존의 데이터 스트림 처리 방법들은 주로 수행 과정에서의 저장 공간 사용량 및 데이터 객체당 수행 시간을 줄이는데 초점을 맞추고 있다. 이들 방법들에서 일정 시간 내에 처리될 수 있는 데이터 객체의 수보다 많은 데이터 객체가 발생된다면, 그들 중 일부는 실시간으로 처리되지 못한다. 본 논문에서는 튜플 데이터 스트림에서 발생빈도 기반의 중요 튜플 선별 방법을 제안한다. 이는 해당 데이터 스트림 처리 과정에서 전처리 과정으로 간주할 수 있다. 제안된 방법에서는 데이터 스트림의 변화를 고려하여 중요 튜플 선별을 위한 임계값을 적응적으로 조절한다. 이를 지원하기 위해서 튜플의 발생빈도 예측 방법을 제시한다.

  • PDF

CORBA 기반 멀티미디어 스트림 통신 서비스의 설계 및 구현 (Design and Implementation of CORBA based Multimedia Stream Communication Service)

  • 김종현;정기동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.337-340
    • /
    • 2002
  • 본 논문에서는 CORBA 환경 하에서 멀티미디어 스트림을 효율적으로 처리하고 제어하기 위한 멀티미디어 스트림 통신 서비스의 설계와 구현에 관한 내용을 기술한다. 제안하는 멀티미디어 스트림 통신 서비스에서는 멀티미디어 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 제어 데이터와 미디어 데이터의 전송 경로를 분리하여 미디어 데이터의 전송은 RTP(Realtime Transport Protocol)로 직접적으로 전송하므로서 멀티미디어 스트림의 전송 효율을 최적화한다. 우리는 멀티미디어 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 테스트 시스템을 구축하여 성능을 평가한다 성능 평가 결과 연결 설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 CORBA 의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다.

  • PDF

데이터 스트림 환경에서의 조인 연속 질의의 그리디 질의 최적화 성능 분석 (Greedy Query Optimization Performance Analysis for Join Continuous Query over Data Streams)

  • 박홍규;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.361-364
    • /
    • 2006
  • 최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석 등과 관련된 데이터 스트림 처리에 더 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 질의 처리에 대한 관심이 증가하고 있다. 본 논문에서는 질의 중에서 2 개 이상의 스트림을 조인하는 조인 연속 질의를 처리하는 방법과 성능에 대해서 연구한다. 각 조인의 비용을 스트림의 입력 속도와 조인 선택도를 이용한 조인 비용 모델로 정의하고 그리디 알고리즘을 이용하여 최적화하는 기법을 제안하고 실험을 통해 다양한 스트림 환경에서 최적화 알고리즘이 어떤 성능을 보이는 지를 알아본다.

  • PDF

유비쿼터스 센서 네트워크에서 스트림 데이터를 효율적으로 관리하는 저장 관리자 구현 (Implementation of Storage Manager to Maintain Efficiently Stream Data in Ubiquitous Sensor Networks)

  • 이수안;김진호;신성현;남시병
    • 전자공학회논문지CI
    • /
    • 제46권3호
    • /
    • pp.24-33
    • /
    • 2009
  • 유비쿼터스 센서 네트워크를 통해 수집되는 데이터는 끊임없이 변화하는 스트림 데이터이다. 이 스트림 데이터는 기존의 데이터베이스와는 매우 다른 특성을 가지고 있어서, 이를 저장하고 분석 및 질의 처리하는 방법에 대한 새로운 기법이 필요하며, 이에 대한 연구가 최근에 많은 관심을 끌고 있다. 본 연구에서는 센서 네트워크로부터 끊임없이 들어오는 스트림 데이터를 수집하고 이를 효율적으로 데이터베이스에 저장하는 저장 관리자를 구현하였다. 이 저장 관리자는 무선 센서 환경에서 발생하는 오류에 대한 정제, 반복적으로 센싱되는 동일한 데이터에 대한 축소 기능, 장기간의 스트림 데이터를 경동 시간 구조로 유지하는 기능 등을 제공한다. 또 이 연구에서는, 구현된 저장 관리자를 건물의 온도, 습도, 조도 등을 수집하는 건물 화재 감시 센서네트워크에 적용하여 그 성능을 측정하였다. 실험 결과, 이 저장 관리자는 스트림 데이터의 저장 공간을 현저히 줄이며, 건물 화재 감시를 위한 장기간의 스트림 데이터를 저장하는데 효과적임을 보였다.

실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법 (Load Balancing for Distributed Processing of Real-time Spatial Big Data Stream)

  • 윤수식;이재길
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1209-1218
    • /
    • 2017
  • 최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.