• 제목/요약/키워드: 데이터스트림

검색결과 917건 처리시간 0.026초

해양플랜트의 예지보전을 위한 실시간 데이터 스트림 처리 구현 (Implementation of Real-time Data Stream Processing for Predictive Maintenance of Offshore Plants)

  • 김성수;원종호
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.840-845
    • /
    • 2015
  • 최근 빅데이터는 전사적 자원관리 분야뿐만 아니라 해양플랜트내 생산 및 운영 작업 분야에서도 큰 관심을 받고 있다. 이력데이터를 기반으로 미래의 설비에 대한 성능을 예측하는 것은 설비들의 생산성을 향상 시킬 수 있다. 특히 해양플랜트의 주요설비 중 하나인 원심압축기는 고장 시 폭발 할 수 있는 위험한 설비이기 때문에 실시간으로 설비성능을 모니터링 해야 한다. 본 논문에서 원심압축기의 성능을 계산하기 위한 스트림 데이터 처리 구조를 제안한다. 제안하는 시스템은 크게 가상태그 스트림 생성기와 실시간 데이터 스트림 관리자와 같이 두 가지 컴포넌트로 구성된다. 시스템 성능 확장성을 제공하기 위해, 멀티 코어 CPU를 사용하여 대용량 스트림 데이터를 처리할 수 있는 병렬 프로그래밍 접근 방식을 이용하였다. 또한, 실험을 통해 원심압축기의 스트림 데이터 처리에 대한 성능 개선을 보여주었다.

빈번한 변경을 요구하는 실시간 스트림 데이터의 효율적 관리 및 슬라이딩 윈도우 질의 (An Efficient Management and Sliding Window Query for Real-Time Stream Data to Require frequent Update)

  • 김진덕
    • 한국정보통신학회논문지
    • /
    • 제12권3호
    • /
    • pp.509-516
    • /
    • 2008
  • 최근 다수의 외부 장치를 제어하는 시스템에서는 빈번하게 변하는 신호의 이력을 자동적으로 관리하는 기법이 요구된다. 그 신호들은 스트림 데이터로서 다양한 종류, 짧은 보고 주기, 비동기적인 보고시간을 가진다. 또한 처리시스템은 스트림 데이터에 대해 높은 신뢰성과 실시간 처리를 필요로 한다. 그리고 스트림 데이터에 대한 질의는 최신의 값을 검색하는 현재 질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 저장하고 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 파일 기반 데이터 베이스는 QNX의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버전과 공유메모리 버퍼링 등의 방법을 도입한다.

연속형 미디어 스트림 서비스를 위한 네트워크 캐쉬 관리 정책 (A Network Cache Management Policy for Continuous Media Objects Service)

  • 박세철;손유익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.247-249
    • /
    • 2001
  • 본 논문에서는 패칭 기법[3]을 사용한 프락시 관리 기법을 사용하여 연속형 스트립 서비스를 하는 스트림 서비스 기법을 제안한다. 제안한 기법에서는 프락시에 캐슁된 데이터의 양에 따라 스트림 전송 방식을 달리한다. 첫째, 요청된 객체 전체가 캐슁되어 있을 경우 프락시 만으로 서비스 한다. 둘째, 요청된 객체가 전혀 캐쉽 되어있지 않을 경우 후행 스트림들이 서버로부터 객체를 전송할 때 발생하는 초기 지연을 상쇄할 만큼의 데이터를 선반입 한다. 셋째, 일부분 만이 캐슁 된 경우에는 해당 객체를 요청 하는 스트림 사이에 존재하는 데이터 양만큼을 프락시에 패칭하며 이 경우에는 사용자 노드는 두개의 채널을 열어 하나는 프락시에 패칭된 데이터를 읽는데 사용하며 또 하나의 채널로는 서버로부터 나머지 부분을 읽어오는데 사용한다.

  • PDF

대용량 유동해석 데이터에서의 중요도 기반 스트림라인 생성 방법 (Method for Importance based Streamline Generation on the Massive Fluid Dynamics Dataset)

  • 이중연;김민아;이세훈
    • 한국콘텐츠학회논문지
    • /
    • 제18권6호
    • /
    • pp.27-37
    • /
    • 2018
  • 스트림라인 생성은 유동해석 데이터에서 유동의 흐름을 해석하기 위한 대표적인 가시화 기법이다. 그러나 효과적인 스트림라인 배치를 위한 씨드 포인트의 위치를 결정하는 것은 매우 어려운 문제이다. 한편, 대용량의 유동해석 데이터에서 씨드 포인트 결정과 스트림라인 생성 계산은 매우 오랜 시간을 필요로 한다. 본 논문에서는 효과적인 스트림라인 배치를 위해 유동해석 데이터의 중요도를 기반으로 한 씨드 포인트 결정 방법과 분산병렬 가시화 시스템 환경에서의 병렬 처리 기법을 제안한다. 또한, GLOVE 가시화 시스템에서 실제 유동해석 데이터를 이용한 구현 결과를 소개하고 이를 통해 본 논문의 제안 방법을 검증하고자 한다.

공간 데이터 스트림 질의 정확도 향상을 위한 다단계 부하제한 기법 (Multi-level Load Shedding Scheme to Increase Spatial Data Stream Query Accuracy)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.8370-8377
    • /
    • 2015
  • 공간 데이터 스트림 관리 시스템에 실시간으로 입력되는 공간 데이터 스트림은 제한된 주기억장치의 용량을 초과할 수 있으므로 부하를 제한할 필요가 있다. 그러나 기존의 연구에서는 부하 제한을 위해 공간 데이터 스트림을 생성하는 데이터 소스의 특성이나 입력 변화, 그리고 공간 데이터 이용 정도를 효율적으로 적용하지 못함으로써 질의 처리의 정확도와 성능을 감소시키는 문제를 갖고 있다. 이에 본 연구에서는 공간 데이터 스트림 질의 관리 시스템에서 발생할 수 있는 부하를 제한하고 공간 질의 처리의 성능과 정확도를 높이기 위한 다단계 부하제한 기법을 제안한다. 제안 기법에서는 먼저 데이터를 수집하는 단계에서 데이터의 수량과 입력 빈도 변화를 이용하여 부하를 제한하고, 과부하 발생시 공간 이용도에 따라 질의 참여 확률이 낮은 데이터를 대상으로 추가적인 부하제한을 수행한다. 실험 결과에서 제안 기법은 기존 부하제한 기법에 비해 11% 이상의 부하 제한 발생 빈도를 감소시키면서 입력 데이터 스트림의 증가와 질의 영역에 증가에 따른 질의 처리 결과의 정확도는 0.04% 이상의 우위를 보였다. 또한, 질의 처리 성능에서도 기존 기법에 비해 3% 이상의 향상을 나타냈다.

실시간 스트림 데이터 분석을 위한 시각화 가속 기술 및 시각적 분석 시스템 (Fast Visualization Technique and Visual Analytics System for Real-time Analyzing Stream Data)

  • 정성민;연한별;정대교;유상봉;김석연;장윤
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제22권4호
    • /
    • pp.21-30
    • /
    • 2016
  • 위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.

효율적 데이터 스트림 분석을 위한 발생빈도 예측 기법을 이용한 과부하 처리 (Load Shedding via Predicting the Frequency of Tuple for Efficient Analsis over Data Streams)

  • 장중혁
    • 정보처리학회논문지D
    • /
    • 제13D권6호
    • /
    • pp.755-764
    • /
    • 2006
  • 근래 들어 유비쿼터스 컴퓨팅 및 센서 네트워크 환경 등과 같은 다양한 응용 분야에서 데이터 스트림 형태의 정보를 발생시키고 있으며, 이들 정보를 효율적으로 처리하기 위한 다양한 방법들이 활발히 제안되어 왔다. 대부분의 이들 방법들은 주로 처리 과정에서의 공간 사용량 및 데이터당 처리 시간을 줄이는데 초점을 맞추고 있다. 하지만 이들 방법들에서 데이터 발생량이 급격히 증가되는 경우 일부 데이터는 실시간으로 처리되지 못하며 해당 방법의 성능 저하를 초래한다. 따라서, 데이터 스트림 처리의 효율성을 높이기 위해서는 효율적인 과부하 처리 기법을 필요로 한다. 이를 위해서 본 논문에서는 발생빈도 예측법을 이용한 과부하 처리 기법을 제안한다. 즉, 해당 기법에서는 처리 대상 데이터의 현재 시점까지의 발생빈도를 고려하여 해당 데이터의 향후 발생 상황을 예측하며, 이를 통해서 해당 데이터 스트림에서 과부하가 발생했을 때 효율적으로 대처할 수 있도록 지원한다. 또한, 제안되는 방법에서는 데이터 스트림의 변화를 고려하여 튜플 선별을 위한 임계값을 적응적으로 조절함으로써 불필요한 과부하 처리 수행을 최소화한다.

H*-tree/H*-cubing: 데이터 스트림의 OLAP를 위한 향상된 데이터 큐브 구조 및 큐빙 기법 (H*-tree/H*-cubing-cubing: Improved Data Cube Structure and Cubing Method for OLAP on Data Stream)

  • 심상예;이연;이동욱;김경배;배해영
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.475-486
    • /
    • 2009
  • 데이터 큐브는 다차원 데이터 분석 및 멀티레벨 데이터 분석에 많이 사용되고 있는 중요한 데이터 구조이다. 최근 데이터 스트림의 온라인 분석에 대한 수요가 증가하면서 스트림 큐브, Flow 큐브, S-큐브 등의 다양한 데이터 큐브 구조와 기법이 제안되었다. 그러나 기존 기법들은 데이터 큐브 생성 시 고비용이 요구되는 단점을 가지고 있어 효과적인 데이터 구조, 질의 방법 및 알고리즘에 대한 연구가 필요하다. 스트림 큐브 기법에서는 H-큐빙 기법을 사용하여 큐보이드를 선택하고, 계산된 셀들을 인기 패스에 있는 큐보이드들로 구성된 H-트리에 저장한다. 그러나 스트림 큐브 기법에서는 H-트리에 데이터를 비순차적으로 삽입하기 때문에 H-큐빙 기법을 사용하여 질의를 처리할 때 제한성을 갖고 있다. 본 논문에서는 데이터의 트리 구조의 각 층에 대한 인덱스를 구축하여 스트림 데이터에 대한 빠른 삽입 연산을 지원하는 $H^*$-tree 구조와, popular-path에 존재하지 않는 큐보이드를 빨리 계산하여 스트림 데이터에 대한 빠른 애드 혹 질의 응답을 지원하는 $H^*$-cubing 기법을 제안한다. 성능평가를 통하여 제안한 $H^*$-tree 기법은 보다 적은 큐브 구축 시간을 지원하며, $H^*$-cubing 기법이 stream cube 기법보다 빠른 애드 혹질의 응답 시간을 소요하며, 보다 적은메모리를 사용함을 보여준다.

데이터 스트림에서 다중 조인 질의의 최적화 기법 (Optimization of Multiple Join Queries over Data Streams)

  • 박연경;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.38-41
    • /
    • 2007
  • 최근 산업발달과 더불어 금융, 의료, 건설 등 다양한 산업분야에서는 대용량의 데이터 들이 실시간에 연속적으로 빠르게 발생되는 경우가 많다. 이런 스트림데이터 형태의 경우 전통적인 DBMS에서 처리하는 방식으로는 모든 데이터를 처리하는 것이 불가능하기 때문에 기존의 방식과 다른 데이터 처리방식이 요구된다. 본 논문에서는 데이터 스트림에 대한 다중 연속 질의들 사이에서 2개 이상의 스트림을 조인하는 다중 조인 연속 질의를 효율적으로 처리하는 방법을 연구하였다. 다중 조인 연속 질의에 사용되는 조인 조건들 가운데 공통으로 사용된 조인 조건을 공유해 불필요하게 반복되는 질의 수행을 최소화시키고 공통부분을 우선적으로 수행시킴으로써 그 조인 결과의 공유 최대화 및 질의 수행비용의 최소화 할 수 있는 질의 수행 최적화 기법을 제안하고 실험을 통해 제안된 공유 기반의 질의 수행 최적화 기법을 검증하고자 한다.

  • PDF

적응적 IOLIN시스템을 사용한 Concept Drift가 있는 데이터 스트림의 분류 (Concept-Drifting Data Streams classification using Adapted IOLIN System)

  • 김재우;이주홍;홍준식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.485-488
    • /
    • 2007
  • 스트림 데이터를 분류하는 문제는 데이터 스트림 마이닝 분야에서 가장 넓게 연구되고 있는 항목이다. 실세계에서의 데이터 스트림을 분류하는데 있어서 본질적인 문제점들이 있다 : 1)많은 양의 데이터가 불규칙적으로 빠르게 입력되는 것과, 2)유동적 컨셉트로 알려진, 데이터의 분류가 시간에 따라서 유동적으로 변하는 문제이다. 본 논문에서는 위와 같은 문제를 해결하기 위해서 적응적 OLIN시스템을 제안한다. 제안된 시스템은 지역적인 유동적 컨셉트뿐만 아니라 전역적인 유동적 컨셉트 문제까지 고려하여, 기존의 시스템보다 향상된 성능을 보였다.

  • PDF