• 제목/요약/키워드: 데이터스트림

검색결과 917건 처리시간 0.025초

실시간 헬스케어 시스템을 위한 데이터 스트림 서버의 설계 및 구현 (The Design and Implementation of the Real-time Data Stream Server for Continuity of Care Record)

  • 오택군;이연;배해영
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권12호
    • /
    • pp.71-81
    • /
    • 2011
  • 스마트폰 기반 개인 전자의료기록 관리 서비스는 병원과 의사와 환자가 병력을 공유하고 조회하여 환자의 병력을 효과적으로 관리하여 진단 효율을 높이는 서비스이다. 그러나 이런 전자의료기록 관리 서비스에서 발생되는 데이터는 도시와 같은 큰 범위의 모든 환자들의 병력 데이터를 전통 데이터베이스 관리시스템(DBMS)을 사용해 처리할 경우 빈번하게 발생하는 질의 처리 요청 등의 원인으로 병목현상이 발생 할 수 있어 실시간 데이터 스트림의 처리를 지원하는 데이터 스트림 관리시스템(Data Stream Management System)에 대한 연구가 진행되고 있다. 본 논문에서는 시스템 구조 및 연속 질의 처리기와 CCR 데이터 구조를 포함한 CCR 데이터 스트림 서버 시스템을 제안한다. 제안 시스템은 실시간적으로 발생하는 CCR 데이터 스트림을 처리 및 모니터링 하기 위한 시스템으로 사용자의 CCR 데이터 이력데이터에 대한 조회 및 실시간으로 발생하는 CCR 데이터에 대한 연속질의를 지원한다. 또한 개인 건강 정보는 지리적으로 떨어져 있는 헬스케어 프로바이더 사이에서 공유되어 환자의 병원이력정보를 관리한다. 또한 본 논문에서는 제안시스템에 기반한 아이폰 헬스케어 응용어플리케이션을 설계 및 개발하여 제안 시스템의 설계와 구축과정 및 성능을 보여준다.

공간 데이터스트림의 입력 빈도와 데이터 밀집도 기반의 동적 부하제한 기법 (Dynamic Load Shedding Scheme based on Input Rate of Spatial Data Stream and Data Density)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제16권3호
    • /
    • pp.2158-2164
    • /
    • 2015
  • u-GIS 환경에서는 실시간으로 유입되는 공간 데이터 스트림으로 인해 발생되는 부하를 제한하기 위한 연구가 계속되고 있다. 그러나 기존의 비공간 데이터 기반의 부하 제한 기법은 공간 데이터의 특성을 고려하지 않아 공간 질의 처리의 정확도를 감소시킨다. 또한, 공간 데이터 기반의 부하 제한 기법도 공간 데이터 스트림의 입력 빈도 변화와 공간 데이터의 밀집도를 반영하지 않아 질의 처리 정확도와 질의 처리 성능이 저하되는 문제가 존재한다. 이에 본 논문에서는 u-GIS 환경에서 부하 발생 빈도를 최소화하고 연속 질의 처리 성능과 정확도를 향상시키기 위해 공간 데이터의 밀집도와 공간데이터스트림의 입력 변화량을 이용하여 동적으로 부하를 제한하는 기법을 제안한다. 제안 기법에서는 부하제한 요구시 공간 이용도에 따라 질의에 참여할 확률이 낮은 데이터를 샘플링함으로써 연속 질의 처리 결과의 정확도와 질의 처리 속도를 향상시킬 수 있다.

IoT 노드 클러스터 기반의 실시간 스트림 데이터 처리 방안 (Real-time stream data processing method based on IoT node cluster)

  • 임환희;김동현;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.1-4
    • /
    • 2019
  • Edge Computing 환경에서는 데이터 처리와 시스템 제어를 위한 별도의 서버가 존재하지 않는다. 서버를 통한 중앙통제 방식이 아닌 Edge computing에 사용된 IoT기기들이 연동되어 데이터 분산 처리와 연산을 통해 전체 시스템이 동작된다. 이러한 Edge computing 시스템 구조 특성상 전체 시스템이 과부하를 피하기 위해 각 IoT 기기에서 동시다발적으로 감지되는 실시간 상황 정보를 효율적으로 처리 하여야한다. 이에 따라 실시간 상황 정보를 효율적으로 처리하거나, 다양한 데이터 분석처리 알고리즘들이 연구 개발되어 데이터 처리에 적용되어 왔다. 하지만 데이터의 정보 흐름과 타입에 초점을 맞춘 것이 아니라 예상분석 및 획일화된 알고리즘을 통해서 분석되기 때문에 해당 플랫폼이 주로 지향하는 데이터 형식에 맞지 않으면 성능저하를 수반하며 사용에 제약이 많은 문제점이 있다. 따라서 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석을 연구를 진행한다.

  • PDF

궤적 데이터 스트림에서 동반 그룹 탐색 기법 (A Technique for Detecting Companion Groups from Trajectory Data Streams)

  • 강수현;이기용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권12호
    • /
    • pp.473-482
    • /
    • 2019
  • 이동 객체의 데이터 스트림으로부터 객체들의 궤적을 분석하는 연구는 이미 이루어진 바가 있다. 그 중 같이 움직이는 객체들의 그룹, 즉 동반 그룹을 찾는 연구도 이미 존재한다, 이들 대부분은 서로 가까이 존재하는 객체들의 그룹을 탐색하기 위해 기존의 클러스터링 기법을 사용한다. 하지만 클러스터링에 기반한 방법들은 정확한 클러스터의 수를 미리 알 수 없거나 클러스터의 모양이나 크기를 제어할 수 없기 때문에 정확한 동반 그룹을 찾기 어려운 경우가 많다. 본 논문은 실시간으로 유입되는 궤적 데이터 스트림에서 기존의 클러스터링 기법이 아니라 사용자가 지정한 거리를 기반으로 동반 그룹을 탐색하는 새로운 방법을 제안한다. 본 논문에서 제안하는 기법은 서로 가까이 존재하는 객체들의 그룹을 주기적으로 탐색하며, 이 때 사용자가 지정한 거리 내에 존재하는 객체들의 그룹을 매우 효율적으로 찾아내는 기법을 사용한다. 또한 동반 그룹 및 그의 궤적만을 반환하는 기존 방법과 달리 제안 방법은 동반 그룹의 생성 시간과 지속 시간도 같이 알려준다. 본 논문에서는 다양한 실험을 통해 제안 방법이 동반 그룹을 정확하고 매우 효율적으로 탐색할 수 있음을 보인다.

소규모 운영체제에서의 스트림데이터 처리기법 (The Processing Method of Stream Data in the Small-size Operating System)

  • 김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2007년도 추계종합학술대회
    • /
    • pp.871-874
    • /
    • 2007
  • 스트림 데이터들은 매우 용량이 크며, 짧은 보고 주기, 비동기적인 보고 시간을 가진다. 이러한 시스템의 질의는 최신의 값을 검색하는 현재질의, 과거 특정시점의 값을 검색하는 스냅샷 질의, 과거부터 현재까지의 값들을 검색하는 슬라이딩 윈도우 질의 등이 있다. 이 논문에서는 소규모 운영체제에서 파일 구조화된 데이터베이스를 이용하여 스트림 데이터들을 효율적으로 관리하는 기법을 제안하고자한다. 그리고 스트림 데이터에 대한 슬라이딩 윈도우 질의를 포함한 다양한 질의를 수용하는 질의 모델을 제안한다. 제안한 기법들을 원자로 안전 운전원 모듈에 적용하여 그 유용성을 검증하고자 한다. 운전원 모듈(COM)은 QNX 운영체제를 기반으로 하며, 파일 데이터베이스는 QNX COM의 적은 저장장치, 낮은 계산 능력을 감안하여 델타버젼과 버퍼링 등의 방법을 도입한다.

  • PDF

데이터 스트림 상에서 다중 연속 질의 처리를 위한 속성기반 접근 기법 (Attribute-based Approach for Multiple Continuous Queries over Data Streams)

  • 이현호;이원석
    • 정보처리학회논문지D
    • /
    • 제14D권5호
    • /
    • pp.459-470
    • /
    • 2007
  • 데이터 스트림은 빠르게 연속적으로 발생하는 무제한의 데이터 튜플의 집합이다. 이러한 데이터 스트림에 대한 질의 처리 또한 연속적이고 신속해야 하며 엄격한 시공간적 제약이 요구된다. 대부분의 데이터 스트림 관리시스템(DSMS)에서는 시공간적 제약사항을 효과적으로 지키기 위해서 등록된 연속 질의들의 선택 조건(selection predicate)들을 그룹화하거나 색인처리 한다. 본 논문에서는 연속 질의들의 선택 조건들을 속성별로 그룹화한 새로운 구조체인 속성 선택체(Attribute Selection Construct)를 제안한다. 속성 선택체에는 해당 속성이 특정 질의조건에 사용되는지 여부, 부분적으로 미리 계산된 질의결과 정보, 그리고 해당 속성의 선택률 통계 등 효율적인 질의 처리를 위한 유용한 정보들이 포함된다. 또한, 대상 질의집합을 구현한 속성 선택체들 간의 처리 순서는 전체적인 질의성능에 많은 영향을 미칠 수 있기 때문에 효과적으로 속성 선택체 처리 순서를 결정할 수 있는 전략도 함께 제안된다. 마지막으로, 기존의 방법들이 포함된 다양한 실험을 통하여 제안된 방법론의 성능을 여러 각도에서 비교 검증한다.

데이터 스트림 마이닝에서 정보 중요성 차별화를 위한 퍼지 윈도우 기법 (A Fuzzy Window Mechanism for Information Differentiation in Mining Data Streams)

  • 장중혁
    • 한국산학기술학회논문지
    • /
    • 제12권9호
    • /
    • pp.4183-4191
    • /
    • 2011
  • 구성요소가 지속적으로 생성되고 시간 흐름에 따라 변화되기도 하는 데이터 스트림의 특성을 고려하여 데이터 스트림 구성요소의 중요성을 발생 시간에 따라 차별화하기 위한 기법들이 활발히 제안되어 왔다. 기존의 방법들은 최근에 발생된 정보에 집중된 분석 결과를 제공하는데 효과적이나 보다 유연하게 다양한 형태로 정보 중요성을 차별화하는데 한계가 있다. 퍼지 개념에 기반한 정보 중요성 차별화는 이러한 한계를 보완하는 좋은 대안이 될 수 있다. 퍼지 개념은 기존의 뚜렷한 경계를 갖는 접근법의 문제점을 극복하고 실세계의 요구에 보다 부합되는 결과를 제공할 수 있는 방법으로 여러 데이터 마이닝 분야에서 널리 적용되어 왔다. 본 논문에서는 퍼지 개념을 적용하여 데이터 스트림 마이닝에서 정보 중요성 차별화에 효율적으로 활용될 수 있는 퍼지 윈도우 기법을 제안한다. 퍼지 캘린더를 포함한 기본적인 퍼지 개념에 대해서 먼저 기술하고, 다음으로 데이터 스트림 마이닝에서 퍼지 윈도우 기법을 적용한 가중치 패턴 탐색에 대한 세부 내용을 기술한다.

웹 클릭 스트림의 효율적 분석을 위한 시간 간격 제한을 활용한 관심 순차패턴 탐색 (Mining Interesting Sequential Pattern with a Time-interval Constraint for Efficient Analyzing a Web-Click Stream)

  • 장중혁
    • 한국산업정보학회논문지
    • /
    • 제16권2호
    • /
    • pp.19-29
    • /
    • 2011
  • 웹 관련 기술의 발달 및 스마트폰과 같은 지능형 모바일 서비스 기기의 사용 증가로 인해 오늘날 많은 분야에서 다양한 웹기반 서비스들이 널리 활용되고 있다 이러한 환정에서 개인화 및 지능화된 웹 서비스를 제공하기 위한 연구들이 활발히 진행되고 있으며, 웹 서비스 이용 기록으로부터 생성되는 웹 클릭 스트림에 대한 분석 기술은 관련 기술 중 핵심 기술의 하나이다. 본 논문에서는 순차정보 형태로 발생되는 웹 클릭 스트림에 대한 효율적 분석을 위해서 데이터 스트림 처리에 대한 기본적인 요구사항을 만족하면서 정제된 결과를 얻기 위한 순차패턴 마이닝 방법을 제시한다. 이를 위해서 먼저 순차패턴에 포함되는 단위항목들의 단순 발생 순서뿐만 아니라 발생 시간 정보를 추가로 활용하는 시간 간격 제한 관심 순차패턴을 정의하고, 이어서 웹 클릭 스트림과 같은 데이터 스트림에서 이를 효율적으로 탐색하기 위한 마이닝 방법을 제안한다. 해당 연구 결과는 웹 클릭 스트림뿐만 아니라 전자상거래, 생물정보학 및 USN 환경 등과 같이 데이터 스트림 형태로 정보를 발생시키는 여러 컴퓨터 용용 분야에서 유용하게 활용될 수 있을 것이다.

빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법 (In-Memory Based Incremental Processing Method for Stream Query Processing in Big Data Environments)

  • 복경수;육미선;노연우;한지은;김연우;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제16권2호
    • /
    • pp.163-173
    • /
    • 2016
  • 최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산 환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

스트림 기반 은행 전문시스템의 XML 메시징 전환을 통한 효율화 사례 - J 은행사례

  • 임환;손명호;최원석
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 2002년도 추계 컨퍼런스: 기업경쟁력 강화를 위한 디지털 컨텐츠 및 정보기술 컨퍼런스
    • /
    • pp.456-462
    • /
    • 2002
  • 본 논문은 은행에서 사용하던 기존 Stream 기반 전문데이터 교환 방식에서 인터넷 뱅킹 시스템 환경의 XML 기반 전문데이터 교환 방식으로의 전환을 통해서 시스템의 성능을 개선하고 구조화된 데이터의 활용을 통해 재사용성과 관리 효율을 획기적으로 향상시킨 개선방안을 제시하고 있다. 기존 스트림 구조의 XML 프레임으로의 설계와 이의 실시간 활용으로 한층 더 지능화된 시스템으로 설계 및 구현하는 방식을 제시하고 있다.

  • PDF