• 제목/요약/키워드: 실시간데이터처리

검색결과 2,440건 처리시간 0.036초

데이터웨어하우스를 위한 XMDR 기반의 데이터 정제시스템 설계 (Design of data cleansing system based on XMDR for Datawarehouse)

  • 송홍율;첸드 아유시;정계동;최영근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.180-182
    • /
    • 2010
  • 데이터웨어하우스는 기업의 정책을 결정하는데 사용하고 있다. 그러나, 새로운 시스템이 추가되면 데이터 통합 측면에서 시스템간의 여러 가지 이질적인 특성으로 인해 많은 비용과 시간이 필요로 하게 된다. 따라서, 이러한 이질적인 특성을 해결하기 위해 데이터 구조의 이질성 및 데이터 표현의 이질성은 XMDR(eXtended Master Data Registry)를 이용하여 추상화된 쿼리를 생성하고, XMDR에 맞게 쿼리를 분리함으로써 이질성을 해결한다. 특히 본 논문에서는 XMDR을 이용하여 분산 시스템 통합시 로컬시스템의 영향을 최소화하고, 데이터웨어하우스의 정보를 실시간으로 생성하기 위해 분산된 환경에서 데이터 통합을 위한 표준화된 정보를 제공한다. 또한, 기존 시스템의 변경 없이 데이터를 통합하여 비용과 시간을 절감하고, 실시간 데이터 추출 및 정제 작업을 통해 일관성있는 실시간 정보를 생성하여 정보의 품질을 향상시킬수 있도록 한다.

철도 교량에서의 위험 요소 분류와 실시간 스트림 데이터 처리 시스템 구현 (Implementation of Real-time Stream Data Processing System and Classification of Risk Factor on Railway Bridges)

  • 유송수;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.123-126
    • /
    • 2022
  • 본 논문에서는 철도 교량 운행 상황을 가정하는 모형 철도를 사용하여 실제 철도 교량에서 발생할 수 있는 소음, 진동등 위험 요소로 분류될 수 있는 데이터들을 수집하고 수집된 데이터들을 활용하여 실시간으로 위험 요소로부터 발생할 수 있는 위험 상황들을 분류하고 적절한 조치들을 상황에 맞게 취할 수 있도록 한다.

  • PDF

실시간 클라이언트-서버 DBMS에서 효율적인 트랜잭션 처리를 위한 낙관적 캐쉬 일관성 유지 및 동시성 제어 (Optimistic Cache Consistency and Concurrency Control for Efficient Transaction Processing in a Real-Time Client-Server DBMS)

  • 김영성;강현철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권6호
    • /
    • pp.735-751
    • /
    • 1999
  • 클라이언트-서버 DBMS에 대한 기존의 연구는 클라이언트 데이터 캐슁이 캐쉬 일관성 유지에 드는 오버헤드에도 불구하고 시스템의 성능향상에 유용함을 보여주었다 본 논문에서는 시간적 제약을 가지는 실시간 트랜잭션을 처리하는데 있어서도 클라이언트 데이터 캐슁이 실시간 트랜잭션의 마감시간 충족률을 높이는데 유용하다는 것을 보였다. 기존실시간 데이터베이스 시스템에서 동시성 제어 기법과 실시간 트랜잭션 스케쥴링 기법을 통합한 것처럼 , 캐쉬 일관성 유지 및 동시성 제어 기법과 실시간 트랜잭션 스케쥴링 기법을 통합한 낙관적 알고리즘을 제시하고 클라이너트 데이터 캐슁을 지원하지 않는 경우와 그 성능을 비교하였다. 성능 평가 결과데이타의 지역성이 낮은 작업부하에서는 , 클라이언트 캐쉬의 이용으로 인해 마감시간을 어긴 실시간 트랜잭션의 비율 감소가 크지 않았지만(10%이하), 데이터의 지역성이 높은 작업부하에서는 그 감소폭이 컸다. HOTCOLD 작업부하의 경우 클라이언트의 수가 50, 트랜잭션의 데이터 변경률이 20% 일 때 마감시간을 어긴 실시간 트랜잭션의 비율이 약 47%감소하였다.

STAREX 교환기 데이터베이스 접근의 성능 향상 기법 (A Technique to Improve the Performance of Database Access in STAREX Switching Systems)

  • 이규영
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 1999년도 추계학술대회 논문집
    • /
    • pp.133-137
    • /
    • 1999
  • STAREX 교환기의 DBMS는 교환기 시스템의 호처리, 운용, 보전 등에 관련된 모든 데이터를 유지하면서, 응용 프로그램 데이터의 효율적 지원, 데이터의 일관성 유지, 데이터의 백업, 데이터의 무결성 진단 및 복구 등의 종합적인 관리를 수행하는 시스템 소프트웨어이다. 또한, DBMS는 교환기의 실시간 처리 요구를 만족시키기 위하여 여러 가지 기능들을 제공한다. 그러나, 이러한 기능들은 응용 프로그램들이 얼마나 효율적으로 사용 하느냐에 따라 성능이 크게 좌우된다. 본 논문에서는 STAREX 교환기의 DBMS가 제공하는 실시간 처리 기능들을 소개하고, 교환기의 성능을 향상시키기 위하여 응용 프로그램들이 효율적으로 데이터베이스에 접근하는 방안을 제시한다.

  • PDF

개념 계층을 이용한 스트리밍 데이터의 관리 기법 (Streaming Data Management Technique using Concept Hierarchy)

  • 한창희;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.154-156
    • /
    • 2004
  • 센서 네트웍, 유비쿼터스 컴퓨팅 환경으로 발전하면서 스트리밍 데이터와 같이 무한한 데이터의 처리에 대한 요구가 많이 커지고 있다. 스트리밍 데이터에 대한 질의 처리는 크게 실시간으로 처리가 요구되는 질의와 과거 데이터에 대한 동향 근사치 요청질의로 나누어질 수 있다. 기존의 스트리밍 데이터 처리에 대한 연구들은 실시간 질의 처리만을 고려하고 과거 데이터에 대한 질의에 대한 고려는 미약하다. 그리고 사용자가 과거의 데이터에 대한 동향 분석을 요청하는 질의, 또는 과거 어느 시점의 데이터에 대한 요청 혹은 근사치를 요구하는 질의에 대해서는 처리를 할 수 없는 한계점이 있다. 본 논문에서는 스트리밍 데이터 프로세서의 메모리의 범위를 넘어서서 삭제되는 과거 데이터를 디스크의 I/O처리 속도에 맞추기 위해서 로드 셰딩 기법을 적용해서 저장한 후에 개념 계층을 이용해서 사용자가 원하는 데이터만을 효과적으로 저장하는 기법을 제안한다.

  • PDF

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리 (Real-Time IoT Big-data Processing for Stream Reasoning)

  • 윤창호;박종원;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.1-9
    • /
    • 2017
  • 스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

PAVOs 활용을 위한 유속데이터 전처리 기법 개발 (Development of Water Velocity Data Preprocessing Method for PAVOs)

  • 임소연;유영무;이신재;이연길
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.85-85
    • /
    • 2023
  • 유량 측정을 위해 도섭법, 횡측선법 등의 인력에 의한 방법이 적용되고 있으나, 이는 야간 및 휴일 측정, 인력 부족 등 여러 제약으로 인해 고수위 홍수를 측정하는 데에 한계가 있다. 이를 해결하기 위해 시공간적 제약이 없는 도플러 방식 초음파유속계(Acousitc Doppler Velocity Meter, ADVM)와 자동유속관측시스템(Portable Automatic Velocity Observation System; PAVOs)이 제안되었다. 이 방법들은 교량에 설치된 장치를 통해 실시간으로 유속이 계측되어 시공간적 제약이 없으며 홍수 관리에 유용하게 사용될 수 있다. 실시간으로 계측된 유속 데이터는 오·결측 값이 발생하며 ADVM의 경우 수위-유량관계식을 활용하는 등 전처리 방법이 활용되고 있지만 전자파표면유속계를 활용한 PAVOs 데이터의 전처리 방법에 대한 연구는 부족하다. 따라서 본 연구에서는 PAVOs에서 실시간으로 계측된 유속 데이터의 전 처리 과정(Pre-processing)을 개발하였다. PAVOs를 통해 측정된 데이터는 5분 단위로 10개의 유속이 한번에 측정되며 비정상성(Non-stationary)인 특징을 가진다. 이 데이터의 전처리 과정으로 오·결측값에 대한 처리 및 보간법 적용 이후 10개 값 중 실제 유속을 판단하고 잡음제거(Denoising)를 수행하였다. 이를 강원도 홍천강에 위치한 홍천교에서 계측된 유속 데이터에 적용하였다. 그 결과 데이터의 상승부와 하강부에서 일정한 경향성을 파악할 수 있다. 이 데이터를 통해 산정한 유량과 실측 기반의 평균유속과 관계를 통해 계산한 유량을 비교해 보았을 때 낮은 편차율을 가지는 것을 확인하였다. 전 처리 된 실시간 유속 데이터를 활용한다면 최고수위가 발생하였을 경우 홍수량을 산정할 수 있을 것이다. 또한, 강우 또는 하천 공사에 의해 변동하는 수위-유량관계곡선식을 실시간으로 개발할 수 있을 것이며 이는 효과적인 홍수관리에 큰 역할을 할 수 있을 것이다.

  • PDF

대용량 데이터 스트림을 처리하는 과학계산 응용을 위한 효율적인 데이터 이동 기법 (Efficient Data Movement for Scientific Application Processing Large Size Data Stream)

  • 변은규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.170-173
    • /
    • 2015
  • 대규모 실험장비에서 발생하는 아주 큰 사이즈의 데이터를 처리하기 위해서 기존에는 수집 및 저장, 계산 장비로의 원거리 전송, 데이터 분석 등의 단계를 따로 처리해 왔다. 데이터의 양이 폭발적으로 증가하고 있고 동시에 데이터의 실시간 처리 요구가 증가하는 상황이다. 이에 본 연구에서는 추상화된 입출력 계층을 이용하여 마치 로컬 저장소에 있는 데이터를 사용하는 것과 같은 인터페이스를 통해 원거리에서 생성된 데이터 스트림을 실시간으로 이동하고 처리할 수 있는 기법을 소개한다. 또한 데이터 전처리 계산 위치를 송신 측으로 변경하여 대용량 데이터를 효과적으로 전송하기 기법을 제안한다.

ECA 기반 센서 네트워크 실시간 모니터링 서비스 (Real-Time Sensor Monitoring Service based on ECA)

  • 김정이
    • 한국멀티미디어학회논문지
    • /
    • 제15권1호
    • /
    • pp.87-92
    • /
    • 2012
  • 무선 센서 네트워크는 실시간으로 객체에 대한 정보를 수집하기 위한 기술로 짧은 시간에 많은 양의 데이터가 지속적으로 발생되는 특성을 갖고 있다. 센서로부터 획득되는 많은 양의 데이터 스트림을 효과적으로 처리하기 위해서는 데이터 간의 관계를 정의하여 분석, 사용자가 주목할 만한 상황, 즉 센서 데이터들 중 이상 데이터가 포함되어 있는 것을 발견하는 것이 필수적이라 할 수 있다. 본 논문에서는 센서 데이터 스트림을 효과적으로 처리하기 위해 ECA 규칙을 사용하여 의미있는 데이터를 구성하고, 이를 통해 보다 실용적인 실시간 모니터링 시스템을 제안한다.

수표영상의 실시간 압축 및 인식처리를 위한 하드웨어 설계 및 구현 (Hardware Design and Implementation for Real Time Compression and Recognition of Check Image)

  • 오승환;신동욱
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.541-543
    • /
    • 2001
  • 본 연구에서는 1비트 단위로 연속적으로 입력되는 수표의 영상데이터를 실시간으로 압축처리하고 또한 수표의 하단부에 기록된 인식하기 위한 알고리즘과 하드웨어 구현을 보여준다. 제안된 알고리즘에서는 실시간 처리를 위해 하드웨어에 적합한 알고리즘이 소개되며, 실제로 PLD로 설계 구현하여 그 타당성을 확인하였다.

  • PDF