• Title/Summary/Keyword: 데이터 처리

Search Result 17,458, Processing Time 0.042 seconds

Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment (센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계)

  • Park, Jun-Yong;Lee, Kwang-Won;Hwang, Yun-Chul;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2010.07a
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF

An architecture for data processing accelerator (데이터 처리 가속기 구조)

  • Na, Jong-Whoa;Kim, Hee-Chern;Ryu, Dae-Hyun;Kwon, Chang-Hee;Jung, Kwang-Ho;Sin, Seung-Jung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05b
    • /
    • pp.1015-1018
    • /
    • 2003
  • 본 논문은 날로 증가하는 데이터 처리 요구를 데이터 처리 전용 칩을 이용하여 데이터베이스, 데이터 마이닝, 또는 전문가 시스템 통과 같이 데이터 비교연산에 시간을 많이 소모하는 응용 소프트웨어의 처리 속도를 최소화 할 수 있는 시스템을 제안한다. 본 시스템은 기존의 숫자처리(numeric processing)보다는 기호처리(symbolic processing)를 위해서 관계 연산(relation operation) 모듈을 이용하여 입력된 데이터들을 하드웨어 레벨에서 고속으로 처리한다. 본 시스템은 칩으로 설계되어 하드디스크 레벨에서 시스템을 가속 시린 수도 있고, IP(Intellectual Property)로 구현되어 SoC(System-on-a-chip)의 한 모듈로서 프로세서 레벨에서 시스템을 가속시킬 수도 있다.

  • PDF

Performance Comparison Study on Big Data System Processing Engine (빅데이터 시스템 처리 엔진에 관한 성능 비교 연구)

  • Shin, Min-kyu;Kim, Tae-Won;Hwang, Sun-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.93-96
    • /
    • 2019
  • 최근 들어 빅데이터 처리 속도에 대한 관심이 높아지면서 처리 성능을 높이기 위한 다양한 기술들이 개발되고 있다. 기존의 빅데이터 전문 업체들도 전통적인 빅데이터 처리 방법이 아닌 새로운 기술에 대한 투자를 통해 경쟁을 가속화 하고 있다. 이러한 이유로 최적의 처리 엔진을 선택하는 것은 점차 중요한 부분이 되고 있다. 하지만 실제로 환경을 구성하여 운영해보기 전까지는 시행 착오를 겪을 수 밖에 없는 상황이다. 그래서 본 논문에서는 최근 발표된 빅데이터 처리 엔진 기술들이 어느 정도 성능을 보이는지에 관한 연구를 수행하여 빅데이터 처리 엔진 선택 및 판단에 도움이 될 근거를 제공하고자 한다.

Design and Implementation of a Slip data Processing System using XML in a Web-based (웹 기반 XML을 이용한 전표 데이터 처리 시스템 설계 및 구현)

  • 황의철;정민영;정선태
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.425-428
    • /
    • 2002
  • 전표란 거래 사실을 입증하기 위한 일종의 서식으로 기업의 회계 관리에 매우 중요한 데이터이다. 기업 회계의 투명성 및 기업의 생산성을 위하여 전표 데이터의 전산 처리가 필요 되는데, 중소기업에서는 전문지식을 가진 인력 충원의 어려움과 전표 데이터 처리를 포함한 기업 회계 전산 시스템의 도입 비용 과다 등으로 전산 처리가 쉽지 않다. 따라서, 이러한 중소 기업 등을 위하여 활성화된 웹 환경을 통하여 저렴한 비용으로 기업 회계 관리 전산 서비스를 제공해 줄 수 있는 시스템의 구축이 필요하다. 특히 회계업무의 기초가 되는 전표데이터의 처리 등에 대해서는 아직 국제적인 표준이 없으며, 관련 연구도 매우 부족한 실정이다. 본 논문은 웹 환경에서 데이터 표현 방식의 표준인 웹 기반 하에 XML을 이용하여, 기업 회계에 필요한 전표 데이터 처리 시스템을 설계하고 구현한 결과를 기술한다. 본 논문의 결과는 전자 상거래에 필요한 회계전산 처리 시스템의 표준화 및 활성화에 기여할 것으로 전망된다.

  • PDF

High-performance and Highly Scalable Big Data Analysis Platform (고성능, 고확장성 빅데이터 분석 플랫폼)

  • Park, Kyongseok;Yu, Chan Hee;Kim, Yuseon;Um, Jung-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.535-536
    • /
    • 2021
  • 빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

A Summarization Method for Data Streams (데이터 스트림 정보 요약 기법)

  • Han, Sang-Gil;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.657-660
    • /
    • 2006
  • 최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

  • PDF

In-memory based Incremental Processing Method for Massive Streaming Data (대용량 스트리밍 데이터에 대한 분산 인메모리 기반의 점진적 처리 기법)

  • Yook, Misun;Kim, Byounghoon;Han, Jieun;Noh, Yeonwoo;Lim, Jongtae;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2015.05a
    • /
    • pp.73-74
    • /
    • 2015
  • 본 논문에서는 스트리밍 데이터에 대한 점진적 연산을 지원하는 실시간 분산 인메모리 데이터 처리 기법을 제안한다. 제안하는 데이터 처리 기법은 기존에 처리된 데이터를 인메모리에 유지하고 새로운 스트리밍 데이터가 입력되었을 때 기존에 처리된 데이터를 재사용한다. 성능평가를 통해 제안하는 기법이 하둡에 비해 대용량 스트리밍 데이터를 빠르게 처리할 수 있음을 보인다.

  • PDF

Synchronizing Learning Data in Educational Games (교육용 게임에서의 학습 데이터 동기화 처리)

  • Jeon, Seong-Sik
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.100-104
    • /
    • 2008
  • 교육용 소프트웨어 산업이 급속히 발전하면서 온라인 게임을 플랫폼으로 하는 다양한 교육용 게임이 개발되고 있다. 현재 대부분 교육용 게임 시스템은 온라인 게임의 학습도구와 웹을 기반으로 하는 부가적 교육 학습도구로 이중화 되어 개발되고 있다. 하지만 온라인 게임의 학습 데이터 결과와 웹의 학습 데이터 결과가 일치화 되지 않아 학습자에게 올바른 학습 결과를 줄 수 없을 뿐만 아니라 게임 시스템의 학습과정에 따른 레벨 시스템을 적용하기가 어렵다. 본 논문에서는 이러한 비동기적 데이터 처리방식을 온라인 게임 시스템과 웹의 학습과정의 분기 조건에 필요한 학습결과 데이터만을 동기화 처리하는 학습 데이터 동기화 처리 방식을 구현하였다. 이러한 학습결과 데이터 동기화 처리는 위와 같은 문제점으로 다양한 학습 콘텐츠들이 온라인화 하지 못했던 문제점을 해결하고, 향후 통합 교육용 시스템과 다중 교육용 게임 시스템으로 개발 될 때 좀 더 효과적인 학습 시스템으로 개발될 수 있는 학습 데이터 처리 방식이 될 것이다.

  • PDF

Design of Sensor Data's Missing Value Handling Technique for Pet Healthcare Service based on Graph Attention Networks (펫 헬스 케어 서비스를 위한 GATs 기반 센서 데이터 처리 기법 설계)

  • Lee, Jihoon;Moon, Nammee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.463-465
    • /
    • 2021
  • 센서 데이터는 여러가지 원인으로 인해 데이터 결측치가 발생할 수 있으며, 결측치로 인한 데이터의 처리 방식에 따라 데이터 분석 결과가 다르게 해석될 수 있다. 이는 펫 헬스 케어 서비스에서 치명적인 문제로 연결될 수 있다. 따라서 본 논문에서는 펫 웨어러블 디바이스로부터 수집되는 다양한 센서 데이터의 결측치를 처리하기 위해 GATs(Graph Attention neTworks)와 LSTM(Long Short Term Memory)을 결합하여 활용한 데이터 결측치 처리 기법을 제안한다. 펫 웨어러블 디바이스의 센서 데이터가 서로 연관성을 가지고 있다는 점을 바탕으로 인접 노드의 Attention 수치와 Feature map을 도출한다. 이후 Prediction Layer 를 통해 결측치의 Feature 를 예측한다. 예측된 Feature 를 기반으로 Decoding 과정과 함께 결측치 보간이 이루어진다. 제안된 기법은 모델의 변형을 통해 이상치 탐지에도 활용할 수 있을 것으로 기대한다.

Design and Implementation of a Real -Time Analytics System for Network Packet Trend Analysis (네트워크 패킷 트랜드 분석을 위한 실시간 스트림 데이터 분석 시스템 설계 및 구현)

  • Park, Seoeun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.72-75
    • /
    • 2016
  • 스마트폰, 센서, 소셜미디어, 웹 서비스 등으로부터 발생되는 데이터의 폭증으로 인하여 빅데이터의 분석 및 활용에 대한 요구가 커져가고 있다. 특히 스마트 기기의 발달과 사용자 이용 패턴의 변화로 인하여 스트림 데이터는 끊임없이 발생되고 있지만, 기존의 하둡을 이용한 분석 시스템은 응답시간이 지연되어 빠르게 결과를 조회할 수 없는 단점으로 인하여 데이터를 실시간으로 분석하여 바로 활용할 수 있는 시스템에 대한 요구가 점점 더 증가하면서 람다 아키텍쳐가 등장하였다. 람다 아키텍쳐는 데이터 처리 과정을 배치 레이어와 스피트 레이어로 나누고, 스피드 레이어에서는 배치 결과가 나오기 전까지 스트림으로 유입되는 데이터를 실시간으로 분석하여 가장 최근의 데이터를 빠르게 조회 할 수 있도록 결과를 제공한다. 본 논문에서는 람다 아키텍쳐를 활용하여 연속적으로 유입되는 대용량의 스트림 데이터를 효과적으로 처리하여 실시간 분석과 동시에 배치 분석을 제공하는 데이터 처리 시스템을 설계하고 구현한다.