• Title/Summary/Keyword: 데이터수집시스템

Search Result 3,469, Processing Time 0.032 seconds

Time-series big data analytics software on IoT streaming data (빅데이터 기반 대용량 시계열 에너지 데이터 처리 시스템)

  • Kang, Jeonghoon;Yoo, June-Jae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.52-53
    • /
    • 2018
  • 본 논문은 에너지 빅데이터를 분석하기 위해 대용량의 시계열 데이터를 처리하는 시스템의 설계, 구축 방법을 제시한다. 이미 사용 중인 건물이나 공장의 에너지 효율화를 위해서 정부는 효율자원 시장 지원 사업을 수행하고 있다, 에너지 소비 설비에 따라 고효율 자원으로 변경 설치하는 데 필요한 자금의 일부를 지원하고 있다. 정부지원으로 고효율 설비로 변경함에 따라 실증 사이트에서는 측정 데이터를 수집하여, 효율화 정도를 파악하기 위한 에너지 데이터 분석 시스템을 구축하여 운영하였다. 해당 측정 정보는 IoT 전력량계를 통해 수집되며, 수집된 데이터는 클라우드 시스템에서 다양한 머신러닝 알고리즘에 적용되어, 에너지 소비 효율 평가에 필요한 성능 지표를 연산한다. 구현된 진단 시스템은 기축 건물의 에너지 효율향상 상황을 분석하는데 기여할 수 있다. 빅데이터 기반의 에너지 분석 기능을 사용하여 에너지 고효율 장비의 운영시간, 부하율 등의 효율성과 성능통계를 연산할 수 있다.

A study on data collection environment and analysis using virtual server hosting of Azure cloud platform (Azure 클라우드 플랫폼의 가상서버 호스팅을 이용한 데이터 수집환경 및 분석에 관한 연구)

  • Lee, Jaekyu;Cho, Inpyo;Lee, Sangyub
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.329-330
    • /
    • 2020
  • 본 논문에서는 Azure 클라우드 플랫폼의 가상서버 호스팅을 이용해 데이터 수집 환경을 구축하고, Azure에서 제공하는 자동화된 기계학습(Automated Machine Learning, AutoML)을 기반으로 데이터 분석 방법에 관한 연구를 수행했다. 가상 서버 호스팅 환경에 LAMP(Linux, Apache, MySQL, PHP)를 설치하여 데이터 수집환경을 구축했으며, 수집된 데이터를 Azure AutoML에 적용하여 자동화된 기계학습을 수행했다. Azure AutoML은 소모적이고 반복적인 기계학습 모델 개발을 자동화하는 프로세스로써 기계학습 솔루션 구현하는데 시간과 자원(Resource)를 절약할 수 있다. 특히, AutoML은 수집된 데이터를 분류와 회귀 및 예측하는데 있어서 학습점수(Training Score)를 기반으로 보유한 데이터에 가장 적합한 기계학습 모델의 순위를 제공한다. 이는 데이터 분석에 필요한 기계학습 모델을 개발하는데 있어서 개발 초기 단계부터 코드를 설계하지 않아도 되며, 전체 기계학습 시스템을 개발 및 구현하기 전에 모델의 구성과 시스템을 설계해볼 수 있기 때문에 매우 효율적으로 활용될 수 있다. 본 논문에서는 NPU(Neural Processing Unit) 학습에 필요한 데이터 수집 환경에 관한 연구를 수행했으며, Azure AutoML을 기반으로 데이터 분류와 회귀 등 가장 효율적인 알고리즘 선정에 관한 연구를 수행했다.

  • PDF

A Study on the Development for Environment Monitoring System of Micro Data Center (마이크로 데이터센터의 환경 모니터링 시스템 개발 연구)

  • Lee, Kap Rai;Kim, Young Sik
    • The Journal of the Convergence on Culture Technology
    • /
    • v.8 no.2
    • /
    • pp.355-360
    • /
    • 2022
  • In this paper, we present design and developing method for EMS(environment monitoring system) of micro data center. This developing EMS monitors operating environment of micro data center and analyze sensing data through IoT(Internet of things) sensors in real time. Firstly we present configuration method of IoT sensing package and design method EMS hardware platform. Secondly we design data collector software for data collection of IoT sensor with different protocol and develop monitoring software of EMS. The data collector software consists of sensor collector module and collector manager module. Also we design EMS software which has micro service architecture structural style and component based business logic.

A Study on Development of An Integrated Inventory Management Prototype System for Decision Making in the Nature Disaster (재난대응 의사결정 지원을 위한 분산정보 공유형 인벤토리 프로토타입 개발 방안 연구)

  • Choi, Soo Young;Gang, Su Myung;Kim, Jin-Man;Jo, Yoon Won
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.633-633
    • /
    • 2015
  • 재해의 발생 빈도 증가와 불규칙성, 대형화 추세에 따른 SOC 시설물 피해가 증가함에 따라 유관 기관의 재난/재해 정보 수집은 지속적으로 이루어지고 있다. 그러나 각 기관별로 자료가 분산 관리됨에 따라 선제적 재해대응 체계는 갖추어지지 못하고 있는 실정이다. 이에, 예방적 유지관리체계 구현을 위한 분산정보 공유형 재해대응 인벤토리를 구축하고자 한다. 본 인벤토리는 3차원 공간정보를 기반으로 분산 관리되고 있는 재난/재해 관련 정보를 수집하고 이렇게 수집된 데이터들의 통합적 관리를 위해 데이터 표준화를 거쳐 선제적 재해 대응의 원천 데이터로 활용될 수 있다. 본 연구에서는 인벤토리 관리/연계 모듈의 설계 방안을 마련하고자 국내외 인벤토리 관련 시스템 현황조사를 진행하고 관리 및 연계 대상 데이터의 항목을 선정하고 내용을 분류하였다. 또한, 시스템 요구사항을 수집하고 정의하고 관리/연계 모듈의 세부기능 정의를 하였다. 뿐만아니라, 프로토타입 개발을 위해 서비스 제공 형태와 데이터 제공 방식을 결정하였다. 본 연구에서 개발하고 있는 프로토타입은 Web Service 기반의 REST 방식으로 데이터를 제공할 것이며, 3차원 공간 정보를 기반으로 하고 있다. 본 연구에서는 프로토타입 개발을 위해 기본 주재도를 제작하고 연구 지역의 시설물 정보를 구축하였다. 분산정보 공유형 재해대응 인벤토리 시스템은 분산 관리되고 있는 재난/재해 정보들을 자료 송/수신 모듈을 통하여 수집하고 데이터 필터링 모듈에서 수집된 자료의 표준화와 품질측정을 진행하여 데이터의 신뢰도를 향상 시킬 것이다. 또한, 데이터 관리 모듈을 이용하여 공간정보 데이터를 검증하고 최적화 관리를 할 수 있도록 하며, 시스템 관리 모듈에서 유관기관에서 유입되는 자료들을 관리하고자 한다. 이렇게 구축된 인벤토리 시스템은 선제적 재해대응 의사결정의 원천 데이터를 제공하고 SOC 시설물의 유지관리에 활용될 수 있을 것으로 판단된다.

  • PDF

A Study on the Data Collection and Storage of Big Data Systems (빅데이터 시스템의 데이터 수집 및 저장에 관한 연구)

  • Park, Jihun;Kim, Gyunghwan;Jung, Eunsu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.48-51
    • /
    • 2017
  • 빅데이터는 저장되지 않았거나 저장되더라도 분석되지 못하고 버리게 되는 방대한 양의 데이터를 말한다. 실제로도 빅데이터는 페이스북, 트위터등의 소셜 네트워크에서 많이 발생하고 있는데, 이러한 방대한 데이터들을 어떻게 효율적으로 저장하고 분석하는지에 대한 관심이 많아지고 있다. 따라서 본 논문에서는 빅데이터의 개념, 빅데이터의 향후 동향과 이슈들에 대해 살펴보고, 빅데이터 시스템이 데이터를 수집하고 저장하는 것에 대한 고려할만한 사항들과 효율적인 해결방안에 대해 제시하였다.

Design of a Reputation System for Twitter (트위터 이용한 인물 평판 분석 시스템)

  • Lee, Gyoung-Ho;Lee, Kong Joo
    • Annual Conference on Human and Language Technology
    • /
    • 2012.10a
    • /
    • pp.62-66
    • /
    • 2012
  • 본 논문은 트위터 사용자들이 글(트윗)을 통해 표현한 인물에 대한 평가를 수집, 분석하여 인물에 대한 평판을 종합적으로 분석하는 시스템의 구성에 대한 논문이다. 트위터의 Open API를 이용한 데이터 수집과 수집된 데이터의 특징에 대하여 분석하고 감성사전을 이용한 데이터 분석과 분석된 결과의 저장방식에 대하여 논한다. 2012년에 치루어지는 18대 대통령 선거의 출마자들을 본 시스템에 적용하여 시스템의 유효성을 검증하고자 한다.

  • PDF

Design of Integrated Verification Process for Sending Data Gathering System (센싱 데이터 수집 시스템을 위한 통합검증 프로세스 설계)

  • Kim, Yu-Doo
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.10a
    • /
    • pp.305-306
    • /
    • 2021
  • It has been designed very complex that gathering system for various sending data. Therefore it is very important that verification process of these functions. In this paper we design of integrated verification process for sensing data gathering system.

  • PDF

Evaluation of Edge-Based Data Collection System through Time Series Data Optimization Techniques and Universal Benchmark Development (수집 데이터 기반 경량 이상 데이터 감지 알림 시스템 개발)

  • Woojin Cho;Jae-hoi Gu
    • The Journal of the Convergence on Culture Technology
    • /
    • v.10 no.1
    • /
    • pp.453-458
    • /
    • 2024
  • Due to global issues such as climate crisis and rising energy costs, there is an increasing focus on energy conservation and management. In the case of South Korea, approximately 53.5% of the total energy consumption comes from industrial complexes. In order to address this, we aimed to improve issues through the 'Shared Network Utility Plant' among companies using similar energy utilities to find energy-saving points. For effective energy conservation, various techniques are utilized, and stable data supply is crucial for the reliable operation of factories. Many anomaly detection and alert systems for checking the stability of data supply were dependent on Energy Management Systems (EMS), which had limitations. The construction of an EMS involves large-scale systems, making it difficult to implement in small factories with spatial and energy constraints. In this paper, we aim to overcome these challenges by constructing a data collection system and anomaly detection alert system on embedded devices that consume minimal space and power. We explore the possibilities of utilizing anomaly detection alert systems in typical institutions for data collection and study the construction process.

Application of PDA for Intelligence Flood Forecast System(IFFS) (PDA를 이용한 지능적홍수예보시스템(IFFS) Application 개발)

  • Lee, Nam-Ki;Jung, Seung-Back;Yang, Seung-In
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10d
    • /
    • pp.221-224
    • /
    • 2007
  • 홍수 예보 시스템은 관측소의 우량계와 수위계로부터 데이터를 수집하여, VHF, SATELLITE 등의 통신망을 이용하여 통제소의 TM 주장비로 수집한 데이터를 송신한다. 그리고 통제소에서는 수신된 데이터를 분석하여 홍수예보에 활용하고 있다. 그러나 현 시스템은 제한적인 무선 시스템으로 관측소의 자료 확인이나 테스트를 위해서는 직접적인 수동접속 또는 엔지니어의 대국이 불가피하다. 본 연구에서는 기존의 홍수예보 시스템에 CDMA라 Bluetooth 기능을 적용하여 지능적 홍수예보시스템(IFFS, Intelligence Flood Forecast System)의 개발하였다. 지능적 통수예보시스템의 도입 시 항시 휴대 가능한 PDA를 이용, 관측소의 수위, 우량데이터를 Bluetooth를 이용하여 백업하며 수집된 데이터를 통제소로 간편하게 전승할 수 있으며, 관측소의 S/N 측정을 인력과 시간의 낭비 없이 효율적으로 수행할 수 있다.

  • PDF

Management System for Experimental Data In Remote Measurement Device Using TCP/IP Socket (TCP/IP 소켓을 이용한 원격 측정 장치의 실험 데이터 통합 관리 시스템 개발)

  • Kim, Seon-Yeong;Cho, Hwan-Gue
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06b
    • /
    • pp.397-400
    • /
    • 2010
  • 최근의 과학 실험은 그 규모나 내용에 있어서 점차 대형화되는 동시에 복잡해지고 있다. 이로 인하여 다양한 측정 장비로부터 도출된 실험 결과를 효율적으로 분석, 관리, 종합하는 도구의 필요성이 커지고 있다. 본 논문에서는 원격 측정 장치로부터 서로 다른 포맷의 실험 데이터를 자동 수집한 후 이중 정제한 데이터들만 추출하여 웹에서 시각화하는 실험 데이터 통합 관리 시스템을 제안한다. 먼저 원격 측정 장치의 데이터를 자동으로 수집하기 위해 폴링 서버를 설계하여 장치마다 폴링 에이전트를 도입하였다. 이를 통해 관리자가 각 측정 장치에 직접 접근하지 않고도 데이터를 수집할 수 있다. 폴링으로 확보한 데이터는 파싱을 통해 정제하고, 이들 데이터로 데이터베이스를 구축한다. 정제한 데이터는 시각화하여 사용자가 웹에서 쉽게 파악할 수 있다. 데이터 폴링은 TCP/IP Socket을 통해 수행하므로 보편적으로 사용하는 FTP 방식에 비해 데이터 확보 시 신뢰성을 높일 수 있으며, 폴링 여부 판단 시에는 동기식, 실제 폴링 시에는 비동기식 통신 방법을 사용하여 폴링의 효율을 높였다. 본 시스템을 활용하여 사용자의 임의적인 데이터 접근을 최소화하였고 데이터의 전송, 저장, 관리를 자동화함으로써 편의성을 높였다. 본 시스템을 활용하여 원격 실험 장치로부터 데이터를 확보할 때의 정확성과 폴링 및 파싱 속도를 실험을 통해 측정하였고, 그 결과 폴링 시 100%의 정확도와 정상 포맷의 데이터에 대해서 100%의 파싱 결과를 보임으로써 본 시스템이 원격 장치의 실험 데이터를 통합 관리할 때 적합함을 알 수 있었다. 추후 데이터의 속성에 따라 클러스터링 할 예정이며 클러스터링에 따른 시각화 서비스를 제공할 계획이다.

  • PDF