• Title/Summary/Keyword: 데이터 수집

Search Result 8,221, Processing Time 0.045 seconds

선박 안전을 위한 선내 모니터링 시스템 구축

  • Jeong, Hui-Seok
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2017.11a
    • /
    • pp.44-45
    • /
    • 2017
  • 선박의 안전운항을 위해, 선내 센서데이터 수집장치를 설치하여 선박의 항해/기관 데이터를 수집하고, 수집된 데이터를 이용하여 긴급상황레벨 결정 및 위기대응 가이던스를 제공한다. 선박에서 수집된 데이터는 LTE-M 망을 이용하여 육상으로 전송하는 시스템을 개발한다. 선데 데이터 수집장치는 IEC 61162-1 표준으로 항해통신 장비들의 데이터를 수집하고, 기관부 데이터는 Moubus로 데이터를 수집한다. 수집된 데이터는 UDP로 육상 송수신 장치로 데이터를 전송한다.

  • PDF

Design and Implementation of Automated Twitter Data Collecting System : Focus on Environmental Data (자동화된 트위터 데이터 수집 시스템 설계 및 구현 : 환경 데이터를 중심으로)

  • Kim, Do-Hyung;Koo, Jahwan;Kim, Ung-Mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.361-364
    • /
    • 2020
  • 소셜 네트워크 서비스의 사용자가 늘어나면서, 소셜 네트워크 서비스상에서 발생하는 빅데이터를 활용한 서비스가 늘어나고 있다. 소셜 네트워크 서비스 데이터는 실시간으로 생성되며, 따라서 데이터 수집 시스템 역시 자동화하여 준 실시간으로 데이터를 수집할 필요가 있다. 본 논문에서는 대표적인 소셜 네트워크 서비스인 트위터의 데이터를 지속적으로 수집하기 위한 자동 수집 시스템을 제안한다. 수집 시스템은 Twitter API 를 활용하는 Python 라이브러리를 통해 내용 및 메타데이터를 수집하며, 수집된 데이터를 재 검증한 뒤 저장한다. 또한 구현된 시스템에 환경 데이터를 주제로 하는 쿼리를 입력하여 실제 트위터 데이터를 수집하며 구현된 시스템을 검증해보았다.

Data Collection and Analysis for Monitoring Information System (모니터링 정보 시스템을 위한 데이터 수집 및 분석 방법)

  • Kim, Dae-Young;Jang, Yumi;Kim, EunGyeong;Kim, Seokhoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.697-699
    • /
    • 2017
  • 정보 기기와 통신 기술의 발달로 다양한 분야에서 정보 통신 기술이 융합되어 사용되고 있으며, 기존 사회 분야에 융합됨으로써 기존 시스템의 효율을 높이기 위한 시도가 계속되고 있다. 특히 모니터링 정보 시스템을 사회복지 데이터 수집과 분석 분야에 적용함으로써 기존 사회복지 서비스의 효율을 높일 수 있다. 기존 사회복지 시스템의 정보 수집 방법은 설문에 의한 데이터 수집 및 분석을 바탕으로 이루어지며, 시간과 비용의 낭비로 인해 새로운 방식의 데이터 수집 및 분석 방법이 요구되고 있다. 따라서 본 논문에서는 정보 통신 기술 기반의 모니터링 데이터 수집 및 분석 방법을 제안함으로써 기존 서비스의 효율을 향상시키고자 한다. 제안하는 방안은 데이터 수집 모듈을 통해 웹 기반의 데이터를 수집하고, 수집된 데이터를 데이터 처리 모듈로 전달하여 데이터를 저장 및 분석하게 된다. 분석된 결과는 시각화 모듈을 통해 확인할 수 있다.

Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data (하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현)

  • Son, ki-jun;Cho, in-ho;Kim, chan-woo;Jun, chae-nam
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2015.05a
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

다중 서버 구조를 갖는 Web 기반 음성 수집 시스템

  • 홍문기;강선미;장문수
    • Proceedings of the KSLP Conference
    • /
    • 2003.11a
    • /
    • pp.230-232
    • /
    • 2003
  • 음성에 관련된 연구분야에 있어서 음성 데이터 수집의 중요성은 매우 크다. 개발된 인식기나 분석기의 성능이 좋다 하더라도 실험에 사용된 음성 데이터의 질과 양에 따라서 실험 결과를 확정짓기가 어려운 점이 있다. 대개의 경우 음성 수집은 오프라인으로 이루어지는데, 실험에서 요구되는 특정 수집자에 대해서 일정 기간과 정해진 장소에서 반복 수집하는 것은 어려움이 많이 따른다. 그러므로 본 연구에서는 Web을 이용하여 음성 데이터 수집자로 하여금 다양한 시간과 장소에서 자유롭게 음성을 수집할 수 있도록 하였다. 이에 대하여 수집된 음성 데이터의 크기가 커짐에 따른 통신상에서 종종 발생하는 문제점을 개선하려는 목적으로 다중 서버를 두어 수집된 데이터는 지역 서버에 일단 저장되었다가 적절한 상황에서 메인 서버로 자동 전송하는 시스템을 구축하였다. 본 시스템은 서로 다른 실험에서 수집되는 데이터를 수집 지역서버를 지정해 줌으로서 수집자가 원하는 특정 지역 서버에서 별도로 관리할 수 있도록 구성되어 있다. 시간, 위치의 제약 없이 인터넷이 연결된 장소에서는 음성을 수집할 수 있고, 웹상 ActiveX 프로그램을 제공함으로써 일관된 끝점처리 및 잡음처리 기능을 반영할 수 있다. 또한 다양한 응용에 적절한 수집기의 인터페이스를 관리자 모드에서 변경하여 사용할 수 있도록 함으로서 넓은 층에서의 활용도를 높였다. (중략)

  • PDF

Development of Data Collection System for Analysing the Productivity of Plums (매실 생산성 분석을 위한 데이터 수집 시스템 개발)

  • Seo, Dong Min;Akhter, Tangina;Lee, Jong Ho;Cho, Seong Yoon;Kim, Gwang Shim;Park, Hong Joon;Kim, Hyuck Joo
    • Proceedings of the Korean Society for Agricultural Machinery Conference
    • /
    • 2017.04a
    • /
    • pp.39-39
    • /
    • 2017
  • 본 연구에서는 매실 생산성 향상 분석을 위해 범용 싱글보드 컴퓨터로 제작한 원격 데이터 수집 장치를 개발하였다. 라즈베리파이와 같은 소형 범용 싱글보드 컴퓨터는 저렴하게 IoT 기반의 원격 모니터링 장치를 쉽게 개발할 수 있어 중소규모 매실 농장의 생육 환경 정보 및 재배 이력을 수집하는데 활용도가 매우 높아 생산성 향상을 위한 데이터 수집 분야에서 잠재적인 가능성을 가지고 있다. 따라서 매실의 생산성을 높이는데 영향을 줄 수 있는 환경적, 생육적 요인들을 분석하기 위한 기초적인 단계에서 이러한 소형 싱글보드 컴퓨터를 이용한 원격 센싱 및 데이터 수집 장치를 개발하였다. 수집데이터로는 주변 기온과 습도, 토양의 온도와 수분함량 및 pH이다. 1차 프로토타입은 아두이노 MKR1000을 사용하여 주변 온도 및 습도 데이터 수집 및 전송 장치를 제작하고 대표적인 통신사인 KT가 운영하는 IoT Makers라는 클라우드 저장소를 사용하여 시스템을 구성하였다. MKR1000을 사용한 데이터 수집 장치의 장단점을 평가하기 위해 실내 시험을 실시하였다. 현재는 라즈베리파이를 이용한 주변 기온과 습도, 토양의 온도와 수분함량 및 pH 데이터 수집 및 전송 장치를 제작하였다. 최종 개발된 데이터 수집 장치는 2017년 순천 인근의 매실 밭에 설치되어 실제 센싱 데이터를 수집할 예정이며 수집한 데이터는 매실 생산성 향상과 관련된 요인을 분석하는데 사용할 것이다. 저가의 범용 IoT 장치를 활용한 원격 데이터 수집을 넓은 범위의 매실포장에 활용한다면, 매실의 생산성 및 품질 향상은 물론 매실의 이력추적관리의 기초 데이터를 적은 비용과 노력으로 제공할 수 있을 것으로 판단된다.

  • PDF

A study on the method of linking heterogeneous data between collection systems (수집 시스템간의 이기종 데이터 연계 방법 연구)

  • Park, Min-woo;Shim, Hyeong-seop
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.585-586
    • /
    • 2022
  • 사회현안을 해결하기 위한 데이터 분석을 위해서는 많은 양의 데이터 수집과 데이터 분석에 활용할 수 있도록 데이터 전처리가 필요하다. 많은 양의 데이터를 수집 및 처리를 위해 데이터 수집, 데이터 저장, 활용 시스템이 기능적으로 분리하여 시스템을 구성하고, 이에 따른 시스템간의 데이터 상호 연계가 필요하게 된다. 또한 외부 네트워크에 구성되어 있는 시스템간의 데이터 연계나, OpenAPI와 같이 다양한 데이터 서비스에서도 적용이 가능할 수 있도록 확장성과 유연성을 고려할 필요가 있다. 본 논문에서는 부산 지역현안 해결을 위한 시스템 구성에 있어, 확장성을 고려한 데이터 수집 시스템간의 효율적인 데이터 연계 방법을 제안하고자 한다.

  • PDF

PC용 데이터 수집 소프트웨어 개발

  • 박영필
    • Journal of the KSME
    • /
    • v.28 no.2
    • /
    • pp.123-129
    • /
    • 1988
  • 공학분야에서 널리 사용되고 있는 신호처리 및 해석의 기본이 되는 범용 데이터 수집 소프트웨 어의 기본적인 사항 및 그 개발예에 대해 언급하여 보았다. 데이터 수집장치 및 그를 제어하는 소프트웨어는 신호처리 및 해석을 통하여 국외에서 개발된 시스템보다는 훨씬 저렴한 가격으로 국내에서 개발될 수 있으며 국내에서 쉽게 구할 수 있는 것들로 데이터 수집 시스템 구성이 가 능함을 보였다. 또한 국내 개발 시, 시스템의 개조 및 성능향상이 용이하므로 점차적으로 그 성능 및 정확도를 향상시켜나갈 수 있으며 사용자의 목적에 따른 기능변경이 수월하다는 장점이 있겠다. 이러한 데이터 수집 소프트웨어의 개발시 그 성능을 크게 좌우하는 것은 A/D변환기 및 관련 하드웨어의 성능과 이를 직접 제어하는 기계어 Routine의 수행속도 및 능률이라는 점을 들 수 있겠다. 왜냐하면 데이터 수집기능 및 온라인 처리가 필요한 디지틀 오실로스코프 기능과 같은 일을 수행하는 소프트웨어는 하드웨어와 밀접한 관계가 있으며, 전체 수집 시스템의 성능에 둘 다 큰 영향을 미치게 되기 때문이다. 이러한 것은 하드웨어설계자와 프로그램 작성자와의 충분한 토의 및 상호 기능개선에 의해 해결되어 데이터 수집 시스템의 성능이 크게 향상되어질 수 있으며, 전자기술의 발전으로 인해 하드웨어의 성능이 크게 향상되고 이에 따른 소프트웨어의 개선이 진행됨에 의해 보다 나은 데이터 수집 시스템의 개발이 가능해지리라 사료된다.

  • PDF

A TDMA Based Data Collection Scheme Considering the Variability of Data in Sensor Networks with Mobile Sink (이동 싱크 기반 센서 네트워크에서 데이터 변화율을 고려한 TDMA 기반 데이터 수집 기법)

  • Park, Hyoung-Soon;Yeo, Myung-Ho;Seong, Dong-Ook;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.10 no.8
    • /
    • pp.51-58
    • /
    • 2010
  • In data collection using a mobile sink, the time that sensor nodes are included in its communication radius is not uniform. The data collection schedule in non-uniform time is needed between a mobile sink and sensor nodes for efficient data collection. The existing data collection schemes using a mobile sink considered staying time in its communication range and data collected by the mobile sink. However, they did not consider the characteristics of data collected in sensor networks. In this paper, we propose a TDMA based schedule scheme that consists of the data collection period by each sensor nodes and the data collection period between a mobile sink and sensor nodes. Moreover, we propose a data collection scheme considering the variability of data in sensor networks. The proposed data collection scheme collects only data that changed larger than the threshold set by the user. In order to show the superiority of the proposed scheme, we compare it with DWEDF that aims to collect data uniformly. As a result, our experimental results show that the proposed scheme reduces about 23% energy consumption and the data collection failure of sensor nodes over the DWEDF.

A Design of Small Size Sensor Data Acquisition and Transmission System (소형 센서 데이터 수집 및 전송 시스템 설계)

  • Lim, Joong-Soo
    • Journal of Convergence for Information Technology
    • /
    • v.9 no.1
    • /
    • pp.136-141
    • /
    • 2019
  • In this paper, we describe the design of a small size data acquisition system with STM32 processor based on Cortex-M4. The system is used for the sensor devices to collect raw data on production lines at factory and send them to the server computer in real time. Also the system is designed to easily acquisite various kinds of data collected from various sensors with the digital signal input unit, the analog signal input unit, the digital signal output unit and the analog signal output unit This small data acquisition system will contribute to the improvement of the quality of precision products in the industrial field by collecting various data in real time and transmitting data at high speed.