• Title/Summary/Keyword: 데이터 수집 모듈

Search Result 346, Processing Time 0.033 seconds

시공간 데이터를 위한 클러스터링 기법의 성능 비교

  • 강주영;이봉재;송재주;신진호;용환승
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.49-51
    • /
    • 2004
  • 최근 GPS시스템, 감시 시스템, 기상 관측 시스템과 같은 다양한 응용 시스템으로부터 수집된 시공간 속성을 가진 데이터를 분석하고자 하는 시공간 데이터 마이닝에 대한 관심이 더욱 높아지고 있다. 기존의 시공간 데이터 마이닝에 대한 연구는 문자.숫자 데이터를 기반의 마이닝 기법을 그대로 적용하고 있기 때문에 데이터의 시공간 속성을 충분히 고려한 분석으로는 한계가 많은 것이 사실이다. 본 논문에서는 패턴 인식과 클러스터링 능력이 뛰어나다고 알려진 SOM을 기반으로 시공간 클러스터링 모듈을 개발하고, 개발된 모듈의 성능과 클러스터링 정확성에 대하여 K-means, 응집 계층 알고리즘(Average Linkage, Ward)과 비교함으로써 시공간 데이터 마이닝을 위한 각 알고리즘들의 성능을 분석하였다 또한 입력 데이터의 특성과 클러스터링 결과를 더욱 정확하게 나타내어 가시적인 분석을 도울 수 있도록 시공간 데이터 클러스터링을 위한 가시화 모듈을 개발하였다.

  • PDF

Design of Remote Data Collection System using Orbcomm Satellite Communication (오브컴 위성 통신을 이용한 원격지 데이터 수집 시스템 설계)

  • Heo, Min;Jung, Sung-Hun;Mo, Soo-Jong;Lim, Jae-Hong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • v.9 no.1
    • /
    • pp.122-125
    • /
    • 2005
  • Data collection system is now widely used. This system is divided by embedded system and communication module. And data collection system in the remote area is using Satellite communication. So, data collection system is complicated and expensive. This paper proposes stabilization and cheapness of remote data collection system in dusty. The system can be composed simply through third party Satellite Communication programming of terminal including embedded system. Finally, collected data is transmitted to multi-user through web agent.

  • PDF

Implementation and Performance Evaluation of Environmental Data Monitoring System for the Fish Farm (양식장 환경 데이터 모니터링 시스템의 구현 및 성능 평가)

  • Wahyutama, Aria Bisma;Hwang, Mintae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.5
    • /
    • pp.743-754
    • /
    • 2022
  • This paper contains the results of the development and performance evaluation of the environmental data monitoring system for the fish farm. For the hardware development, the analogue sensor is used to collect dissolved oxygen, pH, salinity, and temperature of the fish farm water, and the digital sensor is used for collecting ambient temperature, humidity, and location information via a GPS module to be sent to cloud-based Firebase DB. A set of LoRa transmitters and receivers is used as a communication module to upload the collected data. The data stored in Firebase is retrieved as a graph on a web and mobile application to monitor the environmental data changes in real-time. A notification will be delivered if the collected data is outside the determined optimal value. To evaluate the performance of the developed system, a response time from hardware modules to web and mobile applications is ranging from 6.2 to 6.85 seconds, which indicates satisfactory results.

Design and development of communication protocol for a portable vibration data collection system using high precision acceleration sensors (고정밀 가속도 센서를 이용한 휴대용 진동 데이터 수집 시스템을 위한 통신 프로토콜 설계 및 개발)

  • Woo, Kyungmin;Lee, Hyunjun;Kim, Suhee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.260-263
    • /
    • 2014
  • 고정밀 가속도 센서를 이용한 휴대용 진동 데이터 수집 시스템은, 매우 고가이며 취급에 어려움이 존재하는 기존의 시스템과는 달리, 상대적으로 휴대가 용이하여 언제 어디서나 진동 데이터의 측정이 가능한 시스템으로, 향후 기능의 향상을 통해 기존의 시스템으로 측정이 불가능한 상황에서도 측정이 가능할 것으로 기대하는 시스템이다. 본 시스템은 데이터 수집기와 모바일 어플리케이션으로 구성되며, 이들 사이는 클래스1을 지원하는 고성능 블루투스 모듈을 통해 무선 통신한다. 본 논문에서는 개발한 진동 데이터 수집 시스템의 통신 시스템을 소개하고, 이 통신 시스템에서 사용하기 위한 프로토콜을 설계하고 개발한다. 4개의 채널에서 400Hz 속도로 발생하는 대량의 측정 데이터를 무선으로 전송하기 위해 패킷 구조를 사용하고, 데이터의 무결성을 위해 에러 검출 알고리즘을 사용한다. 이에 발생하는 문제해결을 위해 투과처리 및 역 투과처리 알고리즘을 사용한다.

Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment (클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현)

  • Kim, Myoungjin;Han, Seungho;Cui, Yun;Lee, Hanku
    • Journal of Internet Computing and Services
    • /
    • v.14 no.6
    • /
    • pp.71-84
    • /
    • 2013
  • Log data, which record the multitude of information created when operating computer systems, are utilized in many processes, from carrying out computer system inspection and process optimization to providing customized user optimization. In this paper, we propose a MongoDB-based unstructured log processing system in a cloud environment for processing the massive amount of log data of banks. Most of the log data generated during banking operations come from handling a client's business. Therefore, in order to gather, store, categorize, and analyze the log data generated while processing the client's business, a separate log data processing system needs to be established. However, the realization of flexible storage expansion functions for processing a massive amount of unstructured log data and executing a considerable number of functions to categorize and analyze the stored unstructured log data is difficult in existing computer environments. Thus, in this study, we use cloud computing technology to realize a cloud-based log data processing system for processing unstructured log data that are difficult to process using the existing computing infrastructure's analysis tools and management system. The proposed system uses the IaaS (Infrastructure as a Service) cloud environment to provide a flexible expansion of computing resources and includes the ability to flexibly expand resources such as storage space and memory under conditions such as extended storage or rapid increase in log data. Moreover, to overcome the processing limits of the existing analysis tool when a real-time analysis of the aggregated unstructured log data is required, the proposed system includes a Hadoop-based analysis module for quick and reliable parallel-distributed processing of the massive amount of log data. Furthermore, because the HDFS (Hadoop Distributed File System) stores data by generating copies of the block units of the aggregated log data, the proposed system offers automatic restore functions for the system to continually operate after it recovers from a malfunction. Finally, by establishing a distributed database using the NoSQL-based Mongo DB, the proposed system provides methods of effectively processing unstructured log data. Relational databases such as the MySQL databases have complex schemas that are inappropriate for processing unstructured log data. Further, strict schemas like those of relational databases cannot expand nodes in the case wherein the stored data are distributed to various nodes when the amount of data rapidly increases. NoSQL does not provide the complex computations that relational databases may provide but can easily expand the database through node dispersion when the amount of data increases rapidly; it is a non-relational database with an appropriate structure for processing unstructured data. The data models of the NoSQL are usually classified as Key-Value, column-oriented, and document-oriented types. Of these, the representative document-oriented data model, MongoDB, which has a free schema structure, is used in the proposed system. MongoDB is introduced to the proposed system because it makes it easy to process unstructured log data through a flexible schema structure, facilitates flexible node expansion when the amount of data is rapidly increasing, and provides an Auto-Sharding function that automatically expands storage. The proposed system is composed of a log collector module, a log graph generator module, a MongoDB module, a Hadoop-based analysis module, and a MySQL module. When the log data generated over the entire client business process of each bank are sent to the cloud server, the log collector module collects and classifies data according to the type of log data and distributes it to the MongoDB module and the MySQL module. The log graph generator module generates the results of the log analysis of the MongoDB module, Hadoop-based analysis module, and the MySQL module per analysis time and type of the aggregated log data, and provides them to the user through a web interface. Log data that require a real-time log data analysis are stored in the MySQL module and provided real-time by the log graph generator module. The aggregated log data per unit time are stored in the MongoDB module and plotted in a graph according to the user's various analysis conditions. The aggregated log data in the MongoDB module are parallel-distributed and processed by the Hadoop-based analysis module. A comparative evaluation is carried out against a log data processing system that uses only MySQL for inserting log data and estimating query performance; this evaluation proves the proposed system's superiority. Moreover, an optimal chunk size is confirmed through the log data insert performance evaluation of MongoDB for various chunk sizes.

Evolution of Modualr Neural Networks by L-System (L-시스템을 이용한 모듈형 신경망의 구조진화)

  • 이승익;조성배
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 1997.10a
    • /
    • pp.127-130
    • /
    • 1997
  • 신경망은 입출력 관계가 명시적으로 표현되기 어려운 경우에 수집된 데이터를 이용하여 원래의 함수를 근사할 수 있느 특성이 있다. 최근에는 신경망의 모델링 성능을 향상시키기 위하여 여러개의 모듈을 기반으로 신경망을 구성하는 모듈형 신경망이 활발히 연구되고 있다. 본 논문에서는 린덴마이어 시스템(L-시스템)의 문법적 적용을 통하여 이러한 모듈형 신경망의 구조를 결정하는 방법을 제시하고자 한다. L-시스템은 본래 식물의 성장과정을 기술하기 위하여 제안된 방법인데, 본 논문에서는 신경망의 모듈형 구조가 L-시스템의 문법을 통하여 적절히 결정됨을 보인다.

  • PDF

A design of Sensor Network Gateway using S3C4510B Processor (S3C4510B 프로세서를 이용한 센서 네트워크 게이트웨이 구현)

  • Lee, Sang-Won;Kang, Jeong-Hoon;Yu, Jun-Jae
    • Proceedings of the KIEE Conference
    • /
    • 2004.11c
    • /
    • pp.429-431
    • /
    • 2004
  • 현재 대부분의 가정에선 아날로그 제품을 찾아보기 힘들 정도로 상당부분 디지털화되어 있다. 이로 인해 홈 서버나 홈 게이트웨이를 이용한 디지털 가전의 제어도 가능해 졌다. 미래 가정의 지능화에 대한 노력 또한 함께 진행되고 있다. 가정 내의 다양한 환경 및 상황 정보를 감지하여 가정환경을 최적화시키는 것이 센서 네트워크를 이용한 기본적인 지능화 애플리케이션이다. 디지털화된 가정환경에 지능적인 요소를 부여하기 위해 센서 네트워크를 구축하려는 다양한 시도가 진행 중이다. 이에 따라, 가정을 지능화하려면 다양한 상황 데이터를 수집하여 이를 중앙 처리장치로 보낼 수 있는 센서 네트워크 모듈과 수집된 상황 데이터를 수집 분석하여 제어 명령을 전달할 수 있는 센서 네트워크 게이트웨이가 필요하다. 또한 기존 홈 네트워크 사용자를 위해 기존 홈 네트워크와도 호환되어야 한다. 따라서 본 논문에서는 센서 네트워크 게이트웨이를 경량화 하여 저가로 구현할 수 있는 시스템을 제안하였다.

  • PDF

Development of the Fog Sensor for an Automatic Fog Water Collector (자동안개채취기를 위한 안개센서의 개발)

  • Park, Chan-Won;Kim, Il-Hwan;Shin, Sang-Yourl;Kim, Jin-Young;Kim, Hye-Na
    • Proceedings of the KIEE Conference
    • /
    • 2001.07d
    • /
    • pp.2402-2404
    • /
    • 2001
  • 산성안개에 의한 환경 오염이 점차 증가하면서, 산성 안개에 대한 관심이 증대되고있다. 이러한 안개는 늦은 밤이나 새벽에 빈번하게 발생하므로 안개가 발생하고, 걷힐 때마다 사람이 일일이 수집하고 측정하는 것은 비효율적인 작업이다. 본 연구에서는 장기간의 실제 환경실험을 통하여 안개와 비를 구별하는 최적의 안개인식센서모듈을 개발하였으며 또한 마이크로 프로세서와 무선송수신모듈 이용하여 안개의 발생과 소멸을 자동으로 인식하고 수집된 데이터를 원격으로 컴퓨터와 연결하여 자동으로 안개채취에 관련된 자료들을 저장할 수 있도록 개발하였다. 본 연구의 결과로 특히 최근 문제시되고 있는 산성 안개의 데이터 수집이 용이해 지고, 주로 산악지역에서 많이 발생하는 안개를 원격지에서 측정이 가능해져 환경영향평가분야의 실제작업에 보다 편리함과 정확성을 제공할 것으로 기대된다.

  • PDF

Field test traffic data collection by RF data communication (RF 데이터 통신에 의한 교통정보 수집 방법 제안 및 현장 실험)

  • Ryu Seung-ki;Moon Hak-Yong;Park Gun-Hyoung;Park Sang-Gyu
    • Proceedings of the KIEE Conference
    • /
    • summer
    • /
    • pp.1435-1438
    • /
    • 2004
  • ITS 데이터 통신체계는 도로상의 현장설비(차량 검지기. 도로전광표지, 번호인식장치 등)와 센터를 1:1로 직접 접속하는 방식(P2P)으로 구성하고 있다. P2P 데이터 통신은 안정적인 데이터 전송을 유지시켜주지만, 통신비용의 증가 원인이 되고 있다. 따라서, 본 연구는 1:1 유선통신 구성으로 인한 통신비를 줄이기 위해 RF 모듈을 사용하여 1:N 구성으로 통신비용을 줄이는 방법을 제안하였고, 적용 가능성을 확인하기 위해 국도 38호선 평택$/sim$안중구간(약 19km)에 대해서 RF 장치를 설치한 후 데이터를 수집하였다. 적용한 RF 통신은 ISM 밴드의 2.4GHz 통신모듈을 사용하였고. 유선통신데이터와 통신 품질을 비교하였다. 데이터 품질은 기존의 1:1 구성 방식인 유선 전용회선에 의한 데이터 (기준치)와 제안한 RF 통신의 데이터를 비교하는 과정이며, 이를 통해 RF 통신의 현장 적용 가능성을 검토하였다.

  • PDF

Apache Storm based Query Filtering System for Multivariate Data Streams (다변량 데이터 스트림을 위한 아파치 스톰 기반 질의 필터링 시스템)

  • Kim, Youngkuk;Son, Siwoon;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.561-564
    • /
    • 2018
  • 최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.