• Title/Summary/Keyword: 데이터수집시스템

Search Result 3,490, Processing Time 0.035 seconds

Implementation Study of a Remote Logging System for Web Servers (원격 웹 서버 로깅 시스템의 구현)

  • 정기훈;노삼혁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.400-402
    • /
    • 2004
  • 본 논문에서는 웹 서버에게 부하를 주지 않으면서 네트워크를 통해 원격으로 로깅 하는 시스템인 원격 웹 서버 로깅 시스템을 구현하였다. 구현된 로깅 시스템은 웹 서버의 종류와는 관계없이 로그 데이터를 수집할 수 있으며, 여러 개의 서버 군으로 이루어진 시스템에서도 각 시스템의 웹 서버나 환경과는 관계없이 독립적으로 로그 데이터를 수집할 수 있다는 장점을 갖고 있다. 뿐만 아니라 웹 서버에게 미치는 오버헤드를 측정해 본 결과, 부하를 거의 주지 않음으로써 로깅 시스템으로 인한 웹 서버의 성능 저하를 일으키지 않는다는 것을 알 수 있었다.

  • PDF

Implementation of a Service Data Aggregator Service based on OGSA By Using Globes Toolkit V.3 (Globus Tookit V.3를 사용한 OGSA 기반 서비스 데이터 수집기 서비스 구현)

  • Kang Yun-Hee
    • Journal of Digital Contents Society
    • /
    • v.6 no.1
    • /
    • pp.1-5
    • /
    • 2005
  • This paper describes the main characteristics of Grid Services based on OGSA and a Grid service for aggregating service data element(SDE)s. In order to build a Grid Service, it needs to consider a systematic building approach from the high-level software architecture that represents the main system components and their interactions. The purpose of this paper is to design and implement an extended service data aggregator service in which SDE is a basic unit for collecting resource information. A GT3 based service data aggregator service is extended to apply the multiple collections based storage scheme for maintaining persistently SDEs with a XML DBMS Xindice. To provide efficient aggregating service for service data elements, which is running under wide area environment like Internet, the aggregator service is asynchronously operated by notification mechanism.

  • PDF

고속 디지털 포렌식 기술

  • Kim, Keon-Woo;Hong, Do-Won
    • Review of KIISC
    • /
    • v.19 no.5
    • /
    • pp.45-51
    • /
    • 2009
  • 개인용 컴퓨터의 디스크 용량 증가와 저장, 분석되어야 하는 방대한 양의 데이터는 포렌식 수집과 분석 시간을 점점 더 요구하고 있다. 이에 ETRI는 대용량 데이터에 대한 고속 수집 및 검색, 분석을 가능하게 하는 고속 포렌식 시스템을 개발하였다. 포렌식 분석은 질의어에 대한 검색의 연속된 과정이라고도 할 수 있어 고속 포렌식 시스템은 하드웨어 가속기를 이용하거나 인덱스를 구축하여 고속으로 데이터를 검색하는 기술을 제공한다. 또한, 안티포렌식 기법중 하나인 파일 암호화는 문서 열람을 불가능하게 해 증거 발견을 어렵게 한다. 이에 고속 포렌식 시스템은 제한된 수사 시간을 고려하여 고속으로 패스워드를 해독하는 기능을 제공한다.

Design Case on Data Collection System for the GreenHouse Horticultural Crops Growth Forecasting Model (시설 원예작물 생장예측모델을 위한 데이터 수집 시스템 설계사례)

  • Ahn, Sung-Chul;Kim, Hee-Sung;Kwon, Hye-Eun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.1212-1214
    • /
    • 2012
  • 생장예측모델이란 작물의 생장 시스템 내에서 일어나는 기작이나 생산과정을 수식으로 묘사하는 것이다. 신뢰성 있는 생장예측모델을 만들기 위해서는 생장과 관련된 대량의 데이터가 필요하다. 본 논문에서는 IT와 농업을 융합한 시설 원예작물 생장예측모델을 위한 생장 및 생장환경 데이터 수집 시스템 설계사례를 소개하고자 한다.

Design and Implementation of an Efficient Communication System for Collecting Sensor Data in Large Scale Sensors Networks (대규모 센서 네트워크에서 센서 데이터 수집을 위한 효율적인 통신 시스템 설계 및 구현)

  • Jang, Si-woong;Kim, Ji-Seong
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.24 no.1
    • /
    • pp.113-119
    • /
    • 2020
  • Large sensor networks require the collection and analysis of data from a large number of sensors. The number of sensors that can be controlled per micro controller is limited. In this paper, we propose how to aggregate sensor data from a large number of sensors using a large number of microcontrollers and multiple bridge nodes, and design and implement an efficient communication system for sensor data collection. Bridge nodes aggregate data from multiple microcontrollers using SPI communication, and transfer the aggregated data to PC servers using wireless TCP/IP communication. In this paper, the communication system was constructed using the Open H/W Aduo Mini and ESP8266 and performance of the system was analyzed. The performance analysis results showed that more than 30 sensing data can be collected per second from more than 700 sensors.

Design and Implementation of Big Data Streaming Query Processing System for Realtime Power Plant Sensor data (실시간 발전소 시설 장비 센서 데이터에 대한 빅데이터 스트리밍 질의 처리 시스템 설계 및 구현)

  • Um, Jung-Ho;Yu, Chan Hee;Sarda, Komal;Park, Kyongseok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.88-91
    • /
    • 2020
  • 발전 시설은 연간 무중단으로 운영되어야 하고, 고장이 발생하면 손해가 막대하기 때문에 발전 시설 장비에는 수십만 개의 센서 데이터가 설치되어 있다. 본 논문에서는 효율적인 센서 데이터의 수집과 시설 모니터링 및 고장 예측 등을 위한 빅데이터 스트리밍 질의 처리 시스템을 설계 및 구현하였다. 또한 실시간 데이터 수집의 효율적인 관리를 위해 인코딩 방식을 설계하였으며, 데이터 전송 성능을 측정하여 문자열로 데이터를 전송하는 것보다 평균 12%, 최대 32% 데이터 처리 성능이 향상됨을 보였다. 또한, 스트리밍 데이터에 대한 윈도우 질의 처리 성능을 측정하여 약 0.97초의 평균 집계 질의 처리 시간이 소요됨을 확인하였다. 향후에는 고장 감지를 위한 인공지능 추론 모델을 제안하는 빅데이터 스트리밍 질의 처리 시스템에 적용할 예정이다.

A Study of the Middleware System for the Construction of u-Healthcare System (u-Healthcare 시스템 구축을 위한 미들웨어 시스템에 관한 연구)

  • Kim, Yei-Chang
    • Journal of Digital Convergence
    • /
    • v.6 no.3
    • /
    • pp.139-147
    • /
    • 2008
  • -Healthcare란 건강관련 정보를 시간과 공간의 제약 없이 수집, 처리, 전달, 관리할 수 있게 해줌으로써 원격지 의료서비스를 제공하는 것을 말한다. 본 논문은 USN을 활용하여 원격에서 측정된 의료정보를 수집하여 서버에 전달하는 미들웨어 시스템을 시뮬레이션 했다. 헬스 케어기기에서 측정된 데이터를 USN을 통해 원격지의 서버로 전송하는데, 데이터의 전송에는 근거리 무선통신기술인 Zigbee를 사용하였다. 이러한 과정에서 헬스 케어기기와 서버사이에 미들웨어를 두어 측정된 이진코드 데이터를 텍스트데이터로 변환하여 서버의 헬스케어 시스템에 저장한다. 서버에 저장된 환자들의 의료정보는 의료진이 활용할 수 있도록 했다. 또한, 미들웨어 시스템에서는 데이터의 필터링을 통해 불필요한 데이터를 삭제해 서버의 부하를 줄여서, 외부 어플리케이션의 질의에 대한 정보제공을 용이하게 했다.

  • PDF

Curation Service Implementation using Machine Learning Algorithm (기계학습 알고리즘을 이용한 Curation 서비스 구현)

  • Lee, Hyung Ho;Lee, Hak Jae;Kim, Tae Su;Kim, Mi Hyun
    • Smart Media Journal
    • /
    • v.9 no.4
    • /
    • pp.118-125
    • /
    • 2020
  • This paper is conducted for automatically recommending and providing information services desired by users on websites of local governments and public institutions with vast amounts of information, In this system, we defined a method of collecting data based on the SiiRU CMS system that collects and preprocesses data, and a study that provides curation services (contents and menus) to users through a collaborative filtering algorithm based on machine learning. Also, the data used in the paper is conducted based on about 1 million data collected in 2019. The analyzed data can provide important information that cannot be easily accessed by providing a cloud tag service or recommended menu for users to conveniently view, and the environment configuration that can realize this service to local governments and public institutions is also provided.

A study of advanced learner's modeling based on weighted SVDD for intelligent tutoring system (지능형 교육 시스템을 위한 SVDD 가중치를 이용한 개선된 학습자 모델링 연구)

  • Yoon, Tae-Bok;Lee, Jee-Hyong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.125-127
    • /
    • 2012
  • IT기술의 발달과 함께 학습자의 학습 성향, 능력, 환경 등을 인지하고 그에 적절한 서비스가 가능한 지능형 교육 시스템이 많은 관심을 받고 있다. 학습자에게 지능적이고 개인화된 서비스를 위해서는 학습자를 인지하기 위한 작업이 선행되어야 하며, 이 인지과정을 위해서는 학습자의 학습 과정에서 발생한 데이터를 수집하고 분석하게 된다. 하지만, 수집된 데이터가 학습자의 일관되지 못한 행위나 예측하지 못한 학습 성향을 포함하고 있다면, 그 결과를 신뢰하기 어렵다. 본 논문에서는 학습자에게서 수집된 데이터를 SVDD를 이용하여 가중치를 부여하고, 그 값을 인지과정에 활용한다. 실험에서는 홈 인테리어 교육 컨텐츠 기반에 학습자의 학습 행위에 대한 학습 성향을 진단하기 위해 DOLLS-HI를 이용하였고, 수집된 학습자의 데이터를 분석하여 전통적인 분석 방법 대비 제안하는 방법의 유효함을 확인하였다.

Prediction System of Facebook's popular post using Opinion Mining and Machine Learning (오피니언 마이닝과 머신러닝을 이용한 페이스북 인기 게시물 예측 시스템)

  • An, Hyeon-woo;Moon, Nammee
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2017.11a
    • /
    • pp.70-73
    • /
    • 2017
  • 페이스북 SNS 플랫폼에서 제공하는 데이터 수집 프로토콜을 이용해 콘텐츠들의 인기 점수와 사용자 의견들을 수집하고 수집된 정보를 가공하여 기계학습을 진행한다. 오피니언 데이터를 학습함으로 인해 인간의 관점을 모방하게 되며 결과적으로 콘텐츠의 질을 판단하는 요소로써 작용하도록 한다. 데이터의 수집은 페이스북 측에서 제공하는 Graph API 와 Python 을 이용하여 진행한다. Graph API 는 HTTP GET 방식의 프로토콜을 이용하여 요청 하고 JSON 형식으로 결과를 반환한다. 학습은 Multiple Linear Regression 과 Gradient Descent Algorithm(GDA)을 사용하여 진행한다. 이후 학습이 진행된 프로그램에 사용자 의견 데이터를 건네주면 최종인기 점수를 예측하는 시스템을 설명한다.

  • PDF