• 제목/요약/키워드: 데이터 수집 모듈

검색결과 346건 처리시간 0.028초

클라우드 환경에서 오토 스케일링이 가능한 센서 데이터 수집 시스템 설계 (A Study on Tools for Agent System Development)

  • 박수용;최수민;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.72-74
    • /
    • 2020
  • 센서 네트워크의 센서 개수가 늘어나고 데이터 수집 주기가 짧아지며 데이터의 용량도 늘어남에 따라 데이터를 수집하는 중앙서버의 과부하가 걸리는 현상이 발생할 수 있다. 본 논문에서 제안하는 시스템은 센서 데이터를 수집하는 모듈을 컨테이너화 하여 쿠버네티스로 관리한다. 또한 쿠버네티스의 오토 스케일링 기능을 이용하여 데이터 수집 모듈의 과부하가 발생할 경우 자동으로 수집 모듈을 복사하여 scale out 할 수 있다.

모니터링 정보 시스템을 위한 데이터 수집 및 분석 방법 (Data Collection and Analysis for Monitoring Information System)

  • 김대영;장유미;김은경;김석훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.697-699
    • /
    • 2017
  • 정보 기기와 통신 기술의 발달로 다양한 분야에서 정보 통신 기술이 융합되어 사용되고 있으며, 기존 사회 분야에 융합됨으로써 기존 시스템의 효율을 높이기 위한 시도가 계속되고 있다. 특히 모니터링 정보 시스템을 사회복지 데이터 수집과 분석 분야에 적용함으로써 기존 사회복지 서비스의 효율을 높일 수 있다. 기존 사회복지 시스템의 정보 수집 방법은 설문에 의한 데이터 수집 및 분석을 바탕으로 이루어지며, 시간과 비용의 낭비로 인해 새로운 방식의 데이터 수집 및 분석 방법이 요구되고 있다. 따라서 본 논문에서는 정보 통신 기술 기반의 모니터링 데이터 수집 및 분석 방법을 제안함으로써 기존 서비스의 효율을 향상시키고자 한다. 제안하는 방안은 데이터 수집 모듈을 통해 웹 기반의 데이터를 수집하고, 수집된 데이터를 데이터 처리 모듈로 전달하여 데이터를 저장 및 분석하게 된다. 분석된 결과는 시각화 모듈을 통해 확인할 수 있다.

우주활용을 위한 데이터 인터페이스 시뮬레이터의 하드웨어 접속 구현 및 시험

  • 김종우;서석배;이주희;임현수;최기혁;최해진
    • 한국우주과학회:학술대회논문집(한국우주과학회보)
    • /
    • 한국우주과학회 2003년도 한국우주과학회보 제12권2호
    • /
    • pp.65-65
    • /
    • 2003
  • 본 논문에서는 국제우주정거장의 데이터 인터페이스 구현 및 시험을 위하여 1553B와 FDDI 하드웨어를 이용한 시뮬레이터를 제작하였다. 데이터 인터페이스 시뮬레이터는 국제우주정거장과 탑재모듈에 대한 시뮬레이터와 탑재모듈의 제어부분, 상태를 확인하기 위한 모니터링 부분으로 구성되어진다. 국제우주정거장 시뮬레이터는 탑재모듈에 명령을 내리고 상태데이터를 받아 분석하며 탑재모듈에서 수집된 데이터를 수신하여 저장하는 기능을 갖는다. 탑재모듈은 국제우주정거장에서 오는 탑재 수집 데이터를 받아 분석/수행하고 탑재모듈에서 수집된 데이터를 시뮬레이션 하는 기능을 가지며, 모니터링 시스템은 데이터 통신간의 인터페이스 속도나 상태 등을 분석하고 전체적인 그래픽 인터페이스를 제공한다. 본 논문에서는 기존의 PC환경에서 직렬통신과 TCP/IP를 이용하여 시뮬레이션 한 것을, PCI 카드 타입의 1553B와 FDDI 데이터 인터페이스 하드웨어를 이용하여 구현하고 시험하였다. 시뮬레이터 시험 및 검증을 위해서 4가지 타입의 명령을 만들었으며, 국제우주정거장 모듈에서 명령을 내리면 탑재모듈에서 해당 명령을 수행하는 과정을 GUI 환경의 프로그램으로 모니터링 하여 검증하였다. 본 연구를 통하여 국제우주정거장과 탑재모듈 간의 요구사항 분석, 데이터 인터페이스 포맷 정의, 데이터 인터페이스 하드웨어 환경 구현 등의 성과가 있었으며, 추후 탑재모듈 특성이나 국제우주정거장의 구체적인 기능 추가에 의해 탑재모듈 개발을 위한 ETB로 활용할 수 있을 것으로 기대된다.

  • PDF

글로벌 리포지터리 정보 수집모듈 개발 및 검증 (A Development and Verification on a Harvest Module for Global Repository Information Data)

  • 김선태;최명석
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2016년도 춘계 종합학술대회 논문집
    • /
    • pp.15-16
    • /
    • 2016
  • 본 연구의 목적은 글로벌 리포지터리의 현황 정보를 수집하기 위한 모듈을 개발하고 이의 완전성을 검증하는데 있다. OpenDOAR와 ROAR 레지스트리에 등록되어 있는 리포지터리 정보를 수집하기 위해서 각각의 서비스에서 제공되는 API와 웹페이지에 대한 분석을 진행 하였다. 개발 모듈로는 대륙별 국가정보 수집모듈, 리포지터리 소프트웨어 정보 수집모듈, 리포지터리 주제 정보 수집모듈, 리포지터리 상세정보 수집모듈을 개발하였다. 수집모듈로 수집된 리포지터리 정보를 대상 정보원의 데이터와 비교하는 방법으로 모듈의 완전성을 검증하였다.

  • PDF

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

재난대응 의사결정 지원을 위한 분산정보 공유형 인벤토리 프로토타입 개발 방안 연구 (A Study on Development of An Integrated Inventory Management Prototype System for Decision Making in the Nature Disaster)

  • 최수영;강수명;김진만;조윤원
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.633-633
    • /
    • 2015
  • 재해의 발생 빈도 증가와 불규칙성, 대형화 추세에 따른 SOC 시설물 피해가 증가함에 따라 유관 기관의 재난/재해 정보 수집은 지속적으로 이루어지고 있다. 그러나 각 기관별로 자료가 분산 관리됨에 따라 선제적 재해대응 체계는 갖추어지지 못하고 있는 실정이다. 이에, 예방적 유지관리체계 구현을 위한 분산정보 공유형 재해대응 인벤토리를 구축하고자 한다. 본 인벤토리는 3차원 공간정보를 기반으로 분산 관리되고 있는 재난/재해 관련 정보를 수집하고 이렇게 수집된 데이터들의 통합적 관리를 위해 데이터 표준화를 거쳐 선제적 재해 대응의 원천 데이터로 활용될 수 있다. 본 연구에서는 인벤토리 관리/연계 모듈의 설계 방안을 마련하고자 국내외 인벤토리 관련 시스템 현황조사를 진행하고 관리 및 연계 대상 데이터의 항목을 선정하고 내용을 분류하였다. 또한, 시스템 요구사항을 수집하고 정의하고 관리/연계 모듈의 세부기능 정의를 하였다. 뿐만아니라, 프로토타입 개발을 위해 서비스 제공 형태와 데이터 제공 방식을 결정하였다. 본 연구에서 개발하고 있는 프로토타입은 Web Service 기반의 REST 방식으로 데이터를 제공할 것이며, 3차원 공간 정보를 기반으로 하고 있다. 본 연구에서는 프로토타입 개발을 위해 기본 주재도를 제작하고 연구 지역의 시설물 정보를 구축하였다. 분산정보 공유형 재해대응 인벤토리 시스템은 분산 관리되고 있는 재난/재해 정보들을 자료 송/수신 모듈을 통하여 수집하고 데이터 필터링 모듈에서 수집된 자료의 표준화와 품질측정을 진행하여 데이터의 신뢰도를 향상 시킬 것이다. 또한, 데이터 관리 모듈을 이용하여 공간정보 데이터를 검증하고 최적화 관리를 할 수 있도록 하며, 시스템 관리 모듈에서 유관기관에서 유입되는 자료들을 관리하고자 한다. 이렇게 구축된 인벤토리 시스템은 선제적 재해대응 의사결정의 원천 데이터를 제공하고 SOC 시설물의 유지관리에 활용될 수 있을 것으로 판단된다.

  • PDF

기업 마케팅 전략을 위한 SNS 및 Web 데이터 분석 시스템 설계 (A Design of SNS and Web Data Analysis System for Company Marketing Strategy)

  • 이병관;정은희;정이나
    • 한국정보전자통신기술학회논문지
    • /
    • 제6권4호
    • /
    • pp.195-200
    • /
    • 2013
  • 본 논문에서는 기업 이미지에 타격을 줄 수 있는 부정적인 SNS와 Web 데이터를 빠르게 분석하여 기업 마케팅 전략에 활용할 수 있는 SNS 및 Web 데이터 분석 시스템을 제안한다. 본 논문에서 제안하는 시스템은 SNS 및 Web Data를 수집하는 데이터 수집 모듈(Data Collection Module), 수집된 데이터를 저장하는 HBase 모듈(Hbase Module), 수집된 데이터의 의미 분석을 수행한 후 데이터의 의미를 평가 및 분류하는 데이터 분석 모듈(Data Analysis Module) 그리고 관리자에 의해 요청된 질의어에 따라 기업과 관련된 SNS와 Web데이터를 이용하여 최적화된 Map Reduce 과정을 수행하는 PSH 모듈(Priority Scheduling Hadoop Module)로 구성된다. 본 논문은 이런 모듈들을 통하여 SNS와 Web 데이터를 보다 효율적으로 관리하여 이 분석 결과를 기업 마케팅 전략에 활용할 수 있다.

ECU 진단통신을 위한 표준 진단통신 모듈 연구 (A Study of Standard Diagnostic Communications Modules for ECU Diagnostic Communications)

  • 장문수
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.507-509
    • /
    • 2022
  • 자동차 내부 진단 데이터를 수집하기 위해서는 다양한 자동차 부품에 포함되어 있는 ECU(Electronic Control Unit)의 진단데이터를 수집하여야 한다. ECU의 진단데이터를 수집하기 위해서는 진단통신을 활용할 수 있다. 본 논문에서는 표준 진단 통신을 통해 ECU의 기능에 따른 진단데이터를 수집하는 방법과 진단통신 모듈에 대해서 분석하였다. 많은 자동차 제조사가 사용하는 자동차 전장 표준인 AUTOSAR의 표준 모듈 중에서 진단 통신 모듈에 대해서 연구하였으며, 진단데이터 처리가 ECU를 통해 처리되는 과정에 대해서 연구하였다.

  • PDF

도시하천관리를 위한 연계플랫폼 개발 (Development of a integrated platform for urban river management)

  • 구본현;오승욱;구자섭;심규철
    • 한국수자원학회논문집
    • /
    • 제55권6호
    • /
    • pp.471-480
    • /
    • 2022
  • 본 연구에서는 도시하천관리를 위한 다양한 분석 및 평가 모델들과 데이터 수집 모듈을 적용한 연계플랫폼을 개발하였다. 연계플랫폼에 적용된 모듈은 데이터 수집 및 제공 모듈, 홍수분석 모듈, 하천 평가 모듈 그리고 제방 붕괴 시뮬레이션 모듈로 효과적인 도시하천 관리를 위하여 선별하여 적용하였다. 연계플랫폼은 분석과 평가 모듈에 적용하기 위한 데이터를 다양한 기관으로부터 수집하여 전처리 과정을 통해 정제하여 저장한다. 저장된 데이터는 각 모듈의 입력자료로 가공하여 사용되며, 플랫폼을 통해 Open API로도 제공된다. 홍수분석 모듈은 도시 내부 및 하천에서 발생하는 홍수를 분석하여 대비할 수 있도록 제공되며, 하천 평가 모듈은 다방면으로 하천을 평가하여 하천 계획수립 및 관리에 이용된다. 제방 붕괴 시뮬레이션 모듈은 가상의 붕괴 상황에 대한 분석을 통해 제방 붕괴로 인해 발생 가능한 피해영역을 도출하여 대비책을 세우는 데 이용될 수 있다.

선내 수집데이터를 활용하는 선박 및 육상 서비스를 위한 선박용 어플리케이션 시스템 설계 및 구현 (Design and Implementation of Ship Application System for Maritime Service Utilizing onboard Ship Collected Data)

  • 강남선;김용대;김상용;이범석
    • 한국항행학회논문지
    • /
    • 제20권2호
    • /
    • pp.116-126
    • /
    • 2016
  • 본 논문에서는 선내에서 수집되는 데이터를 이용하는 선박과 육상의 어플리케이션 서비스의 효율적인 데이터 통합관리를 위한 선박용 어플리케이션 시스템을 설계하고 모듈을 구현하였다. 선박용 어플리케이션 시스템은 선내 수집 데이터를 활용하는 선박과 육상의 서비스를 지원하고 개별 장비간 원활한 연동 서비스를 제공하기 위하여 IALA에서 논의되고 있는 데이터 공유 시스템 모델과 ISO 16425의 XML 구조를 적용하였으며, 시스템 운영을 위한 공통 모듈과 데이터 수집 및 통합관리를 위한 윈도우 서비스, 관리를 위한 웹서비스 모듈을 구현하였다.