• 제목/요약/키워드: 데이터 수집

검색결과 8,162건 처리시간 0.033초

클라우드 환경에서 오토 스케일링이 가능한 센서 데이터 수집 시스템 설계 (A Study on Tools for Agent System Development)

  • 박수용;최수민;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.72-74
    • /
    • 2020
  • 센서 네트워크의 센서 개수가 늘어나고 데이터 수집 주기가 짧아지며 데이터의 용량도 늘어남에 따라 데이터를 수집하는 중앙서버의 과부하가 걸리는 현상이 발생할 수 있다. 본 논문에서 제안하는 시스템은 센서 데이터를 수집하는 모듈을 컨테이너화 하여 쿠버네티스로 관리한다. 또한 쿠버네티스의 오토 스케일링 기능을 이용하여 데이터 수집 모듈의 과부하가 발생할 경우 자동으로 수집 모듈을 복사하여 scale out 할 수 있다.

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

스마트 항로표지의 데이터 수집 성능에 영향을 미치는 요인에 관한 연구 (A study on the factors influencing the data collection performance of smart buoys)

  • 김호준;김민규;이남용;김철수;신상문;오세웅;양진홍
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2021년도 추계학술대회
    • /
    • pp.60-62
    • /
    • 2021
  • 항로표지는 해상상황 정보를 수집하고 선박들의 항해에 안전을 도모하기 위해 설치 및 운용되고 있다. 관련해 개별 지방청에서 운영되는 데이터를 빅데이터 형태로 활용하고자 하는 경우 수집된 데이터의 품질에 대한 평가가 이루어져야 한다. 본 논문에서는 수집된 항로표지 데이터의 누락 정보를 중심으로 데이터 수집에 있어 장애 생성의 주된 원인을 찾고자 하였다. 수집된 데이터의 분석 결과 기상악화와 표지의 전압이 하락한 날에 데이터 결측 발생률이 톺음을 확인할 수 있었다. 이를 통해 기상 상황, 표지의 전압 상태 그리고 수집된 데이터 개수의 비교를 통해 기상악화가 영향을 미쳤을 수 있음을 확인하였다.

  • PDF

IoT 환경에서 헬스케어 서비스 제공을 위한 이기종 센서데이터 수집 모델 (Heterogeneous Sensor Data Acquisition Model for Providing Healthcare Services in IoT Environments)

  • 박유상;최종선;최재영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권2호
    • /
    • pp.77-84
    • /
    • 2017
  • IoT 환경에서 상황인지 기반 헬스케어 서비스를 제공하기 위해서는 사용자의 건강정보와 주변 환경정보가 필요하다. 환경정보를 구성하기 위해서는 센서데이터를 수집해야 하며, 효과적으로 센서데이터를 수집하기 위해서는 이기종 센서기기의 접근 및 다양한 센서데이터 타입을 일관적으로 처리하기 위한 모델이 필요하다. 센서데이터 수집은 환경정보를 구성하기 위해 선행되어야 하는 과정이며, 이를 통합 처리하기 위한 수집 모델은 아직까지 제안되지 않고 있다. 본 논문에서는 센서데이터의 일관된 수집 및 처리를 위한 이기종 센서데이터 수집 모델을 제안한다. 제안하는 모델은 센서기기 수준에 접근하기 위한 접근정보가 담긴 수집 스키마를 가지며, 제안하는 모델을 통해 이기종 기기의 센서데이터를 일관되게 수집하여 환경정보를 제공할 수 있다. 실험에서는 이기종 센서기기에 접근하기 위한 접근정보와 수집데이터를 명시한 입력 자료를 바탕으로 센서기기에 접근하여 데이터를 수집하는 과정을 보인다.

미세먼지 수집·분석·예측 Modeling 구축을 위한 위치선정 및 알고리즘 적합성 검증 방안 연구 (For the establishment of fine dust collection, analysis, and prediction modeling A Study on the Location Selection and Algorithm Conformance Verification Method)

  • 정종진;심흥섭
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.373-376
    • /
    • 2022
  • 미세먼지 수집을 위하여 필요한 위치 선정 방안과 위치 선정시 중요한 바람길분석, 수요조사, 유동인구, 교통량 등의 중요 기준을 반영하여 최종 선정하여야 하며, 이에 따라 설치된 측정기로부터 데이터 수집을 위해 지역적, 환경적, 지형적 요소를 감안하여 수집 항목을 결정하여야 한다. 데이터 수집시 실시간 또는 배치(Batch)로 할 것인지 여부를 결정하여야 하며, 이 보고서에서는 실시간으로 데이터 수집하는 경우를 설명하였다. 데이터 수집시 정확도를 높이기 위해 결측값, 이상값인 전처리 단계를 거쳐서 분석과 Modeling 구축을 통하여 정확도가 높은 알고리즘을 선정하여야한다. 정확도가 높은 알고리즘은 검증용 데이터 셋으로 적합성을 검증하여, 측정기 설치 위치의 적합성, 데이터 수집의 적합성, Modeling 구축 및 평가가 적합함을 지표로서 제시하여 적합성 검증을 하고자 한다.

  • PDF

초고속 무선 전송 시스템 기지국/단말 모뎀 진단/감시 장치의 설계 및 구현 (Design and Implementation of an Access Station/User Equipment Modem Diagnostic and Monitor Apparatus for High Speed Mobile System)

  • 장재득;박형준
    • 전자통신동향분석
    • /
    • 제21권2호통권98호
    • /
    • pp.170-183
    • /
    • 2006
  • 모뎀 진단/감시 장치(DM)는 기지국 DM 데이터 수집부와 단말 DM 데이터 수집부로각각 구분되어 DM 장치 내에서 기지국/단말 모뎀 플랫폼을 수용한다. 기지국 변조기, 기지국 동기, 기지국 채널 디코더, 기지국 복조기의 데이터는 기지국 DM 데이터 수집부에서 수집하고, 단말 변조기, 단말 동기, 단말 채널 디코더, 단말 복조기의 데이터는 단말 DM 데이터 수집부에서 수집하여 각각 수집된 데이터를 호스트 PC에서 분석하여 물리 계층 송수신 데이터 및 각종 통계 정보를 사용자 및 운용자가 확인할 수 있도록GUI로 화면에 표시해 준다. 모뎀 진단/감시 장치(DM)는 무선 전송 시스템(HM20)MIMO 구조 기지국/단말 모뎀의 물리 계층에 대한 상태 진단 및 감시 기능을 수행하여 모뎀 개발 과정에서 개발자에게 디버깅을 쉽게 하기 위한 장치로 사용된다. 또한 기지국 모뎀과 단말 모뎀의 유지 보수시 오류 발견을 위한 장치로 사용하기 위함이다.

모바일 싱크 기반 무선 센서 네트워크에서 에너지 효율적인 데이터 수집 기법 (An Energy-Efficient Data Gathering Method in Wireless Sensor Networks Based on Mobile Sinks)

  • 김상래;박준호;성동욱;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(D)
    • /
    • pp.205-207
    • /
    • 2012
  • 무선 센서 네트워크에서 에너지 효율적인 네트워크 구성을 위해 데이터를 수집하는 싱크 노드에 이동성을 적용시킨 모바일 싱크를 이용한 데이터 수집 기법이 활발하게 연구되고 있다. 하지만 최근 모바일 싱크를 적용한 데이터 수집 기법에서는 무선 센서 노드들의 에너지 소모를 분산시켜 네트워크의 수명은 증가시켰지만 고정적인 경로를 기반으로 하여 이벤트 데이터의 신속한 수집이 불가능하거나 이동성을 갖는 모바일 싱크로의 동적 라우팅 패스의 빈번한 설정으로 인해 최적화된 에너지 효율을 제공하지 못한다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 모바일 싱크 기반의 무선 센서 네트워크 환경에서 에너지 효율성을 고려하여 이벤트 데이터를 우선 수집하는 데이터 수집 기법을 제안한다. 제안하는 기법은 특정 이벤트가 발생할 경우, 모바일 싱크의 이동성을 이용하여 특정 이벤트 데이터를 빠르게 수집하며 일반적인 모니터링 데이터의 압축과 전송 주기를 변경함으로써 전반적인 QoS를 향상시킨다. 성능평가 결과, 제안하는 기법은 기존 기법에 비해 이벤트 데이터에 대한 응답시간이 평균 57% 감소하였고, 네트워크의 수명이 평균 19% 증가하였다.

Azure 클라우드 플랫폼의 가상서버 호스팅을 이용한 데이터 수집환경 및 분석에 관한 연구 (A study on data collection environment and analysis using virtual server hosting of Azure cloud platform)

  • 이재규;조인표;이상엽
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.329-330
    • /
    • 2020
  • 본 논문에서는 Azure 클라우드 플랫폼의 가상서버 호스팅을 이용해 데이터 수집 환경을 구축하고, Azure에서 제공하는 자동화된 기계학습(Automated Machine Learning, AutoML)을 기반으로 데이터 분석 방법에 관한 연구를 수행했다. 가상 서버 호스팅 환경에 LAMP(Linux, Apache, MySQL, PHP)를 설치하여 데이터 수집환경을 구축했으며, 수집된 데이터를 Azure AutoML에 적용하여 자동화된 기계학습을 수행했다. Azure AutoML은 소모적이고 반복적인 기계학습 모델 개발을 자동화하는 프로세스로써 기계학습 솔루션 구현하는데 시간과 자원(Resource)를 절약할 수 있다. 특히, AutoML은 수집된 데이터를 분류와 회귀 및 예측하는데 있어서 학습점수(Training Score)를 기반으로 보유한 데이터에 가장 적합한 기계학습 모델의 순위를 제공한다. 이는 데이터 분석에 필요한 기계학습 모델을 개발하는데 있어서 개발 초기 단계부터 코드를 설계하지 않아도 되며, 전체 기계학습 시스템을 개발 및 구현하기 전에 모델의 구성과 시스템을 설계해볼 수 있기 때문에 매우 효율적으로 활용될 수 있다. 본 논문에서는 NPU(Neural Processing Unit) 학습에 필요한 데이터 수집 환경에 관한 연구를 수행했으며, Azure AutoML을 기반으로 데이터 분류와 회귀 등 가장 효율적인 알고리즘 선정에 관한 연구를 수행했다.

  • PDF

음성데이터 수집을 위한 발성내용 제시시스팀 (Utterance display system for speech data acquisition)

  • 김경태;이용주;정유현
    • 한국음향학회지
    • /
    • 제12권1호
    • /
    • pp.5-11
    • /
    • 1993
  • 본 논문은 발성자의 자연스러운 음성데이터를 수집하기 위한 발성내용 제시시스팀의 구현에 대하여 기술한다. 대량의 음성정보의 수집 및 처리를 위해서는 이와같은 시스팀이 필수적이다. 왜냐하면, 음성정보처리의 성능 평가는 음성데이터와 발성방법에 따라 죄우되므로 실제의 환경에서 사용되는 자연스러운 음성으로 평가되어야만 객관적인 결과를 얻을 수 있기 때문이다. 따라서 이러한 음성데이터를 효율적으로 수집하기 위한 방법으로써 발성내용 제시시스팀에 관하여 기술하고자 한다. 특히, 본 논문에서는 발성해야 할 데이터를 제시하기 위한 방법으로써 발성내용 제시 시스팀에 관하여 기술하고자 한다. 특히, 본 논문에서는 발성해야 할 데이터를 제시하기 위한 요구사항, 기능, PC에 의한 구현에 대하여 기술한다. 본 시스팀은 음성수집 단계뿐만아니라 수집 후의 편집 작업의 편리성을 고려하여 구현하였으며, 4연속 숫자음 등 96명이 발성한 63,840개의 단어를 수집하는데 적용하였고 수집 과정에서 종래의 리스트를 보고 발성하는 방법에 비해 훨씬 효율적이고 자연스러운 발성을 유도할 수 있었다.

  • PDF

웹 애플리케이션 개발에서의 개인 프로세스 데이터 수집 및 분석을 위한 도구 (Collecting and Analyzing Personal Software Process Data in Web Application Development)

  • 신현일;최호진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.539-542
    • /
    • 2006
  • Personal Software Process (PSP)에서 개인 개발자들이 수행해야 되는 측정 및 분석 활동이 제시된다. 측정 및 분석 활동의 일관되고 지속적인 수행으로 개발자들은 소프트웨어 품질 향상, 보다 정확한 예측, 개인 역량의 객관적인 평가, 개인 프로세스의 정량적 관리 등의 이득을 얻을 수 있다. 측정 및 분석 활동에서 신뢰성 있는 데이터의 수집이 무엇보다 중요하다. 하지만, 데이터 수집의 높은 오버헤드(overhead)와 컨텍스트 스위칭(context switching)의 문제로 인하여 신뢰성 있는 데이터의 수집에 많은 어려움이 존재한다. 이러한 어려움을 감소시키기 위해 자동 데이터 수집 및 분석 기법이 연구되어 왔다. 본 논문에서는 기존의 자동 데이터 수집 및 분석 기법을 확장하여 웹 애플리케이션 개발에서의 개인 프로세스 데이터를 자동 수집 및 분석 하는 도구를 설명한다.

  • PDF