• Title/Summary/Keyword: 빅데이터 수집

Search Result 989, Processing Time 0.034 seconds

Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data (하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현)

  • Son, ki-jun;Cho, in-ho;Kim, chan-woo;Jun, chae-nam
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2015.05a
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

A Study on the Data Collection and Storage of Big Data Systems (빅데이터 시스템의 데이터 수집 및 저장에 관한 연구)

  • Park, Jihun;Kim, Gyunghwan;Jung, Eunsu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.48-51
    • /
    • 2017
  • 빅데이터는 저장되지 않았거나 저장되더라도 분석되지 못하고 버리게 되는 방대한 양의 데이터를 말한다. 실제로도 빅데이터는 페이스북, 트위터등의 소셜 네트워크에서 많이 발생하고 있는데, 이러한 방대한 데이터들을 어떻게 효율적으로 저장하고 분석하는지에 대한 관심이 많아지고 있다. 따라서 본 논문에서는 빅데이터의 개념, 빅데이터의 향후 동향과 이슈들에 대해 살펴보고, 빅데이터 시스템이 데이터를 수집하고 저장하는 것에 대한 고려할만한 사항들과 효율적인 해결방안에 대해 제시하였다.

Fishery R&D Big Data Platform and Metadata Management Strategy (수산과학 빅데이터 플랫폼 구축과 메타 데이터 관리방안)

  • Kim, Jae-Sung;Choi, Youngjin;Han, Myeong-Soo;Hwang, Jae-Dong;Cho, Wan-Sup
    • The Journal of Bigdata
    • /
    • v.4 no.2
    • /
    • pp.93-103
    • /
    • 2019
  • In this paper, we introduce a big data platform and a metadata management technique for fishery science R & D information. The big data platform collects and integrates various types of fisheries science R & D information and suggests how to build it in the form of a data lake. In addition to existing data collected and accumulated in the field of fisheries science, we also propose to build a big data platform that supports diverse analysis by collecting unstructured big data such as satellite image data, research reports, and research data. Next, by collecting and managing metadata during data extraction, preprocessing and storage, systematic management of fisheries science big data is possible. By establishing metadata in a standard form along with the construction of a big data platform, it is meaningful to suggest a systematic and continuous big data management method throughout the data lifecycle such as data collection, storage, utilization and distribution.

  • PDF

Multi-channel data connection and Real-time processing system designed for Big Data collection (빅데이터 수집을 위한 다채널 데이터 연계와 실시간 처리 시스템 설계)

  • Paik, Kyoung-Seok;Oh, Jae-Chel;Yang, Jae-Hyek
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2016.05a
    • /
    • pp.269-270
    • /
    • 2016
  • 빅데이터 분석을 통한 여러 산업 군과 융합으로 시너지를 발생시키기 위해서, 다양한 유형의 데이터 수집을 통해 빅데이터를 구성하는 것이 첫 번째 단계이며 기상, 교통, 인터넷 활동, 상권 등의 다양한 출처로부터 데이터 연계를 수행하고 사물인터넷과 같은 실시간으로 발생하는 로그 성 데이터 수집을 고려한 실시간 처리 시스템을 설계 하였다. 이를 통해 서로 다른 유형의 데이터가 빅데이터로 수집 되면 여러 산업 군에서 요구되는 인사이트 기반의 빅데이터 분석을 통해 B2B 또는 B2C 서비스에 응용 될 수 있다.

  • PDF

A Design of Rehabilitation exercise device data interworking interface for Rehabilitation exercise Big data platform (재활 운동 빅데이터 플랫폼을 위한 재활 운동 기기 데이터 연동 인터페이스의 설계)

  • Choi, Wonhyuk;Kang, Il-Kwon;Kim, Jae-Chul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.165-167
    • /
    • 2022
  • 본 논문은 병원과 지역사회에서 제공하는 재활 서비스를 연계하여 재활 단계별 개인 맞춤 재활서비스를 제공하기 위한 재활운동 빅데이터 플랫폼과 재활 서비스를 지원하는 재활 운동 기기간의 데이터 수집을 위한 인터페이스의 설계에 관한 것이다. 재활 운동 빅데이터 플랫폼은 병원과 지역사회에서 생성되는 재활 관련 데이터를 수집하고 이를 가공, 유통하기 위한 데이터 서비스와 수집된 데이터를 예측, 분석하여 개인 맞춤형의 단계별 재활을 지원하기 위한 다양한 서비스를 제공한다. 본 논문에서는 재활 운동을 보조하는 재활 운동 기기에서 생성되는 다양한 유형의 데이터를 재활 운동 빅데이터 플랫폼으로 전송하고, 수집된 데이터를 플랫폼 내외부에서 활용 가능하도록 제공할 수 있는 인터페이스에 대하여 설명한다.

A Method for Selective Storing and Visualization of Public Big Data Using XML Structure (XML구조를 이용한 공공 빅데이터의 선별 저장 및 시각화 방법)

  • Back, BongHyun;Ha, Il-Kyu
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.21 no.12
    • /
    • pp.2305-2311
    • /
    • 2017
  • In recent years, there have been tries to open public data from various government agencies along with publicization of public information for the public interest. In other words, various kinds of electronic data generated and collected by the public institutions as a result of their work are opened in the public portal sites. However, users who use it are limited in their use of big data due to lack of understanding of data format, lack of data processing knowledge, difficulty in accessing and managing data, and lack of visualization data to understand collected and stored data. Therefore, in this study, we propose a big data collection, storing and visualization platform that can collect big data provided by various public sites using data set URL and API regardless of data format, re-process collected data using XML structure.

A Study on the Data Collection Methods based Hadoop Distributed Environment (하둡 분산 환경 기반의 데이터 수집 기법 연구)

  • Jin, Go-Whan
    • Journal of the Korea Convergence Society
    • /
    • v.7 no.5
    • /
    • pp.1-6
    • /
    • 2016
  • Many studies have been carried out for the development of big data utilization and analysis technology recently. There is a tendency that government agencies and companies to introduce a Hadoop of a processing platform for analyzing big data is increasing gradually. Increased interest with respect to the processing and analysis of these big data collection technology of data has become a major issue in parallel to it. However, study of the collection technology as compared to the study of data analysis techniques, it is insignificant situation. Therefore, in this paper, to build on the Hadoop cluster is a big data analysis platform, through the Apache sqoop, stylized from relational databases, to collect the data. In addition, to provide a sensor through the Apache flume, a system to collect on the basis of the data file of the Web application, the non-structured data such as log files to stream. The collection of data through these convergence would be able to utilize as a basic material of big data analysis.

스마트 항로표지 서비스를 위한 빅데이터 플랫폼 구축 연구

  • 김경원;박종빈
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2021.11a
    • /
    • pp.57-59
    • /
    • 2021
  • 현재 국내 해양에 설치된 항로표지를 통해 해양 상태에 대한 다양한 정보가 수집/관리되고 있으며, 기상청에서 제공되는 기상 데이터 등 항로표지 데이터와 연계를 통해 유용한 서비스 개발이 가능한 데이터가 생상되고 있으나, 각 데이터의 관리 주체/시스템이 분산되어 효율적으로 활용되기 어려운 실정이다. 이에, 본 논문에서는 항로표지 데이터와 타 시스템에서 수집/관리되고 있는 데이터의 연계/분석을 통해 항로표지 데이터 기반의 다양한 서비스 개발에 활용 가능한 스마트 항로표지 빅데이터 플랫폼 구축 기술을 제안한다.

  • PDF

Designing Bigdata Platform for Multi-Source Maritime Information

  • Junsang Kim
    • Journal of the Korea Society of Computer and Information
    • /
    • v.29 no.1
    • /
    • pp.111-119
    • /
    • 2024
  • In this paper, we propose a big data platform that can collect information from various sources collected at ocean. Currently operating ocean-related big data platforms are focused on storing and sharing created data, and each data provider is responsible for data collection and preprocessing. There are high costs and inefficiencies in collecting and integrating data in a marine environment using communication networks that are poor compared to those on land, making it difficult to implement related infrastructure. In particular, in fields that require real-time data collection and analysis, such as weather information, radar and sensor data, a number of issues must be considered compared to land-based systems, such as data security, characteristics of organizations and ships, and data collection costs, in addition to communication network issues. First, this paper defines these problems and presents solutions. In order to design a big data platform that reflects this, we first propose a data source, hierarchical MEC, and data flow structure, and then present an overall platform structure that integrates them all.

Big Data Platform for Utilizing and Analyzing Real-Time Sensing Information in Industrial Sites (산업현장 실시간 센싱정보 활용/분석을 위한 빅데이터 플랫폼)

  • Lee, Yonghwan;Suh, Jinhyung
    • Journal of Creative Information Culture
    • /
    • v.6 no.1
    • /
    • pp.15-21
    • /
    • 2020
  • In order to utilize big data in general industrial sites, the structured big data collected from facilities, processes, and environments of industrial sites must first be processed and stored, and in the case of unstructured data, it must be stored as unstructured data or converted into structured data and stored in a database. In this paper, we study a method of collecting big data based on open IoT standards that can converge and utilize measurement information, environmental information of industrial sites to collect big data. The platform for collecting big data proposed in this paper is capable of collecting, processing, and storing big data at industrial sites to process real-time sensing information. For processing and analyzing data according to the purpose of the stored industrial, various big data technologies also can be applied.