• Title/Summary/Keyword: 빅데이터 수집

Search Result 995, Processing Time 0.031 seconds

A Development Method of Framework for Collecting, Extracting, and Classifying Social Contents

  • Cho, Eun-Sook
    • Journal of the Korea Society of Computer and Information
    • /
    • v.26 no.1
    • /
    • pp.163-170
    • /
    • 2021
  • As a big data is being used in various industries, big data market is expanding from hardware to infrastructure software to service software. Especially it is expanding into a huge platform market that provides applications for holistic and intuitive visualizations such as big data meaning interpretation understandability, and analysis results. Demand for big data extraction and analysis using social media such as SNS is very active not only for companies but also for individuals. However despite such high demand for the collection and analysis of social media data for user trend analysis and marketing, there is a lack of research to address the difficulty of dynamic interlocking and the complexity of building and operating software platforms due to the heterogeneity of various social media service interfaces. In this paper, we propose a method for developing a framework to operate the process from collection to extraction and classification of social media data. The proposed framework solves the problem of heterogeneous social media data collection channels through adapter patterns, and improves the accuracy of social topic extraction and classification through semantic association-based extraction techniques and topic association-based classification techniques.

The Venture Business Starts News and SNS Big Data Analytics (벤처창업 관련 뉴스 및 SNS 빅데이터 분석)

  • Ban, ChaeHoon;Lee, YeChan;Ahn, DaeJoong;Kwak, YoonHyeok
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.05a
    • /
    • pp.99-102
    • /
    • 2017
  • 대규모의 데이터가 생산되고 저장되는 정보화 시대에서 현재와 과거의 데이터를 바탕으로 미래를 추측하고 방향성을 알아갈 수 있는 빅데이터의 중요성이 강조되고 있다. 정형화 되지 못한 대규모 데이터를 빅데이터 분석 도구인 R과 웹크롤링을 통해 분석하고 그 통계를 기초로 데이터의 정형화와 정보 분석을 하도록 한다. 본 논문에서는 R과 웹크롤링을 이용하여 최근 이슈가 되고 있는 벤처창업을 주 키워드로 하여 뉴스 및 SNS에서 나타나는 벤처창업 관련 빅데이터를 분석한다. 뉴스기사와 페이스북, 트위터에서 벤처창업 관련 데이터를 수집하고 수집된 데이터에서 키워드를 분류하여 효율적인 벤처창업의 방법과 종류, 방향성에 대해 예측한다. 과거의 벤처창업 실패요인을 분석하고 현재의 문제점을 찾아 데이터 분석을 통해 벤처창업의 흐름과 방향성을 제시하여 창업자들이 겪을 수 있는 어려움을 사전에 예측하고 파악함으로써 실질적인 벤처창업에 크게 이바지할 것으로 보여 진다.

  • PDF

Design of Building Energy Management System Using Big data Platform (빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계)

  • Kim, Tae-Hyung;Jeong, Yeon-Kwae;Lee, Il-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.580-581
    • /
    • 2016
  • 국제적으로 지속적인 이슈가 되고 있는 에너지 절감에 대한 대책으로 다양한 에너지 절감 기술들이 연구 개발되고 있다. 특히 전체 에너지 사용량의 약 20%이상을 차지하는 건물(가정/상업/공공)부문에서는 에너지 진단 및 분석을 수행하기 위해 건물 에너지 관리 시스템(BEMS: Building Energy Management System)과 건물 자동화 시스템(BAS: Building Automation System) 그리고 다양한 환경정보들을 수집하여 활용한다. 하지만 기존 분석 방식은 결과의 신뢰성에 최소한의 영향을 주면서 데이터 관리 효율을 높이는 방법에 초점을 맞춰 연구가 진행되었으며, 이를 위해 기존에 수집된 데이터를 압축하거나 샘플링하는 사전 정제 과정을 거치게 되었다. 하지만 빅데이터 플랫폼을 활용하면 더 이상 신뢰성을 낮추면서까지 데이터를 정제할 필요가 없어지고, 수집되는 모든 데이터에 대한 다차원 분석을 빠르게 수행할 수 있게 된다. 따라서 본 논문에서는 하드웨어의 한계로 기존 건물에너지 진단 및 분석 시스템에서 제공하지 못했던 다양한 분석 및 진단 서비스들을 빠르고 정확하게 제공하도록 하는 빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계에 대해 서술한다.

Pizza Sales Prediction by Using Big Data Analysis. (빅데이터 분석을 통한 피자 판매량 예측)

  • Lee, Daebum;Kim, Kyoungsup;Lee, Youngsoo;Kim, Hanahan;Byun, Dongsam;Park, Sungchul;Jeon, Hwaseong;Kim, Juntae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.890-893
    • /
    • 2014
  • IT산업의 새로운 패러다임으로 빅데이터 분석이 주요한 기술로 부각되고 있다. 본 논문에서는 빅데이터를 수집, 분석하여 이를 통해 피자 판매량을 예측하는 모델을 제안한다. 판매량 예측을 위하여 과거 판매 데이터와 함께 공휴일, 날씨, 뉴스기사, 경제지표, 트렌드, 스포츠 이벤트 등의 데이터를 수집하여 이용하였으며, 판매량 예측 방법으로는 회기분석과 인공신경망 학습 등을 사용하여 빅데이터를 사용하지 않은 경우와 정확도를 비교하였다. 실험 결과 빅데이터를 이용함으로써 예측 오차율이 5%이상 향상됨을 확인하였다.

Current Issues with the Big Data Utilization from a Humanities Perspective (인문학적 관점으로 본 빅데이터 활용을 위한 당면 문제)

  • Park, Eun-ha;Jeon, Jin-woo
    • The Journal of the Korea Contents Association
    • /
    • v.22 no.6
    • /
    • pp.125-134
    • /
    • 2022
  • This study aims to critically discuss the problems that need to be solved from a humanities perspective in order to utilize big data. It identifies and discusses three research problems that may arise from collecting, processing, and using big data. First, it looks at the fake information circulating with regard to problems with the data itself, specifically looking at article-type advertisements and fake news related to politics. Second, discrimination by the algorithm was cited as a problem with big data processing and its results. This discrimination was seen while searching for engineers on the portal site. Finally, problems related to the invasion of personal related information were seen in three categories: the right to privacy, the right to self-determination of information, and the right to be forgotten. This study is meaningful in that it points out the problems facing in the aspect of big data utilization from the humanities perspective in the era of big data and discusses possible problems in the collection, processing, and use of big data, respectively.

IP-Based Heterogeneous Network Interface Gateway for IoT Big Data Collection (IoT 빅데이터 수집을 위한 IP기반 이기종 네트워크 인터페이스 연동 게이트웨이)

  • Kang, Jiheon
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.2
    • /
    • pp.173-178
    • /
    • 2019
  • Recently, the types and amount of data generated, collected, and measured in IoT such as smart home, security, and factory are increasing. The technologies for IoT service include sensor devices to measure desired data, embedded software to control the devices such as signal processing, wireless network protocol to transmit and receive the measured data, and big data and AI-based analysis. In this paper, we focused on developing a gateway for interfacing heterogeneous sensor network protocols that are used in various IoT devices and propose a heterogeneous network interface IoT gateway. We utilized a OpenWrt-based wireless routers and used 6LoWAN stack for IP-based communication via BLE and IEEE 802.15.4 adapters. We developed a software to convert Z-Wave and LoRa packets into IP packet using our Python-based middleware. We expect the IoT gateway to be used as an effective device for collecting IoT big data.

A Study on the Public Interest of Collected Information (수집된 정보의 공익성에 관한 고찰)

  • Park, Kook-Heum
    • Informatization Policy
    • /
    • v.26 no.1
    • /
    • pp.25-45
    • /
    • 2019
  • With the advent of the data economy, interest in using big data has increased, but conflicts with protecting personal information have been also steadily raised. In this regard, major countries are accelerating use of big data by exempting de-identified, pseudonymous personal information from protection. However, these policies have been made without the understanding that the economic value of personal information has been actually changing slowly. This paper presents the concept of 'collected information' and defines it as having public interest and therefore, not the exclusive property of the collector of such information. The paper shows the collected information has public interest in terms of personal information protection, connectivity, and universal service and public goods. It also specifies that the 'data governance' cannot be applied to the current data utilization framework that depends upon the holder's consent; rather, it raises the need to improve the practices of information provision consent or provide the beneficiary right of information use to the information holder in order to ensure the proper 'data governance' that will turn market failure into success.

A Big Data Preprocessing using Statistical Text Mining (통계적 텍스트 마이닝을 이용한 빅 데이터 전처리)

  • Jun, Sunghae
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.25 no.5
    • /
    • pp.470-476
    • /
    • 2015
  • Big data has been used in diverse areas. For example, in computer science and sociology, there is a difference in their issues to approach big data, but they have same usage to analyze big data and imply the analysis result. So the meaningful analysis and implication of big data are needed in most areas. Statistics and machine learning provide various methods for big data analysis. In this paper, we study a process for big data analysis, and propose an efficient methodology of entire process from collecting big data to implying the result of big data analysis. In addition, patent documents have the characteristics of big data, we propose an approach to apply big data analysis to patent data, and imply the result of patent big data to build R&D strategy. To illustrate how to use our proposed methodology for real problem, we perform a case study using applied and registered patent documents retrieved from the patent databases in the world.

Development of Automatic Robot for Writing Baseball Articles Based on BigData Analysis (빅데이터 분석 기반 자동 야구기사작성 로봇 개발)

  • Chae, Byeong-Ju;Park, Kyung-Chul;Kwon, Tae-Jeong;Kim, Sang-Hwan;Kim, Young-Ju;Lee, Dong-Gyu;Kim, Byung-Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1622-1624
    • /
    • 2015
  • 세계적으로 자동기사 작성 시스템을 적용한 사례가 증가하는 가운데 미국의 LA 타임스가 2013년에 지진 속보 기사를 완성하면서 주목 받기도 했으며 국내에서도 비슷한 사례들의 개발이 지속적으로 진행되고 있다. 본 논문에서는 로봇저널리즘 시대에 맞춰 빅데이터 기반의 자동기사작성 로봇 개발방법을 제안하고, 데이터를 수집해 기사를 추출해내는 빅데이터 기반의 자동기사작성 로봇을 객관적인 데이터를 수집할 수 있는 스포츠분야에 적용하여 개발하였다. 본 기술로 인해 객관적인 내용을 표현할 수 있는 기사를 실시간으로 작성 및 온라인으로 배포 할 수 있으며, 확장을 통해 온라인 시청자들에게 다양한 실시간 정보제공이 가능할 수 있을 것으로 예상된다.

Big-data Utilization and Considerations of Local cable TV operators (국내 케이블 방송 사업자들의 빅데이터 활용 방안 및 고려 사항)

  • Jung, Won-Koo
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2014.11a
    • /
    • pp.59-62
    • /
    • 2014
  • 다양한 센서를 내장한 스마트기기가 보급되면서 개인의 활동부터 환경 상태까지 광범위한 미시 데이터의 수집이 가능해졌고, 또한 데이터 저장매체의 가격과 통신비용이 급격히 하락하고 있으며, 컴퓨터의 연산능력과 데이터 분석 방법론도 눈부시게 성장하는 중이다. 이러한 데이터 처리 기술의 발전과 함께 빅데이터에 대한 사회적 인식의 제고가 맞물리며 빅데이터 시장이 빠르게 성숙하고 있다. 이에 따라 국내 외 대다수의 기업들이 빅데이터 기술을 도입 검토 중에 있으며, 특히 글로벌 콘텐츠(방송, 음악, 도서 등) 기업들의 맞춤형 추천 서비스 성공 사례들로 인해 빅데이터 기술이 콘텐츠 산업 업계의 차세대 먹거리로 주목을 받고 있다. 이에 본 논문은 국내 케이블 방송 사업자들이 빅데이터 기술을 접목한 차별화된 서비스 제공을 통해 고객에게 새롭고 차별화된 가치를 제공할 수 있는 서비스 방안에 대해서 연구하였다.

  • PDF