• 제목/요약/키워드: 빅데이터 분석 플랫폼

Search Result 339, Processing Time 0.027 seconds

A Study of Bigdata Platform for Supporting Engineering Services (엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구)

  • Seo, Dongwoo;Kim, Myungil;Park, Sangjin;Kim, Jaesung;Jeong, Seok Chan
    • The Journal of Bigdata
    • /
    • v.4 no.1
    • /
    • pp.119-127
    • /
    • 2019
  • This study explains how to solve engineering problems easily and efficiently by using cloud based big data platform. To do this, we propose a cloud based big data analysis platform. The application helps users easily create models for data analysis using cloud based big data analysis platform. Analytical models modeled using components are analyzed through an analysis engine. Our platform include pre-processing, analysis, and visualization algorithms required for data analysis. Finally, we show an application of effluent concentration in a sewage treatment process.

  • PDF

Big Data Analysis for Public Libraries Utilizing Big Data Platform: A Case Study of Daejeon Hanbat Library (도서관 빅데이터 플랫폼을 활용한 공공도서관 빅데이터 분석 연구: 대전한밭도서관을 중심으로)

  • On, Jeongmee;Park, Sung Hee
    • Journal of the Korean Society for information Management
    • /
    • v.37 no.3
    • /
    • pp.25-50
    • /
    • 2020
  • Since big data platform services for the public library began January 1, 2016, libraries have used big data to improve their work performance. This paper aims to examine the use cases of library big data and attempts to draw improvement plan to improve the effectiveness of library big data. For this purpose, first, we examine big data used while utilizing the library big data platform, the usage pattern of big data and services/policies drawn by big data analysis. Next, the limitations and advantages of the library big data platform are examined by comparing the data analysis of the integrated library management system (ILUS) currently used in public libraries and data analysis through the library big data platform. As a result of case analysis, big data usage patterns were found program planning and execution, collection, collection, and other types, and services/policies were summarized as customizing bookshelf themes for the book curation and reading promotion program, increasing collection utilization, and building a collection based on special topics. and disclosure of loan status data. As a result of the comparative analysis, ILUS is specialized in statistical analysis of library collection unit, and the big data platform enables selective and flexible analysis according to various attributes (age, gender, region, time of loan, etc.) reducing analysis time. Finally, the limitations revealed in case analysis and comparative analysis are summarized and suggestions for improvement are presented.

Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data (하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현)

  • Son, ki-jun;Cho, in-ho;Kim, chan-woo;Jun, chae-nam
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2015.05a
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

빅데이터 하둡 플랫폼의 활용

  • Lee, Hyeon-Jong
    • Information and Communications Magazine
    • /
    • v.29 no.11
    • /
    • pp.43-47
    • /
    • 2012
  • 인터넷의 활성화 및 모바일 서비스의 등장으로 빅데이터 시대를 맞이하게 되었다. 이전에는 저장 및 처리할 수 없었던 영역. 이제는 새로운 기술의 등장과 분석을 통한 가치 창출의 가능성으로 빅데이터는 IT 업계의 최대 화두가 되어 가고 있다. 이러한 빅데이터를 바라보는 시각은 크게 기술적 관점과 분석적 관점으로 나뉘고 있다. 특히 기술적 관점에서 바라보는 빅데이터는 하둡을 표준으로 하는 오픈소스 분석 플랫폼의 대두가 고무적이다. 누구나가 대용량의 확장 가능한 시스템을 운영할 수 있는 기회가 온 것이다. 본 고에서는 빅데이터의 그 태생적 특징을 살펴보고, 비교적 저렴한 비용의 플랫폼 환경 구축을 위해 오픈소스 하둡이 널리 활용되고 있는 이유에 대해 알아본다. 또한 하둡의 용도와 어떠한 종류의 데이터 분석을 위해 사용되어지고 있는지, 그리고 하둡의 구성 및 하둡 생태계를 이루고 있는 요소들이 무엇인지 살펴본다. 끝으로 빅데이터를 활용하기 위한 6단계 절차와 이에 발맞춰 하둡 플랫폼을 어떻게 효율적으로 활용할 지에 대해 그 방법을 모색해 보고자 한다.

ISO/IEC 9126 Quality Model-based Assessment Criteria for Measuring the Quality of Big Data Analysis Platform (빅데이터 분석 플랫폼 평가를 위한 ISO/IEC 9126 품질 모델 기반 평가준거 개발)

  • Lee, Jong Yun
    • Journal of KIISE
    • /
    • v.42 no.4
    • /
    • pp.459-467
    • /
    • 2015
  • The analysis platform of remote-sensing big data is a system that downloads data from satellites, transforms it to a data type of L3, and then analyzes it and produces its analysis results. The objective of this paper is to develop ISO/IEC 9126-1 software quality model-based assessment criteria, in order to evaluate the quality of remote-sensing big data analysis platform. Its detailed research contents are as follows. First, the ISO/IEC 9216 standards and previous software evaluation models will be reviewed. Second, this paper will define evaluation areas, evaluation elements, and evaluation items for measuring the quality of big data analysis platform. Third, the validity of the assessment criteria will be verified by statistical experiments through content validity, reliability validity, and construct validity, by using SPSS 20.0 and Amos 20.0 software. The construct validity will also be conducted by performing the confirmatory factor analysis and path analysis. Lastly, it is significant that our research result demonstrates the first evaluation criteria in measuring the quality of big data analysis platform. It is also expected that our assessment criteria could be used as the basis information for evaluation criteria in the platforms that will be developed in the future.

해양 빅데이터 기반 데이터 분석 및 시각화 연구

  • 손명석;이찬규
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.11a
    • /
    • pp.291-292
    • /
    • 2022
  • 최근 4차 산업혁명이 대두됨에 따라 빅데이터 시장의 지속적인 성장과 다양한 데이터 시각화 플랫폼이 개발되고 있다. 해양 산업에서도 선박, 다이버, 기상 API 등 다양한 해양 데이터를 통해 꾸준한 연구가 이루어지고 있으며 본 연구에서는 해양 데이터를 기반으로 데이터 분석 및 시각화를 통해 사용자에게 정보를 제공하는 플랫폼을 제시하고, 기하급수적으로 늘어날 빅데이터를 효과적으로 분석하기 위해 데이터 분석 및 시각화 기법 연구의 필요성을 제시하였음.

  • PDF

The suggestion of new big data platform for the strengthening of privacy and enabled of big data (개인정보 보안강화 및 빅데이터 활성화를 위한 새로운 빅데이터 플랫폼 제시)

  • Song, Min-Gu
    • Journal of Digital Convergence
    • /
    • v.14 no.12
    • /
    • pp.155-164
    • /
    • 2016
  • In this paper, we investigate and analyze big data platform published at home and abroad. The results had a problem with personal information security on each platform. In particular, there was a vulnerability in the encryption of personal information stored in big data representative of HBase NoSQL DB that is commonly used for big data platform. However, data encryption and decryption cause the system load. In this paper, we propose a method of encryption with HBase, encryption and decryption systems, and methods for applying the personal information management system (PMIS) for each step of the way and big data platform to reduce the load on the network to communicate. And we propose a new big data platform that reflects this. Therefore, the proposed Big Data platform will greatly contribute to the activation of Big Data used to obtain personal information security and system performance efficiency.

A Study on the Platform for Big Data Analysis of Manufacturing Process (제조 공정 빅데이터 분석을 위한 플랫폼 연구)

  • Ku, Jin-Hee
    • Journal of Convergence for Information Technology
    • /
    • v.7 no.5
    • /
    • pp.177-182
    • /
    • 2017
  • As major ICT technologies such as IoT, cloud computing, and Big Data are being applied to manufacturing, smart factories are beginning to be built. The key of smart factory implementation is the ability to acquire and analyze data of the factory. Therefore, the need for a big data analysis platform is increasing. The purpose of this study is to construct a platform for big data analysis of manufacturing process and propose integrated method for analysis. The proposed platform is a RHadoop-based structure that integrates analysis tool R and Hadoop to distribute a large amount of datasets. It can store and analyze big data collected in the unit process and factory in the automation system directly in HBase, and it has overcome the limitations of RDB - based analysis. Such a platform should be developed in consideration of the unit process suitability for smart factories, and it is expected to be a guide to building IoT platforms for SMEs that intend to introduce smart factories into the manufacturing process.

A Study for Big Data Analytics Platform with Raspberry Pi Cluster and Apache Spark (라즈베리 파이 클러스터와 아파치 스파크를 활용한 빅데이터 분석 플랫폼 연구)

  • Kim, Young-Sun;Park, Ji-Young;Yoon, Bo-Ram;Lee, Jung-Hyun;Yong, Hwan-Seung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1272-1275
    • /
    • 2015
  • 최근 관심이 증대되고 있는 빅데이터 분석 및 처리를 위한 병렬분산처리 시스템은 대용량 서버가 필요하고 인프라 구축을 위해 고비용을 지불해야 한다. 이를 해결하기 위해 본 연구에서는 저렴한 라즈베리 파이로 클러스터를 구성하고, 하둡보다 빠른 속도의 처리를 제공하는 아파치 스파크를 분석 솔루션으로 하는 빅데이터 분석 플랫폼을 구축하였다. 구축한 플랫폼이 빅데이터 활용을 위해 적절한 성능을 보이는지 확인하기 위해 텍스트 마이닝을 수행하였고, 분석 결과 유효한 성능을 보였다. 적절한 비용으로 빅데이터 분석이 가능해지면서 중소기업과 개인, 교육 기관에서도 빅데이터 활용이 가능해지면서 활용 분야가 크게 확대될 것으로 보인다.

A Study on Construction of Platform Using Spectrum Big Data (전파 빅데이터 활용을 위한 플랫폼 구축방안 연구)

  • Kim, Hyoung Ju;Ra, Jong Hei;Jeon, Woong Ryul;Kim, Pankoo
    • Smart Media Journal
    • /
    • v.9 no.2
    • /
    • pp.99-109
    • /
    • 2020
  • This paper proposes a platform construction plan for the use of spectrum big data, collects and analyzes the big data in the radio wave field, establishes a linkage plan, and presents a support system scheme for linking and using the spectrum and public sector big data. It presented a plan to build a big data platform in connection with the spectrum public sector. In a situation where there is a lack of a support system for systematic analysis and utilization of big data in the field of radio waves, by establishing a platform construction plan for the use of big data by radio-related industries, the preemptive response to realize the 4th Industrial Revolution and the status and state of the domestic radio field. The company intends to contribute to enhancing the convenience of users of the big data platform in the public sector by securing the innovation growth engine of the company and contributing to the fair competition of the radio wave industry and the improvement of service quality. In addition, it intends to contribute to raising the social awareness of the value of spectrum management data utilization and establishing a collaboration system that uses spectrum big data through joint use of the platform.