• 제목/요약/키워드: BigData Platform

검색결과 503건 처리시간 0.036초

하둡 및 스파크 기반 빅데이터 플랫폼을 이용한 선박 운항 효율 이상 상태 분석 (Detection of Abnormal Ship Operation using a Big Data Platform based on Hadoop and Spark)

  • 이태현;유은섭;박개명;유성상;박진표;문두환
    • 한국기계가공학회지
    • /
    • 제18권6호
    • /
    • pp.82-90
    • /
    • 2019
  • To reduce emissions of marine pollutants, regulations are being tightened around the world. In the shipbuilding and shipping industries, various countermeasures are being put forward. As there are limits to applying countermeasures to ships already in operation, however, it is necessary for these vessels to use energy efficiently. The sensors installed on ships typically gather a very large amount of data, and thus a big data platform is needed to manage and analyze the data. In this paper, we build a big data analysis platform based on Hadoop and Spark, and we present a method to detect abnormal ship operation using the platform. We also utilize real ship operation data to discuss the data analysis experiment.

제조 공정 빅데이터 분석을 위한 플랫폼 연구 (A Study on the Platform for Big Data Analysis of Manufacturing Process)

  • 구진희
    • 융합정보논문지
    • /
    • 제7권5호
    • /
    • pp.177-182
    • /
    • 2017
  • IoT, 클라우드 컴퓨팅, 빅데이터와 같은 주요 ICT 기술이 제조 분야에 적용되기 시작하면서 스마트 공장 구축이 본격화 되고 있다. 스마트 공장 구현의 핵심은 공장 내외부의 데이터 확보 및 분석력에 있다. 따라서 빅데이터 분석 플랫폼에 대한 필요성이 증가하고 있다. 본 연구의 목적은 제조 공정 빅데이터 분석을 위한 플랫폼을 구성하고, 분석을 위한 통합 메소드를 제안하는데 있다. 제안하는 플랫폼은 대량의 데이터 셋을 분산 처리하기 위해 분석도구 R과 하둡을 통합한 RHadoop 기반 구조로서 자동화 시스템의 단위 공정 및 공장 내에서 수집되는 빅데이터를 하둡 HBase에 직접 저장 및 분석이 가능하다. 또한 기존 RDB 기반 분석의 한계점을 보완하였다. 이러한 플랫폼은 스마트 공장을 위한 단위 공정 적합성을 고려하여 개발되어야 하며, 제조 공정에 스마트 공장을 도입하고자 하는 중소기업에 IoT 플랫폼 구축의 가이드가 될 수 있을 것으로 전망된다.

스마트 미디어 메타데이터 활용을 통한 미디어 빅데이터 플랫폼 구축 방안 (A Construction Plan of Media Big Data Platform Through the Smart Media Meta-data Utilization)

  • 홍진우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.646-649
    • /
    • 2022
  • 미디어는 인간사회에서 자신의 감정 또는 객관적 정보를 서로 주고받을 수 있도록 마련된 수단인데 디지털 미디어의 등장으로 인한 스마트 미디어의 보급으로 인해 현대사회에서의 미디어는 단순한 수단이 아니라 인간이 사는 사회 전체를 통괄하고 제어하는 기능까지도 떠맡게 되었다. 따라서, 스마트 미디어가 사용되는 서비스 플랫폼에 따른 미디어의 유형과 특성을 살펴보고, 이를 기반으로 미디어의 빅데이터 허브를 구축함으로써 디지털 미디어의 새로운 발전과 연구 방향을 모색할 수 있다. 본 논문에서는 스마트 미디어를 통하여 생성되는 다양한 메타데이터에 대해 분석하고, 이를 이용한 빅데이터 플랫폼 구축에 대한 방안을 제시하고자 한다.

  • PDF

원전 상태 감시 및 조기 경보용 빅데이터 시범 플랫폼의 설계를 위한 시스템 엔지니어링 방법론 적용 연구 (A Study on the Application of SE Approach to the Design of Health Monitoring Pilot Platform utilizing Big Data in the Nuclear Power Plant (NPP))

  • 차재민;손충연;황동식;신중욱;염충섭
    • 시스템엔지니어링학술지
    • /
    • 제11권2호
    • /
    • pp.13-29
    • /
    • 2015
  • With the era of big data, the big data has been expected to have a large impact in the NPP safety areas. Although high interests of the big data for the NPP safety, only a limited researches concerning this issue are revealed. Especially, researches on the logical/physical structure and systematic design methods for the big data platform for the NPP safety were not dealt with. In this research, we design a new big data pilot platform for the NPP safety especially focusing on health monitoring and early warning services. For this, we propose a tailored design process based on SE approaches to manage inherent high complexities of the platform design. The proposed design process is consist of several steps from elicitate stakeholders to integration test via define operational concept and scenarios, and system requirements, design a conceptual functional architecture, select alternative physical modules for the derived functions and assess the applicability of the alternative modules, design a conceptual physical architecture, implement and integrate the physical modules. From the design process, this paper covers until the conceptual physical architecture design. In the following paper, the rest of the design process and results of the field test will be shown.

대용량 분산처리 플랫폼 공유 모델 연구 (Shared Distributed Big-Data Processing Platform Model: a Study)

  • 정환진;강태호;김규석;신영호;정진규
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권11호
    • /
    • pp.601-613
    • /
    • 2016
  • 최근 다양한 분야에서 빅데이터 분석의 수요가 증가하고 있다. 효과적인 빅데이터 분석을 위해 분산처리시스템을 이용하지만 시스템 구축에는 상당한 금전적, 시간적 비용이 소모된다. 따라서 시스템 구축비용절감을 위한 방안이 필요하며 빅데이터 분석 플랫폼 서비스를 제공하여 사용자의 시스템 구축비용을 절약할 수 있다. 멀티테넌시는 다수의 사용자가 하나의 서비스를 공유하는 환경을 말하며 싱글테넌트 환경에 비해 시스템 자원 이용률을 향상시킬 수 있다는 장점이 있다. 본 논문에서는 대용량 분산처리 플랫폼 모델 두 가지를 제시하며 멀티테넌시를 지원하기 위한 방안에 대해 설명한다. 첫 번째 모델은 다수의 사용자가 단일 하둡 플랫폼을 공유하는 모델로 하둡의 멀티테넌시 지원을 활용하며, 다른 모델은 가상화 클라우드 컴퓨팅 환경을 활용하여 개별 가상 하둡 클러스터를 제공하는 모델이다. 제시한 두 모델의 프로토타입을 구축하였으며 두 모델의 성능 비교와 하둡 플랫폼의 멀티테넌시 검증을 하였다.

엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구 (A Study of Bigdata Platform for Supporting Engineering Services)

  • 서동우;김명일;박상진;김재성;정석찬
    • 한국빅데이터학회지
    • /
    • 제4권1호
    • /
    • pp.119-127
    • /
    • 2019
  • 본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.

  • PDF

A Study on User Perception of Tourism Platform Using Big Data

  • Se-won Jeon;Sung-Woo Park;Youn Ju Ahn;Gi-Hwan Ryu
    • International journal of advanced smart convergence
    • /
    • 제13권1호
    • /
    • pp.108-113
    • /
    • 2024
  • The purpose of this study is to analyze user perceptions of tourism platforms through big data. Data were collected from Naver, Daum, and Google as big data analysis channels. Using semantic network analysis with the keyword 'tourism platform,' a total of 29,265 words were collected. The collection period was set for two years, from August 31, 2021, to August 31, 2023. Keywords were analyzed for connected networks using TexTom and Ucinet programs for social network analysis. Keywords perceived by tourism platform users include 'travel,' 'diverse,' 'online,' 'service,' 'tourists,' 'reservation,' 'provision,' and 'region.' CONCOR analysis revealed four groups: 'platform information,' 'tourism information and products,' 'activation strategies for tourism platforms,' and 'tourism destination market.' This study aims to expand and activate services that meet the needs and preferences of users in the tourism field, as well as platforms tailored to the changing market, based on user perception, current status, and trend data on tourism platforms.

빅데이터 플랫폼 환경에서의 워크로드별 암호화 알고리즘 성능 분석 (Analysis of Encryption Algorithm Performance by Workload in BigData Platform)

  • 이선주;허준범
    • 정보보호학회논문지
    • /
    • 제29권6호
    • /
    • pp.1305-1317
    • /
    • 2019
  • 공공기관 및 기업의 빅데이터 플랫폼 환경에서 데이터 보호를 위한 암호화는 필수적인 요소이나 실제 빅데이터 워크로드를 고려한 암호화 알고리즘에 대한 성능 검증 연구는 많이 진행되지 않았다. 본 논문에서는 몽고 DB(MongoDB) 환경에서 데이터와 노드를 추가하여 빅데이터의 6가지 워크로드별로 AES, ARIA, 3DES별로 성능 변화 추이를 분석하였다. 이를 통해 빅데이터 플랫폼 환경에서 각 워크로드 별 최적의 블록기반 암호 알고리즘이 무엇인지 확인하고, NoSQL 데이터베이스 벤치마크(YCSB)를 사용하여 데이터와 노드 구성환경에서 다양한 워크로드별로 테스트를 통해 MongoDB의 성능을 고려한 최적화된 아키텍처를 제안한다.

특허분석을 통한 빅데이터 분석 플랫폼 기술 개발 동향 (Big Data Analysis Platform Technology R&D Trend through Patent Analysis)

  • 노승민
    • 디지털융복합연구
    • /
    • 제12권9호
    • /
    • pp.169-175
    • /
    • 2014
  • 모바일 SNS, 스마트 기기의 급성장과 ICT(통신기술) 패러다임의 변화는 라이프 스타일의 변화와 함께 데이터가 폭발적으로 증가하는 결과를 초래하였다. 한편, 대용량의 데이터의사용은 비용이나 기술적 측면에서 많은 어려움을 초래하였다. 그러나, 빅데이터는 하둡과 같은 효율적인 빅데이터 처리 플랫폼 기술의 등장으로 주목을 받기 시작하였다. 본 논문에서는 주요 시장 국의 특허 분석을 통해 빅데이터 플랫폼 연구 및 개발 동향을 살펴보고자 한다. 특히, 2010년 12월을 기준으로 4개국에 출원 및 등록되어 있는 2,568건을 대상으로 분석을 진행하였다.

농업 빅데이터 수집 및 분석을 위한 플랫폼 설계 (Design of a Platform for Collecting and Analyzing Agricultural Big Data)

  • 뉘엔 반 퀴엣;뉘엔 신 녹;김경백
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권1호
    • /
    • pp.149-158
    • /
    • 2017
  • 빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.