• Title/Summary/Keyword: 데이터 기반 분석

Search Result 9,961, Processing Time 0.047 seconds

Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data (하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현)

  • Son, ki-jun;Cho, in-ho;Kim, chan-woo;Jun, chae-nam
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2015.05a
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

Analysis of similarity between industries based on unstructured data using topic modeling (토픽 모델링을 이용한 비정형 데이터 기반 산업간 유사도 분석)

  • Kim, Kyungwon;Park, Jongbin;Jung, Jongjin;Yoon, Kyoungro
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.11a
    • /
    • pp.180-182
    • /
    • 2018
  • 최근 빠르게 변화하는 산업 환경에서 뉴스 기사와 같은 비정형 데이터를 기반으로 산업 트랜드를 분석하기 위한 연구가 진행되고 있다. 뉴스와 같은 비정형 데이터를 기반으로 산업별 트랜드를 분석하기 위해서는 분석 대상 산업에 대한 많은 양의 시계열 데이터가 요구된다. 하지만, 수집된 비정형 데이터를 분류하면 산업별/기간별 일정하지 않은 데이터 분포를 보이거나, 특정 산업에 대해서는 특정 기간에 데이터가 존재하지 않은 경우가 발생하여 산업별 시계열 분석이 어려운 경우가 발생할 수 있다. 이에, 본 논문에서는 산업별/기간별 균일하지 못한 비정형 데이터의 분포를 보정하기 위한 방법으로 비정형 데이터 기반 산업간 유사도를 분석 기법을 제안한다. 산업별 유사도 분석을 위해 각 산업별 주요 키워드를 도출하고 토픽 모델링 기법을 이용하여 산업간 유사도 분석을 통해 산업별/기간별 비정형 데이터 부족현상을 보완하는 방법을 제시한다.

  • PDF

Survey on Battery SOC Estimation Methods using Data-driven AI Algorithms (데이터 기반 인공지능 알고리즘을 사용하는 배터리 충전상태 추정 기법 조사 분석)

  • Jeong, Dae-Ung;Bae, Sungwoo
    • Proceedings of the KIPE Conference
    • /
    • 2020.08a
    • /
    • pp.363-364
    • /
    • 2020
  • 본 논문은 최근 주목 받고 있는 데이터 기반 인공지능 알고리즘을 사용하는 배터리 충전 상태 추정 기법에 대하여 조사 분석한다. 기존의 배터리 모델링 기법의 단점을 회피할 수 있는 데이터 기반 인공지능 알고리즘의 구조적 특징을 확인하고, 배터리 충전 상태 추정에 데이터 기반 인공지능 알고리즘을 적용 했을 때, 충전 상태 추정 정확도에 영향을 끼치는 요소인 데이터 구성에 대한 분석을 실시하여, 데이터 구성 시 필수적으로 고려해야하는 설계조건을 조사 분석한다.

  • PDF

Research on the Analysis System based on the Big Data for Matlab (Matlab을 활용한 빅데이터 기반 분석 시스템 연구)

  • Joo, Moon-il;Kim, Hee-cheol
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2016.10a
    • /
    • pp.96-98
    • /
    • 2016
  • Recently, big data technology develop due to the rapid data generation. Thus big data analysis tools for analyzing big data has been developed. Typical big data tools are the R program, Hive, Tajo and more. But data analysis based on Matlab is still common used. And it is still used in big data analysis. In this paper, it research into big data analysis system based on the Matlab for analyzing vital signals.

  • PDF

해양 빅데이터 기반 데이터 분석 및 시각화 연구

  • 손명석;이찬규
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.11a
    • /
    • pp.291-292
    • /
    • 2022
  • 최근 4차 산업혁명이 대두됨에 따라 빅데이터 시장의 지속적인 성장과 다양한 데이터 시각화 플랫폼이 개발되고 있다. 해양 산업에서도 선박, 다이버, 기상 API 등 다양한 해양 데이터를 통해 꾸준한 연구가 이루어지고 있으며 본 연구에서는 해양 데이터를 기반으로 데이터 분석 및 시각화를 통해 사용자에게 정보를 제공하는 플랫폼을 제시하고, 기하급수적으로 늘어날 빅데이터를 효과적으로 분석하기 위해 데이터 분석 및 시각화 기법 연구의 필요성을 제시하였음.

  • PDF

Design of Personalized HRM System by HR Data Analysis Based on BigData (빅데이터 기반의 인사 데이터 분석을 통한 맞춤형 HRM 시스템 설계)

  • Kang, Min-Young;Park, Seok-Cheon;Hong, Suk-Woo;Kim, Tae-Yeob
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1218-1221
    • /
    • 2013
  • 최근 기업들은 빅데이터 활용을 통해 얻은 분석결과를 고객 마케팅 및 영업 전략 수립에 적극 활용함으로써 수익성 증대 및 비용 절감이라는 기대 효익를 달성하고 있다. 이러한 흐름에 따라 기업 내 시스템 사용자를 고객으로 두고 있는 HRM시스템 역시 인사데이터 분석을 기반으로 사용자의 기호와 요구사항을 반영한 가치 있는 정보를 제공해줌으로써 기존 기업 고객 이외에 잠재적인 고객층을 확보할 수 있는 맞춤형 HRM 시스템으로 진화해야 할 것이다. 본 연구에서는 빅데이터 기반의 인사데이터 분석의 필요성과 국외 인사데이터 분석 활용사례를 살펴보고 이를 기반으로 빅데이터 분석기술을 활용하여 사용자에게 가치 있는 정보를 제공해주는 개인화된 맞춤형 HRM시스템을 제안 및 설계하고자 한다.

Presenting the possibility of using water pipe network data through R-based data mining analysis (R기반 데이터마이닝 분석을 통한 상수관망 자료 활용가능성 제시)

  • Hong, Sung Jin;Lee, Chan Wook;Yoo, Do Guen
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.236-236
    • /
    • 2020
  • 데이터마이닝은 빅데이터를 활용하는데 주로 활용되는 기술이다. 빅데이터 활용의 중요성이 증대됨에 따라 빅데이터를 기반으로 데이터마이닝을 활용한 생산, 금융, 통신 등의 성공적인 활용사례가 있지만 상수도 시설물에 적용한 사례는 드물다. 본 연구에서는 R프로그램을 기반으로 확보하기 어려운 데이터를 얻고자 관련 기사를 수집하고 데이터마이닝의 주요 기능인 분류, 군집(K-means)분석을 수행하였다. 예를들어, 상수관로의 정밀한 누수 분석을 위해서는 관경, 매설년도 등의 세분화된 자료가 필요하나 이러한 자료들은 쉽게 확보할 수 없다는 한계를 갖고 있다. 이러한 관점에서 상수관망 단수, 누수 등의 키워드를 통해 얻을 수 있는 기사를 기반으로 주요 키워드에 대한 군집분석을 수행하여 세분화된 상수관망 자료를 획득 및 분석하였다. 단수, 누수 키워드 기사에 의해 관경정보 등 파손된 관로의 정보를 확보할 수 있는 것으로 나타났으며 향후 확보하기 어려운 데이터를 보완할 수 있는 방법 중 하나로 활용될 수 있을것으로 기대된다. 그러나, 데이터의 양과 보다 정교한 군집분석을 위한 키워드설정 등의 추가연구가 필요할 것으로 판단된다.

  • PDF

Probability-based Iceberg Query Processing Over Data Streams (데이터 스트림에서의 확률기반 빙산 질의 처리)

  • Seo, Dae-Hong;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.34-37
    • /
    • 2007
  • 간 및 낮은 메모리 사용량을 요구한다. 이러한 데이터 스트림에서의 데이터 마이닝은 전체 데이터에 대한 분석 보다는 사용자가 관심을 갖는 영역에 대한 마이닝에 초점이 맞추어져 있어, 사용자 관심영역에 대한 분석 데이터 탐색을 필요로 한다. 이에 본 논문에서는 기존의 분석 데이터 탐색 기법인 빙산 질의 및 상위-k 질의에 대하여 알아보고, 이를 보완하기 위한 확률에 기반한 데이터 탐색법인 확률기반 빙산 질의를 제안한다.

  • PDF

Partition-based Big Data Analysis and Visualization Algorithm (빅데이터 분석을 위한 파티션 기반 시각화 알고리즘)

  • Hong, Jun-Ki
    • The Journal of Bigdata
    • /
    • v.5 no.1
    • /
    • pp.147-154
    • /
    • 2020
  • Today, research is actively being conducted to derive meaningful results from big data. In this paper, we propose a partition-based big data analysis algorithm that can analyze the correlation between variables by setting the data areas of big data as partitions and calculating the representative values of each partition. In this paper, the analyzed visualization results are compared according to the partition size of a proposed partition-based big data analysis (PBDA) algorithm that can control the size of the partition. In order to verify the proposed PBDA algorithm, the big data of 'A' is analyzed, and meaningful results are obtained through the analysis of changes in sales volume of products according to changes in temperature and sales price.

Research on Improving Aviation Safety Management System Based on Data Analysis (데이터 분석 기반 항공안전관리체계 개선에 관한 연구)

  • Byeon, Hae Yoon
    • Proceedings of the Korean Society of Disaster Information Conference
    • /
    • 2023.11a
    • /
    • pp.45-46
    • /
    • 2023
  • 본 논문은 국제민간항공기구(ICAO)의 안전 정의를 기반으로, 항공안전을 유지하기 위해 체계적인 안전관리시스템(Safety Management System, SMS)이 필요함을 강조한다. 특히, COVID-19 이후의 항공 환경 변화에 빠르게 대응할 수 있는 안전관리체계의 필요성을 제기하였으며, 또한, 기존의 하인리히의 법칙을 확장한 Bird의 신도미노 이론을 활용하여 '안전하지 않은 행위'를 세부적으로 분석하고 데이터를 기반으로 이를 탐지하고 관리할 수 있는 방안을 제시한다. 이를 통해 사고나 사건 발생 이전에 이상 경향을 파악하는 중요성을 강조하며, 이를 위해 항공안전데이터를 수집하고 전처리하여 분석의 기반을 마련하고자 한다. 본 논문은 데이터 분석 기술을 활용하여 항공안전을 향상시키는 방법을 탐구하고, 이를 통해 예방적 안전관리의 기반을 제공할 수 있을 것으로 기대하며, 더불어, 데이터 분석 기술의 중요성을 강조하며, 이를 적극적으로 도입하여 안전성을 높이는데 핵심 역할을 할 것을 희망한다.

  • PDF