• 제목/요약/키워드: 데이터 기반 분석

검색결과 10,090건 처리시간 0.043초

하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현 (Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data)

  • 손기준;조인호;김찬우;전채남
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2015년도 춘계 종합학술대회 논문집
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

토픽 모델링을 이용한 비정형 데이터 기반 산업간 유사도 분석 (Analysis of similarity between industries based on unstructured data using topic modeling)

  • 김경원;박종빈;정종진;윤경로
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 추계학술대회
    • /
    • pp.180-182
    • /
    • 2018
  • 최근 빠르게 변화하는 산업 환경에서 뉴스 기사와 같은 비정형 데이터를 기반으로 산업 트랜드를 분석하기 위한 연구가 진행되고 있다. 뉴스와 같은 비정형 데이터를 기반으로 산업별 트랜드를 분석하기 위해서는 분석 대상 산업에 대한 많은 양의 시계열 데이터가 요구된다. 하지만, 수집된 비정형 데이터를 분류하면 산업별/기간별 일정하지 않은 데이터 분포를 보이거나, 특정 산업에 대해서는 특정 기간에 데이터가 존재하지 않은 경우가 발생하여 산업별 시계열 분석이 어려운 경우가 발생할 수 있다. 이에, 본 논문에서는 산업별/기간별 균일하지 못한 비정형 데이터의 분포를 보정하기 위한 방법으로 비정형 데이터 기반 산업간 유사도를 분석 기법을 제안한다. 산업별 유사도 분석을 위해 각 산업별 주요 키워드를 도출하고 토픽 모델링 기법을 이용하여 산업간 유사도 분석을 통해 산업별/기간별 비정형 데이터 부족현상을 보완하는 방법을 제시한다.

  • PDF

데이터 기반 인공지능 알고리즘을 사용하는 배터리 충전상태 추정 기법 조사 분석 (Survey on Battery SOC Estimation Methods using Data-driven AI Algorithms)

  • 정대웅;배성우
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2020년도 전력전자학술대회
    • /
    • pp.363-364
    • /
    • 2020
  • 본 논문은 최근 주목 받고 있는 데이터 기반 인공지능 알고리즘을 사용하는 배터리 충전 상태 추정 기법에 대하여 조사 분석한다. 기존의 배터리 모델링 기법의 단점을 회피할 수 있는 데이터 기반 인공지능 알고리즘의 구조적 특징을 확인하고, 배터리 충전 상태 추정에 데이터 기반 인공지능 알고리즘을 적용 했을 때, 충전 상태 추정 정확도에 영향을 끼치는 요소인 데이터 구성에 대한 분석을 실시하여, 데이터 구성 시 필수적으로 고려해야하는 설계조건을 조사 분석한다.

  • PDF

Matlab을 활용한 빅데이터 기반 분석 시스템 연구 (Research on the Analysis System based on the Big Data for Matlab)

  • 주문일;김희철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.96-98
    • /
    • 2016
  • 최근 급속한 데이터의 생성으로 인하여 빅데이터 기술이 발전하고 있으며, 빅데이터를 분석하기 위한 다양한 빅데이터 분석 툴이 개발되어지고 있다. 대표적인 빅데이터 기반의 분석 툴은 R 프로그램, Hive, Tajo 등 다양한 분석 툴이 있다. 그러나, Matlab을 활용한 데이터 분석과 이를 위한 알고리즘 개발이 여전히 보편적이며, 빅데이터 분석에서도 Matlab이 광범위하게 사용되고 있다. 본 논문은 생체신호를 분석하는 Matlab을 활용한 빅데이터 기반 분석 시스템을 연구하고자 한다.

  • PDF

해양 빅데이터 기반 데이터 분석 및 시각화 연구

  • 손명석;이찬규
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 추계학술대회
    • /
    • pp.291-292
    • /
    • 2022
  • 최근 4차 산업혁명이 대두됨에 따라 빅데이터 시장의 지속적인 성장과 다양한 데이터 시각화 플랫폼이 개발되고 있다. 해양 산업에서도 선박, 다이버, 기상 API 등 다양한 해양 데이터를 통해 꾸준한 연구가 이루어지고 있으며 본 연구에서는 해양 데이터를 기반으로 데이터 분석 및 시각화를 통해 사용자에게 정보를 제공하는 플랫폼을 제시하고, 기하급수적으로 늘어날 빅데이터를 효과적으로 분석하기 위해 데이터 분석 및 시각화 기법 연구의 필요성을 제시하였음.

  • PDF

빅데이터 기반의 인사 데이터 분석을 통한 맞춤형 HRM 시스템 설계 (Design of Personalized HRM System by HR Data Analysis Based on BigData)

  • 강민영;박석천;홍석우;김태엽
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1218-1221
    • /
    • 2013
  • 최근 기업들은 빅데이터 활용을 통해 얻은 분석결과를 고객 마케팅 및 영업 전략 수립에 적극 활용함으로써 수익성 증대 및 비용 절감이라는 기대 효익를 달성하고 있다. 이러한 흐름에 따라 기업 내 시스템 사용자를 고객으로 두고 있는 HRM시스템 역시 인사데이터 분석을 기반으로 사용자의 기호와 요구사항을 반영한 가치 있는 정보를 제공해줌으로써 기존 기업 고객 이외에 잠재적인 고객층을 확보할 수 있는 맞춤형 HRM 시스템으로 진화해야 할 것이다. 본 연구에서는 빅데이터 기반의 인사데이터 분석의 필요성과 국외 인사데이터 분석 활용사례를 살펴보고 이를 기반으로 빅데이터 분석기술을 활용하여 사용자에게 가치 있는 정보를 제공해주는 개인화된 맞춤형 HRM시스템을 제안 및 설계하고자 한다.

R기반 데이터마이닝 분석을 통한 상수관망 자료 활용가능성 제시 (Presenting the possibility of using water pipe network data through R-based data mining analysis)

  • 홍성진;이찬욱;유도근
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.236-236
    • /
    • 2020
  • 데이터마이닝은 빅데이터를 활용하는데 주로 활용되는 기술이다. 빅데이터 활용의 중요성이 증대됨에 따라 빅데이터를 기반으로 데이터마이닝을 활용한 생산, 금융, 통신 등의 성공적인 활용사례가 있지만 상수도 시설물에 적용한 사례는 드물다. 본 연구에서는 R프로그램을 기반으로 확보하기 어려운 데이터를 얻고자 관련 기사를 수집하고 데이터마이닝의 주요 기능인 분류, 군집(K-means)분석을 수행하였다. 예를들어, 상수관로의 정밀한 누수 분석을 위해서는 관경, 매설년도 등의 세분화된 자료가 필요하나 이러한 자료들은 쉽게 확보할 수 없다는 한계를 갖고 있다. 이러한 관점에서 상수관망 단수, 누수 등의 키워드를 통해 얻을 수 있는 기사를 기반으로 주요 키워드에 대한 군집분석을 수행하여 세분화된 상수관망 자료를 획득 및 분석하였다. 단수, 누수 키워드 기사에 의해 관경정보 등 파손된 관로의 정보를 확보할 수 있는 것으로 나타났으며 향후 확보하기 어려운 데이터를 보완할 수 있는 방법 중 하나로 활용될 수 있을것으로 기대된다. 그러나, 데이터의 양과 보다 정교한 군집분석을 위한 키워드설정 등의 추가연구가 필요할 것으로 판단된다.

  • PDF

빅데이터 분석을 위한 파티션 기반 시각화 알고리즘 (Partition-based Big Data Analysis and Visualization Algorithm)

  • 홍준기
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.147-154
    • /
    • 2020
  • 오늘날 빅데이터로부터 유의미한 결과를 도출하는 연구가 활발히 진행되고 있다. 본 논문에선 빅데이터의 데이터의 영역들을 파티션(partition)으로 설정하고 각 파티션들의 대표 값을 계산하여 변수들 사이의 상관관계를 분석 할 수 있는 파티션 기반 빅데이터 분석 알고리즘을 제안한다. 본 논문에선 파티션의 크기조절이 가능한 파티션 기반 빅데이터 분석 알고리즘의 파티션 크기 변화에 따른 시각화 결과를 비교분석하였다. 제안한 파티션 기반 빅데이터 분석 알고리즘을 검증하기 위해 의류 회사 'A'의 빅데이터를 분석하여 온도와 판매 가격 변화에 따른 상품의 판매량 변화를 분석하고 시각화하여 유의미한 결과를 얻을 수 있었다.

데이터 스트림에서의 확률기반 빙산 질의 처리 (Probability-based Iceberg Query Processing Over Data Streams)

  • 서대홍;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.34-37
    • /
    • 2007
  • 간 및 낮은 메모리 사용량을 요구한다. 이러한 데이터 스트림에서의 데이터 마이닝은 전체 데이터에 대한 분석 보다는 사용자가 관심을 갖는 영역에 대한 마이닝에 초점이 맞추어져 있어, 사용자 관심영역에 대한 분석 데이터 탐색을 필요로 한다. 이에 본 논문에서는 기존의 분석 데이터 탐색 기법인 빙산 질의 및 상위-k 질의에 대하여 알아보고, 이를 보완하기 위한 확률에 기반한 데이터 탐색법인 확률기반 빙산 질의를 제안한다.

데이터 분석 기반 항공안전관리체계 개선에 관한 연구 (Research on Improving Aviation Safety Management System Based on Data Analysis)

  • 변해윤
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2023년 정기학술대회 논문집
    • /
    • pp.45-46
    • /
    • 2023
  • 본 논문은 국제민간항공기구(ICAO)의 안전 정의를 기반으로, 항공안전을 유지하기 위해 체계적인 안전관리시스템(Safety Management System, SMS)이 필요함을 강조한다. 특히, COVID-19 이후의 항공 환경 변화에 빠르게 대응할 수 있는 안전관리체계의 필요성을 제기하였으며, 또한, 기존의 하인리히의 법칙을 확장한 Bird의 신도미노 이론을 활용하여 '안전하지 않은 행위'를 세부적으로 분석하고 데이터를 기반으로 이를 탐지하고 관리할 수 있는 방안을 제시한다. 이를 통해 사고나 사건 발생 이전에 이상 경향을 파악하는 중요성을 강조하며, 이를 위해 항공안전데이터를 수집하고 전처리하여 분석의 기반을 마련하고자 한다. 본 논문은 데이터 분석 기술을 활용하여 항공안전을 향상시키는 방법을 탐구하고, 이를 통해 예방적 안전관리의 기반을 제공할 수 있을 것으로 기대하며, 더불어, 데이터 분석 기술의 중요성을 강조하며, 이를 적극적으로 도입하여 안전성을 높이는데 핵심 역할을 할 것을 희망한다.

  • PDF