• 제목/요약/키워드: Big data management

검색결과 1,744건 처리시간 0.024초

빅데이터 도입 효과 분석을 통한 빅데이터 성공요인에 관한 연구 (A study on the success factors of Big Data through an analysis of introduction effect of Big Data)

  • 정영기;석명건;김창재
    • 디지털융복합연구
    • /
    • 제12권11호
    • /
    • pp.241-248
    • /
    • 2014
  • 정보기술의 발달과 기반하드웨어 기술의 비약적인 발전은 데이터 사용의 폭을 넓혀주었고 이로 인해서 빅데이터 시대라는 새로운 패러다임을 제시하였다. 빅데이터 기술과 그 활용성과는 점차 늘어나는 추세이며 이에 기업들은 데이터의 중요성을 깨닫고 이를 활용하려는 움직임이 활발해지고 있다. 본 연구는 기업에서 빅데이터를 활용함에 있어 빅데이터 기술의 적극적 도입 및 활용을 위한 요인들을 선별해내고 이를 통한 중요도를 검증하고자 수행되었다. 연구모형에 포함된 빅데이터의 특성 요인으로는 예측성, 관리성, 지원성, 경쟁성을 선정하였다. 빅데이터에 대한 경험을 보유한 기업의 실무자를 대상으로 한 설문과 통계를 바탕으로 검증한 결과 관리성 측면이 가장 중요한 성공요인으로 채택되었으며, 본 연구의 결과는 기업에서의 빅데이터 도입 시에 빅데이터의 특성에 대한 좀더 객관적인 이해와 이를 통한 고려사항을 통해 좀더 효율성 있는 사용을 가능하게 정보를 제공하는 것이 가능할 것이다.

스마트 팩토리 환경에서의 GlusterFS 기반 빅데이터 분산 처리 시스템 설계 (Design of GlusterFS Based Big Data Distributed Processing System in Smart Factory)

  • 이협건;김영운;김기영;최종석
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권1호
    • /
    • pp.70-75
    • /
    • 2018
  • 스마트 팩토리는 설계 개발, 제조, 유통 물류 등 생산 전체 과정에 정보 통신 기술을 적용하여 생산성, 품질, 고객만족도 등을 향상시킬 수 있는 지능형 공장이다. 스마트 팩토리에서 발생되는 데이터의 양은 공장의 규모 및 시설 수준에 따라 많은 차이를 보이지만, 기존의 생산관리시스템을 활용하여 방대한 양의 데이터를 발생시키는 스마트 팩토리 환경에 적용하기에 어려움이 있다. 이로 인해 방대한 양의 빅데이터 처리할 수 있는 빅데이터 분산 처리 시스템의 필요성이 요구되고 있다. 따라서 본 논문에서는 스마트 팩토리 환경에서의 GlusterFS 기반 빅데이터 분산 처리 시스템 설계하였다. 제안하는 빅데이터 분산 처리 시스템은 기존 분산 처리 시스템에 비해 네트워크 트래픽 분산 및 관리를 통해 부하와 데이터 소실 위험도를 감소시켰다.

빅데이터 연구동향 분석: 토픽 모델링을 중심으로 (Research Trends Analysis of Big Data: Focused on the Topic Modeling)

  • 박종순;김창식
    • 디지털산업정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.1-7
    • /
    • 2019
  • The objective of this study is to examine the trends in big data. Research abstracts were extracted from 4,019 articles, published between 1995 and 2018, on Web of Science and were analyzed using topic modeling and time series analysis. The 20 single-term topics that appeared most frequently were as follows: model, technology, algorithm, problem, performance, network, framework, analytics, management, process, value, user, knowledge, dataset, resource, service, cloud, storage, business, and health. The 20 multi-term topics were as follows: sense technology architecture (T10), decision system (T18), classification algorithm (T03), data analytics (T17), system performance (T09), data science (T06), distribution method (T20), service dataset (T19), network communication (T05), customer & business (T16), cloud computing (T02), health care (T14), smart city (T11), patient & disease (T04), privacy & security (T08), research design (T01), social media (T12), student & education (T13), energy consumption (T07), supply chain management (T15). The time series data indicated that the 40 single-term topics and multi-term topics were hot topics. This study provides suggestions for future research.

앙상블 기법을 활용한 대학생 중도탈락 예측 모형 개발 (A Study on the Development of University Students Dropout Prediction Model Using Ensemble Technique)

  • 박상성
    • 디지털산업정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.109-115
    • /
    • 2021
  • The number of freshmen at universities is decreasing due to the recent decline in the school-age population, and the survival of many universities is threatened. To overcome this situation, universities are seeking ways to use big data within the school to improve the quality of education. A study on the prediction of dropout students is a representative case of using big data in universities. The dropout prediction can prepare a systematic management plan by identifying students who will drop out of school due to reasons such as dropout or expulsion. In the case of actual on-campus data, a large number of missing values are included because it is collected and managed by various departments. For this reason, it is necessary to construct a model by effectively reflecting the missing values. In this study, we propose a university student dropout prediction model based on eXtreme Gradient Boost that can be applied to data with many missing values and shows high performance. In order to examine the practical applicability of the proposed model, an experiment was performed using data from C University in Chungbuk. As a result of the experiment, the prediction performance of the proposed model was found to be excellent. The management strategy of dropout students can be established through the prediction results of the model proposed in this paper.

실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구 (A Study on Big Data Processing Technology Based on Open Source for Expansion of LIMS)

  • 김순곤
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권2호
    • /
    • pp.161-167
    • /
    • 2021
  • 실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

Knowledge Extractions, Visualizations, and Inference from the big Data in Healthcare and Medical

  • Kim, Jin Sung
    • 한국지능시스템학회논문지
    • /
    • 제23권5호
    • /
    • pp.400-405
    • /
    • 2013
  • The purpose of this study is to develop a composite platform for knowledge extractions, visualizations, and inference. Generally, the big data sets were frequently used in the healthcare and medical area. To help the knowledge managers/users working in the field, this study is focused on knowledge management (KM) based on Data Mining (DM), Knowledge Distribution Map (KDM), Decision Tree (DT), RDBMS, and SQL-inference. The proposed mechanism is composed of five key processes. Firstly, in Knowledge Parsing, it extracts logical rules from a big data set by using DM technology. Then it transforms the rules into RDB tables. Secondly, through Knowledge Maintenance, it refines and manages the knowledge to be ready for the computing of knowledge distributions. Thirdly, in Knowledge Distribution process, we can see the knowledge distributions by using the DT mechanism.Fourthly, in Knowledge Hierarchy, the platform shows the hierarchy of the knowledge. Finally, in Inference, it deduce the conclusions by using the given facts and data.This approach presents the advantages of diversity in knowledge representations and inference to improve the quality of computer-based medical diagnosis.

Study on Decision-Making Factors of Big Data Application in Enterprises: Using Company S as an Example

  • Huang, Yun Kuei;Yang, Wen I.;Chan, Ching Sen
    • 동아시아경상학회지
    • /
    • 제4권1호
    • /
    • pp.5-15
    • /
    • 2016
  • With vigorous development of global network community, smart phones and mobile devices, enterprises can rapidly collect various kinds of data from internal and external environments. How to discover valuable information and transform it into new business opportunities from big data which grow rapidly is an extremely important issue for current enterprises. This study treats Company S as the subject and tries to find the factors of big data application in enterprises by a modified Decision Making Trial and Evaluation Laboratory (DEMATEL) and perceived benefits - perceived barriers relation matrix as reference for big data application and management of managers or marketing personnel in other organizations or related industry.

Optimization Driven MapReduce Framework for Indexing and Retrieval of Big Data

  • Abdalla, Hemn Barzan;Ahmed, Awder Mohammed;Al Sibahee, Mustafa A.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권5호
    • /
    • pp.1886-1908
    • /
    • 2020
  • With the technical advances, the amount of big data is increasing day-by-day such that the traditional software tools face a burden in handling them. Additionally, the presence of the imbalance data in big data is a massive concern to the research industry. In order to assure the effective management of big data and to deal with the imbalanced data, this paper proposes a new indexing algorithm for retrieving big data in the MapReduce framework. In mappers, the data clustering is done based on the Sparse Fuzzy-c-means (Sparse FCM) algorithm. The reducer combines the clusters generated by the mapper and again performs data clustering with the Sparse FCM algorithm. The two-level query matching is performed for determining the requested data. The first level query matching is performed for determining the cluster, and the second level query matching is done for accessing the requested data. The ranking of data is performed using the proposed Monarch chaotic whale optimization algorithm (M-CWOA), which is designed by combining Monarch butterfly optimization (MBO) [22] and chaotic whale optimization algorithm (CWOA) [21]. Here, the Parametric Enabled-Similarity Measure (PESM) is adapted for matching the similarities between two datasets. The proposed M-CWOA outperformed other methods with maximal precision of 0.9237, recall of 0.9371, F1-score of 0.9223, respectively.

Utilizing Integrated Public Big Data in the Database System for Analyzing Vehicle Accidents

  • Lee, Gun-woo;Kim, Tae-ho;Do, Songi;Jun, Hyun-jin;Moon, Yoo-Jin
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권9호
    • /
    • pp.99-105
    • /
    • 2017
  • In this paper, we propose to design and implement the database management system for analyzing vehicle accidents through utilizing integration of the public big data. And the paper aims to provide valuable information for recognizing seriousness of the vehicle accidents and various circumstances at the accident time, and to utilize the produced information for the insurance company policies as well as government policies. For analysis of the vehicle accidents the system utilizes the integrated big data of National Indicator System, the Meteorological Office, National Statistical Office, Korea Insurance Development Institute, Road Traffic Authority, Ministry of Land, Infrastructure and Transport as well as the National Police Agency, which differentiates this system from the previous systems. The system consists of data at the accident time including weather conditions, vehicle models, age, sex, insurance amount etc., by which the database system users are able to obtain the integral information about vehicle accidents. The result shows that the vehicle accidents occur more frequently in the clear weather conditions, in the vehicle to vehicle conditions and in crosswalk & crossway. Also, it shows that the accidents in the cloudy weather leads more seriously to injury and death than in the clear weather. As well, the vehicle accident information produced by the system can be utilized to effectively prevent drivers from dangerous accidents.

기업의 현용기록 축적과 이용 방안 연구: 빅데이터 플랫폼으로서의 기업기록관리 (A Study on the Accumulation and Use of Corporate Records: Corporate Records Management as a Big Data Platform)

  • 김성우;이해영
    • 한국기록관리학회지
    • /
    • 제20권3호
    • /
    • pp.99-118
    • /
    • 2020
  • 기업의 기록관리를 통한 가치창출과 편익제고는 공공기관의 기록관리와 견주어도 부족함이 없는데 우리나라의 기업기록관리에 대해서는 아직까지 가이드라인도 제정되어 있지 않다. 글로벌 기업들은 업무과정의 산출물인 기록을 정보자산으로 축적하고 이용하여 업무의 시행착오를 줄이며 경쟁력을 강화해 나가고 있다. 우리나라 기업들도 기록관리에 대한 필요성은 공감하면서도 현용기록관리보다는 사사편찬이나 사료관리 등 비현용기록관리가 대부분인 실정이다. 따라서 이 연구에서는 우리나라에서 성공적으로 기록관리를 하고 있는 K사의 사례연구를 통하여 기업의 현용기록 축적과 이용을 통한 가치와 편익을 찾아보고, 기업기록관리를 활성화할 수 있는 방안을 제안하고자 했다. 이와 함께 4차 산업혁명시대의 중요한 자원인 데이터를 축적하고 이용하는 빅데이터 플랫폼으로서의 기업기록관리를 조명하며 기업기록관리의 활성화 방안을 제시하였다.