• Title/Summary/Keyword: 빅데이터모델

Search Result 765, Processing Time 0.024 seconds

Big Data Platform Case Analysis and Deployment Strategies to Revitalize the Data Economy (데이터 경제 활성화를 위한 빅데이터 플랫폼 사례 분석 및 구축 전략)

  • Kim, Baehyun
    • Convergence Security Journal
    • /
    • v.21 no.1
    • /
    • pp.73-78
    • /
    • 2021
  • Big data is a key driver of the fourth industrial revolution, represented by ultra-connected, ultra-intelligence, and ultra-convergence, and it is important to create innovation and share, link, and utilize data to discover business models. However, it is difficult to secure and utilize high-quality and abundant data when big data platforms are built in a regular manner without considering shared-linked. Therefore, this paper presents the development direction of big data platform infrastructure by comparing and analyzing various cases of big data platforms to enable data production, construction, linkage, and distribution.

A Study on the Machine Learning Model for Product Faulty Prediction in Internet of Things Environment (사물인터넷 환경에서 제품 불량 예측을 위한 기계 학습 모델에 관한 연구)

  • Ku, Jin-Hee
    • Journal of Convergence for Information Technology
    • /
    • v.7 no.1
    • /
    • pp.55-60
    • /
    • 2017
  • In order to provide intelligent services without human intervention in the Internet of Things environment, it is necessary to analyze the big data generated by the IoT device and learn the normal pattern, and to predict the abnormal symptoms such as faulty or malfunction based on the learned normal pattern. The purpose of this study is to implement a machine learning model that can predict product failure by analyzing big data generated in various devices of product process. The machine learning model uses the big data analysis tool R because it needs to analyze based on existing data with a large volume. The data collected in the product process include the information about product faulty, so supervised learning model is used. As a result of the study, I classify the variables and variable conditions affecting the product failure, and proposed a prediction model for the product failure based on the decision tree. In addition, the predictive power of the model was significantly higher in the conformity and performance evaluation analysis of the model using the ROC curve.

Construction of Hierarchical LOD Development Environment and Its Application of Medical Information (계층적 LOD 개발 환경 구축 및 의료 정보 적용)

  • Moon, Hee-Kyung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.432-433
    • /
    • 2017
  • 최근 ICT 기술과 의료 빅데이터를 활용한 다양한 연구가 활발하게 진행되고 있다. 이질적인 의료데이터의 공유와 확산을 위해 표준화 데이터 모델로 온톨로지 기반의 Linked Open Data가 대안으로 급부상하고 있다. 특히 의료 빅데이터의 분석을 위한 데이터 셋은 프로토콜화하기 어려운 문제점을 갖고 있다. 본 논문에서는 이러한 문제점을 해결하기 개발된 계층적 LOD 개발 환경 시스템을 기반으로 의료정보를 적용하기 위한 모델링에 중점을 두고자 한다. 본 연구는 의료 빅데이터의 검색과 분석연구 분야에 큰 영향을 줄 것으로 기대하고 있다.

ISO/IEC 9126 Quality Model-based Assessment Criteria for Measuring the Quality of Big Data Analysis Platform (빅데이터 분석 플랫폼 평가를 위한 ISO/IEC 9126 품질 모델 기반 평가준거 개발)

  • Lee, Jong Yun
    • Journal of KIISE
    • /
    • v.42 no.4
    • /
    • pp.459-467
    • /
    • 2015
  • The analysis platform of remote-sensing big data is a system that downloads data from satellites, transforms it to a data type of L3, and then analyzes it and produces its analysis results. The objective of this paper is to develop ISO/IEC 9126-1 software quality model-based assessment criteria, in order to evaluate the quality of remote-sensing big data analysis platform. Its detailed research contents are as follows. First, the ISO/IEC 9216 standards and previous software evaluation models will be reviewed. Second, this paper will define evaluation areas, evaluation elements, and evaluation items for measuring the quality of big data analysis platform. Third, the validity of the assessment criteria will be verified by statistical experiments through content validity, reliability validity, and construct validity, by using SPSS 20.0 and Amos 20.0 software. The construct validity will also be conducted by performing the confirmatory factor analysis and path analysis. Lastly, it is significant that our research result demonstrates the first evaluation criteria in measuring the quality of big data analysis platform. It is also expected that our assessment criteria could be used as the basis information for evaluation criteria in the platforms that will be developed in the future.

Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving (비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐)

  • Lee, Byoung-Yup;Park, Jae-Yeol;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.15 no.5
    • /
    • pp.570-581
    • /
    • 2015
  • In recent years, many institutions predict that cloud services and big data will be popular IT trends in the near future. A number of leading IT vendors are focusing on practical solutions and services for cloud and big data. In addition, cloud has the advantage of unrestricted in selecting resources for business model based on a variety of internet-based technologies which is the reason that provisioning and virtualization technologies for active resource expansion has been attracting attention as a leading technology above all the other technologies. Big data took data prediction model to another level by providing the base for the analysis of unstructured data that could not have been analyzed in the past. Since what cloud services and big data have in common is the services and analysis based on mass amount of data, efficient operation and designing of mass data has become a critical issue from the early stage of development. Thus, in this paper, I would like to establish data processing architecture based on technological requirements of mass data for cloud and big data services. Particularly, I would like to introduce requirements that must be met in order for distributed file system to engage in cloud computing, and efficient compression technology requirements of mass data for big data and cloud computing in terms of cost-saving, as well as technological requirements of open-source-based system such as Hadoop eco system distributed file system and memory database that are available in cloud computing.

Business Process Model for Efficient SMB using Big Data (빅데이터를 활용한 효율적인 중소기업 업무 처리 모델)

  • Jeong, Yoon-Su
    • Journal of Convergence Society for SMB
    • /
    • v.5 no.4
    • /
    • pp.11-16
    • /
    • 2015
  • In recent years, small businesses are increasing attempt to create better value through a combination of benefits with small and flexible organization of big data. However, until now small businesses are lacking to secure sustainable competitiveness to match the ICT paradigm alteration to focus on improving productivity. This paper propose an efficient small businesses process model which can effectively take advantage of a low cost, identify customer needs, taget marketing, customer management for new product. Proposed model can retain the necessary competitiveness in generating new business for collaboration between companies inside and companies using a massive big data. Also, proposed model can be utilized the overall business activities such as the target customer selection, pricing strategies, public relations and promotional activities and enhanced new product development capabilities using big data.

  • PDF

A Study on Initial Characterization of Big Data Technology Acceptance - Moderating Role of Technology User & Technology Utilizer (빅데이터 기술수용의 초기 특성 연구 - 기술이용자 및 기술활용자 측면의 조절효과를 중심으로)

  • Kim, Jung-Sun;Song, Tae-Min
    • The Journal of the Korea Contents Association
    • /
    • v.14 no.9
    • /
    • pp.538-555
    • /
    • 2014
  • Systematic studies have been rarely conducted on the acceptance of big data technology despite the technology drawing much attention from academia, industry and general public. With big data technology still being in the infant stage in Korea, a study model was constructed in this paper by integrating the innovation diffusion theory and the task technology fit theory with this technology acceptance model (TAM) as the central framework to make big data technology more readily acceptable in the country, and the aim of making big data technology readily acceptable was expanded as the moderator variable of the TAM. The results of this study showed that "subjective norm" and "task technology fit" showed the most significant effect as the exogenous variables of the TAM. In addition, the "innovative characteristic of the organization" was the significant exogenous variable affecting the intention to accept big data technology to those "technology utilizers" that try to come up with new services or products that are technology-based; however, "subjective norm" was the rather significant factor affecting those simple "technology users". Finally, a significant difference was seen in the verification of mediation effect.

제조기업 현장 데이터를 이용한 빅데이터 분석시스템 모델

  • Kim, Jae-Jung;Seong, Baek-Min;Yu, Jae-Gon;Gang, Chan-U;Kim, Jong-Bae
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2015.05a
    • /
    • pp.741-743
    • /
    • 2015
  • 오늘날 BI(Business Intelligence)시스템 다차원 데이터를 다루는 많은 방법들이 제안되어 TB 이상의 데이터를 다룰 수 있다. 하지만 IT 전문가 및 IT에 대한 투자여력이 충분하지 않은 중소 제조 기업들은 발 맞춰가기 힘들다. 또한 생산관리시스템(MES)을 미 도입한 기업이 대다수이고, 존재하는 현장데이터의 대부분도 수기데이터 또는 Excel 데이터로 보관 되어 있어, 수작업에 의한 데이터 분석과 의사결정을 수행한다. 이로 인해, 불량 요인 파악이나 이상 현상 파악이 불분명하기 때문에 데이터 분석에 어려움을 겪는다. 이에 본 연구에서는 중소제조기업의 경쟁력 강화를 위하여 제조 기업현장에서 사용되는 데이터를 자동으로 수집하여 정제 및 처리하여 저장이 가능하도록 하는 빅 데이터 분석 시스템 모델을 개발하였다. 이 분석 시스템 모델은 ERP, MIS 등에 존재하는 데이터들이 각 시스템의 DB 기능을 활용하여 데이터를 추출하고 정제하여 수집하는 ETL(Extract Transform Loading)과정을 통한다. 현장에서 비정형으로 기록되고 있는 정보들(ex. Excel)은 ODE(Office Data Excavation)모듈을 통해 문서의 패턴을 자동으로 인식하고 정형화된 정보로서 추출, 정제되어 수집된다. 저장된 데이터는 오픈소스 데이터 시각화 라이브러리인 D3.js를 이용하여 다양한 chart들을 통한 강력한 시각효과를 제공함으로써, 정보간의 연관 관계 및 다차원 분석의 기반을 마련하여 의사결정체계를 효과적으로 지원한다. 또한, 높은 가격에 형성되어 있는 빅데이터 솔루션을 대신해 오픈소스 Spago BI를 이용하여 경제적인 빅 데이터 솔루션을 제공한다. 본 연구의 기대효과로는 첫째, 현장 데이터 중심의 효과적인 의사결정 기반을 마련할 수 있다. 둘째, 통합 데이터 기반의 연관/다차원 분석으로 경영 효율성이 향상된다. 마지막으로, 중소 제조기업 환경에 적합한 분석 시스템을 구축함으로써 경쟁력과 생산력을 강화한다.

  • PDF

조선해양산업과 ICT융합모델로서의 선박운항 빅데이터

  • Kim, Ung-Gyu
    • Journal of the KSME
    • /
    • v.54 no.12
    • /
    • pp.49-52
    • /
    • 2014
  • 선박의 설계, 건조로부터 인도와 용선, 운항, 폐선에 이르기까지의 전 생명주기에 걸쳐, 선박에 탑재된 제반 항해, 통신, 엔진, 장비 및 기자재 등으로부터 데이터를 수집, 축적, 분류 및 분석, 가공하고 조선소, 선주, 용선회사나 국제기구 등이 필요한 형태로 제공하여 선대의 관리, 운항수지의 분석 및 개선, 경제선박의 설계 등에 활용할 수 있도록 선박운항 빅데이터를 구축할 필요성이 있다. 글로벌위치시스템, 선박과 해상에서의 통신시스템, 지리정보시스템 및 센서의 발달은 선박운항 빅데이터의 출현을 가능하게 하였다.

  • PDF

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF