• Title/Summary/Keyword: bigdata analysis

Search Result 345, Processing Time 0.025 seconds

A Study on the Design of Supervised and Unsupervised Learning Models for Fault and Anomaly Detection in Manufacturing Facilities (제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델 설계에 관한 연구)

  • Oh, Min-Ji;Choi, Eun-Seon;Roh, Kyung-Woo;Kim, Jae-Sung;Cho, Wan-Sup
    • The Journal of Bigdata
    • /
    • v.6 no.1
    • /
    • pp.23-35
    • /
    • 2021
  • In the era of the 4th industrial revolution, smart factories have received great attention, where production and manufacturing technology and ICT converge. With the development of IoT technology and big data, automation of production systems has become possible. In the advanced manufacturing industry, production systems are subject to unscheduled performance degradation and downtime, and there is a demand to reduce safety risks by detecting and reparing potential errors as soon as possible. This study designs a model based on supervised and unsupervised learning for detecting anomalies. The accuracy of XGBoost, LightGBM, and CNN models was compared as a supervised learning analysis method. Through the evaluation index based on the confusion matrix, it was confirmed that LightGBM is most predictive (97%). In addition, as an unsupervised learning analysis method, MD, AE, and LSTM-AE models were constructed. Comparing three unsupervised learning analysis methods, the LSTM-AE model detected 75% of anomalies and showed the best performance. This study aims to contribute to the advancement of the smart factory by combining supervised and unsupervised learning techniques to accurately diagnose equipment failures and predict when abnormal situations occur, thereby laying the foundation for preemptive responses to abnormal situations. do.

Big data analysis on NAVER Smart Store and Proposal for Sustainable Growth Plan for Small Business Online Shopping Mall (네이버 스마트스토어에 대한 빅데이터 분석 및 소상공인 온라인쇼핑몰 지속성장 방안 제안)

  • Hyeon-Moon Chang;Seon-Ju Kim;Chae-Woon Kim;Ji-Il Seo;Kyung-Ho Lee
    • The Journal of Bigdata
    • /
    • v.7 no.2
    • /
    • pp.153-172
    • /
    • 2022
  • Online shopping has transformed and rapidly grown the entire market at the forefront of wholesale and retail services as an effective solution to issues such as digital transformation and social distancing policy (COVID-19 pandemic). Small business owners, who form the majority at the center of the online shopping industry, are constantly collecting policy changes and market trend information to overcome these problems and use them for marketing and other sales activities in order to overcome these problems and continue to grow. Objective and refined information that is more closely related to the business is also needed. Therefore, in this paper, through the collection and analysis of big data information, which is the core technology of digital transformation, key variables are set in product classification, sales trends, consumer preferences, and review information of online shopping malls, and a method of using them for competitor comparison analysis and business sustainability evaluation has been prepared and we would like to propose it as a service. If small and medium-sized businesses can benchmark competitors or excellent businesses based on big data and identify market trends and consumer tendencies, they will clearly recognize their level and position in business and voluntarily strive to secure higher competitiveness. In addition, if the sustainable growth of the online shopping mall operator can be confirmed as an indicator, more efficient policy establishment and risk management can be expected because it has an improved measurement method.

Comparison of Micro Mobility Patterns of Public Bicycles Before and After the Pandemic: A Case Study in Seoul (팬데믹 전후 공공자전거의 마이크로 모빌리티 패턴 비교: 서울시 사례 연구)

  • Jae-Hee Cho;Ga-Eun Baek;Il-Jung Seo
    • The Journal of Bigdata
    • /
    • v.7 no.2
    • /
    • pp.235-244
    • /
    • 2022
  • The rental history data of public bicycles in Seoul were analyzed to examine how pandemic phenomena such as COVID-19 caused changes in people's micro mobility. Data for 2019 and 2021 were compared and analyzed by dividing them before and after COVID-19. Data were collected from public data portal sites, and data marts were created for in-depth analysis. In order to compare the changes in the two periods, the riding direction type dimension and the rental station type dimension were added, and the derived variables (rotation rate per unit, riding speed) were newly created. There is no significant difference in the average rental time before and after COVID-19, but the average rental distance and average usage speed decreased. Even in the mobility of Ttareungi, you can see the slow rhythm of daily life. On weekdays, the usage rate was the highest during commuting hours even before COVID-19, but it increased rapidly after COVID-19. It can be interpreted that people who are concerned about infection prefer Ttareungi to village buses as a means of micro-mobility. The results of data mart-based visualization and analysis proposed in this study will be able to provide insight into public bicycle operation and policy development. In future studies, it is necessary to combine SNS data such as Twitter and Instagram with public bicycle rental history data. It is expected that the value of related research can be improved by examining the behavior of bike users in various places.

Analysis of Car Accident Utilizing Public Big Data (공공 빅데이터를 활용한 자동차 사고유형 분석 시스템)

  • Moon, Yoo-Jin;Lee, Gunwoo;Kim, Taeho;Jun, Hyunjin;Do, Songi
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.01a
    • /
    • pp.271-272
    • /
    • 2017
  • 본 논문에서는 교통사고 데이터베이스 구축을 통해 교통사교 현황과 사고 당시의 여러 정황들을 파악할 수 있는 정보를 제공한다. 이 정보들에는 사고 당시의 기상상태, 도로형태, 차종, 연령, 성별 등의 데이터들이 포함되고 이러한 정보들을 바탕으로 데이터베이스 사용자들은 각 사고 별 종합적인 정보를 얻을 수 있다. 이를 통해 정부 당국 외에 보험사 등에 교통사고 관련 정책을 위한 유용한 정보들을 제공할 수 있다. 또한 운전자 개인들에게도 정보들을 제공해 교통사고를 보다 효율적으로 예방할 수 있다.

  • PDF

The Current Status Analysis for Construction CALS Big-data Service (건설사업정보 빅데이터 서비스 개발을 위한 현황 분석)

  • Kim, Jin-Uk;Kim, Young-Jin
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.07a
    • /
    • pp.501-502
    • /
    • 2018
  • 본 논문은 건설CALS시스템에 20년간 축적된 데이터를 활용하기 위해서 2018년부터 2020년까지 개발 예정인 과적단속 최적 위치 시기 예측 서비스, 비탈면 붕괴 위험도예측서비스, 도로점용(연결) 허가 가능구간 예측 서비스, 보상비 예측 서비스 등 4종의 건설CALS 빅데이터 서비스 기술 개발을 위한 현황분석을 기술하였다. 개발된 서비스는 2020년에 국토교통부 소속기관인 지방국토관리청과 국토관리사무소의 업무담당자 및 국민에게 시범 적용하여 빅데이터 서비스의 효과를 검증하고, 단계적으로 국토교통부 도로관리 업무에 적용할 계획이다.

  • PDF

A Status Analysis of Location Disclosure Tweet of Disaster Information using Social Bigdata Monitoring (소셜 빅데이터 모니터링을 통한 재난정보 위치공개 트윗 현황 분석)

  • Lee, Bo-Ram;Bae, Byungl-Gul;Choi, Seon-Hwa
    • Annual Conference of KIPS
    • /
    • 2014.11a
    • /
    • pp.900-901
    • /
    • 2014
  • 최근 정보처리기술의 비약적인 발전은 소셜미디어를 통해 생산되는 종합정보의 처리를 용이하게 하였으며 광역적 의사소통을 가능하게 하였다. 이와 같은 기술의 발전을 재난관리에 적극 활용하려는 움직임이 확산되고 있으며, 이는 국내외의 여러 사례들을 통해 그 필요성이 입증되고 있다. 본 연구에서는 국립재난안전연구원에서 개발한 실시간 소셜 빅데이터 모니터링 시스템인 '소셜빅보드(Social Big Board)'를 활용하여 대상 기간 동안의 지역별 위치공개 트윗 현황을 조사하였다. 이를 위해 전체 재난 안전관련 트윗 중 위치정보공개 트윗을 대상으로 분석을 수행 하였으며 그 결과, 분석기간에 따른 전체 트윗과 지역별 위치정보공개 트윗은 재난상황의 발생과 피해규모에 따라 발생의 정도가 다르게 나타나는 것을 확인하였다. 향후, 재난 안전과 관련된 위치정보공개 트윗의 지속적인 모니터링 수행을 통해 신뢰성 있는 재난 대응체계 구축이 가능할 것으로 기대된다.

A Data Optimization using a Framework based on Bigdata-R for Analysis of Coatings Mixing Process (코팅제 배합 공정 분석을 위한 빅 데이터-R 기반의 프레임워크를 이용한 데이터 최적화)

  • Jeong, Yeonghoon;Lee, Jongran;Noh, SeongYeo
    • Annual Conference of KIPS
    • /
    • 2015.04a
    • /
    • pp.958-961
    • /
    • 2015
  • 코팅제는 다양한 산업 분야에서 중요성이 더욱 커지고 있으나 실제 제조업체에서는 여전히 작업자의 경영에 의존하여 배합공정을 수행하는 실정이다. 본 논문에서는 R과 실험계획법을 이용하여 코팅제 배합 공정을 분석하기 위한 프레임워크를 제안한다. 제안된 프레임워크를 통한 분석 결과는 보다 정량적인 작업 기준 데이터를 확보하고 작업 현장에 제공함으로써 코팅제 배합 공정을 개선시킬 수 있다. 특히 정확한 배합 기준이 되는 표준 데이터의 부재로 인한 품질 저하와 원가 손실을 감소시키고, 배합 공정에서 발생한 오차 데이터에 대하여 R과 실험 계획법을 이용한 분석을 통하여 표준 보정 관계식을 도출함으로써 차후 발생 가능한 오차에 대한 대응 방안을 제시할 수 있다.

A Study on Abnormal Behavior Analysis and Pattern Prediction using Bigdata (빅데이터기반 이상행동 분석 및 패턴예측 모델 연구)

  • Jung, Yu-Jin;Yoon, Young-Ik
    • Annual Conference of KIPS
    • /
    • 2014.04a
    • /
    • pp.724-726
    • /
    • 2014
  • 본 논문에서는 범죄 발생 전 빠른 상황판단과 효과적인 의사결정을 위한 방법으로 이상 행동을 분류, 분석하여 이상행동 패턴을 발견하고 이에 따라 발생 전 상황을 예상할 수 있는 예측하는 모델을 제시하였다. 이러한 행동분석과 패턴예측 모델은 CCTV로 부터 수집된 데이터를 단계별 DB를 통해 빠르고 정확한 분석할 수 있고, 과거에 축적 및 분석된 데이터를 유사한 상황에 직면했을 때 사전에 예방하기 위한 유용한 도구로 활용이 가능할 것이다.

Situational Awareness and User Intention system with Behavior patterns Analysis of Voice Phishing (보이스 피싱 행동 패턴 분석을 통한 상황 인지 및 사용자 의도 파악 시스템)

  • Cho, Dan-Bi;Kang, Seung-Shik
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.855-857
    • /
    • 2019
  • 개인 정보의 확산 및 유출의 문제점으로 인해 보이스 피싱의 피해 건수가 증가하고 있다. 이러한 보이스 피싱의 사회적 문제에 대하여 상황 인지 및 사용자 의도 파악 시스템을 적용하여 해결책으로 제안하고자 한다. 이 시스템은 음성 전화로 이루어지는 순차 정보를 텍스트 데이터에 기반하여 사기범의 문맥적 흐름에서 행위 동사를 추출한다. 추출된 행위 동사의 순차 정보를 통해 보이스 피싱의 상황임을 인지하고, 흐름의 행동 패턴을 분석하여 사기범의 의도를 파악한다. 이러한 상황 인지 및 사용자 의도 파악 시스템은 개인 정보의 문제뿐만 아니라 경제적 피해 규모를 축소시킬 것으로 예상된다.

Performance Optimization of Big Data Center Processing System - Big Data Analysis Algorithm Based on Location Awareness

  • Zhao, Wen-Xuan;Min, Byung-Won
    • International Journal of Contents
    • /
    • v.17 no.3
    • /
    • pp.74-83
    • /
    • 2021
  • A location-aware algorithm is proposed in this study to optimize the system performance of distributed systems for processing big data with low data reliability and application performance. Compared with previous algorithms, the location-aware data block placement algorithm uses data block placement and node data recovery strategies to improve data application performance and reliability. Simulation and actual cluster tests showed that the location-aware placement algorithm proposed in this study could greatly improve data reliability and shorten the application processing time of I/O interfaces in real-time.