• 제목/요약/키워드: Big data analytics

검색결과 284건 처리시간 0.024초

빅데이터 분석을 통한 APT공격 전조 현상 분석 (The Analysis of the APT Prelude by Big Data Analytics)

  • 최찬영;박대우
    • 한국정보통신학회논문지
    • /
    • 제20권6호
    • /
    • pp.1129-1135
    • /
    • 2016
  • 2011년 NH농협 전산망마비 사건, 2013년 3.20 사이버테러 및 2015년 12월의 한국수력원자력 원전 중요자료 유출사건이 있었다. 이러한 사이버테러는 해외(북한)에서 조직적이고 장기간의 걸친 고도화된 APT공격(Advanced Persistent Threat Attack)을 감행하여 발생한 사이버테러 사건이다. 하지만, 이러한 APT공격을 방어하기 위한 탁월한 방안은 아직 마련되지 못했다. APT공격은 현재의 관제 방식으로는 방어하기가 힘들다. 본 논문에서는 빅데이터 분석을 통해 APT공격을 예측할 수 있는 방안을 연구한다. 본 연구는 대한민국 3계층 보안관제 체계 중, 정보공유분석센터(ISAC)를 기준으로 하여 빅데이터 분석, APT공격 및 취약점 분석에 대해서 연구와 조사를 한다. 그리고 외부의 블랙리스트 IP 및 DNS Log를 이용한 APT공격 예측 방안의 설계 방법, 그리고 전조현상 분석 방법 및 APT공격에 대한 대응방안에 대해 연구한다.

빅데이터 분석 교육 프로그램을 통한 대학 교육 가치 창출 (Creating Value for Education through Big Data Analysis Education Programs)

  • 조우제;유미림
    • 한국빅데이터학회지
    • /
    • 제3권2호
    • /
    • pp.123-130
    • /
    • 2018
  • 산업 및 학계에서 빅데이터 분석 기술에 대한 활용 사례와 범위가 증가하면서, 이와 함께 빅데이터 분석 전문가에 대한 기업체들의 수요도 늘고 있다. 이러한 추세에 맞게 대학교들은 새로운 빅데이터 분석 교육과정들을 개발하여 수년 전부터 빅데이터 분석 전문가 양성을 위한 교육과정들을 제공하기 시작하였다. 본 연구에서는 9개 국내 대학, 20개 해외 대학의 빅데이터 분석 관련 석사과정 커리큘럼을 조사하였다. 국내 대학 프로그램과 해외 대학 프로그램을 비교한 결과, 한 학교 프로그램 당 평균 과목수는 국내 대학 프로그램이 더 많으나, 과목의 다양성 측면에서는 더 부족한 것으로 나타났다.

GS1을 활용한 빅데이터 분석 플랫폼 기반의 스마트 소화기구 모니터링 시스템 (Smart Fire Fighting Appliances Monitoring System using GS1 based on Big Data Analytics Platform)

  • 박흠
    • 디지털산업정보학회논문지
    • /
    • 제14권4호
    • /
    • pp.57-68
    • /
    • 2018
  • This paper presents a smart firefighting appliances monitoring system based on big data analytics platform using GS1 for Smart City. Typical firefighting appliances are fire hydrant, fire extinguisher, fire alarm, sprinkler, fire engine, etc. for the fire of classes A/B/C/D/E. Among them, the dry chemical fire extinguisher have been widely supplied and 6 millions ones were replaced for the aging ones over 10 years in the past year. However, only 5% of them have been collected for recycling of chemical materials included the heavy metals of environment pollution. Therefore, we considered the trace of firefighting appliances from production to disposal for the public open service. In the paper, we suggest 1) a smart firefighting appliances system using GS1, 2) a big data analytics platform and 3) a public open service and visualization with the analyzed information, for fire extinguishers from production to disposal. It can give the information and the visualized diagrams with the analyzed data through the public open service and the free Apps.

Big Data Strategies for Government, Society and Policy-Making

  • LEE, Jung Wan
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제7권7호
    • /
    • pp.475-487
    • /
    • 2020
  • The paper aims to facilitate a discussion around how big data technologies and data from citizens can be used to help public administration, society, and policy-making to improve community's lives. This paper discusses opportunities and challenges of big data strategies for government, society, and policy-making. It employs the presentation of numerous practical examples from different parts of the world, where public-service delivery has seen transformation and where initiatives have been taken forward that have revolutionized the way governments at different levels engage with the citizens, and how governments and civil society have adopted evidence-driven policy-making through innovative and efficient use of big data analytics. The examples include the governments of the United States, China, the United Kingdom, and India, and different levels of government agencies in the public services of fraud detection, financial market analysis, healthcare and public health, government oversight, education, crime fighting, environmental protection, energy exploration, agriculture, weather forecasting, and ecosystem management. The examples also include smart cities in Korea, China, Japan, India, Canada, Singapore, the United Kingdom, and the European Union. This paper makes some recommendations about how big data strategies transform the government and public services to become more citizen-centric, responsive, accountable and transparent.

The Impact of Big Data Analytics on Audit Procedures: Evidence from the Middle East

  • ALRASHIDI, Mousa;ALMUTAIRI, Abdullah;ZRAQAT, Omar
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제9권2호
    • /
    • pp.93-102
    • /
    • 2022
  • The goal of this study was to see how big data analytics (BDA) affected external audit procedures in the Middle East. The measurement model and structural model of this investigation were evaluated using PLS-SEM (3.3.3). The study sample members were (361) auditors who work in auditing companies in Kuwait, Saudi Arabia, the United Arab Emirates, Jordan, Bahrain, Egypt, Lebanon, and Iraq. A questionnaire was chosen to the study sample members electronically, and the study sample members were (5093) auditors who work in auditing companies in Kuwait, Saudi Arabia, the United Arab Emirates, Jordan, Bahrain, Egypt, Lebanon, and Iraq. To choose the sample, the researchers used a stratified random sampling procedure. The findings show that BDA has an impact on audit procedures at all phases of the auditing process, where it contributes to information delivery that helps auditors understand the client's internal and external environments, which in turn influences the choice to accept the audit assignment. Furthermore, by providing essential information, BDA enables auditors to simply run analytical procedures, estimate client risks, and understand and evaluate the internal control system. As a result, auditors must develop their abilities in the BDA field, as it adds to the creation of additional value for both auditors and their clients.

From Machine Learning Algorithms to Superior Customer Experience: Business Implications of Machine Learning-Driven Data Analytics in the Hospitality Industry

  • Egor Cherenkov;Vlad Benga;Minwoo Lee;Neil Nandwani;Kenan Raguin;Marie Clementine Sueur;Guohao Sun
    • Journal of Smart Tourism
    • /
    • 제4권2호
    • /
    • pp.5-14
    • /
    • 2024
  • This study explores the transformative potential of machine learning (ML) and ML-driven data analytics in the hospitality industry. It provides a comprehensive overview of this emerging method, from explaining ML's origins to introducing the evolution of ML-driven data analytics in the hospitality industry. The present study emphasizes the shift embodied in ML, moving from explicit programming towards a self-learning, adaptive approach refined over time through big data. Meanwhile, social media analytics has progressed from simplistic metrics deriving nuanced qualitative insights into consumer behavior as an industry-specific example. Additionally, this study explores innovative applications of these innovative technologies in the hospitality sector, whether in demand forecasting, personalized marketing, predictive maintenance, etc. The study also emphasizes the integration of ML and social media analytics, discussing the implications like enhanced customer personalization, real-time decision-making capabilities, optimized marketing campaigns, and improved fraud detection. In conclusion, ML-driven hospitality data analytics have become indispensable in the strategic and operation machinery of contemporary hospitality businesses. It projects these technologies' continued significance in propelling data-centric advancements across the industry.

Enhanced Regular Expression as a DGL for Generation of Synthetic Big Data

  • Kai, Cheng;Keisuke, Abe
    • Journal of Information Processing Systems
    • /
    • 제19권1호
    • /
    • pp.1-16
    • /
    • 2023
  • Synthetic data generation is generally used in performance evaluation and function tests in data-intensive applications, as well as in various areas of data analytics, such as privacy-preserving data publishing (PPDP) and statistical disclosure limit/control. A significant amount of research has been conducted on tools and languages for data generation. However, existing tools and languages have been developed for specific purposes and are unsuitable for other domains. In this article, we propose a regular expression-based data generation language (DGL) for flexible big data generation. To achieve a general-purpose and powerful DGL, we enhanced the standard regular expressions to support the data domain, type/format inference, sequence and random generation, probability distributions, and resource reference. To efficiently implement the proposed language, we propose caching techniques for both the intermediate and database queries. We evaluated the proposed improvement experimentally.

빅데이터 역량 평가를 위한 참조모델 및 수준진단시스템 개발 (An Assessment System for Evaluating Big Data Capability Based on a Reference Model)

  • 천민경;백동현
    • 산업경영시스템학회지
    • /
    • 제39권2호
    • /
    • pp.54-63
    • /
    • 2016
  • As technology has developed and cost for data processing has reduced, big data market has grown bigger. Developed countries such as the United States have constantly invested in big data industry and achieved some remarkable results like improving advertisement effects and getting patents for customer service. Every company aims to achieve long-term survival and profit maximization, but it needs to establish a good strategy, considering current industrial conditions so that it can accomplish its goal in big data industry. However, since domestic big data industry is at its initial stage, local companies lack systematic method to establish competitive strategy. Therefore, this research aims to help local companies diagnose their big data capabilities through a reference model and big data capability assessment system. Big data reference model consists of five maturity levels such as Ad hoc, Repeatable, Defined, Managed and Optimizing and five key dimensions such as Organization, Resources, Infrastructure, People, and Analytics. Big data assessment system is planned based on the reference model's key factors. In the Organization area, there are 4 key diagnosis factors, big data leadership, big data strategy, analytical culture and data governance. In Resource area, there are 3 factors, data management, data integrity and data security/privacy. In Infrastructure area, there are 2 factors, big data platform and data management technology. In People area, there are 3 factors, training, big data skills and business-IT alignment. In Analytics area, there are 2 factors, data analysis and data visualization. These reference model and assessment system would be a useful guideline for local companies.

Spark SQL 기반 고도 분석 지원 프레임워크 설계 (Design of Spark SQL Based Framework for Advanced Analytics)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권10호
    • /
    • pp.477-482
    • /
    • 2016
  • 기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.

빅데이터 기반의 정성 정보를 활용한 부도 예측 모형 구축 (Bankruptcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics)

  • 조남옥;신경식
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.33-56
    • /
    • 2016
  • 대부분의 부도 예측에 관한 연구는 재무 변수를 중심으로 통계적 방법 또는 인공지능 기법을 적용하여 부도 예측 모형을 구축하였다. 그러나 재무비율과 같은 회계 정보를 이용한 부도 예측 모형은 재무 제표 결산 시점과 신용평가 시점 간 시차를 고려하지 않을 뿐만 아니라 해당 산업의 경제적 상황과 같은 외부 환경적인 요소를 반영하기 어렵다는 한계점이 존재하였다. 기업의 부도 여부를 예측하기 위해 정량 정보인 재무 변수만을 이용하는 것에 한계가 있음에도 불구하고 정성 정보를 부도 예측 모형에 반영한 연구는 아직 미흡한 실정이다. 본 연구에서는 재무 변수를 이용하는 기존 부도 예측 모형의 성과를 개선하기 위해 빅데이터 기반의 정성 정보를 추가적인 입력 변수로 활용하는 부도 예측 모형을 제안하였다. 제안 모형의 성과 향상은 정성 정보를 예측 모형에 통합시키기에 적합한 형태로 정보의 유형을 변환시킬 수 있는가에 따라 달려있다. 이에 본 연구에서는 정성 정보 처리를 위한 방법으로 빅데이터 분석 기법 중 하나인 텍스트 마이닝(Text Mining)을 활용하였다. 해당 산업과 관련된 경제 뉴스 데이터로부터 경제 상황에 대한 감성 정보를 추출하기 위해 도메인 중심의 감성 어휘 사전을 구축하고, 구축된 어휘 사전을 기반으로 감성 분석(Sentiment Analysis)을 수행하였다. 형태소 분석 등을 포함한 텍스트 전처리 과정을 거쳐 감성 어휘를 추출하고, 각 어휘에 대한 극성 및 감성 점수를 부여하였다. 분석 결과, 전통적 부도 예측 모형에 경제 뉴스 데이터에서 도출한 정성 정보를 반영하는 것은 모형의 성과를 개선하는 것으로 나타났다. 특히, 경제 상황에 대한 부정적 감정이 기업의 부도 여부를 예측하는 데 더욱 효과적임을 알 수 있었다.