• 제목/요약/키워드: Big-data Management

검색결과 1,716건 처리시간 0.027초

딥러닝 기반의 다중 클라우드 환경에서 빅 데이터의 안전성을 보장하기 위한 비대칭 데이터 저장 관리 기법 (Asymmetric data storage management scheme to ensure the safety of big data in multi-cloud environments based on deep learning)

  • 정윤수
    • 디지털융복합연구
    • /
    • 제19권3호
    • /
    • pp.211-216
    • /
    • 2021
  • 분산 클라우드 환경에서는 다양한 이기종 장치의 정보들이 꾸준하게 증가하고 있다. 이 같은 이유는 고속의 네트워크의 속도와 대용량의 멀티미디어 데이터가 사용되고 있기 때문이다. 그러나, 이기종의 장치에서 송·수신되는 빅데이터의 정보 오류를 최소화하기 위한 방법은 여전히 연구가 진행되고 있다. 본 논문에서는 클라우드 환경에서 송·수신되는 정보들에 의해 발생되는 네트워크의 대역폭과 데이터 오류 최소화를 위한 딥러닝 기반의 비대칭적 저장 관리기법을 제안한다. 제안 기법은 각각의 디바이스에서 생성되는 빅 데이터정보를 비대칭적으로 해시 처리한 후 로드 밸런스를 최적화하기 위해서 딥러닝 기술을 적용하고 있다. 제안 기법은 각 디바이스에서 수집된 빅 데이터의 오류를 허용하는 동시에 빅 데이터의 연계 정보를 n개의 클러스터 그룹으로 그룹핑함으로써 빅 데이터의 연결성을 확보한 것이 특징이다. 특히, 제안 기법은 빅 데이터간의 유사 값을 시드로 추출한 손실 함수를 사용하였기 때문에 비대칭적으로 빅 데이터를 저장 관리 할때의 정보 오류를 최소화하였다.

A Study on the Development of the Key Promoting Talent in the 4th Industrial Revolution - Utilizing Six Sigma MBB competency-

  • Kim, Kang Hee;Ree, Sang bok
    • 품질경영학회지
    • /
    • 제45권4호
    • /
    • pp.677-696
    • /
    • 2017
  • Purpose: This study suggests that Six Sigma MBB should be used as a key talent to lead the fourth industrial revolution era by training them with big data processing capability. Methods: Through the analysis between articles on the fourth industrial revolution and Six Sigma related papers, common competencies of data scientists and Six Sigma MBBs were identified and the big data analysis capabilities needed for Six Sigma MBB were derived. Then, training was conducted to improve the big data analysis capabilities so that Six Sigma MBB is able to design algorithms required in the fourth industrial revolution era. Results: Six Sigma MBBs, equipped with the knowledge in field site improvement and basic statistics, were provided with 40 hours of big data analysis training and then were made to design a big data algorithm. Positive results were obtained after applying a AI algorithm which could forecast process defects in a field site. Conclusion: Six Sigma MBB equipped with big data capability will make the best talent for the fourth industrial revolution era. A Six Sigma MBB has an excellent capability for improving field sites. Utilizing the competencies of MBB can be a key to success in the fourth industrial revolution. We hope that the results of this study will be shared with many companies and many more improved case studies will arise in the future as a result of this study.

국내 항공안전 빅데이터 플랫폼 운영관리체계 수립 중점 - FAA ASIAS를 중심으로 - (Requirements for Operation Procedure and Plan for the Korean Aviation Safety Big-Data Platform based on the Case of FAA ASIAS)

  • 김준환;임재진;박유림;이장룡
    • 한국항공운항학회지
    • /
    • 제29권4호
    • /
    • pp.105-116
    • /
    • 2021
  • The importance of a systematic approach to collect, process, analyze, and share safety data in aviation safety management is continuously increasing. Accordingly, the domestic aviation industry has been making efforts to build a Big-data platform that can utilize multi-field safety data generated and managed by various stakeholders and to develop safety management technology based on them. Big data platforms not only must meet appropriate technical requirements, but also need to establish a management system for effective operation. The purpose of this study is to suggest the requirements of the aviation safety big data platform operation procedure and plan by reviewing the advanced overseas cases (FAA ASIAS). This study can provide overall framework and managerial direction for the operation of the aviation safety big data platform.

Big Data 분석을 활용한 통신망 관리 시스템의 개선방안에 관한 연구 (A Study on the Enhancement Process of the Telecommunication Network Management using Big Data Analysis)

  • 구성환;신민수
    • 한국산학기술학회논문지
    • /
    • 제13권12호
    • /
    • pp.6060-6070
    • /
    • 2012
  • 시장의 변화 및 소비자의 요구 변화를 비롯한 기업 내외부의 상황변화에 대응해서 얼마나 빠르게 적응할 수 있는가 하는 것이 실시간 기업의 핵심요건이다. 이러한 실시간 기업이 가진 변화의 속도를 지원하기 위해서 최근 Big Data 처리 기술이 각광받고 있다. 특히 최근 유무선 통신망의 진화 및 고도화가 가속되고 있는 상황에서 대규모 통신 트래픽을 실시간으로 처리하여 안정된 서비스를 제공하는 것과 강력한 보안 관제 기능은 매우 필요하다. 따라서 본 논문은 클라우드 컴퓨팅 기반의 Big Data처리기술을 활용하여 통신 사업자들이 갖고 있는 경영상의 문제점을 해결하고 효과적인 통신망 관리 시스템의 운영에 관한 연구를 진행한다.

개인정보 보안강화 및 빅데이터 활성화를 위한 새로운 빅데이터 플랫폼 제시 (The suggestion of new big data platform for the strengthening of privacy and enabled of big data)

  • 송민구
    • 디지털융복합연구
    • /
    • 제14권12호
    • /
    • pp.155-164
    • /
    • 2016
  • 본 논문에서는 국내외에서 발표된 빅데이터 플랫폼을 조사 및 분석하였다. 분석결과 각 플랫폼에서 개인정보보안에 문제점이 있었다. 특히 빅데이터 플랫폼에 많이 사용되는 대표적인 NoSQL DB인 HBase에 저장된 빅데이터 개인정보 암호화의 취약점과, DB에 저장된 데이터를 암 복호화 할 때에 시스템에 부하가 발생하는 것이다. 이에 본 논문에서는 HBase의 암호화 방법, 암 복호화시 시스템 및 네트워크 통신의 부하를 경감시키는 방안과 빅데이터 플랫폼의 각 단계에 개인정보관리체계(PIMS)를 적용하는 방안을 제시한다. 그리고 이것이 반영된 새로운 빅데이터 플랫폼을 제안한다. 따라서 제안된 빅데이터 플랫폼은 개인정보보안강화 및 시스템 성능의 효율성 확보로 빅데이터 사용의 활성화에 크게 기여할 것이라 판단된다.

국내 재난관리 분야의 빅 데이터 활용 정책방안 (The Utilization of Big Data's Disaster Management in Korea)

  • 신동희;김용문
    • 한국콘텐츠학회논문지
    • /
    • 제15권2호
    • /
    • pp.377-392
    • /
    • 2015
  • 최근 들어 빅 데이터의 영향력이 증가하면서 데이터 중심의 사회로 급변하고 있다. 동시에 데이터의 수집, 관리 및 활용의 문제가 중요한 이슈로 대두되고 있다. 더욱이 빅 데이터는 가공과 분석에 따라 상황인식, 의사결정, 그리고 미래 예측을 가능하게 하는 영역까지 확대되고 있다. 심지어 재난관리에 있어서도 민간 및 공공 영역에서 만들어지는 엄청난 양의 정형 및 비정형 데이터들을 의미 있는 정보로 가공해내는 것이 무엇보다 중요하다. 실효성 있는 재난관리를 위해 공공과 민간 데이터가 동시에 연계 분석되어야 한다는 것이다. 그래서 본 연구에서는 문헌조사와 사례 연구 통해 국가 재난관리를 위한 효율적인 빅 데이터 활용 정책방안을 제안하고자 하였다. 연구 결과 국내 재난관리의 빅 데이터 활용 촉진 방안에 대한 공공 및 민간 부문의 역할을 각각 도출하였다. 공공과 민간 영역에서 공통적으로 추진해야 할 정책과제는 재난관련 빅 데이터의 공개 및 공유, 기술 및 인프라의 확충, 법 및 제도적 정비, 소셜 네트워크 서비스를 활용한 재난 정보전달 시스템의 구축, 빅데이터 전문 인력의 양성으로 나타났다.

경영분석 업무에 종사하는 비 기술기반 전공자를 위한 빅데이터 분석 및 시각화 기법 교육과정 제안 (Proposal of Big Data Analysis and Visualization Technique Curriculum for Non-Technical Majors in Business Management Analysis)

  • 홍필태;우종필
    • 실천공학교육논문지
    • /
    • 제12권1호
    • /
    • pp.31-39
    • /
    • 2020
  • 빅데이터 분석은 경영 및 산업현장에서 다양하게 분석되고 사용되고 있으며, 경영의사결정에서 중요한 역할을 한다. 경영분석 업무에 종사하는 빅데이터 분석 직무자의 직무능력은 반드시 미시적인 IT 기술 습득이 요구되는 것이 아니라, Data Scientist로서 다양한 경험과 인문학적 지식과 분석력이 요구되어진다. 그러나, 국가직무능력표준(NCS: National Competency Standards)을 기반으로 하는 국공립 교육기관 및 직무교육기관의 빅데이터 교육은 소프트웨어 공학적 측면에서 진행되고 있으며, 이러한 교육 방법론은 비 기술기반 전공자에게는 어렵고, 비효율적인 결과를 초래하기도 한다. 따라서, 우리는 현재의 빅데이터 플렛폼과 그와 관련된 기술을 분석하여, 그 중에서 현장 직무자에게 반드시 필요한 직무능력 요구수준이 무엇인지를 정의하였다. 그리고, 이를 바탕으로 비 기술기반 전공자를 위한 빅데이터 분석 및 시각화 기법 교육과정을 구성하였다. 특화된 본 교육과정을 경영현장에서 경영분석에 종사하는 금융기관 실무자를 중심으로 Pilot test를 실시한 결과 좀 더 개선된 교육효과를 얻을 수 있었다. 이에 본 연구에서 제시되는 교육방법은 산업전반에서 효율적으로 빅데이터 직무 수행과, 비 기술기반 전공 직무자를 대상으로 빅데이터 분석 및 시각화 교육이 활성화되는 계기가 될 것이다.

Offline-to-Online Service and Big Data Analysis for End-to-end Freight Management System

  • Selvaraj, Suganya;Kim, Hanjun;Choi, Eunmi
    • Journal of Information Processing Systems
    • /
    • 제16권2호
    • /
    • pp.377-393
    • /
    • 2020
  • Freight management systems require a new business model for rapid decision making to improve their business processes by dynamically analyzing the previous experience data. Moreover, the amount of data generated by daily business activities to be analyzed for making better decisions is enormous. Online-to-offline or offline-to-online (O2O) is an electronic commerce (e-commerce) model used to combine the online and physical services. Data analysis is usually performed offline. In the present paper, to extend its benefits to online and to efficiently apply the big data analysis to the freight management system, we suggested a system architecture based on O2O services. We analyzed and extracted the useful knowledge from the real-time freight data for the period 2014-2017 aiming at further business development. The proposed system was deemed useful for truck management companies as it allowed dynamically obtaining the big data analysis results based on O2O services, which were used to optimize logistic freight, improve customer services, predict customer expectation, reduce costs and overhead by improving profit margins, and perform load balancing.

AHP 기법을 활용한 Big Data 보안관리 요소들의 우선순위 분석에 관한 연구 (A Study on Priorities of the Components of Big Data Information Security Service by AHP)

  • 수브르더 비스워스;유진호;정철용
    • 한국전자거래학회지
    • /
    • 제18권4호
    • /
    • pp.301-314
    • /
    • 2013
  • IT기술의 발전은 기존의 컴퓨터 환경과 더불어 수많은 모바일 환경 및 사물 인터넷환경을 통해 사람의 삶을 편리하게 하고 있다. 이러한 모바일과 인터넷 환경의 등장으로 데이터가 급속히 폭증하고 있으며, 이러한 환경에서 데이터를 경제적인 자산으로 활용 가능한 Big Data 환경과 서비스가 등장하고 있다. 그러나 Big Data를 활용한 서비스는 증가하고 있지만, 이러한 서비스를 위해 발생되는 다량의 데이터에는 보안적 문제점이 있음에도 불구하고 Big Data의 보안성에 대한 논의는 미흡한 실정이다. 그리고 기존의 Big Data에 대한 보안적인 측면의 연구들은 Big Data의 보안이 아닌 Big Data를 활용한 서비스의 보안이 주를 이루고 있다. 이에 따라서 본 연구에서는 Big Data의 서비스 산업의 활성화를 위하여 Big Data의 보안에 대한 연구를 하였다. 세부적으로 AHP 기법을 활용한 Big Data 환경에서 보안관리를 위한 구성요소를 파악하고 그에 대한 우선순위를 도출하였다.

빅데이터 분류 기법에 따른 벤처 기업의 성장 단계별 차이 분석 (The Difference Analysis between Maturity Stages of Venture Firms by Classification Techniques of Big Data)

  • 정병호
    • 디지털산업정보학회논문지
    • /
    • 제15권4호
    • /
    • pp.197-212
    • /
    • 2019
  • The purpose of this study is to identify the maturity stages of venture firms through classification analysis, which is widely used as a big data technique. Venture companies should develop a competitive advantage in the market. And the maturity stage of a company can be classified into five stages. I will analyze a difference in the growth stage of venture firms between the survey response and the statistical classification methods. The firm growth level distinguished five stages and was divided into the period of start-up and declines. A classification method of big data uses popularly k-mean cluster analysis, hierarchical cluster analysis, artificial neural network, and decision tree analysis. I used variables that asset increase, capital increase, sales increase, operating profit increase, R&D investment increase, operation period and retirement number. The research results, each big data analysis technique showed a large difference of samples sized in the group. In particular, the decision tree and neural networks' methods were classified as three groups rather than five groups. The groups size of all classification analysis was all different by the big data analysis methods. Furthermore, according to the variables' selection and the sample size may be dissimilar results. Also, each classed group showed a number of competitive differences. The research implication is that an analysts need to interpret statistics through management theory in order to interpret classification of big data results correctly. In addition, the choice of classification analysis should be determined by considering not only management theory but also practical experience. Finally, the growth of venture firms needs to be examined by time-series analysis and closely monitored by individual firms. And, future research will need to include significant variables of the company's maturity stages.