• Journal of Advanced Research in Ocean Engineering
• /
• 제3권1호
• /
• pp.32-40
• /
• 2017

Recently, the amount of data to be processed and the complexity thereof have been increasing due to the development of information and communication technology, and industry's interest in such big data is increasing day by day. In the shipbuilding and offshore industry also, there is growing interest in the effective utilization of data, since various and vast amounts of data are being generated in the process of design, production, and operation. In order to effectively utilize big data in the shipbuilding and offshore industry, it is necessary to store and process large amounts of data. In this study, it was considered efficient to apply Hadoop and R, which are mostly used in big data related research. Hadoop is a framework for storing and processing big data. It provides the Hadoop Distributed File System (HDFS) for storing big data, and the MapReduce function for processing. Meanwhile, R provides various data analysis techniques through the language and environment for statistical calculation and graphics. While Hadoop makes it is easy to handle big data, it is difficult to finely process data; and although R has advanced analysis capability, it is difficult to use to process large data. This study proposes a big data platform based on Hadoop for applications in the shipbuilding and offshore industry. The proposed platform includes the existing data of the shipyard, and makes it possible to manage and process the data. To check the applicability of the platform, it is applied to estimate the weights of offshore structure topsides. In this study, we store data of existing FPSOs in Hadoop-based Hortonworks Data Platform (HDP), and perform regression analysis using RHadoop. We evaluate the effectiveness of large data processing by RHadoop by comparing the results of regression analysis and the processing time, with the results of using the conventional weight estimation program.

• Journal of Platform Technology
• /
• 제8권2호
• /
• pp.3-9
• /
• 2020

Big Data is a new concept in the global and local area. This field has gained tremendous momentum in the recent years and has attracted attention of several researchers. Big Data is a data analysis methodology enabled by recent advances in information and communications technology. However, big data analysis requires a huge amount of computing resources making adoption costs of big data technology. Therefore, it is not affordable for many small and medium enterprises. We survey the concepts and characteristics of Big Data along with a number of tools like HADOOP, HPCC for managing Big Data. It also presents an overview of big data like Characteristics of Big data, big data technology, big data management tools etc. We have also highlighted on some challenges and opportunities related to the fields of big data.

• 한국항공운항학회지
• /
• 제29권4호
• /
• pp.105-116
• /
• 2021

The importance of a systematic approach to collect, process, analyze, and share safety data in aviation safety management is continuously increasing. Accordingly, the domestic aviation industry has been making efforts to build a Big-data platform that can utilize multi-field safety data generated and managed by various stakeholders and to develop safety management technology based on them. Big data platforms not only must meet appropriate technical requirements, but also need to establish a management system for effective operation. The purpose of this study is to suggest the requirements of the aviation safety big data platform operation procedure and plan by reviewing the advanced overseas cases (FAA ASIAS). This study can provide overall framework and managerial direction for the operation of the aviation safety big data platform.

• 지식경영연구
• /
• 제21권4호
• /
• pp.243-263
• /
• 2020

본 연구는 공공데이터 개방에 있어 공공데이터 제공자의 데이터 기여 측면과 공공데이터 사용자의 데이터 활용 측면을 고려하여 공공데이터 플랫폼 성과측정을 위한 프레임워크를 개발하였다. 본 연구는 NIST(2018)의 빅데이터 참조 아키텍처와 Neely et al.(2001)의 성과 프리즘을 기반으로 공공 빅데이터 플랫폼 성과평가 모형의 5개 영역을 제시하였다. 구체적으로, 공공데이터 플랫폼 성과평가 영역은 이해관계자 기여, 빅데이터 거버넌스 역량, 빅데이터 서비스 역량, 빅데이터 정보기술(IT) 역량, 그리고 이해관계자 만족으로 구성된다. 본 연구에서 제시한 공공 빅데이터 플랫폼 성과평가 모형의 5개 영역과 24개 평가지표에 대한 측정 문항은 총 75개 항목으로 구성되었다.

• 디지털융복합연구
• /
• 제12권8호
• /
• pp.351-359
• /
• 2014

보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.

• Journal of Platform Technology
• /
• 제11권4호
• /
• pp.50-61
• /
• 2023

다양한 빅데이터 기술의 발전은 많은 산업에 큰 영향을 미치고 있으며, 방대한 양의 데이터를 빠르게 처리하고 분석하기 위해 여러 연구가 진행되고 있다. 이러한 상황에서 인텔 차세대 대용량 영구 메모리 모듈이나 CXL과 같은 새로운 형태의 메모리와 컴퓨팅 기술이 크게 주목받고 있다. 그러나, 현존하는 대부분의 빅데이터 소프트웨어 플랫폼들은 여전히 기존의 전통적인 DRAM 환경을 기반으로 최적화되어 있으며, 특히 빅데이터 실시간 검색 플랫폼 관련 연구는 상대적으로 미흡한 실정이다. 본 연구에서는 차세대 영구 메모리인 인텔 옵테인 영구 메모리의 기본 성능을 평가하고, 옵테인 영구 메모리 기반 시스템에서 빅데이터 실시간 검색 플랫폼으로 유명한 Elasticsearch의 다양한 성능 분석 결과를 통해 대용량 영구 메모리의 효용성과 가능성을 검증한다. 본 논문은 대용량 영구 메모리 기반 시스템이 기존 DRAM 기반 시스템에 비하여 색인과 검색 측면에서 각각 1.45배, 3.2배의 성능 향상을 확인하였고, 이를 통해 고성능 I/O와 대용량, 비휘발성 등의 다양한 이점을 가진 차세대 영구 메모리가 Elasticsearch와 같은 빅데이터 검색 플랫폼에서 좋은 대안이 될 수 있음을 확인하였다.

• Journal of Platform Technology
• /
• 제11권6호
• /
• pp.89-105
• /
• 2023

정보기술의 발달로 모든 데이터는 데이터베이스화 되어 빅데이터 시대를 맞이하였으며 방대한 양의 데이터에 대한 접근성과 활용 가능성을 높이고자 빅데이터 검색 플랫폼의 필요성이 증가되었다. 검색 플랫폼은 기본적으로 효율적인 검색을 위해 인덱스를 빠르게 생성하고 저장하는 인덱싱 (indexing) 과정과 생성된 인덱스를 활용하여 필요한 정보를 찾는 검색 (searching) 과정으로 구성된다. 빅데이터 시대를 지나 초빅데이터 시대를 맞이하여 데이터의 용량이 거대해짐에 따라 데이터 인덱싱 성능이 검색 플랫폼의 매우 중요한 성능문제로 대두되고 있다. 많은 기업들이 효율적인 빅데이터 검색을 위해 검색 플랫폼들을 도입하고 있으나, 검색 효율성 및 검색 정확도 관련 연구에 비해 검색 성능의 핵심이 되는 인덱싱(indexing)의 성능을 최적화하는 연구는 상대적으로 미흡한 실정이다. 또한 인덱싱(indexing) 기본 단위인 샤드(Shard) 수와 크기를 최적화하는 연구에 비해 검색 플랫폼을 클러스터 기반으로 운영하기 위한 다양한 성능 비교 관련 연구는 미흡하다. 이에 본 연구에서는 대표적인 엔터프라이즈 빅데이터 검색 플랫폼인 Elasticsearch 클러스터를 구성하여 확장성 높은 검색 환경을 위해 최적의 인덱싱 성능을 낼 수 있는 구성을 제안한다. 본 논문은 클러스터와 검색 플랫폼의 다양한 구성 변경을 통해 최고의 인덱싱 성능을 낼 수 있는 구성을 도출하여 최적 구성에서 기본 구성보다 평균 3.13배 높은 인덱싱 성능의 향상을 확인하였다

• International Journal of Internet, Broadcasting and Communication
• /
• 제14권3호
• /
• pp.91-100
• /
• 2022

Major developed countries are seriously considering smart factories to increase their manufacturing competitiveness. Smart factory is a customized factory that incorporates ICT in the entire process from product planning to design, distribution and sales. This can reduce production costs and respond flexibly to the consumer market. The smart factory converts physical signals into digital signals, connects machines, parts, factories, manufacturing processes, people, and supply chain partners in the factory to each other, and uses the collected data to enable the smart factory platform to operate intelligently. Enhancing personalized value is the key. Therefore, it can be said that the success or failure of a smart factory depends on whether big data is secured and utilized. Standardized communication and collaboration are required to smoothly acquire big data inside and outside the factory in the smart factory, and the use of big data can be maximized through big data analysis. This study examines big data analysis and standardization in smart factory. Manufacturing innovation by country, smart factory construction framework, smart factory implementation key elements, big data analysis and visualization, etc. will be reviewed first. Through this, we propose services such as big data infrastructure construction process, big data platform components, big data modeling, big data quality management components, big data standardization, and big data implementation consulting that can be suggested when building big data infrastructure in smart factories. It is expected that this proposal can be a guide for building big data infrastructure for companies that want to introduce a smart factory.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권8호
• /
• pp.2772-2786
• /
• 2022

We had researched an automatic authentication-supported medical information platform[6]. The proposed automatic authentication consists of user authentication and mobile terminal authentication, and the authentications are performed simultaneously in patients' emergency conditions. In this paper, we studied on finding emergency conditions for the automatic authentication by applying big data processing and AI mechanism on the extended medical information platform with an added edge computing system. We used big data processing, SVM, and 1-Dimension CNN of AI mechanism to find emergency conditions as authentication means considering patients' underlying diseases such as hypertension, diabetes mellitus, and arrhythmia. To quickly determine a patient's emergency conditions, we placed edge computing at the end of the platform. The medical information server derives patients' emergency conditions decision values using big data processing and AI mechanism and transmits the values to an edge node. If the edge node determines the patient emergency conditions, the edge node notifies the emergency conditions to the medical information server. The medical server transmits an emergency message to the patient's charge medical staff. The medical staff performs the automatic authentication using a mobile terminal. After the automatic authentication is completed, the medical staff can access the patient's upper medical information that was not seen in the normal condition.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권3호
• /
• pp.42-49
• /
• 2021

As cyber attacks become more intelligent, there is difficulty in detecting advanced attacks in various fields such as industry, defense, and medical care. IPS (Intrusion Prevention System), etc., but the need for centralized integrated management of each security system is increasing. In this paper, we collect big data for intrusion detection and build an intrusion detection platform using deep learning and CNN (Convolutional Neural Networks). In this paper, we design an intelligent big data platform that collects data by observing and analyzing user visit logs and linking with big data. We want to collect big data for intrusion detection and build an intrusion detection platform based on CNN model. In this study, we evaluated the performance of the Intrusion Detection System (IDS) using the KDD99 dataset developed by DARPA in 1998, and the actual attack categories were tested with KDD99's DoS, U2R, and R2L using four probing methods.