• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.341-342
• /
• 2014

지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.

• 대한산업공학회지
• /
• 제40권1호
• /
• pp.34-42
• /
• 2014

SCADA and DCS that have performed automatic control and monitoring activities increase the productivity of enterprise in industries. In such systems, although their performance had been improved, there are still many deficiencies in predictive maintenance which can foresee the risk of any kinds of accidents. Because the data acquisition systems of main facilities are being distributed throughout the whole plant and therefore, integration of data obtained from the systems is very difficult. Accordingly, techniques that acquire meaningful information from the gathered data through realtime analysis still need to be improved. This paper introduces a developed facility monitoring system which can predict equipment failure and diagnose facility status through big data analysis to improve equipment efficiency and prevent safety accidents.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.98-100
• /
• 2012

분산 파일시스템은 네트워크를 통해 여러 대의 서버들이 하나의 파일 시스템을 구성하여 높은 확장성과 고 가용성을 지원한다. 분산 파일 시스템에서는 신뢰성과 고성능이 중요하며 대부분의 분산 파일시스템은 이를 위해 데이터 복제에 의존한다. 그러나 이 방법은 저장 공간의 오버헤드를 증가시키는 단점을 가진다. 이 논문에서는 이 문제점을 해결하고자 대표적인 분산 파일 시스템인 HDFS에 분산 RAID에서의 erasure code로 데이터 복제본을 대체하는 방법으로 가용성과 신뢰성을 유지하면서 저장 공간을 절약하는 방법을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 춘계학술발표대회
• /
• pp.700-703
• /
• 2014

최근 이슈가 되고 있는 하둡(hadoop) 패키지에 접목하여 많은 프로젝트들이 생겨나고 있으며, 이들 중 주요하게 떠오르고 있는 분야가 접근 제어 기술이다. 특히, 인터넷의 발전과 스마트 기기 사용자가 늘어남에 따라 데이터의 양이 증가하여, 데이터의 소유자와 사용자의 필요에 의한 접근 제어 기술이 필요하게 되었다. 본 논문에서는 접근 제어 기술의 필요성을 기반으로 HDFS(Hadoop Distributed File System, 하둡 분산 파일 시스템) 기반의 새로운 데이터 접근 제어 프레임워크를 제안한다. 제안하는 방법은 새로운 메타데이터 저장 모듈과 접근 관리 모듈을 만들어 데이터 접근 제어프레임워크를 구성함으로써, 빅데이터 플랫폼을 사용하는 사용자들을 위한 접근 제어 기능을 제공한다. 제안한 프레임워크는 기존 플랫폼에 추가적인 설치가 필요 없도록 하둡 내부에 설계하여 향후 활용도가 높을 것이라 기대된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 춘계학술발표대회
• /
• pp.635-638
• /
• 2014

빅데이터 시대의 대두에 따라 기존의 관계형 데이터베이스로는 처리하기 어려운 형태의 데이터가 발생하였다. 이런 성질의 데이터를 저장, 활용하기 위한 방법으로 Apache 하둡이 널리 사용되고 있다. 기존의 RDBMS 상의 데이터를 하둡 데이터 분석의 원천 데이터로 활용하려고 하는 경우, 혹은 데이터 크기와 복잡도의 증가로 저장방식을 바꿔야 하는 경우 데이터를 HDFS(Hadoop Distributed File System) 으로 전송해야 한다. 본 논문에서는 정형 데이터 수집 모듈인 Sqoop과 Nosqoop4u의 개발을 통하여 데이터 전송 성능을 비교하였다.

• 한국컴퓨터정보학회논문지
• /
• 제20권8호
• /
• pp.1-6
• /
• 2015

The MapReduce Program of Hadoop Distributed File System operates on any unspecified nodes due to distributed-parallel process and block replicate for data stability. Since it is difficult to guarantee the cache locality when a Solid State Drive is used as a cache in hadoop, cache hit-rate is decreased. In this paper, we suggest a method to improve cache hit rate by pre-loading the input data of the MapReduce onto the SSD cache. To perform this method, we estimated the blocks that are used on each node by using capacity scheduler and block metadata. Eventually we could increase the performance of SSD cache by loading the blocks onto SSD cache before the Map Task run.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.118-120
• /
• 2012

이 논문에서는 MapReduce 프레임워크를 활용한 기후 시뮬레이션 결과의 데이터분석을 위한 전처리 과정을 다룬다. 이를 위해 기후 시뮬레이션 결과 데이터 셋으로부터 특정변수를 추출하여 자료를 변환한 후 변환된 자료를 HDFS 에 저장하기 위한 과학데이터 필터를 설계한다. 설계된 필터를 통해 저장된 자료는 Hadoop 의 MapReduce 응용을 통해 연도별 통계처리를 분산병렬 방식으로 수행한다.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.675-689
• /
• 2021

Nowadays, cloud computing is being adopted for more organizations. However, since cloud computing has a virtualized, volatile, scalable and multi-tenancy distributed nature, it is challenging task to perform attack detection in the cloud following conventional processes. This work proposes a solution which aims to collect web server logs by using Flume and filter them through Spark Streaming in order to only consider suspicious data or data related to denial-of-service attacks and reduce the data that will be stored in Hadoop Distributed File System for posterior analysis with the frequent pattern (FP)-Growth algorithm. With the proposed system, we can address some of the difficulties in security for cloud environment, facilitating the data collection, reducing detection time and consequently enabling an almost real-time attack detection.

• International Journal of Contents
• /
• 제17권3호
• /
• pp.74-83
• /
• 2021

A location-aware algorithm is proposed in this study to optimize the system performance of distributed systems for processing big data with low data reliability and application performance. Compared with previous algorithms, the location-aware data block placement algorithm uses data block placement and node data recovery strategies to improve data application performance and reliability. Simulation and actual cluster tests showed that the location-aware placement algorithm proposed in this study could greatly improve data reliability and shorten the application processing time of I/O interfaces in real-time.

• Ocean Systems Engineering
• /
• 제9권1호
• /
• pp.79-95
• /
• 2019

The material analysis of an offshore structure is generally conducted in the contract design phase for the price quotation of a new offshore project. This analysis is conducted manually by an engineer, which is time-consuming and can lead to inaccurate results, because the data size from previous projects is too large, and there are so many materials to consider. In this study, the piping materials in an offshore structure are analyzed for contract design using a big data framework. The big data technologies used include HDFS (Hadoop Distributed File System) for data saving, Hive and HBase for the database to handle the saved data, Spark and Kylin for data processing, and Zeppelin for user interface and visualization. The analyzed results show that the proposed big data framework can reduce the efforts put toward contract design in the estimation of the piping material cost.