• International Journal of Computer Science & Network Security
• /
• 제21권7호
• /
• pp.43-55
• /
• 2021

The amount of Big Data generated from multiple sources is continuously increasing. Traditional storage methods lack the capacity for such massive amounts of data. Consequently, most organizations have shifted to the use of cloud storage as an alternative option to store Big Data. Despite the significant developments in cloud storage, it still faces many challenges, such as privacy and security concerns. This paper discusses Big Data, its challenges, and different classifications of security and privacy challenges. Furthermore, it proposes a new classification of Big Data security and privacy challenges and offers some perspectives to provide solutions to these challenges.

• 대한임베디드공학회논문지
• /
• 제16권6호
• /
• pp.259-266
• /
• 2021

Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

• 디지털콘텐츠학회 논문지
• /
• 제18권1호
• /
• pp.149-158
• /
• 2017

빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권7호
• /
• pp.2286-2304
• /
• 2022

Blockchain is a distributed ledger that combines technologies such as cryptography, consensus mechanism, peer-to-peer transmission, and time stamping. The rapid development of blockchain has attracted attention from all walks of life, but storage scalability issues have hindered the application of blockchain. In this paper, a scalable blockchain storage model based on Distributed Hash Table (DHT) and the InterPlanetary File System (IPFS) was proposed. This paper introduces the current research status of the scalable blockchain storage model, as well as the basic principles of DHT and the InterPlanetary File System. The model construction and workflow are explained in detail. At the same time, the DHT network construction mechanism, block heat identification mechanism, new node initialization mechanism, and block data read and write mechanism in the model are described in detail. Experimental results show that this model can reduce the storage burden of nodes, and at the same time, the blockchain network can accommodate more local blocks under the same block height.

• Structural Monitoring and Maintenance
• /
• 제7권4호
• /
• pp.345-365
• /
• 2020

At present, many machine leaning and data mining methods are used for analyzing and predicting structural response characteristics. However, the platform that combines big data analysis methods with online and offline analysis modules has not been used in actual projects. This work is dedicated to developing a multifunctional Hadoop-Spark big data platform for bridges to monitor and evaluate the serviceability based on structural health monitoring system. It realizes rapid processing, analysis and storage of collected health monitoring data. The platform contains offline computing and online analysis modules, using Hadoop-Spark environment. Hadoop provides the overall framework and storage subsystem for big data platform, while Spark is used for online computing. Finally, the big data Hadoop-Spark platform computational performance is verified through several actual analysis tasks. Experiments show the Hadoop-Spark big data platform has good fault tolerance, scalability and online analysis performance. It can meet the daily analysis requirements of 5s/time for one bridge and 40s/time for 100 bridges.

• 한국정보통신학회논문지
• /
• 제23권11호
• /
• pp.1330-1336
• /
• 2019

4차 혁명시대가 시작됨에 따라 다양한 장비들이 클라우드 기반으로 동작하고 있다. 이와 기기들은 다양한 형태의 데이터 또는 대용량의 멀티미디어 데이터를 계속 생성하고 있다. 이런 상황을 처리하기 위해서는 대용량의 저장장치가 필요하며 또한 저장된 데이터를 처리하고 정확한 정보를 얻기 위해서 빅데이터 기술이 필요하다. 일반적으로 네트워크 환경에서 대용량의 저장장치를 구축하기 위해서는 SAN 또는 NAS 기술이 사용된다. 본 논문에서는 DAS(Direct Attached Storage)의 확장기술인 Network-DAS를 사용하여 대용량 저장장치를 구성하는 방안을 제시한다. 논문에서 제시하는 스토리지 시스템의 확장성과 성능을 검증하기 위해 76개의 하드 디스크를 이용하여 벤치마크 실험을 수행하였다. 실험 결과 제안하는 고성능 대용량 스토리지 시스템의 확장성과 신뢰성을 검증하였다.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.93-103
• /
• 2019

본 논문에서는 수산과학 R&D 정보의 빅데이터 플랫폼 구축과 메타 데이터 관리기법에 관해 소개한다. 빅데이터 플랫폼에서는 다양한 유형의 수산과학 R&D 정보를 수집하여 통합 연계하고, 이를 데이터 레이크 형태로 구축하는 방안을 제시한다. 수산과학 분야에서 수집, 축적되고 있는 기존의 데이터와 함께 위성영상 데이터, 연구보고서 등 비정형 빅데이터까지 수집하여 다양한 분석을 지원하는 빅데이터 플랫폼의 구축방안을 제시한다. 다음으로 데이터 추출과 전처리 및 저장 과정에서 메타 데이터를 수집하고 관리함으로써 수산과학 빅데이터의 체계적인 관리가 가능하도록 한다. 빅데이터 플랫폼 구축과 함께 메타 데이터를 표준양식으로 구축함으로써 데이터의 수집, 저장, 활용 및 유통 등 데이터 수명주기 전반에 걸쳐 체계적이고도 지속적인 빅데이터 관리 방안을 제시하는데 의의가 있다.

• 한국IT서비스학회지
• /
• 제13권2호
• /
• pp.185-194
• /
• 2014

Recently, as value for practical use of big data is evaluated, companies and organizations that create benefit and profit are gradually increasing with application of big data. But specifical and theoretical study about possible risk factors as introduction of big data is not being conducted. Accordingly, the study extracts the possible risk factors as introduction of big data based on literature reviews and classifies according to big data processing, data collection, data storage, data analysis, analysis data visualization and application. Also, the risk factors have order of priority according to the degree of risk from the survey of experts. This study will make a chance that can avoid risks by bid data processing and preparation for risks in order of dangerous grades of risk.

• 한국융합학회논문지
• /
• 제9권10호
• /
• pp.13-19
• /
• 2018

맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

• 한국지리정보학회지
• /
• 제19권1호
• /
• pp.64-79
• /
• 2016

본 논문의 목적은 SPI 기상학적 가뭄지수, 농업용 저수지 저수율, 농업가뭄 빅데이터간의 관계를 평가함으로써 빅데이터의 활용 가능성을 평가하는데 있다. 2014년 1월부터 2015년 9월까지의 장기가뭄을 대상으로, SPI-12개월 가뭄지수, 평년대비 강수부족율, 농업용저수지 저수부족율, 인터넷포털 검색을 통한 농업가뭄 빅데이터를 월단위 도별로 수집 및 분석하였다. SPI-12의 최대 가뭄심도와 최대 저수 부족율이 나타난 시기를 비교한 결과, 전국적으로 2014년은 7월, 2015년은 8월과 9월에 시기를 같이 하면서 발현되었다. 한편, 빅데이터의 도별 최대 발현시기는 2014년 6월과 7월, 2015년은 3월, 6월~9월에 나타나, SPI-12와 저수 부족율의 최대심도보다 2014년은 1개월, 2015년은 여름에 2개월 이르게 나타났다. 이는 빅데이터가 3월부터의 봄가뭄, 6월의 늦장마, 7월의 마른장마에 이어 2015년은 9월까지의 강우량 부족에 따라 기상학적 가뭄과 농업가뭄에 민감하게 반응하는 것을 의미하며, 농업가뭄관련 빅데이터의 활용이 가뭄의 위험관리에 효과가 있을 것으로 판단된다.