• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.3-6
• /
• 2012

소셜 네트워크와 웹 2.0의 등장은 거대한 데이터 홍수를 초래하였다. 이 와 관련된 다양한 기술들이 연구 개발되고 있으며 특히 동시에 요구되는 data를 처리하기위한 여러 기술이 등장하였다. 본 연구에서는 다양한 BigData 분산처리 기술들중에 가장 각광 받고 있는 Hadoop이라는 기술을 연구 분석할 것이다. 국내에 아직 많은 사용자가 없어 그 존재감이 많이 없다가 요즘 들어 상승하고 있는 추세이며 이러한 Hadoop의 흐름속에 data의 분산과 병렬처리에서 발생되는 문제점을 분석하고 이를 해결할수 있는 모델을 제시하여 새로운 모델의 하둡으로 기본적인 핵심기술인 federation을 쉽게 할 수 있고 향후 이 구조의 기능과 상세모델을 연구하고 구현하여 제안된 연구 구조의 우수성을 입증하고자 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.18 no.9
• /
• pp.2155-2160
• /
• 2014

In this paper, we proposes a new document summarization method using the extracted semantic feature which the semantic feature is extracted by distributed parallel processing based Hadoop. The proposed method can well represent the inherent structure of documents using the semantic feature by the non-negative matrix factorization (NMF). In addition, it can summarize the big data document using Hadoop. The experimental results demonstrate that the proposed method can summarize the big data document which a single computer can not summarize those.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.151-153
• /
• 2012

최근 고속 네트워크와 저장 기술의 발전으로 인하여 대용량 데이터 분산 처리 시스템에 관한 연구가 활발히 진행되고 있다. 또한 서버의 통합을 통해 시스템 자원의 효율적인 활용을 제공할 수 있는 시스템 가상화가 많은 주목을 받고 있다. 그러나 가상 머신 환경에서 대용량 데이터 분산처리 시스템을 구성할 경우 많은 문제가 발생하게 된다. 본 논문에서는 가상 머신 환경에서 Hadoop 클러스터를 활용할 때 가상 데이터 노드의 개수에 따른 I/O 대역폭 최적화에 대한 실험을 하고 평가를 한다. 본 논문에서 수행한 실험 결과는 가상 머신 환경에서 I/O 대역폭 밸런싱(balancing)을 지원하는 Hadoop Scheduler의 개발 연구에 사용될 것이다.

• Journal of the Korea Society of Computer and Information
• /
• v.20 no.8
• /
• pp.1-6
• /
• 2015

The MapReduce Program of Hadoop Distributed File System operates on any unspecified nodes due to distributed-parallel process and block replicate for data stability. Since it is difficult to guarantee the cache locality when a Solid State Drive is used as a cache in hadoop, cache hit-rate is decreased. In this paper, we suggest a method to improve cache hit rate by pre-loading the input data of the MapReduce onto the SSD cache. To perform this method, we estimated the blocks that are used on each node by using capacity scheduler and block metadata. Eventually we could increase the performance of SSD cache by loading the blocks onto SSD cache before the Map Task run.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.176-179
• /
• 2013

본 연구는 최근 활성화된 스마트폰 내비게이션의 교통정보를 이용 시 상대적으로 품질이 취약한 지방지역의 빠른길 및 통행시간 정확도를 개선하는 방안에 대한 연구이다. 본 연구에서는 Hadoop기술을 이용하여 교통데이터에 대한 방대한 양의 데이터를 분석 처리한다. 특히, 실시간 교통정보가 제대로 수집되지 않는 지역의 도로 속도 정보에 대한 개선 방안으로 고객 단말로부터 올라오는 위치 데이터를 실시간으로 수집하여 전자지도 기본 속성값을 실시간 통계 데이터로 교체 반영하여 상대적으로 취약한 지방지역의 경로 품질 및 경로 탐색을 개선하는 방안을 제시하였다. 단말로부터 올라오는 많은 양의 GPS 위치정보등 대용량 데이터 처리를 위해 오픈소스프로젝트인 Hadoop플랫폼 환경에서 빅데이터 처리용 오픈소스를 활용하여 고가의 RDBMS를 대체하는 효과와 시간 단축의 효과를 기대할 수 있게 되었다.

• Annual Conference of KIPS
• /
• 2013.11a
• /
• pp.188-191
• /
• 2013

인간과 사물, 서비스 세 가지 분산된 환경 요소에 대해 인간의 명시적 개입 없이 상호 협력적으로 센싱, 네트워킹, 정보 처리 등 지능적 관계를 형성하는 사물 공간 연결망인 IoT(Internet of Things)에서 센싱된 정보를 처리하고 서비스하기 위한 환경을 적시적소에 배치(Depolyment) 하기 위하여 클라우드 서비스와의 연동방법에 대해 본 논문에서 연구하였다. Public Cloud환경에서 Hadoop Cluster를 구성하여 IoT 서비스에 적용할 수 있는 통합 환경을 구축하면 폭발적으로 증가하는 IoT 데이터를 저장하고 빠른 시간안에 이를 효과적으로 처리 및 분석하기 위한 시스템 구축이 가능하며 분산 저장소에 저장된 데이터를 분석하고 의미있는 지식을 발견하여 새로운 비즈니스 모델 창출에 기여할 수 있다. 본 논문에서 Public Cloud 환경에서 Hadoop Clouster를 구성하여 IoT에서 생성되는 데이터를 효과적으로 처리하고 분석할 수 있는 방법을 제안한다.

• International Journal of Computer Science & Network Security
• /
• v.22 no.5
• /
• pp.121-126
• /
• 2022

Hadoop and Apache Spark are Apache Software Foundation open source projects, and both of them are premier large data analytic tools. Hadoop has led the big data industry for five years. The processing velocity of the Spark can be significantly different, up to 100 times quicker. However, the amount of data handled varies: Hadoop Map Reduce can process data sets that are far bigger than Spark. This article compares the performance of both spark and map and discusses the advantages and disadvantages of both above-noted technologies.

• Korea Information Processing Society Review
• /
• v.21 no.3
• /
• pp.8-16
• /
• 2014

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.12 no.1
• /
• pp.204-226
• /
• 2018

Big data processing applications have been migrated into cloud gradually, due to the advantages of cloud computing. Hadoop Distributed File System (HDFS) is one of the fundamental support systems for big data processing on MapReduce-like frameworks, such as Hadoop and Spark. Since HDFS is not aware of the co-location of virtual machines in the cloud, the default scheme of block allocation in HDFS does not fit well in the cloud environments behaving in two aspects: data reliability loss and performance degradation. In this paper, we present a novel location-aware data block allocation strategy (LDBAS). LDBAS jointly optimizes data reliability and performance for upper-layer applications by allocating data blocks according to the locations and different processing capacities of virtual nodes in the cloud. We apply LDBAS to two stages of data allocation of HDFS in the cloud (the initial data allocation and data recovery), and design the corresponding algorithms. Finally, we implement LDBAS into an actual Hadoop cluster and evaluate the performance with the benchmark suite BigDataBench. The experimental results show that LDBAS can guarantee the designed data reliability while reducing the job execution time of the I/O-intensive applications in Hadoop by 8.9% on average and up to 11.2% compared with the original Hadoop in the cloud.

• Journal of KIISE
• /
• v.42 no.4
• /
• pp.541-549
• /
• 2015

A large volume of continuously growing BGP data files can raise two technical challenges regarding scalability and manageability. Due to the recent development of the open-source distributed computing infrastructure, Hadoop, it becomes feasible to handle a large amount of data in a scalable manner. In this paper, we present a new Hadoop-based BGP tool (BGPdoop) that provides the scale-out performance as well as the extensible and agile analysis capability. In particular, BGPdoop realizes a query-based BGP record exploration function using Hive on the partitioned BGP data structure, which enables flexible and versatile analytics of BGP archive files. From the experiments for the scalability with a Hadoop cluster of 20 nodes, we demonstrate that BGPdoop achieves 5 times higher performance and the user-defined analysis capability by expressing diverse BGP routing analytics in Hive queries.