DOI QR코드

DOI QR Code

Update Frequency Reducing Method of Spatio-Temporal Big Data based on MapReduce

MapReduce와 시공간 데이터를 이용한 빅 데이터 크기의 이동객체 갱신 횟수 감소 기법

  • 최용권 (인하대학교 정보공학과) ;
  • 백성하 (인하대학교 컴퓨터 정보공학과) ;
  • 김경배 (서원대학교 컴퓨터교육과) ;
  • 배해영 (중국 중경우전대학교 대학원)
  • Received : 2012.02.29
  • Accepted : 2012.04.27
  • Published : 2012.04.30

Abstract

Until now, many indexing methods that can reduce update cost have been proposed for managing massive moving objects. Because indexing methods for moving objects have to be updated periodically for managing moving objects that change their location data frequently. However these kinds indexing methods occur big load that exceed system capacity when the number of moving objects increase dramatically. In this paper, we propose the update frequency reducing method to combine MapReduce and existing indices. We use the update request grouping method for each moving object by using MapReduce. We decide to update by comparing the latest data and the oldest data in grouping data. We reduce update frequency by updating the latest data only. When update is delayed, for the data should not be lost and updated periodically, we store the data in a certain period of time in the hash table that keep previous update data. By the performance evaluation, we can prove that the proposed method reduces the update frequency by comparison with methods that are not applied the proposed method.

지금까지 대규모의 이동객체 관리를 위해 갱신 비용을 감소시킬 수 있는 인덱스 기법들이 제안되었다. 이동객체 인덱스는 빈번하게 위치정보가 변화하는 이동객체를 관리하기 위해 주기적으로 갱신 되어야 하기 때문이다. 그러나 이러한 기법들은 이동객체의 수가 현저히 증가하는 경우 인덱스의 갱신 가능범위를 초과하는 부하가 발생한다. 본 논문에서는 이처럼 기존의 처리 가용량을 초과하는 빅 데이터 크기의 이동객체에서 발생하는 갱신요청들을 MapReduce와 기존 인덱스기법을 조합하여 감소시키는 기법을 제안한다. 이 기법에서는 수많은 이동객체에서 발생하는 갱신요청들을 MapReduce를 이용하여 각각의 이동객체 별로 그룹화하는 방법을 사용한다. 각 이동객체 별로 그룹화 데이터들의 최신의 데이터와 가장 오래된 데이터를 비교하여 갱신여부를 판단하고 최신의 요청만 갱신하도록 하여 전체 갱신 횟수를 크게 감소시킨다. 갱신이 지연된 경우 기존의 갱신요청들을 가지고 있는 해시 테이블에 일정기간 보관하여 지연된 갱신요청이 분실되지 않고 지속적으로 갱신되도록 한다. 실험을 통해 제안한 기법을 적용한 경우와 적용하지 않은 경우를 비교해 전체 갱신 횟수 및 갱신 비용이 감소되는 것을 알 수 있다.

Keywords

References

  1. Apache Hadoop, http://hadoop.apache.org/.
  2. A. Guttman, 1984, "R-tree: a dynamic index structure for spatial searching", Proc Of Intl Cong On Management of Data, ACM SIGMOD.
  3. Dongseop Kwon, Sangjun Lee, Sukho Lee, 2002, "Indexing the Current Positions of Moving Object using the Lazy Update R-tree", IEEE MDM '02, pp. 113-120.
  4. Ferrari, L.; Mamei, M., 2011, "Discovering daily routines from Google Latitude with topic models", In Proc of the Pervasive Computing and Communications Workshops (PERCOM Workshops), IEEE International Conference on.
  5. F. Bentley and C. Metcalf, 2008, "Location and activity sharing in everyday mobile communication", CHI '08 extended abstracts on human factors in computing systems, Florence, Italy: ACM, pp. 2453-2462.
  6. Hadoop: Open source implementation of MapReduce, http://lucene. apache.org/hadoop/.
  7. Hung-chih Yang, Ali Dasdan, Ruey-Lung Hsiao, D. Stott Parker, 2007, "Map-reduce-merge: simplified relational data processing on large clusters", In Proc of the ACM SIGMOD international conference on Management of data.
  8. J. Dean, S. Ghemawat, 2004, "MapReduce: Simplified Data Processing on Large Clusters", In Proc of the 6th Symposium on Operating Systems Design and Implementation, San Francisco CA, Dec.
  9. Jeffrey Dean, Sanjay Ghemawat, 2010, "MapReduce: a flexible data processing tool", In Proc of Magazine Communications of the ACM, Volume 53 Issue 1, January.
  10. L. Barkhuus et al., 2008, "From awareness to repartee: sharing location within social groups", Proc. of the twenty-sixth annual SIGCHI conf. on human factors in computing systems, Florence, Italy: ACM, pp. 497-506.
  11. M. Lee, W. Hsu, C. Jensen, B. Cui, K. Teo, 2003, "Supporting Frequent Updates in R-tree: A bottom- Up Approach", In Proc of the Intl Conf on Very Large Data Bases, 2003.
  12. Qiang Ma, Bin Yang, Weining Qian, Aoying Zhou, 2009, "Query processing of massive trajectory data based on mapreduce", CloudDB, USA.
  13. S. Ghemawat, H. Gobioff, S. Leung. 2003, "The Google file system", In Proc of ACM Symposium on Operating Systems Principles, Lake George, NY, Oct, pp 29-43.
  14. S. Weil, S. Brandt, E. Miller, D. Long, C. Maltzahn, 2006, "Ceph: A Scalable, High- Performance Distributed File System". In Proc. of the 7th Symposium on Operating Systems Design and Implementation, Seattle, WA, November.
  15. The Apache Software Foundation, The Hadoop Distributed File System: Architecture and Design.
  16. Thomas Brinkhoff, 2000, "Generating Network- Based Moving Objects", 12th International Conference on Scientific and Statistical Database Management Berlin, Germany, IEEE Computer Society Press, July pp. 26-28.
  17. Thomas Brinkhoff, 2002, "A Framework for Generating Network-Based Moving Objects", Proc of GeoInformatica, Vol. 6, No. 2, pp. 153-180. https://doi.org/10.1023/A:1015231126594
  18. 천종현, 정명호, 장용일, 오영환, 배해영, 2006, "UCN-트리: 제한된 망 구조 내의 이동체를 위한 통합 색인," 한국공간정보시스템학회 논문지, 제8권, 제1호, pp. 37-57
  19. 김정현, 박순영, 장용일, 김호석, 배해영, 2005, "색인 구조 예측을 통한 이동체의 지연 다량 삽입 기법," 한국공간정보시스템학회 논문지, 제7권, 제3 호, pp. 3-134