• 제목/요약/키워드: Spatial big data

검색결과 248건 처리시간 0.026초

Construction of Spatiotemporal Big Data Using Environmental Impact Assessment Information

  • Cho, Namwook;Kim, Yunjee;Lee, Moung-Jin
    • 대한원격탐사학회지
    • /
    • 제36권4호
    • /
    • pp.637-643
    • /
    • 2020
  • In this study, the information from environmental impact statements was converted into spatial data because environmental data from development sites are collected during the environmental impact assessment (EIA) process. Spatiotemporal big data were built from environmental spatial data for each environmental medium for 2,235 development sites during 2007-2018, available from public data portals. Comparing air-quality monitoring stations, 33,863 measurement points were constructed, which is approximately 75 times more measurement points than that 452 in Air Korea's real-time measurement network. Here, spatiotemporal big data from 2,677,260 EIAs were constructed. In the future, such data might be used not only for EIAs but also for various spatial plans.

A Benchmark Test of Spatial Big Data Processing Tools and a MapReduce Application

  • Nguyen, Minh Hieu;Ju, Sungha;Ma, Jong Won;Heo, Joon
    • 한국측량학회지
    • /
    • 제35권5호
    • /
    • pp.405-414
    • /
    • 2017
  • Spatial data processing often poses challenges due to the unique characteristics of spatial data and this becomes more complex in spatial big data processing. Some tools have been developed and provided to users; however, they are not common for a regular user. This paper presents a benchmark test between two notable tools of spatial big data processing: GIS Tools for Hadoop and SpatialHadoop. At the same time, a MapReduce application is introduced to be used as a baseline to evaluate the effectiveness of two tools and to derive the impact of number of maps/reduces on the performance. By using these tools and New York taxi trajectory data, we perform a spatial data processing related to filtering the drop-off locations within Manhattan area. Thereby, the performance of these tools is observed with respect to increasing of data size and changing number of worker nodes. The results of this study are as follows 1) GIS Tools for Hadoop automatically creates a Quadtree index in each spatial processing. Therefore, the performance is improved significantly. However, users should be familiar with Java to handle this tool conveniently. 2) SpatialHadoop does not automatically create a spatial index for the data. As a result, its performance is much lower than GIS Tool for Hadoop on a same spatial processing. However, SpatialHadoop achieved the best result in terms of performing a range query. 3) The performance of our MapReduce application has increased four times after changing the number of reduces from 1 to 12.

공간 빅데이터의 개념 및 서비스 프레임워크 구상에 관한 연구 (A Study on Concept and Services Framework of Geo-Spatial Big Data)

  • 유선철;최원욱;신동빈;안종욱
    • Spatial Information Research
    • /
    • 제22권6호
    • /
    • pp.13-21
    • /
    • 2014
  • 본 연구는 수요 및 관심이 증대되고 있는 공간 빅데이터의 개념설정과 이를 기반으로 공간 빅데이터 기술을 활용할 수 있는 서비스 프레임워크를 개념적으로 제시하는데 목적이 있다. 공간 빅데이터는 정형 반정형 비정형 공간 빅데이터를 효율적으로 수집 저장 관리하는 동시에 공간정보와 융합된 다양한 속성정보에 대해 실시간 통합 분석을 수행하여 의미 있는 정보를 추출함으로써 미래에 대응할 수 있는 기술이라 할 수 있다. 또한 공간 빅데이터는 기존 빅데이터가 가지는 3V(Volume, Variety, Velocity) 특성에 4V(Veracity, Visualization, Versatile, Value)가 추가된 특성을 가지며, 저장 관리, 분석, 서비스로 구분하여 활용범위를 설정할 수 있다. 그리고 공간 빅데이터를 활용하기 위한 서비스 측면에서의 프레임워크를 제시하였다. 구체적으로 서비스 관리, 서비스 콘테이너, 서비스 모니터링의 구성요소로 구상안을 제시하였다. 이러한 연구결과를 참조로 새로운 기술 및 기법들을 적용하여 수정 보완하고, 향후 개발예정인 저장 관리, 분석 기술개발과 연계하여 구체적인 서비스 제공방안에 대한 연구가 지속적으로 이루어져야 할 것이다.

자율주행과 공간정보의 빅데이터 기반 연계성 분석을 통한 동향 및 예측에 관한 연구 (A study on trends and predictions through analysis of linkage analysis based on big data between autonomous driving and spatial information)

  • 조국;이종민;김종서;민규식
    • 지적과 국토정보
    • /
    • 제50권2호
    • /
    • pp.101-115
    • /
    • 2020
  • 자율주행 분야 글로벌 동향 파악 및 공간정보 서비스 활성화 방안 도출을 위해 빅데이터 분석방법을 활용하였다. 사용된 빅데이터는 뉴스기사와 특허문헌을 상호 연계하여 활용하고, 뉴스 기사를 통한 동향 분석, 특허문헌 정보를 활용한 기술 분석이 진행 되었다. 본 논문에서는 자율주행에 대한 주요 뉴스에서 토픽모델을 기반으로 한 LDA(Latent Dirichlet Allocation)를 활용하여 빅데이터화 하고 주요 단어를 추출하였다. 특허정보의 주요 단어를 기반으로 적용된 워드넷(WordNet)을 활용하여 공간정보와 연계성 분석, 글로벌 기술 동향 분석을 실시하고 공간정보 분야의 동향 분석 및 예측을 실시하였다. 본 논문에서는 주요뉴스와 특허문헌 정보를 기반으로 한 빅데이터 분석방법으로 자율주행 분야와 공간정보와의 연계성 분석을 통하여 최신 동향과 미래를 예측하는 방법을 제시한다. 빅데이터 분석으로 도출된 자율주행 분야 공간정보의 글로벌 동향은 플랫폼 얼라이언스, 비지니스 파트너쉽, 기업 인수합병, 합작회사 설립, 표준화 및 기술개발로 도출되었다.

Labeling Big Spatial Data: A Case Study of New York Taxi Limousine Dataset

  • AlBatati, Fawaz;Alarabi, Louai
    • International Journal of Computer Science & Network Security
    • /
    • 제21권6호
    • /
    • pp.207-212
    • /
    • 2021
  • Clustering Unlabeled Spatial-datasets to convert them to Labeled Spatial-datasets is a challenging task specially for geographical information systems. In this research study we investigated the NYC Taxi Limousine Commission dataset and discover that all of the spatial-temporal trajectory are unlabeled Spatial-datasets, which is in this case it is not suitable for any data mining tasks, such as classification and regression. Therefore, it is necessary to convert unlabeled Spatial-datasets into labeled Spatial-datasets. In this research study we are going to use the Clustering Technique to do this task for all the Trajectory datasets. A key difficulty for applying machine learning classification algorithms for many applications is that they require a lot of labeled datasets. Labeling a Big-data in many cases is a costly process. In this paper, we show the effectiveness of utilizing a Clustering Technique for labeling spatial data that leads to a high-accuracy classifier.

활동기반 교통모형 분석자료 구축을 위한 소셜네트워크 공간빅데이터 활용방안 연구 (A Study on the Application of Spatial Big Data from Social Networking Service for the Operation of Activity-Based Traffic Model)

  • 김승현;김주영;이승재
    • 한국ITS학회 논문지
    • /
    • 제15권4호
    • /
    • pp.44-53
    • /
    • 2016
  • 오늘날 우리 주변에는 규모를 가늠할 수 없을 정도로 많은 정보와 데이터가 생산되는 '빅데이터(Big Data)'의 시대가 도래 하였으며, 그 중요성이 날로 커지고 있다. 교통분야에서는 전통적인 통행기반교통모형(Trip-Based Model)인 4단계 교통수요추정법의 한계가 드러나고 있으며, 활동기반교통모형(Activity-Based Model)을 이용한 수요 추정 방법이 교통계획에 새로운 패러다임으로 떠오르고 있다. 교통은 사람이나 물류의 공간상의 시간적 이동을 의미한다고 봤을 때 공간데이터와 밀접한 관련이 있다. 따라서 공간정보를 포함하고 있는 SNS를 대상으로 시계열적 공간정보를 추출하고, 이를 현재의 통행기반교통모형(Trip-Based Model) O/D와 비교 분석하여 그 특성을 파악하고 유용성을 검증하였다. 또한, 활동기반교통모형(Activity-Based Model)의 분석자료를 구축하여 교통시뮬레이터 프로그램을 이용해 시뮬레이션을 수행하고 그 결과를 고찰하였다. 연구결과 다수의 활동기반 교통모형 분석자료를 구축할 수 있었으며, 이번 연구를 통해 교통분야 빅데이터 활용의 기술적 한계를 극복할 수 있는 가능성을 확인하였고, 향후 발전방향을 모색하는 기회가 되었다.

Hadoop에서 SQL 기반 질의언어를 지원하는 공간 빅데이터 질의처리 시스템 (Spatial Big Data Query Processing System Supporting SQL-based Query Language in Hadoop)

  • 주인학
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 본 논문에서는 Hadoop에 공간 데이터를 저장하고 SQL 기반 질의언어에 의하여 공간 데이터를 질의할 수 있는 공간 빅데이터 질의처리 시스템을 제시한다. 제안한 시스템은 대용량의 공간 빅데이터를 HDFS 기반의 저장 시스템에 저장하고 공간 데이터 처리기능이 추가확장된 SQL 기반 질의언어로 질의를 할 수 있도록 지원하며 OGC 심플 피처모델 기반의 공간 데이터 표준 데이터타입과 함수를 지원한다. 본 논문에서는 질의언어 파싱, 질의언어 검증, 질의계획 생성, 저장시스템 연동 등 질의처리의 주요 기능 개발을 제시하였다. 제안한 시스템의 성능을 기존 시스템과 비교하였으며, 실험에서는 Hadoop에 저장된 공간 데이터에 대한 영역질의의 질의실행시간에 있어서 비교 시스템 대비 약 58%의 성능향상을 나타냄을 보였다.

Spatial Characteristics and Driving Forces of Cultivated Land Changes by Coupling Spatial Autocorrelation Model and Spatial-temporal Big Data

  • Hua, Wang;Yuxin, Zhu;Mengyu, Wang;Jiqiang, Niu;Xueye, Chen;Yang, Zhang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권2호
    • /
    • pp.767-785
    • /
    • 2021
  • With the rapid development of information technology, it is now possible to analyze the spatial patterns of cultivated land and its evolution by combining GIS, geostatistical analysis models and spatiotemporal big data for the dynamic monitoring and management of cultivated land resources. The spatial pattern of cultivated land and its evolutionary patterns in Luoyang City, China from 2009 to 2019 were analyzed using spatial autocorrelation and spatial autoregressive models on the basis of GIS technology. It was found that: (1) the area of cultivated land in Luoyang decreased then increased between 2009 and 2019, with an overall increase of 0.43% in 2019 compared to 2009, with cultivated land being dominant in the overall landscape of Luoyang; (2) cultivated land holdings in Luoyang are highly spatially autocorrelated, with the 'high-high'-type area being concentrated in the border area directly north and northeast of Luoyang, while the 'low-low'-type area is concentrated in the south and in the municipal area of Luoyang, and being heavily influenced by topography and urbanization. The expansion determined during the study period mainly took place in the Luoyang City, with most of it being transferred from the 'high-low'-type area; (3) elevation, slope and industrial output values from analysis of the bivariate spatial autocorrelation and spatial autoregressive models of the drivers all had significant effects on the amount of cultivated land holdings, with elevation having a positive effect, and slope and industrial output having a negative effect.

공간 빅데이터 핵심서비스 선정에 관한 연구 (A Study on the Selection of Core Services for Geo-Spatial Big Data)

  • 이명호;박준민;신동빈;안종욱
    • 한국측량학회지
    • /
    • 제33권5호
    • /
    • pp.385-396
    • /
    • 2015
  • 본 연구의 목적은 공간 빅데이터의 요구사항을 기반으로 서비스 분야 및 분석기능의 우선순위를 도출하고, 핵심 서비스를 선정하는 것이다. 이를 위하여 선행연구 검토를 통해 공간 빅데이터 서비스 수요조사 방법을 설정, 산·학·연 전문가를 대상으로 설문조사를 실시하였다. 그 결과, 공간 빅데이터 서비스 분야 및 분석 기능에 대한 요구사항을 도출하였다. 이를 기반으로 품질기능전개 기법(QFD, Quality Function Deployment)을 활용하여 1순위부터 4순위까지 (사회, 환경, 경제, 인문)총 4개 분야의 서비스와 우선순위를 도출하였다. 그 중 1. 2순위 분야와 분야 별 요구되는 분석기능을 선정하였다. 이러한 결과로, 핵심서비스모델(안)을 제시하였으며, 향후 분야별 핵심서비스가 개발될 것으로 기대한다.

빅데이터 기반 공간정보 플랫폼 설계 (Design of Spatial Data Platform on Big Data)

  • 이상원;김정희
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.800-802
    • /
    • 2016
  • 최근 국토 정보를 다루는 지적측량분야의 수익성은 악화되고 있다. 수익구조를 강화하기 위해서는 지적측량 외의 사업분야에 진출해야할 필요가 존재한다. 현재의 국토 정보를 효과적으로 다루기 위해서는 공간정보 플랫폼 설계가 필수적이다. 이러한 배경으로 본 연구에서는 빅데이터 기반 공간정보 플랫폼을 제안한다.

  • PDF