• 제목/요약/키워드: 공간 빅 데이터

검색결과 306건 처리시간 0.031초

대용량 IoT 데이터의 빠른 분석을 위한 OLAP 기반의 빅테이블 생성 방안 (OLAP-based Big Table Generation for Efficient Analysis of Large-sized IoT Data)

  • 이도훈;조찬영;온병원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.2-5
    • /
    • 2021
  • 최근 사물인터넷(IoT) 기술이 발전하면서 다양한 단말들이 인터넷에 연결되고 있다. 그로 인해 발생하는 IoT 데이터의 양 또한 증가하고 있는데, 이렇게 발생한 대용량 IoT 데이터를 빠르게 분석할 수 있는 인덱스 키를 제안한다. 기존 인덱스 키에는 시간과 공간의 정보만 존재하여 반복문이나, 조인 연산(Join operation)을 사용하여 인덱스 테이블과 인스턴스 테이블에 저장되어있는 데이터를 질의했다면, 제안방안의 인덱스 키에는 IoT 데이터를 임베딩(Embedding) 하여 시간이 지연되었던 반복문이나 조인횟수를 최소화하기 위하여 OLAP 기반의 빅테이블을 생성함으로써 시간을 단축하였다.

  • PDF

맵리듀스 환경에서 규칙 기반 분류화를 이용한 궤적 데이터 주행 시간 예측 알고리즘 (Travel Time Prediction Algorithm for Trajectory data by using Rule-Based Classification on MapReduce)

  • 김재원;이현조;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.798-801
    • /
    • 2014
  • 여행 정보 시스템(ATIS), 교통 관리 시스템 (ITS) 등 궤적 기반 서비스에서, 서비스 품질을 향상시키기 위해서는 주어진 궤적 질의에 대한 정확한 주행시간을 예측하는 것이 필수적이다. 이를 위한 대표적인 공간 데이터 분석 기법으로는 데이터 분류에서 높은 정확도를 보장하는 규칙 기반 분류화 기법이 존재한다. 그러나 기존 규칙 기반 분류화 기법은 단일 컴퓨터 환경만을 고려하기 때문에, 대용량 공간 데이터 처리에 적합하지 않은 문제점이 존재한다. 이를 해결하기 위해, 본 연구에서는 맵리듀스 환경에서 규칙 기반 분류화를 이용한 궤적 데이터 주행 시간 예측 알고리즘을 개발하고자 한다. 제안하는 알고리즘은 첫째, 맵리듀스를 이용하여 대용량 공간 데이터를 병렬적으로 분석함으로써, 활용도 높은 궤적 데이터 규칙을 생성한다. 이를 통해 대용량 공간 데이터 기반의 규칙 생성 시간을 감소시킨다. 둘째, 그리드 구조 기반의 지도 데이터 분할을 통해, 사용자 질의처리 시 탐색 성능을 향상시킨다. 즉, 주행 시간 예측을 위한 규칙 그룹을 탐색 시 질의를 포함하는 그리드 셀만을 탐색하기 때문에, 질의처리 성능이 향상된다. 마지막으로 맵리듀스 구조에 적합한 질의처리 알고리즘을 설계하여, 효율적인 병렬 질의처리를 지원한다. 이를 위해 맵 함수에서는 선정된 그리드 셀에 대해, 질의에 포함된 도로 구간에서의 주행 시간을 병렬적으로 측정한다. 아울러 리듀스 함수에서는 출발 시간 및 구간별 주행 시간을 바탕으로 맵 함수의 결과를 병합함으로써, 최종 결과를 생성한다. 이를 통해 공간 빅데이터 분석을 통한 주행 시간 예측 기법의 처리 시간 및 결과 정확도를 향상시킨다.

빅데이터 분석을 통한 코로나 이전과 이후 메타버스에 대한 소비자의 인식에 관한 연구 (A Study on the Consumer Perception of Metaverse Before and After COVID-19 through Big Data Analysis)

  • 박성우;박준호;류기환
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.287-294
    • /
    • 2022
  • 본 연구의 목적은 코로나 19 발병 이후 비대면 사회가 지속됨에 따라 새롭게 각광받는 기술인 "메타버스"에 대한 소비자들의 인식을 빅데이터 분석을 통하여 알아보고자 함에 있다. 본 연구는 코로나19 이전과 이후로 나누어 메타버스에 대한 소비자의 인식을 분석하기 위해 텍스트 마이닝을 활용한 빅데이터 분석을 수행하였다. 단어 정제를 통하여 상위 30개의 키워드를 추출, 이를 토대로 각 키워드간의 연결망 분석, Concor분석을 통하여 시각화를 진행하였다. 분석을 진행한 결과 비대면 사회가 지속되며 메타버스가 트렌드로 급 부상하였다는 것을 확인하였다. 이전의 메타버스는 라이프 로깅의 한부분으로써 SNS 같은 텍스트 데이터에 치중되어 있었지만 이후, 가상현실 공간에 주목하기 시작하여 많은 플랫폼을 발생시키고 산업도 확대 되었다. 본 연구의 한계점은 포털사이트의 검색빈도를 통해 데이터를 수집하였기 때문에 익명성이 보장되어있어 데이터 수집 시 인구통계학적 특성이 반영되지 않았다는 점이다.

공간 빅데이터 분석을 활용한 COVID-19 전후 제주도 관광지의 유동인구 분포 변화 (Changes in Floating Population Distribution in Jeju Island Tourist Destinations Before and After COVID-19 Using Spatial Big Data Analysis)

  • 정헌규;최용복
    • 한국지리정보학회지
    • /
    • 제27권1호
    • /
    • pp.12-28
    • /
    • 2024
  • 본 연구는 제주도의 주요 관광지별 COVID-19 전후 관광객 유동인구 변화 추세를 공간분석을 통하여 확인하고, 이를 통하여 관광객 유동인구 패턴 변화에 대한 이해를 하고자 한다. 제주도의 성산읍과 안덕면을 연구지역으로 선정하였으며, 연구기간은 COVID-19 발생전 1년과 발생후 2년으로 설정하였다. 공간분석을 위하여 이동통신 유동인구 데이터를 정제 및 가공하여 유동인구 분포와 유동인구 증감 데이터를 산출하였으며, 이를 공간데이터화 하여 주요 관광지의 위치데이터와 중첩분석을 실시하였다. 분석결과 실내 관광지와 소규모 시설은 COVID-19 직후 유동인구가 감소하였으며, 개방된 해안지역 또는 대규모 시설의 경우 유동인구 감소가 적거나 오히려 유동인구가 증가한 것으로 확인되었다. 결론적으로 관광개발에서 관광시설 특성에 따른 유동인구의 변화를 파악할 필요가 있으며, 관광지 개발시 팬데믹과 같은 위험상황에 대응할 수 있는 관광시설 및 전략의 개발이 필요하다.

클라우드 환경에서 데이터 중복제거를 활용한 효율적인 데이터 동기화 알고리즘 설계 (Using Data Deduplication In A Cloud Environment, Efficient Data Synchronization Algorithm Design)

  • 임광수;박석천;김용희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.626-628
    • /
    • 2015
  • 빅 데이터의 시대가 도래 하면서 데이터의 양이 기하급수적으로 증가 하고 있으며, 이에 따라 데이터를 효율적으로 처리하는 기술의 중요성이 부각 되고 있다. 데이터를 효율적으로 처리하기 위한 기술 중 하나인, 데이터 중복제거 기술은 저장 시스템 공간을 효율적으로 사용 할 수 있게 할 뿐만 아니라, 네트워크 환경에서 전송되는 데이터의 양도 획기적으로 줄여 주어 통신비용을 절감하게 한다. 기존의 데이터 중복제거 기술과 데이터 동기화 기법을 분석하고, 이를 바탕으로 클라우드 환경에서 데이터 중복제거를 통한 효율적인 데이터 동기화 기법을 제안하고자 한다.

3차원 공간 데이터를 활용한 지하시설물의 효율적인 3D 모델링 자동화 기법 (Efficient 3D Modeling Automation Technique for Underground Facilities Using 3D Spatial Data)

  • 이종서
    • 한국정보통신학회논문지
    • /
    • 제25권11호
    • /
    • pp.1670-1675
    • /
    • 2021
  • 건설산업 영역의 스마트 건설 기술 도입이 빠르게 진행되고 있다. BIM(Building Information Modeling), 드론, 인공지능, 빅데이터, 사물인터넷 기술 등 스마트 건설 기술을 활용하여 시공 현장의 재해율을 낮추고 시공 기간을 단축시키는 효과를 가져온다. 건설 시공 현장 관리를 위한 디지털 트윈 플랫폼을 도입하기 위해서는 실제 시공 현장을 가상의 공간과 동일하게 구축하여 실시간으로 현장 관리를 가능하게 한다. 디지털 트윈 가상공간 구축방법은 시공 전주기 데이터를 수집 및 가공을 하고 3D 모델 파일을 이용하여 시각화 한다. 본 논문에서는 디지털 트윈 공간을 구성하는 3D 모델링을 3차원 공간 데이터를 기반으로 자동생성하여 효율적인 디지털 트윈 공간을 구축하는 모델링 자동화 기법을 소개한다.

비정형 빅데이터의 실시간 복합 이벤트 탐지를 위한 기법 (The Method for Real-time Complex Event Detection of Unstructured Big data)

  • 이준희;백성하;이순조;배해영
    • Spatial Information Research
    • /
    • 제20권5호
    • /
    • pp.99-109
    • /
    • 2012
  • 최근 소셜 미디어의 발달과 스마트폰의 확산으로 SNS(Social Network Service)가 활성화가 되면서 데이터양이 폭발적으로 증가하였다. 이에 맞춰 빅데이터 개념이 새롭게 대두되었으며, 빅데이터를 활용하기 위한 많은 방안이 연구되고 있다. 여러 기업이 보유한 빅데이터의 가치창출을 극대화하기 위해 기존 데이터와의 융합이 필요하며, 물리적, 논리적 저장구조가 다른 이기종 데이터 소스를 통합하고 관리하기 위한 시스템이 필요하다. 빅데이터를 처리하기 위한 시스템인 맵리듀스는 분산처리를 활용하여 빠른게 데이터를 처리한다는 이점이 있으나 모든 키워드에 대해 시스템을 구축하여 저장 및 검색 등의 과정을 거치므로 실시간 처리에 어려움이 따른다. 또한, 이기종 데이터를 처리하는 구조가 없어 복합 이벤트를 처리하는데 추가 비용이 발생할 수 있다. 이를 해결하는 방안으로 기존에 연구된 복합 이벤트 처리 시스템을 활용하여 실시간 복합 이벤트 탐지를 위한 기법을 제안하고자 한다. 복합 이벤트 처리 시스템은 서로 다른 이기종 데이터 소스로부터 각각의 데이터들을 통합하고 이벤트들의 조합이 가능하며 스트림 데이터를 즉시 처리할 수 있어 실시간 처리에 유용하다. 그러나 SNS, 인터넷 기사 등 텍스트 기반의 비정형 데이터를 텍스트형으로 관리하고 있어 빅데이터에 대한 질의가 요청될 때마다 문자열 비교를 해야 하므로 성능저하가 발생할 여지가 있다. 따라서 복합 이벤트 처리 시스템에서 비정형 데이터를 관리하고 질의처리가 가능하도록 문자열의 논리적 스키마를 부여하고 데이터 통합 기능을 제안한다. 그리고 키워드 셋을 이용한 필터링 기능으로 문자열의 키워드를 정수형으로 변환함으로써 반복적인 비교 연산을 줄인다. 또한, 복합 이벤트 처리 시스템을 활용하면 인 메모리(In-memory)에서 실시간 스트림 데이터를 처리함으로써 디스크에 저장하고 불러들이는 시간을 줄여 성능 향상을 가져온다.

도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발 (Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis)

  • 정인택;정규수
    • 한국산학기술학회논문지
    • /
    • 제19권3호
    • /
    • pp.669-678
    • /
    • 2018
  • 본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

공간 빅데이터와 범죄통계자료를 이용한 범죄취약지 추출 (Extraction of Crime Vulnerable Areas Using Crime Statistics and Spatial Big Data)

  • 박소랑;박재국
    • 융합정보논문지
    • /
    • 제8권1호
    • /
    • pp.161-171
    • /
    • 2018
  • 범죄는 특정한 장소나 주변 환경에 따라서 범죄의 유형과 빈도가 매우 밀접한 관계를 갖으며 발생된다. 특히 공간적으로 범죄는 도심지역, 유흥가, 노상 등에서 많이 발생된다. 이러한 이유로 범죄와 발생장소와의 관계를 분석하는 것은 범죄를 예측하는데 효과적이며 이를 위해서 다양한 공간분석 기법이 적용되고 있다. 이에 본 논문에서는 범죄 예측에 활용코자 GIS 공간분석 기법을 이용하여 범죄취약지를 추출하였다. 범죄취약지는 범죄통계자료를 이용하여 장소와 용도지역별로 다르게 발생되는 범죄를 GIS의 핫스팟 분석(Hot Spot Analysis)과 역거리 가중법(IDW)을 이용하여 추출하였다. 또한 셉테드(CPTED)의 감시요소인 CCTV, 가로등, 지구대, 파출소에 대해서 각각 감시범위와 가중치를 산정하고 범죄취약지도와 중첩하여 4개 등급(안전, 주의, 경고, 위험)으로 표현된 셉테드 기반의 범죄취약지도를 제작하였다.

소비전력 최소화를 위한 빅데이터 환경에서의 공간기반 에너지 관리 시스템에 관한 연구 (A Study for Space-based Energy Management System to Minimizing Power Consumption in the Big Data Environments)

  • 이용수;허준;최용훈
    • 한국인터넷방송통신학회논문지
    • /
    • 제13권6호
    • /
    • pp.229-235
    • /
    • 2013
  • 본 논문은 각종 센서와 관리자 등을 통해 온도와 조도를 측정하여 전력량을 모니터링하며 제어하고 있는 공장용 에너지관리시스템(FEMS, Factory Energy Management System), 빌딩용 에너지관리시스템(BEMS, Building Energy Management System), 주택용 에너지관리시스템(HEMS, Home Energy Management System)등으로 크게 나누어지는 기존의 에너지관리시스템(EMS : Energy Management System)에서 사용하고 있는 각종 센서 정보들을 포함한 수집 가능한 빅 데이터를 활용하여 본 논문에서 제안하는 공간 기반 에너지관리시스템(SEMS, Space-based Energy Management System)의 추론엔진을 통해 일정한 크기와 유사한 특성을 가진 단위 공간을 정의하고 에너지를 효율적으로 관리하기 위한 공간의 크기나 특성에 따라서 SEMS의 추론엔진의 Self-Learning을 통해 추론엔진 자신이 학습을 통해 점차 스마트하게 진화하면서, 사용되는 전력량을 절감하는 방안을 제시하고자 한다.