• 제목/요약/키워드: 지역 데이터 처리

검색결과 834건 처리시간 0.028초

지역별 미세먼지 발생 데이터 클러스터링 메소드 설계 및 구현 (Designing and Implementing Clustering Method of Particulate Matter Data by Region)

  • 문주환;윤홍식
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2016년 정기학술대회
    • /
    • pp.424-425
    • /
    • 2016
  • 본 연구는 우리나라의 지역별 미세먼지 발생 데이터에 대한 수집과 그에 대한 분석, 처리 방법에 대한 연구로 수집된 미세먼지 데이터에 대한 클러스터링 메소드를 설계하고 구현하는 것을 목표로한다. 본 연구에서는 기상청 산하의 30여개의 관측소에서 측정된 미세먼지 데이터를 기반으로 클러스터링 작업에 대한 전처리를 실시한다. 이러한 전 처리에는 각 관측소의 미세먼지 데이터의 시계열 그래프의 유사도를 비교하기 위하여 Dynamic Time Warping알고리즘을 활용하였으며 이를 통해 산출되는 DTW값을 통하여 유사도가 높은 미세먼지 측정 지역별 클러스터링을 수행해 클러스터링 군별 미세먼지 발생 원인에 대한 분석과 대비, 피해저감 방안등의 대책 마련을 위한 자료로서 활용됨을 목적으로 한다.

  • PDF

지역 군집화를 위한 CNN-GRU 기반 다변량 시계열 데이터의 특성 추출 (Feature Extraction of CNN-GRU based Multivariate Time Series Data for Regional Clustering)

  • 김진아;이지훈;최동욱;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.950-951
    • /
    • 2019
  • 시계열 데이터에 대한 군집화 관련 연구는 주로 통계 분석을 통해 이뤄지기 때문에 데이터가 갖는 특성을 완전히 반영하는 데 한계를 갖는다. 본 논문에서는 다변량 데이터에서의 군집화를 위하여 변수별로 시간에 따른 변화와 특징을 추출하기 위한 CNN-GRU(Convolutional Neural Network - Gated Recurrent Unit) 기반의 신경망 모델을 제안한다. CNN을 활용하여 변수별로 갖는 특성을 파악하고자 하였으며, GRU을 통해 전체 시간에 따른 소비 추세를 도출하고자 하였다. 지역별로 업종에 따라 사용된 2년 치의 실제 카드 데이터를 활용하였으며, 유사한 소비 추세를 보이는 지역을 군집화하는데 이를 적용하였다. 결과적으로, 다변량 시계열 데이터를 통해 전체적인 흐름을 반영하여 패턴화했다는 점에서 의의를 갖는다.

에너지 빅데이터를 수용하는 빅데이터 시스템 개발 (Development of Big Data System for Energy Big Data)

  • 송민구
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권1호
    • /
    • pp.24-32
    • /
    • 2018
  • 본 논문은 산업 현장과 민간에서 실시간으로 수집되는 에너지 빅데이터를 수용하는 빅데이터 시스템을 제안한다. 구축된 빅데이터 시스템은 하둡(Hadoop) 기반이며, 빅데이터 처리에 있어 인메모리(in-memory) 분산처리 컴퓨팅을 지원하는 스파크(Spark) 프레임워크가 동시에 적용되었다. 본문에서는 지역난방에 사용되는 열에너지 형태의 빅데이터에 초점을 두어, 입출력되는 에너지의 특성을 고려하며 실시간 수집되는 빅데이터를 적재, 관리, 처리 및 분석하는 방법을 다룬다. 이 때, 외부에서 유입되는 빅데이터는 시스템 내부에 설계된 관계형 데이터베이스 스키마에 따라 저장하고 관리되며, 저장된 빅데이터는 설정된 목적에 따라 처리하고 분석된다. 제안된 빅데이터 시스템과 더불어 지역난방과 관련한 복수의 실증현장으로부터 실시간으로 수집되는 열에너지 빅데이터에 대해 시스템이 활용된 사례를 기술한다.

증강현실 그래프를 이용한 지역별 외식 성향 시각화 (Visualization of Local Eating-Out Trend Using AR Graph)

  • 김상준;고유진;박구만;최유주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.700-701
    • /
    • 2019
  • 본 논문에서는 지역 데이터의 시각화에 적합한 증강현실 그래프를 제안하고, 이를 카드 사용 빅데이터에 적용하여 지역별 외식 성향 시각화 도구로 활용한 사례를 제시한다. 증강현실 그래프는 사용자가 위치한 해당 지역의 GPS 정보를 기반으로 빅데이터에서 분석 대상 지역을 선별하고, 지역별 특수 데이터를 찾아내어 해당 지역에 대한 빅데이타 분석 내용을 카메라 영상과 함께 시각화한 그래프이다. 증강현실 그래프를 적용한 외식 성향 시각화 사례에서는 카드 사용 가맹점 소재지 정보, 가맹점 업종, 카드사용시점(월), 카드 사용자 성별구분, 연령대, 월 카드사용금액 및 월 사용 건수 정보등을 수집하였다. 그리고, 분석 대상 지역에 대한 연령대별 외식 선호도 내용을 카드사용건수가 많은 업종별 순위 그래프로 시각화 하여 사용자의 위치에서 확인할 수 있도록 하였다. 제안 증강현실 그래프는 지역별 상권 현황, 아파트 시세 등에 효과적으로 적용될 수 있을 것으로 기대된다.

등고선을 이용한 지형 재구성 (Terrain Reconstruction from Contour Lines)

  • 김성수;이성호;이종훈;양영규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.641-644
    • /
    • 2001
  • 기존의 종이지도를 수치지도 처리과정으로 얻어진 등고선(contour line) 데이터는 원격탐사(Remote Sensing)와 지리정보시스템(GIS)의 응용분야에서 주로 사용되어지는 데이터이다. 이러한 등고선은 해당 지역의 DTM(Digital Terrain Model) 데이터 생성을 위해 보간(interpolation)하여 생성하는 데 연구가 집중되어 왔다. 본 논문에서는 DEM(Digital Elevation Model)으로부터 얻어진 등고선 데이터를 이용하여 사용자에게 3 차원으로 가시화 해 줄 수 있는 기법을 소개한다. 등고선 추출을 위한 방법으로는 기존의 소개되어진 Marching Square 알고리즘을 적용하였고, 지역적인 최고점(local minimum)과 최소점(maximum)을 구하기 위해 등고선을 열린 등고선(open contour)과 닫힌 등고선(closed contour)으로 분류하게 된다. 지역적 최고, 최소점을 찾기 위한 탐색공간을 줄이기 위해 닫힌 등고선만을 대상으로 등고선 트리를 생성하였으며, 생성된 트리의 리프노드에 대해서 최고, 최소점에 대한 근사(approximation)를 수행하게 된다. 이렇게 구해진 근사된 정점들과 등고선 데이터를 입력으로 하여 제한된 딜로니 삼각분할(Constrained Delaunay Triangulation)을 수행함으로써, 3 차원 지형을 재구성할 수 있다. 실험에서 USGS 로부터 획득한 지형 데이터를 이용하여 속도 측정을 하였다. 결과적으로 저장공간 측면에서 적은 량의 데이터를 가지면서 등고선을 표현할 수 있는 3 차원 지형을 렌더링 할 수 있음을 알 수 있다.

  • PDF

공간/비공간 데이터베이스 분산관리를 위한 Replicator 설계 및 구현 (The Design and Implementation of Replicator for Distributed Management of Spatial/non_spatial Database)

  • 김봉석;최현영;민성기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.1508-1511
    • /
    • 2007
  • 부동산문제등과 관련하여 지적(地籍) 및 용도지역지구 자료의 중요성이 부각되면서, 복잡한 법적 절차를 갖춘 시스템이 구축되고 있다. 그 중 한국토지정보시스템(KLIS)은 각 지자체별 지적 및 도시계획 관련 데이터 구축, 업무시스템 및 건축 인허가등의 민원발급, 부동산 관련 다양한 통계 등을 제공하고 있다. 그러나, 이 시스템이 설치되어 있는 시군구 중 일반구(區)를 포함한 시(市)의 경우는 법적인 편집 권한이 다른 기관에서 공통 데이터베이스의 편집에 따른 데이터 무결성 문제와 네트워크 장애에 따른 업무 지연 등의 업무 연속성 문제를 야기할 수 있다. 본 논문에서는 일반구가 포함된 시(市)에서의 지적도편집, 용도지역지구도 편집 등 이종의 기관에서 이루어지는 분산 환경 데이터베이스편집에 따른 동기화의 문제점을 제기하고, 이러한 문제점을 보완할 수 있도록 트랜잭션 단위로 공간 및 속성 데이터의 복제를 담당하는 Replicator를 이용한 분산 데이터베이스 동기화 아키텍처를 제안하고, 동기화부분과 표준화부분, 트랜잭션관리부분으로 구성되어 있는 Replicator의 구성요소를 설계 및 구현하고 Replicator를 이용한 분산 데이터베이스의 변경부분을 미반영 데이터베이스에 반영하는 처리절차와 처리 후 결과를 제시하여, 지적 및 용도지역관련 데이터를 두 개 이상의 기관에서 동시에 편집한 내용이 실시간으로 두 기관의 분산 데이터베이스에 변경 분이 반영되어 모두 동기화 되어 있는 것을 공간데이터 편집기로 확인해 볼 수 있었다.

  • PDF

재활 운동 빅데이터 플랫폼을 위한 재활 운동 기기 데이터 연동 인터페이스의 설계 (A Design of Rehabilitation exercise device data interworking interface for Rehabilitation exercise Big data platform)

  • 최원혁;강일권;김재철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.165-167
    • /
    • 2022
  • 본 논문은 병원과 지역사회에서 제공하는 재활 서비스를 연계하여 재활 단계별 개인 맞춤 재활서비스를 제공하기 위한 재활운동 빅데이터 플랫폼과 재활 서비스를 지원하는 재활 운동 기기간의 데이터 수집을 위한 인터페이스의 설계에 관한 것이다. 재활 운동 빅데이터 플랫폼은 병원과 지역사회에서 생성되는 재활 관련 데이터를 수집하고 이를 가공, 유통하기 위한 데이터 서비스와 수집된 데이터를 예측, 분석하여 개인 맞춤형의 단계별 재활을 지원하기 위한 다양한 서비스를 제공한다. 본 논문에서는 재활 운동을 보조하는 재활 운동 기기에서 생성되는 다양한 유형의 데이터를 재활 운동 빅데이터 플랫폼으로 전송하고, 수집된 데이터를 플랫폼 내외부에서 활용 가능하도록 제공할 수 있는 인터페이스에 대하여 설명한다.

데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법 (A Distributed SPARQL Query Processing Scheme Considering Data Locality and Query Execution Path)

  • 김병훈;김대윤;고건식;노연우;임종태;복경수;이병엽;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.275-283
    • /
    • 2017
  • 시맨틱 웹 서비스의 증가로 인해 RDF 데이터가 대용량화되고 있다. 대용량 RDF 데이터를 효율적으로 활용하기 위하여 다양한 분산 저장 및 질의 처리기법들이 연구되고 있다. 본 논문에서는 대용량 RDF 데이터의 데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법을 제안한다. 제안하는 기법은 질의 처리 시의 조인 비용 및 통신비용을 감소시키기 위해 분산 저장된 RDF 데이터의 지역성 및 질의 수행 경로를 고려한다. 분산 환경에서 SPARQL 질의를 처리할 때 데이터 지역성을 고려하여 WHERE절을 기준으로 해당 질의를 여러 개의 서브 질의로 분할한다. 제안하는 기법은 분할된 서브 질의들을 인덱스를 통해 연관 노드들끼리 그룹화 하여 처리함으로써 데이터 통신비용을 감소시킬 수 있다. 또한 그룹 화된 서브 질의 처리 시 불필요한 조인 및 대기 시간을 감소시키기 위해 데이터 파싱 비용, 노드별 데이터 통신량 및 대기 시간 등을 고려한 효율적인 질의 수행 경로를 생성한다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법보다 우수함을 보인다.

지역 질의 생성기반 전역 XQuery 질의 처리 기법 (A Global XQuery Query Processing based on Local XQuery Query Generation)

  • 박종현;박원익;김영국;강지훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권11호
    • /
    • pp.11-20
    • /
    • 2010
  • XML 뷰는 분산 환경에서 이종 데이터들을 XML 데이터처럼 바라보며 XML로 통합하기 위한 방법으로 제안되었으며, 전역 XML 뷰는 분산되어 있는 다양한 형태의 이종 데이터들을 단일의 XML 데이터처럼 바라보며 질의할 수 있도록한다. 이때사용자가 사용하는표준질의어는 XQuery이며, 전역XML 뷰를대상으로 작성된 질의가 바로 전역XQuery 질의이다. 그러므로이를효과적으로 처리하기위한방법은분산 환경에서이종데이터들사이의 통합 및 검색을 위한 연구의 주제이다. 기존 SQL 질의 처리에서 알 수 있는 것처럼, 분산 질의 처리를 위한 방법들 가운데 가장 범용적으로 사용되는 방법 중 하나는 전역 질의를 지역 질의로 분할하여 분할된 지역 질의들을 처리하고, 그 결과를 취하여 전역 질의의 결과로 재구성하는 것이다. 그러나 XQuery는 FOR 절과 같은 SQL 질의어에서는 찾아볼 수 없는 복잡한 구조적 특성을 갖는다. 그러므로 전역 XQuery 질의의 처리를 위해 지역 질의를 생성하기 위해서는 고려해야 할 사항들이 존재한다. 본 논문에서는 전역 SQL 질의 처리를 위한 지역 질의 생성 기법을 전역 XQuery 질의의 처리를 위해 적용할 때 발생하는 문제점을 정의하고 이를 해결하기 위한 방법을 제안한다. 또한, 제안한 방법을 기반으로 하는 전역 XQuery 질의 처리기를 구현하여 그 효율성을 보인다.

센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계 (Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment)

  • 박준용;이광원;황윤철;오염덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF