• 제목/요약/키워드: 데이터 집계

검색결과 215건 처리시간 0.027초

유사구간 클러스터링을 이용한 에너지 효율적인 데이터 전송방법 (An Energy-Effective Data Transmission Method using Clustering Similar Ranges)

  • 홍창기;김창화;이승재;김상경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.108-112
    • /
    • 2006
  • 센서 네트워크는 제한된 에너지를 가지는 작은 노드들로 구성이 된다. 이 센서 네트워크에서 가장 큰 에너지 손실을 가져오는 부분은 RF통신 부분이라 할 수 있다. 해양 센서 네트워크는 통신 매체로 음파를 사용하기 때문에 RF를 사용하는 센서 네트워크보다 통신하는데 더 많은 에너지를 소모한다. 센서 네트워크에서 통신 횟수를 줄여 에너지 효율을 높이는 방법으로 네트워크 내 집계 연산이나 필터링 등이다. 해양환경에서 데이터 값들이 유사한 층을 가지고 있다. 이 유사층에서 네트워크 내 집계 연산과 필터링의 의미를 살펴보겠다. 해양 센서 네트워크는 기존의 토플로지와 다른 구조를 가지고 있다. 새로 제안하는 구조에 어떠한 개념과 기능이 있는지를 살펴본 후 센서 노드들 임계값을 사용하여 센싱된 데이터 값이 유사한 구간을 클러스터로 묶고 묶여진 클러스터 내에서 어떻게 데이터를 전송할 방법을 제안한다.

  • PDF

웹 서비스 기반의 웹 OLAP 큐브 브라우저 (A Web Services-based Web OLAP Cube Browser)

  • 배은주;김명미;김명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1819-1822
    • /
    • 2002
  • OLAP(On-line Analytical Processing)은 데이터를 다차원적으로 집계하여 그 결과를 온라인으로 사용자에게 제공함으로써 고부가가치 창출에 사용되는 비즈니스 인텔리젼스 기술 중의 하나이다. 질의 처리 시간 제약 조건을 만족하기 위해 OLAP 시스템들은 다차원적 집계 결과를 미리 계산하여 저장해 둔다. 이 때 저장되는 데이터를 OLAP 큐브(cube)라고 하며, 데이터의 분석은 주로 큐브를 브라우징하면서 이루어진다. 본 연구에서는 웹 서비스를 통해 큐브를 브라우징할 수 있는 ‘웹 OLAP 큐브 브라우저(WOCB)'를 개발하였다. WOCB는 본 연구팀이 개발한 웹 서비스 기반의 OLAP API인 XMLMD를 사용하여 개발되었으며, 웹 서비스를 통해 전송되는 OLAP 큐브 데이터를 XML, HTML, 엑셀, 그래프 등의 다양한 형태로 검색할 수 있는 기능을 제공한다. 본 연구 결과는 이기종 플랫폼 환경에 분산되어 있는 OLAP 서버들을 통합할 때 하나의 컴포넌트로 사용될 수 있다는 장점을 갖는다.

  • PDF

센서 네트워크 환경에서 에너지 효율적인 다중 경로 데이터 라우팅 기법 (An Energy-Efficient Multiple Path Data Routing Scheme in Sensor Networks)

  • 권현호;여명호;박준호;유재수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.571-572
    • /
    • 2009
  • 결함이 발생하는 센서 네트워크 환경에서 데이터 전송의 신뢰도와 집계질의의 정확도를 보장하기 위해 각 센서 노드들에 유일한 비트 레이블을 할당하고, 이를 이용한 다중 경로 라우팅 기법이 제안되었다. 하지만 기존 다중 경로 라우팅 기법은 네트워크 토폴로지 변경 시 발생하는 노드 레이블의 재할당에 따른 높은 갱신비용이 발생한다. 본 논문에서는 데이터의 중복 집계를 방지하는 동시에 레이블 갱신 비용을 줄이는 새로운 라우팅 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존 기법과 성능을 비교평가 하였다. 그 결과, 제안하는 기법은 단위 질의당 데이터 전송량을 최대 22% 감소 시켰다.

클러스터 환경에서 GeoSensor 스트림 데이터의 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법 (A Dual Processing Load Shedding to Improve The Accuracy of Aggregate Queries on Clustering Environment of GeoSensor Data Stream)

  • 지민섭;이연;김경배;배해영
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.31-40
    • /
    • 2012
  • 인간의 삶을 돕는 유비쿼터스 환경에서 GeoSensor의 다양한 센서 데이터들을 다루는 u-GIS DSMS의 연구가 진행되고 있고 그에 따른 고가용성 서비스를 제공하기 위한 클러스터 시스템이 대두되고 있다. GeoSensor에 의해 수집되는 데이터는 폭발적으로 발생되는 특징을 가지고 있다. 이러한 특징은 서버의 제한된 메모리로 인하여 주어진 메모리를 초과하는 현상과 데이터가 손실되어 질의 정확도가 떨어지는 현상이 발생한다. 이를 해결하기 위해 부하제한 기법들이 활발히 연구되고 있다. 하지만 기존의 기법들은 단일 서버환경에서의 기법들로써 필터링을 통해 부하가 발생한 큐의 튜플들을 특별한 기준에 의해 드롭하는 방식이다. 그렇기 때문에 집계질의와 같은 튜플 삭제에 민감한 질의의 정확도를 만족시키기 어렵다. 본 논문에서는 GeoSensor 스트림 데이터의 클러스터링 환경에서 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법을 제안한다. 본 기법은 두 노드가 고가용성을 위해 이중화 되어있는 스트림 데이터의 환경을 이용한다. 같은 스트림의 데이터를 공유하고 있는 특성을 이용해 두 노드에서 하나의 스트림의 데이터를 나누어 처리한다. 이때 슬라이딩 윈도우 단위로 두 노드 간 스트림 데이터를 동기화한다. 그리고 각 노드에서 처리된 결과를 다시 병합하는 방식이다. 성능평가를 통해 기존 기법들과 달리 튜플의 손실 없이 집계질의의 질의 정확도가 향상된 결과를 얻을 수 있었다.

u-GIS 환경에서 다중 공간 집계 질의의 중복연산 비용을 감소시키기 위한 자원공유 기법 (Resource Sharing Method to Reduce Duplicate Operation Cost of Multiple Spatial Aggregates in u-GIS Environment)

  • 서민호;김상기;백성하;이연;이동욱;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.344-347
    • /
    • 2009
  • 데이터 스트림을 처리하기 위한 연속집계질의 수행 시 중복연산 및 메모리의 절약을 위하여 큐를 공유하는 자원공유기법이 연구되었다. 기존의 자원공유 기법들은 질의의 프리디킷이 일치할 때만 처리하기 때문에, 질의의 프리디킷이 차이가 나는 경우가 많은 다중공간 집계질의가 자주 요청되는 u-GIS 환경에서 효율적으로 중복영역을 처리할 수 있는 자원공유 기법이 요구된다. 본 논문에서는 공간영역을 효율적으로 그룹화하는 R-tree 의 특징을 이용하여 질의간의 중복영역을 그룹화하고 중복영역의 자원을 패인(Pane)구조를 이용하여 공유한다. 노드 수에 제한이 없고 레벨을 1로 하는 R-tree 로 유사한 위치의 질의들을 그룹화 한 후, 그 질의들의 영역이 겹쳐지는 부분을 패인을 이용해 집계 값을 공유하여 중복계산을 피하는 방법이다. 제안 기법은 공간 집계질의를 처리할 수 있고, 기존의 계층구조의 자원공유 기법을 사용할 때에 비해 자원을 적게 사용하고 질의 처리 시간을 단축시켰다. 성능평가를 통하여 제안기법이 메모리 사용량을 감소시키는 것을 보였으며, 질의 처리 속도가 증가하였다.

블록체인 기반 스마트 미터 집계 보안 시스템 구축 (Implementation of Secure System for Blockchain-based Smart Meter Aggregation)

  • 김용길;문경일
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권2호
    • /
    • pp.1-11
    • /
    • 2020
  • 스마트 그리드 환경의 중요한 기본 구성 요소라 할 수 있는 스마트 미터기는 유틸리티 기관에게 실시간 전력소비 정보를 제공한다. 그렇지만, 스마트 미터기에 의한 전력 소비 데이터 집계 과정에서 정보 보안 및 사생활 보호를 보장하는 작업은 쉽지 않다. 최근 몇 년 동안 특정 소비자의 전력 소비 정보 추출을 방지하는 정보 보안 데이터 집계 프로세스에 관해 많은 연구가 있었으나 대부분 내부 공격자로부터 안전하지 않거나 데이터 무결성을 제공하지 못하고 있다. 게다가, bilinear pairing 또는 hash-to-point 작업이 스마트 미터기에서 수행되기 때문에 계산 비용이 만족스럽지 않은 상황이다. 현재 에너지 공급 회사, 신생 기업, 기술 개발자, 금융 기관, 국가 정부 및 학계에서 큰 관심을 끌고 있는 기술로 블록체인 또는 분산 원장 기술이 활발히 연구되고 있다. 특히, 전력 소비 네트워크와 관련하여 블록체인은 상당한 이점과 혁신을 가져올 것으로 소개되고 있다. 이에 본 연구에서는 블록체인 기술을 사용한 분산된 전력 소비 정보 보호 및 보안 미터 데이터 집계 시스템을 제안하고, 손쉽게 구현할 수 있는 자바 프로그램을 나타낸다. 여기에서 스마트 미터 데이터는 계층적 Merkle 트리에 의해 집계 및 검증되며, 비잔틴 결함 허용 프로토콜에 의한 합의 방식이 지원된다.

센서네트워크에서 시그니처 기반 데이터 집계를 이용한 이동객체 트래킹 기법 (Tracking Moving Objects Using Signature-based Data Aggregation in Sensor Network)

  • 김용기;김영진;윤민;장재우
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.99-110
    • /
    • 2009
  • 현재, 센서네트워크 기술을 이용한 많은 응용들이 개발되고 있다. 이러한 많은 응용 가운데 이동객체 트래킹 기법은 중요한 이슈 중에 하나이다. 그러나 현재 이에 대한 연구는 많은 연구가 이루어지지 않은 상태이며, 존재하는 연구는 다음과 같은 2가지 문제점을 가지고 있다. 첫째, 이동객체의 트래킹을 위해 반복적으로 센서노드를 방문해야하는 오버헤드가 발생한다. 둘째, 여러 이동객체를 동시에 지원하지 못한다. 이러한 문제를 해결하기 위해 본 논문에서는 시그니처 기반의 효율적인 데이터 집계를 이용한 이동객체 트래킹 기법(SigMO-TRK)을 제안한다. 이를 위해, 첫째, 공간 필터링 방법을 이용하여 효과적으로 이동객체들의 궤적을 집계하기 위한 지역적 라우팅 계층트리를 구성한다. 둘째, 시그니처를 사용하여 효율적으로 모든 이동객체들의 궤적에 대한 트래킹을 수행한다. 또한, SigMO-TRK를 확장하여 주어진 질의에 대한 이동객체의 유사궤적을 검색한다. 마지막으로, TOSSIM 시뮬레이터를 사용하여 제안하는 이동객체 트래킹 기법이 기존의 트래킹 기법보다 에너지 효율성 측면에서 우수함을 보인다.

  • PDF

관계형 OLAP 데이터 웨어하우징 환경에서 조인과 집계함수를 포함하는 질의의 효율적인 처리 (Efficient Processin of Queries with Joints and Aggregate Functions in ROLAP Data Warehousing Environment)

  • 김진호;김윤호;김상욱
    • 전자공학회논문지CI
    • /
    • 제39권5호
    • /
    • pp.1-10
    • /
    • 2002
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인(join)이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그루핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블(fact table)만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, TPC-H 벤치마크를 기반으로 하는 다양한 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

대시메트릭 매핑 기법을 이용한 서울시 건축물별 주거인구밀도의 재현 (Representation of Population Distribution based on Residential Building Types by using the Dasymetric Mapping in Seoul)

  • 이석준;이상욱;홍보영;엄홍민;신휴석;김경민
    • Spatial Information Research
    • /
    • 제22권3호
    • /
    • pp.89-99
    • /
    • 2014
  • 도시 내 거주하는 인구의 분포는 다양한 연구에 활용될 수 있는 기초자료로서 중요한 의미를 지닌다. 그러나 이와 관련한 데이터는 정보기밀성 등을 이유로 일정한 공간단위로 집계되어 제공된다. 때문에 제공되는 것과 다른 공간단위나, 더 세밀한 공간분석을 요하는 연구와 활용이 제한된다. 이에 본 연구는 인구분포 데이터가 가지는 한계를 극복하여, 행정구역을 기준으로 한 인구데이터 제공단위보다 세밀한 인구분포를 현실적으로 재현하고자 대시매트릭 매핑 기법을 활용하였다. 대시메트릭 매핑은 주 데이터와 연관된 공간적 보조 데이터를 사용하여 주 데이터의 공간적 분포를 세밀하게 나타내는 지도화 방법이다. 본 연구에서는 서울시 집계구별 인구센서스 자료를 주 데이터로, 건축물 대장을 보조 데이터로 사용하였으며, 모든 인구가 주거용 건축물에 거주한다고 가정하여 주거용 건축물 단위에서 인구분포를 재현하였다. 주거용 건축물을 공간적으로 추출하기 위해 바이너리기법이 활용되었으며. 이후 회귀분석 기법을 활용하여 건물 용도와 층수를 고려한 가중치를 부여해 입체적인 거주인구밀도를 재현하는데 성공하였다. 이를 통해 전체 토지 및 용도구역을 기반으로 한 기존의 방법론보다 현실적용오차를 줄였다. 또한 주거가능 건축물의 주택유형과 층수가 반영된 3차원적 공간자료를 활용하여 주거용 건축물에 거주하는 인구를 추정하는 모델을 도출하여, 정확도가 높고 세밀화 된 인구분포지도를 제작하였다. 본 연구를 통해 도출된 개별 건물 단위의 인구 데이터는 일정한 공간단위로 집계를 재가공한 것으로 정보기밀성의 문제가 없는 세밀한 단위의 인구분포 정보를 제공한다. 따라서 이후 도시 내 재난재해 발생에 따른 영향 인구 파악과 같은, 지역인구를 활용한 다양한 연구에 활용될 수 있는 중요한 자료로써 의미를 지닌다.

공간 데이터 웨어하우스에서 개념 계층을 지원하는 공간 데이터 큐브 (A Spatial Data Cubes with Concept Hierarchy on Spatial Data Warehouse)

  • 옥근형;이동욱;유병섭;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.35-38
    • /
    • 2006
  • 데이터 웨어하우스에서는 OLAP(On-Line Analytical Processing) 연산을 제공하기 위해 다차원 데이터를 큐브의 형태로 관리한다. 특히, 공간 차원과 같이 데이터 큐브의 차원에 개념 계층이 존재하는 경우 사용자는 특정 계층에 대한 집계 결과를 요구한다. 기조의 데이터 큐브의 구조들은 차원의 개념 계층을 지원하지 못하거나 지원하더라도 시간이나 공간적 비용에 대해 비효율적이다. 본 논문에서는 공간 데이터 웨어하우스에서 공간 개념 계층을 이용하여 효율적인 계층별 영역 집계연산을 지원하는 공간 데이터 큐브를 제안한다. 이는 개념 계층을 DAG(Directed Acyclic Graph) 형태로 표현하여 구성된 여러 개의 차원들을 공간차원의 지역성을 기준으로 연결한 구조이다. 이러한 구조를 갖는 큐브를 이용하면, 데이터 검색 시 상위 계층부터 아래 방향으로 탐색하기 때문에 각 차원에 대한 효율적인 검색이 가능하다. 특히, 공간 개념 계층에 대한 DAG를 이용하면, 공간적 지역성에 따른 영역 검색을 지원할 수 있다. 성능평가에서 개념 계층이 적용된 질의에 대한 실험을 통해 제안 기법이 기존 기법들에 비해 저장 공간 효율성 및 질의 응답 성능이 우수함을 증명한다.

  • PDF