• 제목/요약/키워드: 데이터 집계

검색결과 215건 처리시간 0.021초

센서 네트워크에서 집계 연산을 위한 점진적 뷰 관리 (Incremental view maintenance for aggregation operator in sensor networks)

  • 최주리;이민수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.172-174
    • /
    • 2005
  • 센서 네트워크에서 집계(aggregation) 연산은 센서 네트워크를 데이터베이스로 구현하는데 있어서 중요하게 제공되어져야 하는 서비스이다 현재 연구되고 있는 것으로 집계 연산을 센서 네트워크의 특징상으로 분류하여 근접한 결과값을 받는 것을 허용하고 집계 값을 자식노드가 부모노드로 보내는 기간을 부모노드가 자식노드에게 나누어 할당하여 센서 네트워크상에 적절히 구현하는 것에 대해 알아보고 집계 그루핑을 하는 과정에서 데이터웨어하우징 연구의 최신기술인 점진적인 덜 관리 기법을 통해 센서노드들의 평균값에 대해 새로운 값이 추가될 때 다시 모든 값을 계산하기 않고 변경된 값만 적용하여 계산함으로 좀더 에너지 효율적으로 확장하는 것을 제안하였다.

  • PDF

Ad-hoc 네트워크상에 Hotspot Zone을 이용한 효율적인 데이터 집계 설계 (A Design of the efficient data aggregation using Hotspot Zone on Ad-hoc Networks)

  • 김주용;안희학;이병관
    • 한국산업정보학회논문지
    • /
    • 제17권7호
    • /
    • pp.17-24
    • /
    • 2012
  • 애드혹 네트워크에서는 제한된 자원과 전력을 가지고 있기 때문에 에너지 효율적인 데이터 집계 연산이 필요하다. 현재 데이터 집계 연산에 대한 연구는 활발히 진행되고 있지만 기존의 연구에서는 노드의 밀집도를 고려하지 못하였다. 노드가 특정 영역에 밀집 되어 배치된다면 그 영역에 배치된 센서 노드들이 센싱 하는 정보는 그 연관성이 아주 강하다고 판단할 수 있다. 이는 중복된 데이터를 수집하는 효과와 같다고 볼 수 있으며, 이 정보를 전송하는데 소모되는 에너지는 낭비된다고 볼 수 있다. 제안하는 기법에서는 AMC알고리즘을 이용한 다중홉 클러스터링 환경에서 노드들이 밀집되어 있는 지역을 핫스팟 영역으로 지정하여 해당 지역에서 대표노드를 선정한다. 만약 데이터집계의뢰 메시지를 전송받으면, 주변의 노드를 대표하여 대표노드가 해당 환경 정보를 관리자에게 제공하여 중복되는 센싱 정보를 줄여 네트워크 수명을 증가시킬수 있도록 설계하였다.

센서 네트워크에서 계층적 필터링을 이용한 에너지 효율적인 데이터 집계연산 (An Energy-Efficient Data Aggregation using Hierarchical Filtering in Sensor Network)

  • 김진수;박찬흠;김종근;강병욱
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.73-82
    • /
    • 2007
  • 본 논문에서는 연속질의에 대한 집계연산을 수행할 때, 센서 네트워크의 수명을 길게 하기 위해 각 센서 및 클러스터 헤드에서의 데이터 전송량을 줄이기 위한 방법을 제안한다. 센서의 에너지 소모를 줄이는 가장 중요한 요소는 전승되는 메시지 수를 줄이는 것이다. 본 논문에서 제안하는 방법은 기본적으로 클러스터링, 네트워크 내 집계 및 계층적 필터링을 결합한 것이다. 계층적 필터링이란 센서 네트워크를 두 계층으로 나누어 필터링하는 것이다. 1계층 필터링은 클러스터 멤버에서 클러스터 헤드로 데이터를 전송시 필터링을 수행하고, 2계층 필터링은 클러스터 헤드에서 기지국으로 데이터를 전송시 필터링을 수행한다. 이 방법은 기존의 데이터 필터링 방법보다 더 효율적이고 효과적인 방법이다. 다양한 실험을 통해서, 제안한 방법이 다른 방법들보다 더 많은 메시지를 줄이고. 네트워크의 생존기간이 더 증가하였음을 보여준다.

  • PDF

다차원 온라인 분석처리에서 분리-포함 분할 다차원 파일 구조를 사용한 원-패스 집계 알고리즘 (A One-Pass Aggregation Algorithm using the Disjoint-Inclusive Partition Multidimensional Files in Multidimensional OLAP)

  • 이영구;문양세;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권2호
    • /
    • pp.153-167
    • /
    • 2001
  • 다차원 온라인 분석처리(Multidimensional On-Line Analytical Processing: MOLAP)에서 집계 연산은 중요한 기본 연산이다. 기존의 MOLAP 집계 연산은 다차원 배열 구조를 기반으로 한 파일 구조에 대해서 연구되어 왔다. 이러한 파일 구조는 편중된 분포를 갖는 데이터에서는 잘 동작하지 못한다는 단점이 있다. 본 논문에서는 편중된 분포에도 잘 동작하는 다차원 파일구조를 사용한 집계 알고리즘을 제안한다. 먼저, 새로운 분리-포함 분할이라는 개념을 사용한 집계 연산 처리 모델을 제안한다. 집계 연산 처리에서 분리-포함 분할 개념을 사용하면 페이지들의 액세스 순서를 미리 알아 낼 수 있다는 특징을 가진다. 그리고, 제안한 모델에 기반하여 원-패스 버퍼 크기(one-pass buffer size)를 사용하여 집계 연산을 처리하는 원-패스 집계 알고리즘을 제안한다. 원-패스 버퍼 크기란 페이지 당 한 번의 디스크 액세스를 보장하기 위해 필요한 최소 버퍼 크기이다. 또한, 제안한 집계 연산 처리 모델 하에서 제안된 알고리즘이 최소의 원-패스 버퍼 크기를 갖는다는 것을 증명한다. 마지막으로, 많은 실험을 통하여 이론적으로 구한 원-패스 버퍼 크기가 실제 환경에서 정확히 동작함을 실험적으로 확인하였다. 리 알고리즘은 미리 알려진 페이지 액세스 순서를 이용하는 버퍼 교체 정책을 사용함으로써 최적의 원-패스 버퍼 크기를 달성한다. 제안하는 알고리즘을 여 러 집계 질의가 동시에 요청되는 다사용자 환경에서 특히 유용하다. 이는 이 알고리즘이 정규화 된 디스크 액세스 횟수를 1.0으로 유지하기 위해 반드시 필요한 크기의 버퍼만을 사용하기 때문이다.

  • PDF

실체 뷰와 차원 계층을 이용한 OLAP 질의 재작성 방법 (A Method Rewriting OLAP Queries using Materialized Views and Dimension Hierarchies)

  • 박창섭;김명호;이윤준
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권2호
    • /
    • pp.168-180
    • /
    • 2001
  • 데이터 웨어하우스 시스템에 대한 OLAP 질의들은 대량의 데이터를 대상으로 복잡한 분석 및 집계 연산을 수행한다. 이러한 고비용의 OLAP 질의들을 효율적으로 실행하는 것은 시 스템의 성능 향상을 위해 매우 중요하다. 이를 위해 본 논문에서는 데이터 웨어하우스 시스 템에 존재하는 여러 종류의 실체 집계 뷰들을 이용하여 주어진 OLAP 질의를 재작성하는 방법을 제안한다. 본 논문에서는 차원 계층들로부터 유도되는 그룹 격자를 이용하여 OLAP 질의와 실체 뷰의 선택 단위, 선택 영역, 집계 단위등을 정의하고, 이들로부터 OLAP 질의 와 식체 뷰에 대한 정규을 정의한다. 그리고 정규형으로 표현된 질의와 실체 뷰 사이의 관 계를 이용하여 실체 뷰가 질의의 재작성에 이용 가능하기 위한 조건을 제시한다. 제안하는 질의 재작성 방법은 데이터 웨어하우스의 메타 정보들과 OLAP 질의 및 실체 뷰들의 특성 을 고려하여 다양한 실체 뷰들을 함께 이용할 수 있으므로, 시스템에 존재하는 실체 뷰들의 효용성을 높이고 주어진 질의를 효율적으로 처리할 수 있다.

  • PDF

재난리스크 평가를 위한 리스크 요인의 공간정보화 방안 (Methodology of Constructing spatial information for Risk Assessment)

  • 이재준;윤홍식;김태윤
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2016년 정기학술대회
    • /
    • pp.400-401
    • /
    • 2016
  • 본 논문은 재난 리스크 평가를 위한 집계구 통계자료의 활용방안에 대한 연구를 수행하였다. 인구통계자료, 주택통계자료, 전국사업체 자료는 재난취약성분석과 리스크 평가를 위한 필수 요소이다. 재난의 분석과 평가를 위하여 GIS에 구축하는 자료로는 인구의 총인구, 평균나이, 인구밀도, 노령화지수, 교육수준 등이 있다. 이 자료들을 공간정보로 구축함으로써 기존의 넓은 수준의 데이터를 활용하는 것 보다 정밀한 분석이 가능하다고 판단된다. 또한, 인구와 관련된 데이터뿐만 아니라 집계구 통계 자료는 주택의 건축년도와, 주택의 유형(다세대, 아파트, 연립, 영업용건물주택의 정보를 가지고 있다. 이는 건물의 경제적 평가를 위한 자료로 활용될 것이다. 또한 선정된 지역의 사업체를 분류하여 각 폴리곤의 주요 사업체를 조사하여 공간정보를 구축함. 구축된 공간정보는 리스크 평가를 위한 자료로서 활용될 수 있다 판단된다.

  • PDF

효율적인 정보 추출을 위한 자료 집계 및 분석 시스템의 설계 및 구현 방안 (System Design for Effective Data Collection and Analysis)

  • 조광현;박희창
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2006년도 PROCEEDINGS OF JOINT CONFERENCEOF KDISS AND KDAS
    • /
    • pp.307-315
    • /
    • 2006
  • 현대 사회에 있어서 신속하고 정확한 정보는 곧 수익증대의 중요한 요소로 자리 잡고 있으며 사회발전이 가속화 될수록 더욱 다양한 정보가 산출되고 있다. 그로인하여 광범위하게 분산되어 있는 정보의 추출은 매우 중요한 부분으로 부각되고 있다. 하지만 기존의 자료 집계 방법은 분산되어 있는 자료를 수집하기 위한 시간이 많이 소요되고 수집된 자료의 확인과정 및 통합 과정 또한 많은 시간이 소요되어 현대의 수많은 정보를 효율적으로 수용하지 못하고 있다. 이에 본 논문에서는 광범위하게 분산되어 있는 자료들에 대하여 효율적인 정보 추출을 제공할 수 있는 자료 집계 및 분석 시스템의 설계 및 구현 방안에 대하여 연구하고자 한다.

  • PDF

센서 네트워크에서의 동적 트리기반의 에너지 효율적인 라우팅 알고리즘 (Dynamic Tree-Based Energy-Efficient Routing Algorithm in Sensor Networks)

  • 박형순;김시관
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (D)
    • /
    • pp.267-272
    • /
    • 2007
  • 센서 네트워크는 일반적으로 지정된 지역 내에서 흩어져 있는 센서 노드들에 의해 주변 현상을 감지하여 싱크 노드로 전송한다. 각 센서 노드들은 요청된 질의나 사전에 지정된 질의의 결과를 주기적으로 싱크 노드로 전송한다. 하지만, 센서 노드들은 제한된 배터리 용량을 가지기 때문에 영구적인 수명을 보장할 수 없다. 따라서 중복된 데이터는 한번만 전송하거나, 대표 센서 노드가 값을 모아서 전송함으로서 네트워크 수명을 최대로 보장하는 것이 중요하다. 본 논문에서는 동적으로 데이터 전송 노드를 선정하는 라우팅 트리인 동적 트리기반의 에너지 효율적인 라우팅 알고리즘(EDRT)을 제안한다. 기존에 제안된 질의 기반 라우팅 트리(QSRT)는 질의의 결과들이 싱크 노드로 전송할 때, 데이터를 부분 집계 및 패킷 합병을 유도하여 데이터 전송 횟수를 줄였다. 본 논문에서는 각 센서 노드가 부모 노드뿐만 아니라 형제 노드 간에도 데이터를 부분 집계 및 패킷 합병을 할 수 있도록 하여 데이터 전송 횟수를 줄이고, 센서 노드의 에너지 소모량도 감소시킨다. 수행된 실험의 결과는 제안된 EDRT가 QSRT보다 향상된 성능을 보여 준다.

  • PDF

Storm 기반 실시간 SNS 데이터의 동적 태그 클라우드 (Storm-based Dynamic Tag Cloud of Real-time SNS Data)

  • 손시운;김다솔;이수정;길명선;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.47-49
    • /
    • 2016
  • 최근 SNS(social networking service)의 사용이 급증함에 따라 SNS에서 발생하는 데이터의 분석이 활발해졌다. 하지만 SNS 데이터는 빠르게 생성되며 정형화 되어 있지 않은 빅데이터이기 때문에 그대로 수집할 경우 분석하기가 어렵다. 본 논문은 분산 스트리밍 처리 기술인 Storm을 사용하여 트위터에서 실시간으로 발생하는 데이터를 수집 및 집계하고, 태그 클라우드를 사용하여 집계 결과를 동적으로 시각화하고자 한다. 또한 사용자가 쉽게 키워드를 입력하고 시각화 결과를 실시간으로 확인할 수 있도록 웹 인터페이스를 구현한다. 그리고 결과를 통해 태그 클라우드의 결과가 시간에 따라 바르게 시각화되었는지 확인한다. 본 논문은 빠르게 발생하는 SNS 데이터로부터 각 키워드와 관련된 정보를 시각화하여 각 사용자에게 제공할 수 있는 우수한 결과가 사료된다.

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF