• Title/Summary/Keyword: 데이터 필터 기법

Search Result 600, Processing Time 0.033 seconds

Priority Filtering-based Skyline Query Processing in Wireless Sensor Networks (무선 센서 네트워크에서 우선순위 필터링을 이용한 스카이라인 질의 처리 기법)

  • Dong-Ook Seong;Myung-Ho Yeo;Jun-Ho Park;Jae-Soo Yoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.393-396
    • /
    • 2008
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 비교를 요구하므로 인-네트워크 처리가 쉽지 않다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 많은 False Positive 발생에 따른 불필요한 데이터 전송과 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 상향식 필터 설정을 통한 스카이라인 질의 처리 기법과 필터링 성능을 향상시키는 기법을 제안한다. 제안하는 기법은 데이터를 수집하는 과정에서 스카이라인 필터테이블(SFT)설정하는 상향식 필터링을 수행한다. 그리고 선-필터링(Pre-filtering) 기법을 통해 필터효과를 증가시킨다. 제안하는 알고리즘의 우수성을 보이기 위해 시뮬레이션을 통해 기존에 제안된 MFTAC기법과 비교하였으며, 그 결과 평균 False Positive가 평균 84.44% 감소하였고, 네트워크 수명이 약 75.99% 증가하였다.

Data Statical Analysis based Data Filtering Scheme for Monitoring System on Wireless Sensor Network (무선 센서 네트워크 모니터링 시스템을 위한 데이터 통계 분석 기반 데이터 필터링 기법)

  • Lee, Hyun-Jo;Choi, Young-Ho;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.10 no.3
    • /
    • pp.53-63
    • /
    • 2010
  • Recently, various monitoring systems are implemented actively by using wireless sensor networks(WSN). When implementing WSN-based monitoring system, there are three important issues to consider. At First, we need to consider a sensor node failure detection method to support the ongoing monitoring. Secondly, because sensor nodes use limited battery power, we need an efficient data filtering method to reduce energy consumption. At Last, a reducing processing overhead method is necessary. The existing Kalman filtering scheme has good performance on data filtering, but it causes too much processing overhead to estimate sensed data. To solve these problems, we, in this paper, propose a new data filtering scheme based on data statical analysis. First, the proposed scheme periodically aggregates node survival massages to support a node failure detection. Secondly, to reduce energy consumption, it sends the sample data with a node survival massage and do data filtering based on those messages. Finally, it analyzes the sample data to estimate filtering range in a server. As a result, each sensor node can use only simple compare operation for filtering data. In addition, we show from our performance analysis that the proposed scheme outperforms the Kalman filtering scheme in terms of the number of sending messages.

A High-dimensional Indexing Scheme using Cell-based Filtering Technique (셀 기반 필터링 방법을 이용한 고차원 색인 기법)

  • Jang, Jae-U;Han, Seong-Geun;Kim, Hyeon-Jin
    • Journal of KIISE:Databases
    • /
    • v.28 no.2
    • /
    • pp.204-216
    • /
    • 2001
  • 최근 이미지 특징 벡터와 같은 고차원 벡터 데이터에 관한 색인 기법들이 많이 연구되고 있다. 하지만, 기존의 색인 기법들은 저차원의 데이터에 대해서는 검색 성능이 우수하지만, 차원이 증가함에 따라 검색 성능이 급격히 저하되는 'dimensional curse' 문제를 안고 있다. 따라서, 본 논문에서는 이러한 문제점을 최소화하기 위해 필터링을 이용한 새로운 색인 기법을 제안한다. 제안하는 셀 기반 필터링 기법은 셀 중심에서 객체까지의 거리값을 저장하여 필터링 효과를 증대시킨다. 또한 고차원 공간을 셀 단위로 분할하며, 각각의 셀을 시그니쳐로 표현한다. 검색을 수행하기 위해, 셀 기반 필터링 기법은 데이터 파일을 직접 접근하기 전에 전체 시그니쳐들을 탐색하여 필터링을 수행함으로써 후보 셀들을 얻는다. 성능 실험을 통해 제안하는 기법이 VA-파일보다 검색 시간에 있어서 약 20%의 성능 향상을 보인다.

  • PDF

A Study on the technique of DEM Generation from LiDAR Data (LIDAR 데이터를 이용한 DEM 생성 기법에 관한 연구)

  • Lee, Jeong-Ho;Yu, Ki-Yun
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 2004.12a
    • /
    • pp.125-131
    • /
    • 2004
  • LiDAR 데이터의 필터링은 원 데이터로부터 건물, 수목 등과 같은 비지면점을 제거하는 과정이며, 이러한 필터링을 통해 DEM을 생성할 수 있다. 대표적인 필터링 방법들로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, local maxima 필터 등이 있으며 이러한 기존의 기법들의 단점을 보완하기 위한 연구가 활발히 진행되고 있다. 대부분의 필터링 기법들은 필터의 크기(윈도우의 크기)와 같은 인자를 대상 지역에 적합하게 사용자가 직접 설정해주어야 한다. 더욱이 복잡한 지형, 지물이 존재하는 지역에 적용하기 위해서는 인자를 변형시켜줘야 하며 특히, 다양한 크기의 건물이 존재하는 지역에 대하여 적용하기 위해서는 가변적인 크기의 필터가 필요하다. 이에 본 논문에서는 다양한 크기의 건물이 존재하는 지역에 대하여 필터의 크기를 변화시키지 않고 필터링을 수행할 수 있는 연산기법을 제안하였다. 본 연구에서는 수목이나 자동차 등과 같은 작은 개체의 제거를 위해 고정된 작은 크기의 윈도우를 가지는 모폴로지 필터를 우선 적용한다. 그 후 건물과 같은 큰 개체의 포인트는 이웃 포인트와의 고도차이를 이용하여 인식하고 이웃에 위치하는 지면 포인트로 대체하며, 갱신된 값이 바로 다음 연산에 반영 되도록 한다. 또한 상, 하, 좌, 우 네 방향에 대하여 라인별로 독립된 연산을 수행한 후에 이들을 비교함으로써 오차를 보정한다.

  • PDF

PBFiltering: An Energy Efficient Skyline Query Processing Method using Priority-based Bottom-up Filtering in Wireless Sensor Networks (PBFiltering: 무선 센서 네트워크에서 우선순위 기반 상향식 필터링을 이용한 에너지 효율적인 스카이라인 질의 처리 기법)

  • Seong, Dong-Ook;Park, Jun-Ho;Kim, Hak-Sin;Park, Hyoung-Soon;Roh, Kyu-Jong;Yeo, Myung-Ho;Yoo, Jae-Soo
    • Journal of KIISE:Databases
    • /
    • v.36 no.6
    • /
    • pp.476-485
    • /
    • 2009
  • In sensor networks, many methods have been proposed to process in-network aggregation effectively. Unlike general aggregation queries, skyline query processing compares multi-dimensional data for the result. Therefore, it is very difficult to process the skyline queries in sensor networks. It is important to filter unnecessary data for energy-efficient skyline query processing. Existing approach like MFTAC restricts unnecessary data transitions by deploying filters to whole sensors. However, network lifetime is reduced by energy consumption for many false positive data and filters transmission. In this paper, we propose a bottom up filtering-based skyline query processing algorithm of in-network for reducing energy consumption by filters transmission and a PBFiltering technique for improving performance of filtering. The proposed algorithm creates the skyline filter table (SFT) in the data gathering process which sends from sensor nodes to the base station and filters out unnecessary transmissions using it. The experimental results show that our algorithm reduces false positives and improves the network lifetime over the existing method.

An SSD-Based Directory Parsing with the Counting Bloom Filter (카운팅 블룸필터를 이용한 SSD 기반의 디렉토리 탐색 기법)

  • Kim, Man-Yun;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.347-349
    • /
    • 2014
  • 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 빅데이터의 파일 시스템 내에는 아주 큰 트리구조로 이루어진 디렉토리와 파일이 무수히 존재한다. 이 커다란 트리구조에서 사용자가 요청하는 디렉토리와 파일을 탐색하는 것은 매우 어려운 작업이다. 이에 우리는 카운팅 블룸필터를 이용한 디렉토리 탐색 기법을 제시한다. SDP(SSD-based Directory Parsing)는 최근 또는 자주 액세스한 디렉토리와 파일의 메타데이터를 보관하는 SSD 기반의 캐시이다. 대규모 파일 시스템에서 사용자가 파일을 요청했을 때 파일 시스템은 저장 장치에 메타데이터를 검색하기 위해 여러 번 액세스한다. 이러한 비효율적인 SSD에 대한 액세스를 방지하기 위해 카운팅 블룸필터를 이용하여 메타데이터를 빠르고 효율적으로 검색하는 기법을 제시한다.

  • PDF

An Energy Efficient Continuous Skyline Query Processing Method in Wireless Sensor Networks (무선 센서 네트워크 환경에서 에너지 효율적인 연속 스카이라인 질의 처리기법)

  • Seong, Dong-Ook;Yeo, Myung-Ho;Yoo, Jae-Soo
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.15 no.4
    • /
    • pp.289-293
    • /
    • 2009
  • In sensor networks, many methods have been proposed to process in-network aggregation effectively. Contrary to normal aggregation queries, skyline query processing that compare multi-dimension data for producing result is very hard. It is important to filter unnecessary data for energy-efficient skyline query processing. Existing approach like MFTAC restricts unnecessary data transitions by deploying filters to whole sensors. However, network lifetime is reduced by energy consumption for filters transmission. In this paper, we propose a lazy filtering-based skyline query processing algorithm of in-network for reducing energy consumption by filters transmission. The proposed algorithm creates the skyline filter table (SFT) in the data gathering process which sends from sensor nodes to the base station and filters out unnecessary transmissions using it. The experimental results show that the proposed algorithm reduces false positive by 53% and improves network lifetime by 44% on average over MFTAC.

An Efficient Filtering Method for Processing Continuous Skyline Queries on Sensor Data (센서데이터의 연속적인 스카이라인 질의 처리를 위한 효율적인 필터링기법)

  • Jang, Su-Min;Kang, Gwang-Goo;Yoo, Jae-Soo
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.15 no.12
    • /
    • pp.938-942
    • /
    • 2009
  • In this paper, we propose a novel filtering method for processing continuous skyline queries on wireless sensor network environments. The existing filtering methods use the filter based on router paths. However, because these filters are applied not to a whole area but to a partial area, these methods send almost data of sensor nodes to transmit to the base station and have no sufficient effect in terms of energy efficiency. Therefore, we propose an efficient method to dramatically reduce the transmission data of sensors through applying a low-cost and effective filter to all sensor nodes. The proposed effective filter is generated by using characteristics such as the data locality and the clustering of sensors. An extensive performance study verifies the merits of our new method.

Design and Implementation of Filtering Management Scheme for Synchronization in the Realtime RFID Middleware System (실시간 RFID 미들웨어시스템에서의 동기화를 고려한 필터링관리 기법의 설계 및 구현)

  • Park, Byoung-Seob
    • The Journal of the Korea Contents Association
    • /
    • v.7 no.8
    • /
    • pp.50-58
    • /
    • 2007
  • We design a filtering management scheme with synchronization function under a realtime RFID middleware system for larger-scale data processing. The application interface(AI) is to support a various access protocol, HTTP, XML, JMS, and SOAP for the RFID applications. Generally, the synchronization problem is occurred in multiple accessing of clients for single filtering file. In this paper, we implement a filtering management scheme supporting the synchronization using the filter management process, and then demonstrate the RFID middleware filtering scheme.

Efficient Inverted List Search Technique using Bitmap Filters (비트맵 필터를 이용한 효율적인 역 리스트 탐색 기법)

  • Kwon, In-Teak;Kim, Jong-Ik
    • The KIPS Transactions:PartD
    • /
    • v.18D no.6
    • /
    • pp.415-422
    • /
    • 2011
  • Finding similar strings is an important operation because textual data can have errors, duplications, and inconsistencies by nature. Many algorithms have been developed for string approximate searches and most of them make use of inverted lists to find similar strings. These algorithms basically perform merge operations on inverted lists. In this paper, we develop a bitmap representation of an inverted list and propose an efficient search algorithm that can skip unnecessary inverted lists without searching using bitmap filters. Experimental results show that the proposed technique consistently improve the performance of the search.