• 제목/요약/키워드: 질의필터링

검색결과 134건 처리시간 0.026초

Esper 기반 실시간 필터링 시스템 (Esper-based Real-time Filtering System)

  • 박세빈;이상훈;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

모바일 P2P 네트워크에서 효율적인 스카이라인 질의 처리 기법 (Efficient Skyline Query Processing Scheme in Mobile P2P Networks)

  • 복경수;박선용;김대윤;임종태;신재룡;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제15권7호
    • /
    • pp.30-42
    • /
    • 2015
  • 본 논문에서는 모바일 P2P 환경에서 질의 처리 정확성 및 통신 비용을 향상시키기 위한 새로운 스카이라인 질의 처리 기법을 제안한다. 제안하는 기법은 사전 스카이라인 구축, 질의 배포 범위 확장 정책과 연속 스카이라인 질의 처리 과정으로 구성된다. 사전 스카이라인에서는 질의 처리 이전에 필터링 객체로 선정될 가능성을 가지고 있는 후보 객체 집합을 선정하여 질의 처리에서의 필터링 비용을 감소시킨다. 질의 배포 범위 확장 정책에서 질의 배포 범위를 확장함으로써 정확성을 향상시킨다. 또한, 최초 스카이라인 질의 처리한 후 모니터링을 수행하여 연속 스카이라인 질의를 처리한다. 제안하는 기법의 우수성을 입증하기 위해 기존 기법과 성능 평가를 수행한 결과 제안하는 기법이 기존 기법보다 우수한 성능을 보였다.

캐쉬메카니즘을 이용한 시맨틱 스키마 데이터 처리 (Semantic schema data processing using cache mechanism)

  • 김병곤;오성균
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권3호
    • /
    • pp.89-97
    • /
    • 2011
  • 네크워크상의 분산되어 있는 정보를 접근하는 온톨로지와 같은 시맨틱 웹 정보 시스템에서는 효율적인 질의 처리를 위하여 질의 응답 시간을 줄여주는 향상된 캐쉬 메카니즘을 필요로 한다. 특히, P2P 네트워크 시스템은 웹 환경의 기본적인 하부 구조를 이루고 있으며, 질의가 발생하면, 소스 피어(Peer)로의 데이터 전송량을 줄이는 문제가 효율적인 질의 처리의 중요한 부분이다. 전통적인 데이터베이스 캐쉬 메카니즘으로부터 현재의 웹 환경에 적합한 질의 메카니즘들이 연구되어 왔으며, 질의 처리 결과를 캐쉬하는 것은 입력 질의 요구를 빠른 시간에 바로 사용자에게 전달할 수 있다. 웹 환경에서는 시맨틱 캐싱 방법이 연구되어 왔으며, 이는 캐쉬를 의미적인 영역들로 이루어진 공간으로 관리하는 개념이며, 논리적인 캐싱 단위가 질의와 질의 결과이므로 웹 환경에서 적합한 개념이다. 본 연구에서는 온톨로지와 같은 시맨틱 웹 정보가 클러스터 단위로 여러 피어에 분산되어 있는 경우에 캐쉬 메카니즘을 이용하여 효율적인 질의 처리가 이루어지도록 하는 방법을 제시한다. 특히, 캐쉬를 유지하고 처리하는 방법으로 스키마를 이용한 캐쉬 데이터 필터링 방법과 온톨로지와 질의 결과의 유사도를 측정하여 캐쉬 대체 영역 선택에 사용하는 방법을 제시한다.

부분매칭 경로질의를 위한 포스트픽스 공유에 기반한 스트리밍 XML 데이타 필터링 기법 (A Filtering Technique of Streaming XML Data based Postfix Sharing for Partial matching Path Queries)

  • 박석;김영수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권1호
    • /
    • pp.138-149
    • /
    • 2006
  • 센서 네트워크나 유비쿼터스 환경이 보급되면서 최근에는 저장되어 있는 데이타가 아닌 계속적으로 빠르게 지나가는 스트리밍 데이타에 대한 연구가 활발하게 이루어지고 있다. 기존의 Publish-Subscribe 시스템도 인터넷의 발달로 데이타가 실시간으로 빠르게 들어오는 스트리밍 데이터의 형태를 가지게 되면서 스트리밍 데이타 연구에 관심을 가지게 되었고 이 중에서도 웹 환경의 표준으로 많이 사용되는 XML에 관심을 가지게 되었다. Publish-Subscribe 시스템에서 서버에 들어오는 스트리밍 XML 데이타에 대해서 질의에 빠르게 매치(match)되는 것을 찾기 위한 스트리밍 XML 데이타 필터링 기법이 오토마타를 이용해서 연구되었으며, 이중에서 비결정적 오토마타를 사용한 방법이 YFilter이다. 비결 정적 오토마타를 사용하는 YFilter의 경우 질의 앞부분의 공통된 오퍼레이터를 한번에 계산하기 위해서 XPath 질의의 공통된 앞부분을 공유하고 질의의 루트부터 처리하는 하향식 방식을 사용하고 있다. 하지만, 부분매칭 경로질의의 경우에는 질의의 앞부분 공유를 방해하고 질의를 루트에서부터 처리할 필요가 없기 때문에 YFilter에서 부분매칭 경로질의가 증가하면 처리량이 떨어지는 문제가 발생한다. 본 논문에서는 이 문제 대해 XPath 질의의 공통된 뒷부분 공유에 기반한 상향식 방식을 사용하는 PoSFilter를 한가지 해결책으로 제시한다. 그리고 YFilter와 PoSFilter의 처리량을 비교를 통해서 PoSFilter의 경우 부분매칭 경로질의가 증가할 때 YFilter보다 좋은 처리량을 나타내는 것을 검증한다.

맵리듀스 환경에서 데이터 필터링을 이용한 효율적인 스카이라인 계산 (An Efficient Skyline Computation using Data Filtering in a MapReduce Environment)

  • 김지현;김명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.582-584
    • /
    • 2016
  • 데이터의 다차원 특성을 고려한 스카이라인 계산은 의사결정 시스템이나 추천 시스템 등에 활용도가 높은 질의 처리이다. 최근 들어 빅데이터의 분석에도 스카이라인 질의가 유용하게 사용됨에 따라, 맵리듀스 환경에서 스카이라인 질의를 효율적으로 계산하는 데에 많은 관심이 집중되고 있다. 본 연구에서는 데이터 필터링을 적용하여 기존의 기법들과는 달리 하나의 잡(job)으로 스카이라인을 신속하게 계산하는 알고리즘을 소개한다. 제안하는 기법은 기존의 기법들에 비해 효율적이다.

NFA 표현을 사용한 문서-중심적 XML의 키워드 기반 필터링 기법 (A Keyword-based Filtering Technique of Document-centric XML using NFA Representation)

  • 이경한;박석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권5호
    • /
    • pp.437-452
    • /
    • 2006
  • XPath 명세는 XML 원소 내용을 필터링하기 위한 질의어 작성이 어렵다. 본 논문은 이러한 문제점을 해결하기 위해 SQL의 LIKE 연산자에서 사용되던 특별한 매칭 문자 '%'를 허용한 확장된 XPath 명세와 그것을 표준 질의어로 사용하는 문서-중심적 XML 필터링 기법인 Pfilter를 제안한다. Pfilter는 값-기반 술어(value-based predicate)에서 피연산자의 공통 앞부분 문자를 공유하여 값-기반 술어의 처리 성능을 향상시킨다. 또한 본 논문은 Pfilter와 대표적인 데이타-중심적 XML 필터링 기법인 Yfilter를 값-기반 술어 처리의 확장성과 효율성에 대해 비교하고 Pfilter의 값-기반 술어 삽입, 삭제, 처리 결과를 제공한다. 본 논문에서 제안한 Pfilter는 XML 필터링 시스템에서 XPath의 contains() 함수를 평가(evaluation)하기 위한 핵심 알고리즘으로 사용할 수 있으며, XML 기반의 분산 정보 시스템을 구축하기 위한 기초 연구로 활용될 수 있다.

클러스터 기반 WSN에서 캐시 필터링을 이용한 에너지 효율적인 질의처리 기법 (An Energy Efficient Query Processing Mechanism using Cache Filtering in Cluster-based Wireless Sensor Networks)

  • 이광원;황윤철;오염덕
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권8호
    • /
    • pp.149-156
    • /
    • 2010
  • 센서네트워크에 사용되는 최신의 센서노드 기술은 많은 데이터 저장능력과 빠른 처리능력을 제공함으로써 다양한 응용분야에서 좀 더 효율적인 네트워크 환경을 구성할 수 있게 되었다. 그리고 네트워크 구축 환경도 트리 기반에서 클러스터 기반으로 변환 되었다. 그러나 기존 트리 기반의 센서네트워크에서 사용되던 질의처리 방법은 클러스터 기반의 네트워크에서는 효율성이 떨어진다. 따라서 클러스터 기반 네트워크에서 효율적으로 질의를 처리하는 새로운 방법이 필요하다. 그래서 본 논문에서는 클러스터 기반의 센서네트워크에서 데이터 속성 분류를 통한 필터링을 이용하여 에너지를 효율적으로 사용하는 질의 처리 기법을 제안한다. 제안 기법은 클러스터 기반의 네트워크 장점을 최대한 활용하여 질의 처리에 드는 에너지를 줄이고 좀 더 지능적으로 질의를 분배하도록 설계 하였다. 그리고 MATLab을 이용하여 제안된 기법이 에너지 효율성 측면에서 우수함을 입증하였다 본 논문에서는 고성능 컴퓨팅 시스템의 성능 향상을 위한 효율적인 동적 작업부하 균등화 정책을 제안한다.

GeoSensor 환경에서 공간 질의 정확도 향상을 위한 선-필터링을 이용한 후-부하제한 기법 (Pre-Filtering based Post-Load Shedding Method for Improving Spatial Queries Accuracy in GeoSensor Environment)

  • 김호;백성하;이동욱;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제12권1호
    • /
    • pp.18-27
    • /
    • 2010
  • u-GIS환경에서 GeoSensor를 기반으로 하는 GeoSensor 환경은 다양한 센서들로부터 수집한 동적인 데이터와 기존 GIS인 정적인 지형지물 정보의 융합을 요구한다. 이 환경의 핵심인 GeoSensor는 넓은 지역에 산발적으로 분포하며, 다양한 크기의 데이터를 끊임없이 수집한다. 따라서 Data Stream Management System(DSMS)은 제한된 메모리로 인하여 저장 공간을 초과하는 문제가 발생한다. 이를 해결하기 위해 다양한 부하제한 기법들이 활발히 연구되고 있다. 부하제한 기법에는 크게 랜덤부하제한 기법과 의미적부하제한 기법, 샘플링 기법으로 분류된다. 랜덤부하제한 기법은 무작위로 데이터를 선택하여 삭제하고, 의미적부하제한 기법은 데이터의 우선순위를 부여하여 우선순위가 낮은 데이터부터 삭제한다. 샘플링 기법은 통계적인 연산을 이용하여 샘플링 비율을 산정하고 이를 토대로 부하를 제한한다. 그러나 기존 기법들은 공간적 특성을 전혀 고려하지 않기 때문에 공간 질의의 정확도를 감소시키는 문제를 갖는다. 본 논문은 GeoSensor 환경에서 DSMS에 발생하는 과부하 발생을 제한하고 공간 질의의 정확도를 향상시키기 위해 선-필터링을 이용한 후-부하제한 기법을 제안한다. 본 기법은 선-필터링을 통하여 스트림 큐에 불필요하게 가중되는 부하를 1차적으로 제한하며, 과부하 발생 시 공간 질의 결과 정확도를 보장하기 위하여 공간 중요도와 데이터 중요도를 고려하여 후-부하제한을 수행한다. 이 기법을 이용하여 부하제한 수행 횟수를 효과적으로 감소시켰고, 공간 질의의 정확도를 향상시켰다.

복합질의의 효율적 수행을 위한 궤적질의 필터링 기법 (A Filtering Method of Trajectory Query for Efficient Process of Combined Query)

  • 반재훈;김종민
    • 한국정보통신학회논문지
    • /
    • 제12권9호
    • /
    • pp.1584-1590
    • /
    • 2008
  • 영역 질의와 궤적 질의로 구성된 복합질의는 특정 영역에 위치하는 이동체의 궤적을 검색하는 질의이다. 궤적질의는 선행궤적을 찾기 위해 점질의를 계속 반복하기 때문에 복합질의의 성능을 결정짓는 중요한 요소이다. 이 경우에 점질의는 인덱스의 노드를 중복해서 방문하기 때문에 질의처리의 수행속도가 매우 느려진다. 이 논문은 영역 질의에 우수한 성능을 가진 R-tree 기반의 이동체 색인을 대상으로 궤적 질의를 효율적으로 처리함으로써 복합 질의의 성능을 향상시키기 위한 방법을 제시한다. 기존 연구의 문제점인 노드의 중복 방문을 방지하기 위해 최소 공통 탐색 선분을 정의하여 단일 방향으로만 탐색하며 궤적을 예측하고 예측된 선분을 이용하여 연속된 궤적을 동시에 탐색하는 예측기반 여과 방법을 제안한다.

XML 문서에서 엘리먼트 타입을 이용한 구조적 검색 기법의 설계 (Design of Structural Retrieval Scheme Using Element Type in XML Documents)

  • 김성완;정헌석;이재호;임해철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.584-586
    • /
    • 2003
  • XML 문서의 검색을 위한 많은 연구들이 수행되고 있지만 순수하게 구조적 관계성만을 대상으로 하는 검색 즉, 구조적 검색 처리 기법에 대해서는 많이 다루지 않고 있거나 XML 문서 트리에 대한 반복적인 순회를 기반으로 처리하는 방법들이 제안되었다. 또한, 사용자가 원하지 않는 엘리먼트들을 제외하기 위해서는 부가적인 필터링 과정을 필요로 한다. 한편, 대부분의 XML 문서의 검색 관련 연구들은 엘리먼트의 삽입 또는 삭제 등 XML 문서의 부분적인 갱신 및 변경이 발생하는 환경을 고려하지 않고 있다. 본 논문에서는 사용자로부터 주어지는 질의에 포함된 엘리먼트 타입 정보 이용하여 XML 문서 트리에 대한 순회를 없애거나 최소화시키고, 필터링 과정도 필요로 하지 않는 구조적 검색 기법을 설계한다. 또한, 엘리먼트의 삭제 및 삽입 등 동적인 변경에 빠르고 유연하게 대처할 수 있는 인덱스 구조를 설계하고 이를 기반으로 구조적 검색 질의의 주요 유형에 대한 처리 방안을 예를 들어 설명한다.

  • PDF