• 제목/요약/키워드: 필터 링

검색결과 3,386건 처리시간 0.035초

Esper 기반 실시간 필터링 시스템 (Esper-based Real-time Filtering System)

  • 박세빈;이상훈;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.552-555
    • /
    • 2016
  • 본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

센서 네트워크에서 계층적 필터링을 이용한 에너지 절약 방안 (An Energy Saving Method using Hierarchical Filtering in Sensor Networks)

  • 김진수
    • 한국산학기술학회논문지
    • /
    • 제8권4호
    • /
    • pp.768-774
    • /
    • 2007
  • 본 논문에서는 센서 네트워크의 수명을 길게 하기 위해 각 센서 및 클러스터 헤드에서의 데이터 전송량을 줄이기 위한 방법을 제안한다. 즉, 센서의 에너지 소모를 줄이기 위해 계층적 필터링을 제안한다. 계층적 필터링이란 센서 네트워크를 두 계층으로 나누어 필터링하는 것이다. 1계층 필터링은 클러스터 멤버에서 클러스터 헤드로 데이터를 전송시 필터링을 수행하고, 2계층 필터링은 클러스터 헤드에서 기지국으로 데이터를 전송시 필터링을 수행한다. 이는 일반적으로 필터의 폭을 넓혀 필터링을 많이 하는 것보다 필터링 효율은 증대시키면서 필터링에 따른 데이터 부정확성을 최소한 줄이는 효과를 가진다.

  • PDF

신경망과 운전자 알고리즘을 이용한 스팸 메일 필터링 기법에 구현과 성능평가 (Implementation and Experimental Results of Neural Network and Genetic Algorithm based Spam Filtering Technique)

  • 김범배;최형기
    • 정보처리학회논문지C
    • /
    • 제13C권2호
    • /
    • pp.259-266
    • /
    • 2006
  • 스팸 메일의 양의 급증함에 따라, 다양한 스팸 메일 필터링 기법이 제시되고 있다. 이런 필터링 기법 가운데, 학습 기반 필터링 기법은 현재 가장 보편화된 필터링 기법 가운데 하나이다. 본고에서는 신경망과, 유전자알고리즘, 카이제곱통계를 이용한 학습 기반 필터링 기법을 제시한다. 제안된 필터링 기법은 기존 필터링 기법의 문제를 해결하고, 스팸 메일 필터링에 높은 정확도를 제공할 수 있다 제안된 필터링 기법은 스팸메일 필터링 정확도와 정상 메일 필터링 정확도에서 각각 95.25%와 95.31%의 높은 정확도를 보인다. 이런 실험 결과는 기존의 규칙 기반 필터링 기법과 베이지안 필터링 기법에 비해 각각 7%, 12% 이상 높은 수치이다.

계층적 군집화를 이용한 근사 단어 필터링 기법 (Proximate Word Filtering by Hierarchical Clustering)

  • 김성환;조환규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1101-1104
    • /
    • 2012
  • 단어 필터링은 유해정보를 차단위한 기본적인 기능이다. 그러나 악의적인 사용자는 필터링 시스템을 우회하기 위하여 금지 단어에 의도적인 변형을 가한다. 이에 대응하기 위해 일정 오류를 허용하여 필터링을 수행하는 근사 단어 필터링이 있다. 근사 단어를 검색하기 위한 문자열 색인 방법으로는 주로 기준 단어(Pivot)을 이용한 유클리드 공간에의 사상을 이용하는데, 이는 단어 필터링에 응용하기에는 근본적인 구조상의 한계점이 있다. 본 논문에서는 필터링 대상이 되는 단어 집합 내에서 군집화를 수행하여 계층적인 자료구조를 구성하고, 단어 필터링을 위한 필터링 질의(Filtering query)를 정의한 뒤 그에 적합한 탐색 상의 적용에 관하여 설명한다. 실험 결과 기존의 기준 단어(Pivot)을 이용한 색인 기법에 비하여 16.9%~26.6%의 탐색 속도 향상을 확인할 수 있었다.

고속 RFID 필터링 엔진의 설계와 캐쉬 기반 성능 향상 (Design of a High-Speed RFID Filtering Engine and Cache Based Improvement)

  • 박현성;김종덕
    • 한국통신학회논문지
    • /
    • 제31권5A호
    • /
    • pp.517-525
    • /
    • 2006
  • 본 논문은 다수의 RFID 태그가 사용되고 있는 환경에서 고속 필터링을 수행하기 위한 필터링 엔진을 설계한다. 이를 위하여 우리는 고속 라우터나 방화벽에 적용되었던 고속 패킷 필터링 기법이 RFID 데이터 필터링과 매우 유사함을 보이고 그 중 대표적인 기법인 Bit Parallelism 기반의 Aggregated Bit Vector(ABV)를 고속 RFID 필터링 엔진에 적용한다. 또한, RFID 데이터 필터링의 성향을 관찰한 결과 태그 인식 및 필터 부합의 시간적 중복성을 발견하고 두 가지 캐쉬(태그 캐쉬, 필터 캐쉬)를 적용하여 추가적인 필터링 성능 향상을 꾀하였다. 설계한 RFID 고속 필터링 엔진의 성능 평가를 위해 프로토타입 애플리케이션을 제작하여 시뮬레이션을 수행하였다. 결과로써 기존의 순차적인 RFID 데이터 필터링에 비해 고속의 필터링 성능을 보이며 특히 필터의 수가 증가할수록 필터링의 효율이 높아짐을 보인다.

초음파 볼륨 렌더링을 위한 3차원 양방향 적응 필터 (3D Adaptive Bilateral Filter for Ultrasound Volume Rendering)

  • 김민수;권구주;신병석
    • 한국게임학회 논문지
    • /
    • 제15권2호
    • /
    • pp.159-168
    • /
    • 2015
  • 이 논문에서는 의료용 초음파 볼륨 데이터의 잡음을 효과적으로 제거하기 위한 방법을 제안한다. 초음파 영상은 잡음이 심하여 필터링이 필요하다. 기존의 2차원 필터링은 인접한 슬라이스 간 정보를 무시하고 기존의 3차원 필터링은 속도가 느리거나 잡음 제거 효과가 떨어지는 필터를 적용하였고 또한 초음파 데이터의 샘플링 특성을 고려치 않아 균등하게 필터링 하지 않았다. 이를 해결하기 위해 잡음제거에 효과적인 양방향 필터를 병렬로 빠르게 처리하고 필터 영역에 따라 윈도우 크기를 달리하는 기법을 제안한다. 공간 필터의 합산영역 테이블을 이용하여 병렬로 빠르게 필터링하고 윈도우 크기는 필터 영역에 따라 비례적으로 결정한다. 실험은 평균 필터와 양방향 필터, 양방향 적응 필터를 적용한 초음파 볼륨 렌더링 영상에서 잡음 제거와 원본 손실 정도를 비교한다. 이렇게 하여 양방향 필터링을 빠르게 수행하면서 기존 보다 균등하게 필터링하여 잡음을 효과적으로 정확하게 제거할 수 있다.

평활화 필터 기반 적응적 가중치를 이용한 변위 추정 방법 (Disparity Estimation Method using Smooth Filtering based Adaptive Weighting)

  • 문지훈;호요성
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2016년도 추계학술대회
    • /
    • pp.92-93
    • /
    • 2016
  • 정확한 변위정보를 추정하기 위해 다양한 비용 값 계산함수 또는 비용 값 합산 방법들이 개발되었다. 본 논문에서는 비용 값 계산을 위해 좌, 우영상의 기울기와 SAD(Sum of Absolute Differences)를 이용하며 비용 값 합산을 위해 가이드 영상 필터링을 사용한다. 가이드 영상 필터링은 가이드 영상의 종류에 따라 필터링결과가 크게 변하게 되는데, 스테레오 정합에 사용된 원본 입력 영상을 가이드 영상으로 사용할 경우 정확한 화소 값을 가지고 있기 때문에 경계영역을 보존하며 필터링 수행이 가능하다. 하지만 가이드 필터링은 가이드 영상으로부터 미리 지정해준 이웃한 화소와의 거리와 색상차이의 분산 값만을 고려하여 필터링을 수행하기 때문에 설정 변수 값에 매우 의존적인 특성을 갖는다. 가이드 필터링 과정에서 변수에 대한 의존성을 낮추고 경계영역의 정확도를 높이기 위해 우선 평활화 필터를 이용하여 경계영역을 추출한다. 원본 입력영상을 사용하여 경계영역을 추출할 경우 객체 내부의 많은 텍스처 영역의 정보까지 추출되지만, 평활화 필터를 이용할 경우 정확한 경계 영역의 정보만을 추출 할 수 있다. 추출된 경계영역에 대해서만 높은 가중치를 사용한 뒤 기존의 가이드 영상 필터링과 혼합하여 최종 비용 값을 합산한다. 제안한 방법을 사용하여 경계영역의 정확도가 향상된 최종 변위 지도를 획득할 수 있었다.

  • PDF

사면지형에서 지상라이다 자료의 필터링 기법 (A Filtering Technique of Terrestrial LiDAR Data on Sloped Terrain)

  • 신윤수;최승필;김준성;김욱남
    • 한국측량학회지
    • /
    • 제30권6_1호
    • /
    • pp.529-538
    • /
    • 2012
  • 다중선형 회귀분석에 의하여 도출된 알고리즘을 이용하여 필터링 기법을 제시하였고, 제시된 기법을 이용하여 실제 사면지형을 지상 라이다로 스캔하여 취득된 원시자료에 대하여 필터링을 수행한 결과를 분석하였다. 그 결과 필터링의 정확도를 높이기 위하여 굴곡사면지형의 지성선을 기준으로 관측지역을 두 지역으로 분할하여 필터링을 적용하였을 경우가 사면을 분할하지 않고 필터링을 적용하였을 경우 보다 필터링 정확도가 8.73% 높아진 것으로 나타났다. 또한 굴곡사면 지형에서 사면을 분할하여 복합 필터링을 적용한 경우 전역 필터링이나 지역 필터링만 수행했을 때보다 약 5~7% 정확도가 높아진 것으로 보아 사면에 굴곡이 존재하여 경사가 일정하지 않은 경우 사면을 분할하여 복합 필터링을 수행하는 것이 더 효과적이라고 판단된다.

인지 매핑을 이용한 정보 필터링 시스템 (An Information Filtering System Using Cognitive Mapping)

  • 김진화;이승훈;변현수
    • 지능정보연구
    • /
    • 제12권2호
    • /
    • pp.145-165
    • /
    • 2006
  • 정보 필터링 시스템은 사용자의 요구를 충족시킬 수 있도록 설계되어 있으나 변화가 심한 사용자의 정보 요구를 충족시키기에는 정확도 저하 등의 문제점이 있다. 본 연구에서는 인간의 뇌에서의 정보처리과정을 시뮬레이션하는 인지적 브레인 매핑의 정보 필터링 시스템을 제안한다. 특정 단어나 패턴에 기초하여 필터링하는 기존의 필터링 시스템과 비교할 때 제안하는 필터링 시스템은 키워드와 키워드간의 관계를 이용하여 필터링을 하는 시스템이다. 본 연구는 키워드와 키워드간의 관계를 이용하여 정보를 기록저장하고, 저장된 정보를 지도화하여 필터링에 응용하는 것이다. 키워드를 이용한 필터링 방법과 키워드간의 관계를 이용하여 필터링하는 방법을 통합하여 필터링을 실시하고 필터링 성능에 영향을 미치는 방법을 검증하기 위해 각 방법별로 가중치를 적용하여 최적의 결합가중치를 도출해낸다.

  • PDF

실시간 RFID 미들웨어에서의 태그 데이터 고속 필터링 방법 (A method for high-speed event processing in the real-time RFID middleware systems)

  • 박미선;김용진;유민수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.435-436
    • /
    • 2009
  • RFID 시스템의 미들웨어는 태그에서 생성된 방대한 양의 데이터를 리더를 통해 전달받는다. RFID 미들웨어는 이러한 데이터를 정제하여 응용 애플리케이션에 전달하는 기능을 담당한다. 하지만 태그 데이터 정제 과정에서 발생되는 지연 시간은 RFID 미들웨의 응답성을 저하시킨다. 본 논문은 EPCglobal 의 RFID 미들웨어 표준인 ALE 에 의거하여 태그 데이터에 대한 다수의 필터링 조건들이 주어진 RFID 미들웨어 환경에서 실시간으로 수집되는 대용량의 태그에 대한 고속 필터링 엔진을 설계한다. 이를 위하여 Intermediate node 들이 key 값을 저장하는 Binary Search Tree 형태를 구성하여 태그를 필터링하는 방법을 제안한다. 결과로써 기존의 순차적인 RFID 데이터 필터링에 비해 고속의 필터링 성능을 보이며 특히 필터의 수가 증가할수록 필터링의 효율이 높아짐을 보인다.