• 제목/요약/키워드: 필터링 알고리즘

검색결과 847건 처리시간 0.035초

개인화된 정보 필터링 에이전트를 위한 유전 알고리즘 (Genetic algorithm for personalized information filtering agent)

  • 손윤희;박상호
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 추계학술발표논문집
    • /
    • pp.423-428
    • /
    • 2001
  • 유전 알고리즘을 이용한 정보 필터링 에이전트는 기존의 검색엔진에서 찾고자 하는 문서에 대해 검색된 문서의 유사도가 낮은 문제점을 해결한다. 본 논문에서는 HTML 태그의 중요도 가중치와 HTML 태그 안의 위치에 대한 가중치를 유전 알고리즘을 이용하여 학습한다. 여기서 학습된 가중치가 높은 태그와 태그 안의 위치 그리고 출현하는 빈도수에 대한 중요도 가중치를 다시 유전 알고리즘을 이용하여 학습하고 여기서 학습된 가중치로 검색된 문서를 필터링하여 정보 검색 성능을 향상시킬 수 있는 방법을 제안한다. 이 때 태그의 중요도 가중치 값을 학습하는 방법으로 하나의 태그를 유전자로 매핑하고 일련의 태그 집합을 염색체로 표현한 유전 알고리즘을 이용한다. 태그 안의 위치에 대한 중요도 가중치 값도 같은 방법을 이용한다. 여기서 나온 태그와 위치 그리고 빈도 수에 대한 중요도 가중치 값을 다시 유전자 알고리즘 이용하여 계산하다. 이 값으로 검색된 문서를 필터링하여 기존의 정보검색보다 검색자가 원하는 검색문서에 상당한 정확율을 제공하는 방법을 제안한다.

  • PDF

음성 정보와 DTW 알고리즘을 활용한 성인 컨텐츠 필터링 (Adult Contents Filtering using Voice Information and DTW)

  • 조정익;이일병
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
    • /
    • pp.432-434
    • /
    • 2008
  • 본 논문은 필터링 수행율을 향상시키기 위해, DTW 알고리즘을 제시한다. 여기에서 말하는 컨텐츠 필터링은 음성의 특징을 사용해서 컨텐츠를 구분하는 것을 확인하는 기술이다. 즉, 이 방법이 일반 컨텐츠와 성인 컨텐츠를 구분한다. 음성에 대한 정보를 추출하는 방법이 컨텐츠를 필터링하는데 있어서 기여를 할 수 있다. 즉, DTW 알고리즘을 사용하여 필터링 인식률을 향상하는 방법이라고 제안을 한다. 마지막으로, 본 논문에서 제안한 방법의 적용 가능성과 일반성을 평가하기위하여 수치적인 예를 적용한다. 제안하는 성질의 정확도를 시험하기 위해서 실험을 제공하였다. 결과적으로 일반 컨텐츠와 성인 컨텐츠 특성의 차이를 알았다. 추후에 이 성질을 필터링 성능 향상에 응용할 수 있다.

  • PDF

태그 데이터 처리를 최소화하기 위한 RFID미들웨어의 필터링 알고리즘 (A Filtering algorithm of RFID middleware for minimizing tag data handling)

  • 손성원;김용진;유민수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.441-442
    • /
    • 2009
  • RFID 시스템의 적용범위가 증가함에 따라 실시간으로 처리해야 하는 태그의 정보도 급격하게 증가하고 있다. 따라서 불필요한 태그정보를 제거하고 정제하여 클라이언트로 전달하는 RFID 미들웨어의 역할이 증가하고 있다. 미들웨어에서 태그정보를 필터링 하기 위한 Brute force 방법은 대용량의 태그정보의 필터링에는 비효율적이며 미들웨어의 성능을 저하시키는 원인이 된다. 본 논문은 빠른 시간에 효과적인 필터링을 위해 미들웨어 표준인 EPCglobal ALE의 ECSpec에 정의된 필터 패턴들 사이의 연관 관계를 구성하여 패턴의 비교 횟수를 감소시키고, 표준에서 정의한 EPC 태그형식의 특징을 해싱 알고리즘에 적용하여 빠른 검색을 수행함으로써 효율적인 RFID 미들웨어의 필터링 알고리즘을 구현하였다.

LiDAR 데이터 처리에서의 수목 제거 및 모델링에 관한 알고리즘 분석 (Analysis of LiDAR data processing algorithms for wooded areas)

  • 김혜인;박은진;박관동
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 춘계학술대회 논문집
    • /
    • pp.131-134
    • /
    • 2006
  • LiDAR(Light Detection And Ranging) 데이터 처리에 있어서 건물, 자동차, 수목 등의 비지면 객체와 지면을 분류하는 필터링 과정은 DEM(Digital Elevation Model) 구축을 위해서 중요하다. 도심지역의 건물추출 등의 필터링에 관한 연구는 활발히 진행되고 있으나 국내의 경우 수목에 대한 필터링은 비교적 연구가 미흡하였다. 따라서 이 연구에서는 기존에 다루어진 몇 가지 알고리즘을 분석하고 산림지역에 활용해 봄으로써 각 필터링에 관한 장단점을 비교하였다.

  • PDF

문장유사도 측정 기법을 통한 스팸 필터링 시스템 구현 (Implementation of a Spam Message Filtering System using Sentence Similarity Measurements)

  • 우수빈;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권1호
    • /
    • pp.57-64
    • /
    • 2017
  • 문자 메시지는 휴대폰을 사용하는 사람들에게 중요한 의사소통의 방법 중 하나이다. 또한 친구맺기 방식이 필요 없이 사용이 가능하기 때문에 이를 악용한 불법 광고 스팸메시지가 기승을 부리고 있다. 최근 스팸 필터링을 위해 기계 학습을 이용한 시스템들이 등장 하였지만 많은 계산을 필요로 하는 단점이 있다. 본 논문에서는 검색할 쿼리를 입력할 때 부정확한 쿼리를 입력하더라도 저장된 데이터베이스와 비교하여 가장 비슷한 단어를 차수 개념을 적용하여 유추하는 집합 기반 POI(Point of Interest) 검색 알고리즘을 이용하여 스팸 필터링 시스템을 구현하였다. 이 알고리즘을 적용하면 서버 컴퓨팅 없이 문자의 조합만을 이용해 쿼리를 유추할 수 있기 때문에 스팸 필터링에 적용하여 입력된 문자메시지가 교묘하게 변형되더라도 스팸이라고 필터링이 가능하다. 또한 문장 유사도 측정 기법을 활용하여 스팸 필터링 성능을 향상시켰으며, 스팸 필터링에 취약한 특정 유형도 걸러내기 위해 특정 전처리 과정을 지원함으로써 대부분의 스팸메세지를 필터링 가능하도록 하였다. 기존 집합기반 POI 검색 알고리즘과 이를 확장 시킨 문장 유사도 측정 기법, 특정 전처리 과정을 추가한 시스템으로 필터링 시스템의 성능평가를 진행하였다. 그 결과 본 논문에서 구현한 시스템이 기존 집합기반 POI 알고리즘과 비교하여 향상된 스팸 필터링 성능을 보여주는 것을 확인하였다. 또한 이동통신사 3사에서 필터링에 취약한 유형이 본 논문에서 구현한 시스템으로 높은 성능으로 필터링이 가능하다는 것을 확인하였다.

자동화된 추천을 위한 협동적 필터링 에이전트 시스템의 개발 (Development of Collaborative Filtering Agent System for Automatic Recommendation)

  • 황병연;김의찬
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.473-476
    • /
    • 2000
  • 최근 전자상거래에서 에이전트 기술들이 많이 나타나고 있는데, 주목해야 할 것은 패키지 형태로 내장될 수 있는 에이전트이다. 전자상거래 솔루션에 탑재되어 자동화시킨 에이전트로서 NetPerception 의 GroupLens 엔진과 MacroMedia의 LikeMinds가 있는데 이들은 협동적 필터링을 구현한 것들이다. 현재 이러한 협동적 필터링 에이전트 시스템이 탑재된 전자상거래 솔루션들이 등장하고 있다. 하지만 add-on 성격이 부족하고, 실제 협동적 필터링 알고리즘에 의해 고객의 취향이나 기호에 맞는 아이템을 추천하는 진정한 의미의 에이전트 시스템은 찾아보기 힘들다. 그래서, 이러한 점을 보완한 MindReader 시스템을 개발하였다. 제안된 알고리즘은 기존의 GroupLens 알고리즘에 클러스터링을 접목시킨 알고리즘을 사용하였다.

  • PDF

협업 필터링 추천에서 대응평균 알고리즘의 예측 성능에 관한 연구 (A study on the Prediction Performance of the Correspondence Mean Algorithm in Collaborative Filtering Recommendation)

  • 이석준;이희춘
    • 경영정보학연구
    • /
    • 제9권1호
    • /
    • pp.85-103
    • /
    • 2007
  • 본 연구의 목적은 좀 더 정확한 고객 선호도 예측을 위한 협업 필터링 알고리즘의 예측 성능을 평가하기 위한 것이다. 고객 선호도 예측의 정확도를 비교하기 위하여 이웃 기반의 협업 필터링 알고리즘과 대응평균 알고리즘에 의한 고객 선호도 예측의 MAE를 비교하였다. 예측 알고리즘의 정확성을 분석하기 위하여 MovieLens 1 Million dataset을 이용하여 실험을 하였다. 각 예측 알고리즘에 사용된 유사도 가중치는 일반적으로 이용되는 피어슨 상관계수와 벡터 유사도를 이용하였으며 분석결과 대응평균 알고리즘의 예측 정확도가 이웃 기반의 협업 필터링 알고리즘의 예측 정확도 보다 우수한 것으로 나타났다. 두 알고리즘에 사용된 유사도 가중치인 피어슨 상관계수와 벡터 유사도는 두 고객이 특정 상품에 대하여 공통으로 평가한 선호도 평가치를 이용하여 계산된다. 이때 공통으로 평가한 선호도 평가치의 개수가 적으면 계산된 유사도 가중치가 과대 평가된다. 과대 평가된 유사도 가중치를 보정하여 고객 선호도 예측의 정확도를 높이기 위하여 기존의 연구에서 고려한 공통 평가 영화의 개수 보다 확대된 범위를 적용하였으며 각 예측 방법에 따라 서로 다른 개선 경향을 파악할 수 있었다.

실수형 2차원 데이터를 위한 고속 미디언 필터링 알고리즘 (Fast Median Filtering Algorithms for Real-Valued 2-dimensional Data)

  • 조태훈
    • 한국정보통신학회논문지
    • /
    • 제18권11호
    • /
    • pp.2715-2720
    • /
    • 2014
  • 미디언 필터링은 임펄스 형태의 잡음의 제거에 매우 효과적이어서, 많은 신호처리 응용분야에서 널리 사용되어왔다. 하지만, 비선형성에 의한 시간 복잡도로 인하여, 미디언 필터링은 주로 작은 필터윈도우 크기를 사용하였다. 고속 미디언 필터링 알고리즘에 대한 많은 연구가 진행되었지만 대부분 영상과 같은 한정된 정수값을 갖는 입력데이타에만 적용될 수 있으며, 실수형 2차원 데이터의 고속 미디언 필터링 알고리즘에 대한 연구는 미미한 실정이다. 본 논문에서는 간단하면서도 실수형 2차원 데이터를 고속으로 미디언 필터링할 수 있는 알고리즘을 제안하고 Matlab의 2차원 미디언 필터와 힙(heap)기반의 2차원 미디언 필터와 성능을 비교하였다. 다양한 필터윈도우 크기에 대해서 제안된 알고리즘이 Matlab의 필터보다는 훨씬 빠르고, 힙기반의 필터보다는 대부분 일관되게 더 빠른 결과를 내었다. 또한, 한정된 데이터 값 범위를 갖는 실수형 2차원 데이터는 비트수가 큰 정수형 고속 2차원 미디언 필터링 알고리즘을 이용하여 거의 오차없이 매우 빠르게 미디언 필터링을 할 수 있음을 보였다.

지면.비지면점 분류를 위한 라이다 필터링 알고리즘의 종합적인 비교 (Comprehensive Comparisons among LIDAR Fitering Algorithms for the Classification of Ground and Non-ground Points)

  • 김의명;조두영
    • 한국측량학회지
    • /
    • 제30권1호
    • /
    • pp.39-48
    • /
    • 2012
  • 수치표고모델(DEM : Digital Elevation Model)을 생성하거나 지상의 객체를 추출하기 위해서 라이다 자료에서 지면점과 비지면점을 분리하는 필터링(filtering) 과정은 중요하다. 본 연구에서는 라이다 자료에서 지면점을 추출하는 데 사용되는 기존의 필터링 방법을 대상으로 정성적 분석과 정량적 분석을 통해 가장 효과적인 필터링 알고리즘을 선정하는 것을 목적으로 하였다. 이를 위해 Adaptive TIN, Perspective Center Based Filtering Algorithm, Elevation Threshold with Expand Window, Progressive Morphology의 4가지 필터링 방법을 산악지역, 도시지역, 건물과 산이 공존하는 3가지 지역에 적용하여 각각의 방법에 대한 특징을 분석하였다. 실험에 사용된 4가지 필터링 방법의 정성적인 비교는 음영기복도를 생성한 후 시각적인 방법을 적용하였고 정량적인 비교는 GPS로 관측한 검사점을 이용한 절대적인 비교와 국토지리정보원의 수치표고모델을 이용하여 상대적인 비교를 수행하였다. 라이다 필터링 실험을 통하여 Adaptive TIN 알고리즘은 산악지역과 도시지역에서 지면점을 가장 효율적으로 추출하였고 건물과 산이 공존하는 지역에서는 Progressive Morphology 알고리즘이 가장 양호한 결과를 나타내었다. 또한 정성적, 정량적 비교 결과 전반적으로 지역적 특성에 관계없이 적용가능한 필터링 알고리즘은 ATIN 알고리즘으로 나타났다.

퍼지 논리를 이용한 컬러 영상 필터 (Color Image Filter Using Fuzzy Logic)

  • 고창룡;구경완;김광백
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권12호
    • /
    • pp.43-48
    • /
    • 2011
  • 현재 영상 정보 개선을 위한 다양한 영상 필터링 알고리즘들이 제시되고 있으며, 그 중에서 기존의 퍼지 논리를 이용한 필터링 알고리즘은 다른 기존의 필터링 방식에서 잡음이 제거된 후에 블러링 효과와 잡음 제거율이 반비례하는 단점을 개선하기 위해서 퍼지 논리를 적용하였다. 그러나 기존의 퍼지 필터 방법은 그레이 영상의 단색 정보만을 잡음의 판단 기준으로 하였기 때문에 칼라 영상에서는 비효율적이다. 따라서 본 논문에서는 기존의 퍼지 논리를 이용한 필터링 알고리즘의 문제점을 개선하는 동시에 컬러 영상에 적용할 수 있는 퍼지 필터 알고리즘을 제안한다. 제시된 퍼지 필터 알고리즘은 영상의 RGB 컬러 정보를 각각의 R, G, B 채널 영상으로 분리하고, 각 채널 영상에 서 마스크가 위치한 기준 픽셀의 잡음 가능성 정도를 퍼지 논리에 적용하여 판단한다. 잡음 정도에 따라서 출력 영상의 화소값을 평균값 또는 중간값으로 결정한다. 제안된 방법을 잡음이 존재하는 칼라 영상에 적용한 결과, 단색 정보를 기준으로 처리하는 기존의 필터 방법에 비해서 효과적인 것을 확인하였다.