• 제목/요약/키워드: Spam Filtering

검색결과 95건 처리시간 0.03초

Mobile Junk Message Filter Reflecting User Preference

  • Lee, Kyoung-Ju;Choi, Deok-Jai
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권11호
    • /
    • pp.2849-2865
    • /
    • 2012
  • In order to block mobile junk messages automatically, many studies on spam filters have applied machine learning algorithms. Most previous research focused only on the accuracy rate of spam filters from the view point of the algorithm used, not on individual user's preferences. In terms of individual taste, the spam filters implemented on a mobile device have the advantage over spam filters on a network node, because it deals with only incoming messages on the users' phone and generates no additional traffic during the filtering process. However, a spam filter on a mobile phone has to consider the consumption of resources, because energy, memory and computing ability are limited. Moreover, as time passes an increasing number of feature words are likely to exhaust mobile resources. In this paper we propose a spam filter model distributed between a users' computer and smart phone. We expect the model to follow personal decision boundaries and use the uniform resources of smart phones. An authorized user's computer takes on the more complex and time consuming jobs, such as feature selection and training, while the smart phone performs only the minimum amount of work for filtering and utilizes the results of the information calculated on the desktop. Our experiments show that the accuracy of our method is more than 95% with Na$\ddot{i}$ve Bayes and Support Vector Machine, and our model that uses uniform memory does not affect other applications that run on the smart phone.

로지스틱 회귀 분석을 이용한 스펨 필터링의 특징 축소 (Features Reduction using Logistic Regression for Spam Filtering)

  • 정용규;이범준
    • 한국인터넷방송통신학회논문지
    • /
    • 제10권2호
    • /
    • pp.13-18
    • /
    • 2010
  • 오늘날의 스팸 메일이 메일 서버와 네트워크 저장장치의 대부분을 차지함으로 인해 네트워크 부하와 같은 부정적인 문제가 발생하고 있으며 사용자 입장에서는 스팸을 삭제하기 위한 시간과 자원 소모 같은 문제를 가지고 있다. 자동 스팸 메일 필터링은 문제 해결위한 필수적인 요소로 부각 되었다. 대표적인 방법은 나이브 베이지안 방법과 달리 PCA를 통하여 많은 차원을 가지는 스팸 테이터 집합을 몇 개의 주축으로 차원을 축소 시켜 연차 처리의 부담을 줄이고 특정 집으로 분류를 위한 로지스틱 회귀 분석 방법을 사용하여 스팸 필터링을 하였다. 이를 통하여 속도와 성능 두가지의 성과를 얻을 수 있었다.

휴대폰 SMS를 위한 SVM 기반의 스팸 필터링 시스템 (A SVM-based Spam Filtering System for Short Message Service (SMS))

  • 조인휘;심혜택
    • 한국통신학회논문지
    • /
    • 제34권9B호
    • /
    • pp.908-913
    • /
    • 2009
  • 휴대 전화는 이제 우리의 일상생활에서 없어서는 안 될 중요한 가전 기기로 자리 잡았다. 이러는 와중에 휴대폰에서 사용하는 문자 메시지 사용량 역시 꾸준하게 증가하여 현재는 음성 통화 이용량의 1.5배에서 2배에 이르고 있다. 문자 메시지의 사용량이 증가함에 따라 스팸 문자 메시지도 따라서 증가하였는데 기존의 모바일 기기에서의 스팸 필터링 방식은 단순 문자열 비교나 특정 번호 차단과 같은 아주 기초적인 수준으로 스팸 메시지를 필터링하고 있는 실정이다. 본 논문에서는 SVM(Support Vector Machine)과 시소러스(thesaurus) 사전을 이용하여 좀 더 강력하고 적응적인 스팸 필터링 시스템을 제안하였다. 제안한 시스템은 샘플 문자 메시지로부터 전처리 기를 이용하여 문자 메시지 속에 담겨 있는 단어를 추출 한 후, 추출된 단어를 시소러스 사전을 이용하여 해당 의미가 가지는 대표 단어로 변경하였다. 변경된 단어들에서 카이 제곱 통계량을 계산하여 그 값이 높은 단어들을 특징 단어로 선정하였고 선정된 특징 단어들을 가지고 SVM 분류기로 학습을 진행하였다. 그 후 학습된 분류기를 이용하여 테스트 문자 메시지의 스팸 여부를 분류하였으며 평균 92%의 인식률을 보였다. 제안된 시스템은 PC에서 구현되어 있으며 실험을 통하여 그 성능을 확인하였다.

Lifelong Machine Learning 기반 스팸 메시지 필터링 방법 (A Method for Spam Message Filtering Based on Lifelong Machine Learning)

  • 안연선;정옥란
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1393-1399
    • /
    • 2019
  • 인터넷의 급속한 성장으로 데이터의 송수신의 편리성과 비용이 들지 않는다는 장점 때문에 매일 수백만 건의 무차별적인 광고성 스팸 문자와 메일이 발송되고 있다. 아직은 스팸 단어나 스팸 번호를 차단하는 방법을 주로 사용하지만, 기계 학습이 떠오름에 따라 스팸을 필터링하는 방법에 대해 다양한 방식으로 활발히 연구되고 있다. 그러나 스팸에서만 등장하는 단어나 패턴은 스팸 필터링 시스템에 의해 걸러지지 않기 위해 지속적으로 변화하고 있기 때문에, 기존 기계 학습 메커니즘으로는 새로운 단어와 패턴을 감지, 적응할 수 없다. 최근 이러한 기존 기계 학습의 한계점을 극복하기 위해 기존의 지식을 활용하여 새로운 지식을 지속적으로 학습하도록 하는 Lifelong Learning(이하 LL)의 개념이 대두되었다. 본 논문에서는 문서 분류에 가장 많이 사용되는 나이브 베이즈와 Lifelong Machine Learning(이하 LLML)의 앙상블 기법을 이용한 스팸 메시지 필터링 방법을 제안한다. 우리는 기존 스팸 필터링 시스템에 가장 많이 사용되는 나이브 베이즈와, LLML 모델 중 ELLA를 적용하여 LL의 성능을 검증한다.

URL 빈도분석을 이용한 스팸메일 차단 방법 (A spam mail blocking method using URL frequency analysis)

  • 백기영;이철수;류재철
    • 정보보호학회논문지
    • /
    • 제14권6호
    • /
    • pp.135-148
    • /
    • 2004
  • 최근 다양하게 변하는 스팸메일은 단어에 의한 기존의 스팸메일 판별 방법으로는 차단하기 어렵다. 이와 같은 문제를 해결하고자 URL 빈도분석을 이용한 스팸메일 관별 규칙 생성 방법을 제안한다. 제안한 방법은 스팸메일을 수집하고, 수집된 스팸메일에서 특징이 되는 URL을 추출하고, 이를 정규화하여 시간 빈도에 따른 스팸메일 판별 규칙 생성하여 스팸메일을 차단하는 단계로 구성된다. 이는 다양한 스팸메일에 대응할 수 있으며 변화하는 스팸메일의 형태에 대해서도 대응할 수 있는 구조를 가지고 있다.

An Architecture for Certificate and Agent Based E-mailing to Block Spam Mail

  • Nam, Sang-Zo
    • 지능정보연구
    • /
    • 제9권2호
    • /
    • pp.39-50
    • /
    • 2003
  • Deleting unsolicited email, popularly known as spam mail, is an annoying task for Internet users. Moreover, spam mail causes a variety of social problems. At present, legal restrictions cannot eradicate spam senders. As a result, many technical methods to eliminate spam mail such as spam filtering and online stamps have been introduced. However, the process of blocking spam mail can inadvertently result in suspension of indispensable or beneficial communication. In this paper, we propose a certificate and agent based emailing architecture that can block spam mail, while at the same time approve certified mail. This architecture can be accelerated by synergistic utilization of digital signature and electronic document interchange.

  • PDF

A Proposed Architecture for Certificate and Agent Based E-mailing to Block Spam Mail

  • Nam, Sang-Zo
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2003년도 Proceeding
    • /
    • pp.28-34
    • /
    • 2003
  • Deleting unsolicited email, popularly known as spam mail, is an annoying task for Internet users. Moreover, spam mail causes a variety of social problems. At present, legal restrictions cannot eradicate spam senders. As a result many technical methods to eliminate spam mail such as spam filtering and online stamps have been introduced. However, the process of blocking spam mail can inadvertently result in suspension of indispensable or beneficial communication. In this paper, we propose a certificate and agent based emailing architecture that can block spam mail, while at the same time approve certified mail. This architecture can be accelerated by synergistic utilization of digital signature and electronic document interchange.

  • PDF

텍스트정보와 하이퍼링크에 기반한 지능형 스팸 메일 필터링 (Intelligent Spam-mail Filtering Based on Textual Information and Hyperlinks)

  • 강신재;김종완
    • 한국지능시스템학회논문지
    • /
    • 제14권7호
    • /
    • pp.895-901
    • /
    • 2004
  • 본 논문은 텍스트 정보와 하이퍼링크에 기반한 2단계 지능형 스팸 메일 필터링에 관한 방법을 제시한다. 일반적으로 스팸 메일의 본문에는 텍스트 문장보다는 그림이 더 많이 포함되어 있기 때문에 단어의 블랙리스트와 같은 전형적인 방법으로 스팸 메일을 구분하기에는 많은 어려움이 따른다. 이러한 문제를 해결하기 위하여 본 논문에서는 스팸 메일에 포함되어 있는 하이퍼링크를 추출하여 해당 웹페이지를 가져온 후, 이를 확장된 형태의 메일 본문이라 간주하여 텍스트 정보를 추출하였다. 또한 스팸 메일을 구분하기 위한 정보를 두 가지로 구분하여 사용하였는데, 메일 송신자의 정보와 확실한 스팸 키워드 리스트를 확실한 정보군으로 구분하여 먼저 적용하고, 이보다 덜 명확한 정보들은 따로 구분하여 속성벡터를 만들어 SVM 알고리즘을 적용하였다. 실험결과 하이퍼링크를 통하여 웹페이지를 가져온 방법이 그냥 원본 메밀만 사용한 방법보다 F-measure 값이 평균 9.4% 의 성능향상을 보였다.

스팸 메일 차단솔루션의 새로운 제어 방식 제안 (The Suggestion of a New Control Method for SPAM Mail Prevention Solution)

  • 김민홍;두창호
    • 한국컴퓨터산업학회논문지
    • /
    • 제5권4호
    • /
    • pp.453-460
    • /
    • 2004
  • 스팸메일은 최근 전 세계적으로 사회문제가 되고 있으며, 이에 대한 차단 솔루션에 대한 개발 제품이 출시되고 있다. 본 논문은 기존 스팸메일 방지 솔루션을 설치 형태에 따른 분류, 장단점 분석과 스팸의 판정 법에 따른 분류 고찰하였다. 이에 기존 스팸메일 솔루션의 문제점을 도출하고 현재 적용되지 않은 새로운 필터링 방법인 URL Prefetch 방식을 새롭게 제안하고 이에 따른 방법에 의한 실험을 통한 스팸메일 차단 상승효과를 도출하고, 또한 HTML 유형 방식에 의한 차단방법도 함께 제안한다.

  • PDF

사용자 행동을 이용한 쓰레기편지 여과의 성능 개선 (Performance Improvement of Spam Filtering Using User Actions)

  • 김재훈;김강민
    • 정보처리학회논문지B
    • /
    • 제13B권2호
    • /
    • pp.163-170
    • /
    • 2006
  • 인터넷의 급속한 성장으로 전자편지는 정보 전달의 중요한 수단으로 사용되고 있다. 그러나 수신자가 원하지 않는 전자편지(쓰레기 편지)들이 무분별하게 배달될 수 있으며, 이로 인해 사회적으로는 물론이고 경제적으로도 큰 문제가 되고 있다. 이와 같이 쓰레기 편지를 차단하거나 여과하기 위해서 많은 연구자와 회사에서 꾸준히 연구를 진행하고 있다. 일반적으로 쓰레기 편지를 결정하는 기준은 수신자에 따라서 조금씩 차이가 있다. 또한 쓰레기 편지와 정보성 편지에 따라서 수신자가 취하는 행동이 다르다. 이 논문은 이런 사용자 행동을 쓰레기 편지 여과 시스템에 반영하여 그 시스템의 성능을 개선한다. 제안된 시스템은 크게 두 단계로 구성된다. 첫 번째 단계는 사용자 행동을 추론하는 단계이고 두 번째 단계는 추론된 사용자 행동을 이용해서 쓰레기 편지를 여과하는 단계이다. 두 단계 모두에서 점진적인 기계학습 방법(TiMBL - IB2)을 이용한다. 제안된 시스템을 평가하기 위해 12명의 사용자로부터 12,000통으로 이루어진 전자편지 말뭉치를 구축하였다. 실험 결과는 사용자에 따라 $81%{\sim}93%$의 분류 정확도를 보였다. 사용자의 행동 정보를 포함하는 편지 분류 결과는 그렇지 않은 결과에 비해 평균 14%의 분류 정확도가 향상되었다.