• Title/Summary/Keyword: 스팸 필터

Search Result 94, Processing Time 0.025 seconds

A Method for Spam Message Filtering Based on Lifelong Machine Learning (Lifelong Machine Learning 기반 스팸 메시지 필터링 방법)

  • Ahn, Yeon-Sun;Jeong, Ok-Ran
    • Journal of IKEEE
    • /
    • v.23 no.4
    • /
    • pp.1393-1399
    • /
    • 2019
  • With the rapid growth of the Internet, millions of indiscriminate advertising SMS are sent every day because of the convenience of sending and receiving data. Although we still use methods to block spam words manually, we have been actively researching how to filter spam in a various ways as machine learning emerged. However, spam words and patterns are constantly changing to avoid being filtered, so existing machine learning mechanisms cannot detect or adapt to new words and patterns. Recently, the concept of Lifelong Learning emerged to overcome these limitations, using existing knowledge to keep learning new knowledge continuously. In this paper, we propose a method of spam filtering system using ensemble techniques of naive bayesian which is most commonly used in document classification and LLML(Lifelong Machine Learning). We validate the performance of lifelong learning by applying the model ELLA and the Naive Bayes most commonly used in existing spam filters.

Development of A Recovery-algorithm of False-Positive Mail based on the Property of the Privacy (Privacy 속성 기반의 오인된 메일 복구 알고리즘 개발)

  • Seo, Sang-Jjin;Park, Noh-Kyung;Jin, Hyun-Joon
    • Journal of IKEEE
    • /
    • v.9 no.2 s.17
    • /
    • pp.108-114
    • /
    • 2005
  • While E-mail has become an important way of communications in IT societies, it creates various social problems due to increase of spam mails. Even though many organizations and corperations have been doing researches to develop spam mail blocking technologies, more cost and system complexities are required because of varieties of blocking technologies. In case of adopting spam blocking technologies, system reliability largely relies on the False-positive error rate with the order of employing spam blocking filters. In this paper, a False-positive mail recovery technique based on privacy information is proposed and implemented in order to improve the reliability of spam locking filters. Through the implemented prototype, recovery procedure for False-positive mails is verified and the results are summarized and analyzed.

  • PDF

Implementation of A Mobile Application for Spam SMS Filtering Using Set-Based POI Search Algorithm (집합 기반 POI 검색 알고리즘을 활용한 스팸 메시지 판별 모바일 앱 구현)

  • Ahn, Hye-yeong;Cho, Wan-zee;Lee, Jong-woo
    • Journal of Digital Contents Society
    • /
    • v.16 no.5
    • /
    • pp.815-822
    • /
    • 2015
  • By the growing of SMS phishing victims, applications for processing spam messages are being released in succession. However most spam messages that cleverly modified the content like separating the consonants and vowels are fail to be filtered. In this paper, we implemented an application 'AntiSpam' which is able to identify spam strings in the text message to solve this problem. 'AntiSpam' searches spam strings in the text message by using set-based POI search algorithm, and then calculate the possibility of whether it is spam or not in accordance with the search results. In addition, it catches skillfully disguised spam messages in order to avoid missing the spam filtering. Users, who received a message, can check the result in spam message possibility decision result and the contents of the message and they can choose how to handling the message.

A Development of the SMBC platform for supporting advanced performance of blocking spam-mails (향상된 차단 성능 지원을 위한 SMBC 플랫폼 개발)

  • Sso, Sang-Jin;Jin, Hyun-Joon;Park, Noh-Kyung
    • Journal of Internet Computing and Services
    • /
    • v.8 no.2
    • /
    • pp.89-94
    • /
    • 2007
  • Even though lots of research have been doing about spam mail blocking technologies and their systems, the emergence of spam mails of new types causes the spam mail filtering rate to decrease and the occurrences of false-positive mails to increase. Therefore, existing spam mail filtering algorithms suffer from increasing load to be processed and decreasing reliability in spam mail blocking systems due to the shortage of newly developed algorithms and their research. This paper presents the Fit-FA Finder which is able to select appropriate algorithms to be applied and their procedures, and the development of the SMBC platform. The Fit-FA Finder is developed and implemented in the SMBC platform in which recovering process based on privacy information is employed for false-positive mails

  • PDF

Personalized Mobile Junk Message Filtering System (사용자 맞춤형 스팸 문자 필터링 시스템)

  • Lee, Seung-Jae;Choi, Deok-Jai
    • The Journal of the Korea Contents Association
    • /
    • v.11 no.12
    • /
    • pp.122-135
    • /
    • 2011
  • Mobile spam message is a harmful factor which makes receivers to be annoyed and leads to unnecessary social cost. Unwanted junk messages flowing to a smart phone ruin main purpose of the smart work system to enhance the productivity, so we need to study on this area. In this paper, we proposed a novel spam filter on the smartphone in order to reduce computing process and improve the accuracy rate by feedback of error results to a training sample set. As the spam classifier operates on the smartphone independently with training on only user's received data, it could reflect user preference. The authorized personal computer takes on heavy works, such as preprocessing, feature selecting and training process, and the smartphone takes on light works to block junk messages. Experimental results showed reasonable accuracy rate of over 95%, and we found that the application occupied constant computing resources while running on the phone.

A Mobile Spam SMS Filtering System using Machine learning about syllable and the features of caller ID (발신번호 특징 및 음절단위 기계학습을 통한 모바일 스팸 SMS 필터링 시스템)

  • You, Hwan-il;Chae, Dong Kyu;Im, Eul-Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.219-222
    • /
    • 2011
  • 본 논문에서는 스팸 SMS 발신번호와 메시지 텍스트의 특징을 기계학습한 스팸 필터링 시스템을 논한다. 최근 변화하는 스팸SMS에 대한 적응력을 위해서, 각 트레이닝 셋의 수신 텍스트를 음절단위로 분석 할 것을 제안한다. 그리고 기존의 분류기는 성능이 미흡하거나 구현의 복잡성으로 인해 실제로 스펨 필터엔진으로 활용되지 않는 점을 극복하기 위해서 보다 단순한 분류기를 사용한다. 제안하는 시스템은 트레이닝 셋의 발신번호 및 수신 텍스트의 음절단위를 빈도수와 묶어 학습데이터를 구성하고, 테스트 셋을 스팸적 논스팸적으로 분석하여 스팸일 확률을 계산한다. 또한 Naive baysian를 바탕으로 한 경계값 기반 분류기를 통해, 타 분류기에 비해 구현 및 활용면에서 실용성이 높으면서도 성능이 뒤처지지 않는 시스템을 제안한다.

Design and Implementation of Korean Spam mail Filter using the Place of Dispatch Tracking and IBL (발신지 추적기법과 사례기반학습을 이용한 한국어 스팸메일 필터의 설계 및 구현)

  • Ha, Hong-Joon;Weon, Ill-Young;Park, Ho-Joon;Song, Doo-Heon;Lee, Chang-Hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11a
    • /
    • pp.343-346
    • /
    • 2002
  • 스팸메일이 급증함에 따라 신뢰할 수 있는 전자메일 필터의 요구가 늘어나는 추세다. 스팸메일을 보내는 스패머(spammer)의 거의 대부분은 광고가 주요 목적이다. 멀티미디어(multimedia)기반의 전자메일은 정보전달 및 시각효과가 뛰어나 스패머가 선호하는 전자메일의 한 형태이다. 이런 종류의 전자메일은 텍스트 기반(基盤) 스팸메일 필터의 성능을 떨어뜨리거나 필터링을 아예 불가능하게 한다. 본 연구에서 발신지(發信地) 추적기법과 사례기반학습을 이용해 신뢰할 수 있는 한국어 스팸 메일필터를 설계 및 구현하였다.

  • PDF

Spam Mail Filtering System using Ontology and Semantic Enrichment (온톨로지와 Semantic Enrichment를 이용한 스팸 메일 필터링 시스템)

  • 김현준;김흥남;정재은;조근식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.553-555
    • /
    • 2004
  • 최근 인터넷의 급속한 성장과 더불어 전자메일(I-Mail)은 의사교환의 필수적인 매체로 사용 되어지고 있다. 그러나 편리하고 비용이 들지 앉는 장정을 이용해 엄청난 양의 스맴 메일이 매일같이 솎아져 오고, 이를 해결하기 위한 다양한 연구들이 제시되어져 왔다. 특히. 문서 분류에 널리 쓰이는 베이지안 분류자(Bayesian classifier)가 가장 널리 이용되어지고 있는데, 정확도와 재현율에서 비교적 우수한 성능을 보이고 있다. 그러나 몇 가지 문제점을 갖고 있는데, 첫째, 사전에 사용자에 의해 스팸. 논스팸 메일에 대한 충분한 학습이 선행되어야 하는 정, 둘째, 필터링을 위한 연산시간이 소요되는 점, 셋째, 필터링의 대상이 되는 메일 본문의 내용이 적을 경우 정확한 필터링이 어렵다는 정 등의 문제점이 있다. 본 논문에서는 마지막 문제점으로 지적된 메일 본문의 내용이 적을 경우 즉, 연산을 위한 특징적인 단어들의 부족으로 정확한 분류가 불가능한 경우의 해결방안으로 온틀로지와 Semantic Enrichment 기법을 이용한 스팸 메일 필터링 시스템을 제안한다. 실험 결과, 제안하는 시스템이 베이지안 분류자를 이용한 분류 시스템보다 정확도에서 4.1%, 재현율에서 10.5%. 그리고 F-measure에서 7.64%의 성능향상을 보였다.

  • PDF

An improvement of MDA(Mail Delivery Agent) Filtering method for prevention of spam mail (스팸메일 방지를 위한 MDA의 필터링방법 개선방안)

  • 박은옥;김영현;최은정;유주영;김미애;박유미;김윤정;김명주
    • Proceedings of the Korea Institutes of Information Security and Cryptology Conference
    • /
    • 2003.12a
    • /
    • pp.259-263
    • /
    • 2003
  • 인터넷 이용자가 증가함에 따라 전자메일 사용자도 증가하고 있다. 전자메일 사용으로 통신상의 비용 및 시간이 절약되는 장점이 있지만 소수의 유저들이 상업적 목적으로 많은 유저에게 원하지 않은 메일(스팸메일)을 보냄으로써 물질적, 정신적 피해를 입히고 있다. 따라서 스팸 메일을 방지하기 위한 여러 기법들이 제안되었다. 본 논문에서는 스팸 메일 문제를 해결하기 위해 먼저 전자메일 시스템에 대한 구조를 살펴보고 MTA, MDA를 이용하는 스팸 메일 필터링 도구들을 비교 분석한 연구결과를 제시한다. 그리고 탐지 성능을 개선할 수 있는 새로운 방안을 제시한다. 제안 방법은 공개 배포용 MDA인 procmail에 기반한 것으로, 규칙(rule)을 매칭(matching)시키는 시간을 줄이는 것이다.

  • PDF

A Spam Filter System Based on Maximum Entropy Model Using Co-training with Spamminess Features and URL Features (스팸성 자질과 URL 자질의 공동 학습을 이용한 최대 엔트로피 기반 스팸메일 필터 시스템)

  • Gong, Mi-Gyoung;Lee, Kyung-Soon
    • The KIPS Transactions:PartB
    • /
    • v.15B no.1
    • /
    • pp.61-68
    • /
    • 2008
  • This paper presents a spam filter system using co-training with spamminess features and URL features based on the maximum entropy model. Spamminess features are the emphasizing patterns or abnormal patterns in spam messages used by spammers to express their intention and to avoid being filtered by the spam filter system. Since spammers use URLs to give the details and make a change to the URL format not to be filtered by the black list, normal and abnormal URLs can be key features to detect the spam messages. Co-training with spamminess features and URL features uses two different features which are independent each other in training. The filter system can learn information from them independently. Experiment results on TREC spam test collection shows that the proposed approach achieves 9.1% improvement and 6.9% improvement in accuracy compared to the base system and bogo filter system, respectively. The result analysis shows that the proposed spamminess features and URL features are helpful. And an experiment result of the co-training shows that two feature sets are useful since the number of training documents are reduced while the accuracy is closed to the batch learning.