• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권5호
• /
• pp.1445-1462
• /
• 2012

While botnets are used for various malicious activities, it is well known that they are widely used for email spam. Though the spam filtering systems currently in use block IPs that send email spam, simply blocking the IPs of zombie PCs participating in a botnet is not enough to prevent the spamming activities of the botnet because these IPs can easily be changed or manipulated. This IP blocking is also insufficient to prevent crimes other than spamming, as the botnet can be simultaneously used for multiple purposes. For this reason, we propose a system that detects botnets and zombie PCs based on email spam analysis. This study introduces the concept of "group pollution level" - the degree to which a certain spam group is suspected of being a botnet - and "IP pollution level" - the degree to which a certain IP in the spam group is suspected of being a zombie PC. Such concepts are applied in our system that detects botnets and zombie PCs by grouping spam mails based on the URL links or attachments contained, and by assessing the pollution level of each group and each IP address. For empirical testing, we used email spam data collected in an "email spam trap system" - Korea's national spam collection system. Our proposed system detected 203 botnets and 18,283 zombie PCs in a day and these zombie PCs sent about 70% of all the spam messages in our analysis. This shows the effectiveness of detecting zombie PCs by email spam analysis, and the possibility of a dramatic reduction in email spam by taking countermeasure against these botnets and zombie PCs.

• 한국멀티미디어학회논문지
• /
• 제13권6호
• /
• pp.841-848
• /
• 2010

Conventional filters using email header and body information equally judge whether an incoming email is spam or not. However this is unrealistic in everyday life because each person has different criteria to judge what is spam or not. To resolve this problem, we consider user preference information as well as email category information derived from the email content. In this paper, we have developed a personalized anti-spam system using ontologies constructed from rules derived in a data mining process. The reason why traditional content-based filters are not applicable to the proposed experimental situation is described. In also, several experiments constructing classifiers to decide email category and comparing classification rule learners are performed. Especially, an ID3 decision tree algorithm improved the overall accuracy around 17% compared to a conventional SVM text miner on the decision of email category. Some discussions about the axioms generated from the experimental dataset are given too.

• 정보보호학회논문지
• /
• 제21권3호
• /
• pp.101-115
• /
• 2011

봇넷(Botnet)은 이미 해킹당한 좀비 PC들로 구성된 거대한 네트워크이다. 본 논문에서는 대다수의 스팸이 봇넷에 의해 발송되고 있다는 점에 착안하여 스팸메일을 분석하여 봇넷과 좀비 PC들을 탐지할 수 있는 시스템을 설계하고 이를 검증하였다. 특히, 본 논문에서는 국가차원에서 스팸 수집 분석 증거물 확보를 목적으로 KISA에서 운영하고 있는 이메일 스팸 트랩 시스템에서 수집된 방대한 스팸 메일을 분석에 활용하였다. 본 논문에서는 동일한 URL이나 첨부파일을 가진 스팸을 하나의 그룹으로 분류하고, 각 그룹의 전체 IP들이 어느 정도 봇넷의 특정을 가지고 있는지와 그룹 내의 각각의 IP들이 어느 정도 좀비 PC의 특정을 가지고 있는지를 측정하여 봇넷 그룹과 좀비 PC를 판별할 수 있도록 설계하였다. 제안된 시스템의 시뮬레이션 결과 1시간동안 16,030개의 좀비 의심 PC를 추출할 수 있었으며, 이메일 스팸이 좀비 PC를 추적하는데 상당히 유용한 정보를 제공해 줄 수 있음을 확인할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권5호
• /
• pp.378-384
• /
• 2005

본 논문에서는 기존의 스팸 메일 필터링 시스템의 성능을 향상시키기 위한 새로운 필터링 방법을 설명한다. 대부분의 스팸 필터링 시스템은 메일의 제목이나 혹은 그 문서 안에서 발견되는 단어들의 분포를 조사하여 이루어진다. 한편, 최근의 스팸 발송자들은 메일 서비스 업체가 제공하는 웹메일 계정을 이용하여 스팸을 발송하기 시작하였다 이렇게 웹메일을 통해 발송되는 스팸 메일의 특징을 보면, 그 메일 계정이 자동으로 생성되기 때문에 일반 사용자의 메일 계정과 많은 차이를 보인다. 본 연구에서는 이러한 점에 착안하여, 발송자의 메일 계정이 자동 생성된 메일 계정인지를 예측하고 이를 통해 스팸을 필터링하고자 한다. 메일 계정을 분류하기 위해서는 패턴 인식 문제에서 사용되어 온 결정 트리를 이용하였으며, 메일 서비스 업체로부터 수집된 약 215 만개의 메일 계정에 대해 실험하였다. 실험 결과, $96.3\%$의 정확률을 나타내었으며, 기존 시스템과 연동하여 새로운 형태의 스팸을 필터링할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제10권6호
• /
• pp.43-48
• /
• 2010

유용한 이메일은 소비자 구매행동에 긍정적 영향을 미치며, 온라인 상점에서 소비자를 구매로 유인하는 수단이 된다. 또한 이메일을 통해 소비자와 정기적인 접촉을 갖게 되면 고객의 충성도가 개선된다. 그러나 이메일에도 한계점이 있다. 통계에 의하면, 이메일의 절반 이상이 스팸이다. 이메일 사용자가 증가함에 따라 과거 몇 년 동안에 스팸이 급속도로 증가하고 있다. 본 연구에서는 그러한 이메일 마케팅의 한계점을 극복하기 위해 온톨로지 접근법을 제안하였다. 본 연구에서 제안한 방법은 스팸 메일을 제거하는데 온톨로지를 활용하는 것이 아니라 개인의 특성과 흥미를 고려하여 개인화 콘텐트를 서비스하는데 온톨로지를 적용하였다. 본 연구에서는 도메인 온톨로지를 개발하였고 기존의 FOAF도 활용하였다. 본 연구의 제안 시스템을 시나리오를 통해 검증하였다.

• 한국지능시스템학회논문지
• /
• 제14권7호
• /
• pp.895-901
• /
• 2004

본 논문은 텍스트 정보와 하이퍼링크에 기반한 2단계 지능형 스팸 메일 필터링에 관한 방법을 제시한다. 일반적으로 스팸 메일의 본문에는 텍스트 문장보다는 그림이 더 많이 포함되어 있기 때문에 단어의 블랙리스트와 같은 전형적인 방법으로 스팸 메일을 구분하기에는 많은 어려움이 따른다. 이러한 문제를 해결하기 위하여 본 논문에서는 스팸 메일에 포함되어 있는 하이퍼링크를 추출하여 해당 웹페이지를 가져온 후, 이를 확장된 형태의 메일 본문이라 간주하여 텍스트 정보를 추출하였다. 또한 스팸 메일을 구분하기 위한 정보를 두 가지로 구분하여 사용하였는데, 메일 송신자의 정보와 확실한 스팸 키워드 리스트를 확실한 정보군으로 구분하여 먼저 적용하고, 이보다 덜 명확한 정보들은 따로 구분하여 속성벡터를 만들어 SVM 알고리즘을 적용하였다. 실험결과 하이퍼링크를 통하여 웹페이지를 가져온 방법이 그냥 원본 메밀만 사용한 방법보다 F-measure 값이 평균 9.4% 의 성능향상을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권3호
• /
• pp.1348-1375
• /
• 2018

Support Vector Machine (SVM) is a well-known machine learning classification algorithm, which has been widely applied to many data mining problems, with good accuracy. However, SVM classification speed decreases with increase in dataset size. Some applications, like video surveillance and intrusion detection, requires a classifier to be trained very quickly, and on large datasets. Hence, this paper introduces two filter-based instance selection techniques for optimizing SVM training speed. Fast classification is often achieved at the expense of classification accuracy, and some applications, such as phishing and spam email classifiers, are very sensitive to slight drop in classification accuracy. Hence, this paper also introduces two wrapper-based instance selection techniques for improving SVM predictive accuracy and training speed. The wrapper and filter based techniques are inspired by Cuckoo Search Algorithm and Bat Algorithm. The proposed techniques are validated on three popular e-fraud types: credit card fraud, spam email and phishing email. In addition, the proposed techniques are validated on 20 other datasets provided by UCI data repository. Moreover, statistical analysis is performed and experimental results reveals that the filter-based and wrapper-based techniques significantly improved SVM classification speed. Also, results reveal that the wrapper-based techniques improved SVM predictive accuracy in most cases.

• 한국정보기술응용학회:학술대회논문집
• /
• 한국정보기술응용학회 2005년도 6th 2005 International Conference on Computers, Communications and System
• /
• pp.17-20
• /
• 2005

In this work, we compared several feature selection methods in the field of spam mail filtering. The proposed fuzzy inference method outperforms information gain and chi squared test methods as a feature selection method in terms of error rate. In the case of junk mails, since the mail body has little text information, it provides insufficient hints to distinguish spam mails from legitimate ones. To address this problem, we follow hyperlinks contained in the email body, fetch contents of a remote web page, and extract hints from both original email body and fetched web pages. A two-phase approach is applied to filter spam mails in which definite hint is used first, and then less definite textual information is used. In our experiment, the proposed two-phase method achieved an improvement of recall by 32.4% on the average over the $1^{st}$ phase or the $2^{nd}$ phase only works.

• 정보처리학회논문지C
• /
• 제11C권5호
• /
• pp.689-696
• /
• 2004

기존의 메일방식은 수신자사서함 기반의 구조적 특성으로 인해 스팸메일이 남발되고 송신자가 수신자사서함에 접근할 수 없어 발송된 메일을 수신자가 있었는지의 여부를 확인하기가 어렵다. 본 논문에서는 기존 메일방식의 구조적 문제점을 개선하기 위해 송신자가 발송한 메일을 송신측 메일서버내 송신자사서함에 보관하는 송신자사서함 기반의 메일방식을 연구하고 이의 성능을 평가하였다. 새로운 메일방식에서는 메일 원본이 수신자가 읽어갈 때까지 송신자사서함에 보관되므로 기존 수신자가 겪었던 사서함 관리와 스팸메일 삭제 등의 부담을 송신자가 떠 안게 되고, 송신자가 자신의 메일을 수신자가 메일을 읽어갔는지의 여부를 자신의 송신자사서함 상태를 확인함으로써 수신자의 의도와 상관없이 쉽게 알 수 있다. 성능평가 결과 스팸메일의 비율이 90%이고, 다중메일의 비율이 80% 일 경우 사서함 공간은 75%, 메일 트래픽은 90% 절감되는 효과를 보였다.

• 한국지능시스템학회논문지
• /
• 제19권3호
• /
• pp.343-349
• /
• 2009

본 논문은 전자메일 사용자별로 제공받은 사용자 선호 정보를 클러스터링하여 사용자 클러스터를 만든 후, 사용자 클러스터들의 전자메일 반응 분포를 계산함으로써 사용자 취향에 따라 동일한 전자메일에 대해서도 다른 반응을 가질 수 있다는 사실을 보이려고 한다. 본 논문에서는 사용자 선호도를 채용하여 보통의 내용기반 방식과는 다른 스팸 메일 대응 시스템을 구축하는 접근법을 제안한다. 제안된 방법은 전자메일 내용으로부터 유도된 전자메일 카테고리 정보뿐만 아니라 사용자 선호 정보도 고려한다. 데이터마이닝 프로세스로부터 유도된 중요한 개념과 규칙들을 정형적으로 표현하기 위하여 사용자 온톨로지를 구축하고, 규칙 최적화 방법을 적용하여 불필요한 규칙들을 제거한다. 실험결과는 제시된 사용자 선호 기반 시스템이 정확률과 시스템이 유도한 규칙, 사용자 이해도 면에서 좋은 결과를 제시한다.