• 제목/요약/키워드: Spam-filter

검색결과 40건 처리시간 0.027초

문장유사도 측정 기법을 통한 스팸 필터링 시스템 구현 (Implementation of a Spam Message Filtering System using Sentence Similarity Measurements)

  • 우수빈;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권1호
    • /
    • pp.57-64
    • /
    • 2017
  • 문자 메시지는 휴대폰을 사용하는 사람들에게 중요한 의사소통의 방법 중 하나이다. 또한 친구맺기 방식이 필요 없이 사용이 가능하기 때문에 이를 악용한 불법 광고 스팸메시지가 기승을 부리고 있다. 최근 스팸 필터링을 위해 기계 학습을 이용한 시스템들이 등장 하였지만 많은 계산을 필요로 하는 단점이 있다. 본 논문에서는 검색할 쿼리를 입력할 때 부정확한 쿼리를 입력하더라도 저장된 데이터베이스와 비교하여 가장 비슷한 단어를 차수 개념을 적용하여 유추하는 집합 기반 POI(Point of Interest) 검색 알고리즘을 이용하여 스팸 필터링 시스템을 구현하였다. 이 알고리즘을 적용하면 서버 컴퓨팅 없이 문자의 조합만을 이용해 쿼리를 유추할 수 있기 때문에 스팸 필터링에 적용하여 입력된 문자메시지가 교묘하게 변형되더라도 스팸이라고 필터링이 가능하다. 또한 문장 유사도 측정 기법을 활용하여 스팸 필터링 성능을 향상시켰으며, 스팸 필터링에 취약한 특정 유형도 걸러내기 위해 특정 전처리 과정을 지원함으로써 대부분의 스팸메세지를 필터링 가능하도록 하였다. 기존 집합기반 POI 검색 알고리즘과 이를 확장 시킨 문장 유사도 측정 기법, 특정 전처리 과정을 추가한 시스템으로 필터링 시스템의 성능평가를 진행하였다. 그 결과 본 논문에서 구현한 시스템이 기존 집합기반 POI 알고리즘과 비교하여 향상된 스팸 필터링 성능을 보여주는 것을 확인하였다. 또한 이동통신사 3사에서 필터링에 취약한 유형이 본 논문에서 구현한 시스템으로 높은 성능으로 필터링이 가능하다는 것을 확인하였다.

시드 정제 기술을 이용한 웹 스팸 필터링의 품질 향상 (Improving the Quality of Web Spam Filtering by Using Seed Refinement)

  • 무하마드 아티프 쿠레시;윤태섭;이정훈;황규영
    • 전자공학회논문지CI
    • /
    • 제48권6호
    • /
    • pp.123-139
    • /
    • 2011
  • 웹 스팸은 중요하지 않은 웹 페이지들의 중요도를 승격시키기 때문에 웹 검색 결과의 품질에 중대한 영향을 준다. 따라서 웹 검색 엔진은 웹 스팸을 제거할 필요가 있다. 웹 스팸 필터링은 스팸 페이지들, 즉 웹 스팸에 기여하는 웹 페이지들을 식별하는 것이며, 잘 알려진 웹 스팸 필터링 알고리즘으로는 Trust Rank, Anti-Trust Rank, Spam Mass, 그리고 Link Farm Spam이 있다. 이러한 알고리즘들의 결과 품질은 입력 시드(input seed)에 따라 달라진다. 따라서 입력 시드를 정제(refinement) 함으로써, 웹 스팸 필터링의 품질을 향상 시킬 수 있다. 본 논문에서는 잘 알려진 네 가지 알고리즘에 대한 시드를 정제하는 기술을 제안한다. 다음으로, 이러한 기술을 원(original) 알고리즘에 각각 적용하는 방법으로 알고리즘을 수정한다. 이를 수정된 웹 스팸 필터링 알고리즘이라고 부른다. 본 논문에서는 또한, 웹 스팸 필터링을 좀 더 향상시키기 위한 전략을 제안한다. 이 전략에서는 수정된 알고리즘들을 수행 순서상의 적절한 위치에 배치함으로써 알고리즘들의 상호간 지원을 통해 전체적으로 성능을 향상시키는 가능성을 고려한다. 마지막으로, 실험에서는 시드 정제의 효과를 보인다. 이를 위해, 먼저, 수정된 알고리즘의 웹 스팸 필터링 품질이 원 알고리즘의 품질보다 더 우수함을 보인다. 다음으로, 웹 스팸 필터링 알고리즘들이 수행되는 순서의 조합 중 가장 성능이 우수한 조합이 가장 뛰어난 잘 알려진 알고리즘과 비교하여 정확도(precision)를 유지하면서 파라미터의 전형적인 값 범위 내에서 재현율(recall)은 최대 1.38배까지 높게 향상됨을 보인다.

사용자 맞춤형 스팸 문자 필터링 시스템 (Personalized Mobile Junk Message Filtering System)

  • 이승재;최덕재
    • 한국콘텐츠학회논문지
    • /
    • 제11권12호
    • /
    • pp.122-135
    • /
    • 2011
  • 스팸 문자 메시지는 모바일 이용자에게 불쾌감을 줄 뿐만 아니라 불필요한 사회비용을 유발하는 유해 요소이다. 특히 스마트워크 시스템에서 핵심 단말인 스마트폰으로 유입되는 스팸 문자는 업무능률 향상이라는 스마트워크의 취지를 무색하게 만들 수 있어 이에 대한 연구가 필요하다. 본 논문에서는 스팸 자동분류기로 스팸 메시지를 차단함에 있어서, 오분류 결과를 학습군에 재반영하여 연산량을 줄이고 인식 성능을 개선할 수 있는 방법을 제안하였다. 스팸 분류기는 스마트폰에서 독립적으로 동작하고, 사용자의 수신 메시지만으로 학습하므로 사용자의 분류 판단 성향을 반영할 수 있다. 많은 컴퓨팅 자원을 소비해야 하는 전처리, 특징 선정, 훈련 과정은 사용자의 인증 컴퓨터가 담당하고 필터링 과정만을 스마트폰에서 처리한다. 실험 결과 95%이상의 양호한 결과를 보였고 스팸 분류기는 스마트폰의 일정 자원만을 점유하면서 동작하였다.

Lifelong Machine Learning 기반 스팸 메시지 필터링 방법 (A Method for Spam Message Filtering Based on Lifelong Machine Learning)

  • 안연선;정옥란
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1393-1399
    • /
    • 2019
  • 인터넷의 급속한 성장으로 데이터의 송수신의 편리성과 비용이 들지 않는다는 장점 때문에 매일 수백만 건의 무차별적인 광고성 스팸 문자와 메일이 발송되고 있다. 아직은 스팸 단어나 스팸 번호를 차단하는 방법을 주로 사용하지만, 기계 학습이 떠오름에 따라 스팸을 필터링하는 방법에 대해 다양한 방식으로 활발히 연구되고 있다. 그러나 스팸에서만 등장하는 단어나 패턴은 스팸 필터링 시스템에 의해 걸러지지 않기 위해 지속적으로 변화하고 있기 때문에, 기존 기계 학습 메커니즘으로는 새로운 단어와 패턴을 감지, 적응할 수 없다. 최근 이러한 기존 기계 학습의 한계점을 극복하기 위해 기존의 지식을 활용하여 새로운 지식을 지속적으로 학습하도록 하는 Lifelong Learning(이하 LL)의 개념이 대두되었다. 본 논문에서는 문서 분류에 가장 많이 사용되는 나이브 베이즈와 Lifelong Machine Learning(이하 LLML)의 앙상블 기법을 이용한 스팸 메시지 필터링 방법을 제안한다. 우리는 기존 스팸 필터링 시스템에 가장 많이 사용되는 나이브 베이즈와, LLML 모델 중 ELLA를 적용하여 LL의 성능을 검증한다.

튜링 테스트 기반으로 한 VoIP 스팸방지 (Anti-Spam for VoIP based on Turing Test)

  • 김명원;곽후근;정규식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권3호
    • /
    • pp.261-265
    • /
    • 2008
  • ITSP(Internet Telephony Service Provider)를 이용한 VoIP 서비스의 사용자가 증가함에 따라 VoIP 스팸은 큰 문제로 대두되고 있다. 기존의 일반 전화 때부터 사용되던 스팸은 실시간적 음성 통신이라는 특성상 콘텐츠 필터링을 하기 어렵기 때문에 콜 행위 패턴 조사를 통해 스패머(Spammer)를 구분하고 있다. 그러나 잘못된 오판으로 인한 문제와 스팸으로 인식하는 임계값을 넘지 않는 한도의 스팸 전송, 그리고 여러 사용자가 하나의 번호를 공유하여 사용하는 경우에는 여전히 스팸의 위협이 남아 있다. 이에 본 논문에서는 튜링 테스트를 이용한 VoIP 스팸 방지를 제안한다. 제안된 방법은 송신자에게 튜링 테스트를 거치게 하고, 튜링 테스트를 통과한 사용자만 수신자와 연결이 되는 방식으로 동작한다. 또한 튜링 테스트를 통과한 정상적인 사용자에게는 티켓을 줌으로써 재발신시 거쳐야하는 튜링 테스트의 번거로움을 줄일 수 있다. 제안된 방법은 ASUS WL-500G 무선 공유기 및 Asterisk IP-PBX에서 구현되었고 실험을 통해 제안된 방법의 유효성을 검증하였다.

userID 기반의 빠른 메일 차단 알고리즘 (A fasrter Spam Mail Prevention Algorithm on userID based)

  • 심재창;고주영;김현기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2003년도 추계종합학술대회
    • /
    • pp.211-214
    • /
    • 2003
  • 스팸메일로 인한 피해가 크게 늘어나고 있어 스팸 필터링과 차단에 관한 연구가 활발하다. 스팸메일 차단에 이메일 주소 대신 userID(사용자아이디)를 비교하여 처리 속도를 빠르게 하는 방법을 제안한다. userID가 중복되어 스팸메일이 통과하는 경우가 2% 정도 발생하는데 해당 도메인을 불량 도메인 목록에 등록해서 차단한다. 제안된 방법은 이메일 주소를 비교하는 방법 보다 DB용량도 줄어 들고, 문자의 비교에서 약 3.7배 속도가 향상된다. userID의 자동등록을 위해 등록되지 않는 메일이 수신되면 비밀단어를 반송하는 방법을 적용하였다.

  • PDF

사용자 행동을 이용한 쓰레기편지 여과의 성능 개선 (Performance Improvement of Spam Filtering Using User Actions)

  • 김재훈;김강민
    • 정보처리학회논문지B
    • /
    • 제13B권2호
    • /
    • pp.163-170
    • /
    • 2006
  • 인터넷의 급속한 성장으로 전자편지는 정보 전달의 중요한 수단으로 사용되고 있다. 그러나 수신자가 원하지 않는 전자편지(쓰레기 편지)들이 무분별하게 배달될 수 있으며, 이로 인해 사회적으로는 물론이고 경제적으로도 큰 문제가 되고 있다. 이와 같이 쓰레기 편지를 차단하거나 여과하기 위해서 많은 연구자와 회사에서 꾸준히 연구를 진행하고 있다. 일반적으로 쓰레기 편지를 결정하는 기준은 수신자에 따라서 조금씩 차이가 있다. 또한 쓰레기 편지와 정보성 편지에 따라서 수신자가 취하는 행동이 다르다. 이 논문은 이런 사용자 행동을 쓰레기 편지 여과 시스템에 반영하여 그 시스템의 성능을 개선한다. 제안된 시스템은 크게 두 단계로 구성된다. 첫 번째 단계는 사용자 행동을 추론하는 단계이고 두 번째 단계는 추론된 사용자 행동을 이용해서 쓰레기 편지를 여과하는 단계이다. 두 단계 모두에서 점진적인 기계학습 방법(TiMBL - IB2)을 이용한다. 제안된 시스템을 평가하기 위해 12명의 사용자로부터 12,000통으로 이루어진 전자편지 말뭉치를 구축하였다. 실험 결과는 사용자에 따라 $81%{\sim}93%$의 분류 정확도를 보였다. 사용자의 행동 정보를 포함하는 편지 분류 결과는 그렇지 않은 결과에 비해 평균 14%의 분류 정확도가 향상되었다.

스팸 FAX 방지를 위한 임베디드 기반의 디지털 저장 장치 개발 (Embedded-based Digital Storage Device for the Prevention of Spam FAX)

  • 이세훈;김주봉;김미연;이동길;이병기
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제52차 하계학술대회논문집 23권2호
    • /
    • pp.11-12
    • /
    • 2015
  • 본 논문에서는 스팸 FAX을 걸러내어 과도한 종이 낭비와 FAX 시스템의 효율성 증진을 위한 필터링 장비를 제안한다. 해당 장비는 실제 FAX 기기와 PSTN망 사이에 위치하여, 데이터 망으로 들어오는 스팸 FAX를 걸러 내고, 사용자는 외부에서 저장장치에 접근하여 출력하고자 하는 FAX 데이터만 선택하여 출력 할 수 있는 장치이다.

  • PDF

스팸메일 차단을 위해 IP 주소간 거리 측정 알고리즘을 이용하는 전자우편 발송서버의 권한확인 방법 (E-mail Sending-Server Authorization Method using a Distance Estimation Algorithm between IP Addresses for Filtering Spam)

  • 임호성;심재홍;최경희;정기현
    • 정보처리학회논문지C
    • /
    • 제12C권5호
    • /
    • pp.765-772
    • /
    • 2005
  • 본 논문에서는 스팸메일을 차단하기 위해 전자우편 발송서버가 발신자가 소속된 도메인에 등록된 서버인지 또는 그 도메인에 속한 서버인지 판단하는 IP 주소간 거리 측정 알고리즘을 이용하는 전자우편 발송서버 권한확인 방법을 제안한다. 제안 방법은 전자우편을 발송한 서버의 IP 주소와 전자우편의 발신자 도메인의 DNS에 등록된 IP 주소들과의 거리를 이용해 전자우편을 발송한 서버가 전자우편의 발신자 도메인의 네트워크에 존재하는지 확인하여 스팸메일을 차단한다. 일정기간 동안 수집한 전자우편에 대해 제안 알고리즘을 적용하여 IP 주소간 거리를 측정한 결과 정상메일의 경우 $88\%$, 스팸메일의 경우 $10\%$ 정도가 발신자가 소속된 도메인에 속한 전자우편 서버에서 발송되었고, 나머지는 발신자 주소를 도용하였거나 또는 제3의 장소에 존재하는 서버에서 발송하였음을 확인하였다. 제안 알고리즘은 발신자 도메인이 전자우편 발송 권한을 부여하지 않은 서버로부터 수신된 전자우편을 모두 스팸메일로 간주하여 스팸메일을 차단하는데 독립적으로 사용될 수 있으며, 또한 현재 표준화가 진행 중인 전자우편 발송서버 권한확인 프로토콜들이 보편화되어 사용되기 전까지 이들 프로토콜의 보완책으로도 사용될 수 있다.

휴대폰의 스팸문자메시지 판별 시스템 (A Spam Message Filter System for Mobile Environment)

  • 이성욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.194-196
    • /
    • 2010
  • 휴대폰의 광범위한 보급으로 문자메시지의 사용이 급증하고 있다. 이와 동시에 사용자가 원하지 않는 광고성 스팸문자도 넘쳐나고 있다. 본 연구는 이러한 스팸문자메시지를 자동으로 판별하는 시스템을 개발하는 것이다. 우리는 기계학습방법인 지지벡터기계(Support Vector Machine)을 사용하여 시스템을 학습하였으며 자질의 선택은 카이제곱 통계량을 이용하였다. 실험결과 F1 척도로 약 95.5%의 정확률을 얻었다

  • PDF