• 제목/요약/키워드: 필터 링

검색결과 3,398건 처리시간 0.033초

문장유사도 측정 기법을 통한 스팸 필터링 시스템 구현 (Implementation of a Spam Message Filtering System using Sentence Similarity Measurements)

  • 우수빈;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권1호
    • /
    • pp.57-64
    • /
    • 2017
  • 문자 메시지는 휴대폰을 사용하는 사람들에게 중요한 의사소통의 방법 중 하나이다. 또한 친구맺기 방식이 필요 없이 사용이 가능하기 때문에 이를 악용한 불법 광고 스팸메시지가 기승을 부리고 있다. 최근 스팸 필터링을 위해 기계 학습을 이용한 시스템들이 등장 하였지만 많은 계산을 필요로 하는 단점이 있다. 본 논문에서는 검색할 쿼리를 입력할 때 부정확한 쿼리를 입력하더라도 저장된 데이터베이스와 비교하여 가장 비슷한 단어를 차수 개념을 적용하여 유추하는 집합 기반 POI(Point of Interest) 검색 알고리즘을 이용하여 스팸 필터링 시스템을 구현하였다. 이 알고리즘을 적용하면 서버 컴퓨팅 없이 문자의 조합만을 이용해 쿼리를 유추할 수 있기 때문에 스팸 필터링에 적용하여 입력된 문자메시지가 교묘하게 변형되더라도 스팸이라고 필터링이 가능하다. 또한 문장 유사도 측정 기법을 활용하여 스팸 필터링 성능을 향상시켰으며, 스팸 필터링에 취약한 특정 유형도 걸러내기 위해 특정 전처리 과정을 지원함으로써 대부분의 스팸메세지를 필터링 가능하도록 하였다. 기존 집합기반 POI 검색 알고리즘과 이를 확장 시킨 문장 유사도 측정 기법, 특정 전처리 과정을 추가한 시스템으로 필터링 시스템의 성능평가를 진행하였다. 그 결과 본 논문에서 구현한 시스템이 기존 집합기반 POI 알고리즘과 비교하여 향상된 스팸 필터링 성능을 보여주는 것을 확인하였다. 또한 이동통신사 3사에서 필터링에 취약한 유형이 본 논문에서 구현한 시스템으로 높은 성능으로 필터링이 가능하다는 것을 확인하였다.

IF 디지털 다운 컨버터의 블록 FIR 필터링 아키텍처 (A Block FIR Filtering Architecture for IF Digital Down Converter)

  • 장영범
    • 대한전자공학회논문지SP
    • /
    • 제37권5호
    • /
    • pp.115-123
    • /
    • 2000
  • 본 논문에서는, 고속의 필터링이 요구되는 IF 디지털 다운 컨버터를 위한 새로운 블록 FIR(Finite Impulse Response) 필터링 아키텍처를 제안한다 디지털 다운 컨버터는 디지털 믹서, 데시메이션 필터, 그 리고 다운 샘플러로 구성된다 본 논문이 제안하는 아키텍처는 블록 필터링의 병렬처리 구조를 이용하여 데시메이션 필터를 구성함으후서 블록 필터링 아키텍처에서 구조적으로 생겨나는 업 샘플링이 직렬로 연결되는 다운 샘플러와 상쇄되어 구조가 간략하게 되어짐을 보인다 이와 더불어 블록 FIR 구조를 이용하여 필터계수의 갯수가 블록의 크기의 역비례로 감소되어, 계산량이 그 만큼 감소되어짐을 보인다. 끝으로, 디지털 믹서의 0이 필터의 병렬입력을 0으로 만드는 것을 이용하여 아키텍처의 복잡도가 더욱 감소됨을 보이게된다.

  • PDF

단백질 상호작용 네트워크를 위한 개념 기반 필터링 (A Concept-Based Filtering for Protein-Protein Interaction Networks)

  • 최재훈;박종민;정재영;박선희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.277-279
    • /
    • 2004
  • 본 논문은 생명체 세포에 존재하는 방대한 단백질들 사이의 상호작용 관계들로 표현되는 네트워크에서 사용자가 관심 있는 부분 네트워크를 개념적으로 필터링 할 수 있는 방법을 설계하고 구현하였다. 이 방법은 1) 유전자 온톨로지를 이용하여 필터링 조건을 입력하고, 2) 이 조건을 만족하는 단백질들을 네트워크에서 필터링 한 다음, 3) 이 단백질들 중 사용자가 관심이 있는 단백질만 선택하고, 4) 선택된 단백질들과 일정 거리에 있는 상호작용 관계들을 필터링 함으로서 수행된다. 네트워크 필터링은 생물학자가 방대한 네트워크에서 자신이 관심이 있는 단백질들과 이들 사이의 관계에만 집중할 수 있도록 지원한다.

  • PDF

모바일 환경에서 혼합 필터링 방법을 사용한 개인화 서비스 기법 (Providing Personalized Services using Hybrid Filtering in Mobile Environment)

  • 김룡;이지현;주원균;김영국
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (D)
    • /
    • pp.286-288
    • /
    • 2006
  • 기존 유선환경에서의 개인화방법은 정보 전송량에 따른 사용요금을 고려할 때 무선환경에서 적용하기에는 부적합한 방법이다. 무선환경을 사용하는 모바일 기기 사용자는 유선환경보다 사용자 프로파일 정보를 쉽게 구할 수 있는 장점이 있으며, 또한 모바일 기기는 혼자 사용하는 특징이 있는 장점을 활용할 수 있는 방안이 필요하다. 본 논문에서는 모바일 기기 사용자를 위한 개인화 방법으로 협업 필터링 방법과 규칙 필터링 방법을 혼합한 방법을 제안한다. 사용자 프로파일 정보는 협업 필터링 방법을 통한 초기 사용자 모델링을 수행하고, 규칙 필터링을 통해 연속 사용자 모델링을 수행하는 모바일 환경을 위한 혼합 필터링 방법이다. 본 논문에서 제안한 서비스 기법은 모바일 환경에서의 효율성과 확장성을 개선 해주며, 또한 개인화된 서비스는 무선환경의 제한된 네트워크 대역폭 사용 한계를 효과적으로 개선해 줄 수 있다.

  • PDF

효율적 정보 필터링을 위한 지능형 협동 정보 필터링 에이전트 (An Intelligent Collaborative Information Filtering Agent for Efficient Information Filtering)

  • 양재영;홍광희;최중민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
    • /
    • pp.69-71
    • /
    • 1999
  • 정보의 양이 많아질수록 사용자가 자신이 원하는 정보를 찾는 작업은 많은 시간과 노력을 요구하게 된다. 이러한 시간과 노력을 줄이기 위해 정보 필터링 시스템이 제시되었고, 정보검색과 자연언어처리 등을 이용한 많은 방법들이 연구되었다. 그러나 이러한 접근방법들은 모두 사용자에게 새로운 정보요구가 생긴 경우 이를 지능적으로 대처하지 못하는 Cold-Start 문제를 안고 있다. 이를 극복하기 위해 협동 정보 필터링 시스템이 등장하였다. 이러한 협동 정보 필터링 시스템은 같은 관심도를 가지는 사람들로 공동체를 형성하기 위해 사용자로부터 관심도를 명시적으로 나타낼 것을 요구하는 등 사용자가 직접 필터링 시스템을 학습시켜야 하는 문제점을 가지고 있다. 본 논문에서는 이러한 문제를 해결하기 위해 사용자들의 선호도를 담고 있는 사용자 프로파일의 유사성을 기반으로 한 공동체 형성 방법을 제안한다.

  • PDF

문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링 (Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network)

  • 이현영;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

불법 복제 콘텐츠 필터링 기술 동향 분석

  • 김주섭;남제호
    • 방송과미디어
    • /
    • 제12권4호
    • /
    • pp.53-63
    • /
    • 2007
  • 인터넷과 멀티미디어 기술의 발달은 우리에게 다양한 콘텐츠를 손쉽게 접할 수 있는 환경을 제공하였다. 그러나 멀티미디어 콘텐츠의 무분별한 복제와 불법유통으로 인한 저작권 침해는 심각한 사회적 문제로 대두되고 있다. 이에 정부는 저작권법을 전면 개정하면서 강력한 대응책을 마련하고 있다. 특히 개정 저작권법은 동영상, 음악, 게임 등 다양한 콘텐츠에 대한 불법 유통을 방지하고자 특수한 유형의 온라인서비스제공자들의 기술적 조치(필터링)를 의무화하고 있다. 이에 따라 필터링기술에 대한 관심이 높아지면서 해당 온라인서비스사업자(OSP)들은 필터링 기술의 적용을 준비하고 있으며, 기술개발업체들은 법적 기준을 충족시킬 수 있는 필터링 기술의 개발을 위해 노력하고 있다. 본 고에서는 이러한 상황의 배경과 필터링 기술의 개요와 국내외 동향 및 향후 전망을 제시한다.

문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링 (Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network)

  • 이현영;강승식
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

베이지안 분류기를 이용한 문서 필터링 (A Study on Document Filtering Using Naive Bayesian Classifier)

  • 임수연;손기준
    • 한국콘텐츠학회논문지
    • /
    • 제5권3호
    • /
    • pp.227-235
    • /
    • 2005
  • 문서 필터링은 어떤 문서가 특정한 주제에 속하는지의 여부를 판별하는 문제이다. 인터넷과 웹이 널리 퍼지고 이메일로 전송되는 문서의 양이 폭발적으로 증가함에 따라 문서 여과의 중요성도 증가하고 있는 추세이다. 본 논문은 문서 필터링 문제를 이진 문서 분류 문제로 보고, 베이지안 분류기를 필터링 목적으로 사용하였다. 그리고 사용자가 관련성 있는 문서를 제대로 필터링 받기 위해서 학습 대상으로 삼아야 할 문서의 범위나 수, 최소한 체크해야 하는 관련성 있는 문서의 수에 대한 값을 구하는 실험을 수행하였다.

  • PDF

위성영상으로 도로 및 해안 경계추출을 위한 필터링 기법 검토 (Filtering investigation for abstracting the road and seashore boundary using satellite images)

  • 최현;강인준;이병걸
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2006년도 GIS/RS 공동춘계학술대회
    • /
    • pp.73-77
    • /
    • 2006
  • 제 3차 국가 GIS 기본 계획의 목적은 국가지리정보체계의 원활한 구축 및 지리정보 활용촉진으로 기존의 구가 GIS 구축의 양적 확산에서 질적 심화를 도모하고 있다. 고해상도 위성영상이 다양한 분야에서 활발하게 이용하게 됨에 따라 지형자료의 더 정확한 경계검출에 대한 필요성이 대두되고 있다. 위성영상을 이용한 도로 경계 검출은 교통정보시스템을 포함한 도로계획, 도시계획 등의 GIS 응용을 위한 필수 연구로 인식하고 있다. 본 연구는 IKONOS 영상에서 도로 경계 검출을 위한 고주파 와 저주파 필터링 비교분석에 관한 연구이다. 분석결과 저주파 필터링과 고주파 필터링은 입력영상의 경계부분에서 영상을 선택적으로 강조할 수 있었다. 저주파 필터링과 같은 영상강화 기법에서는 추출 가능한 경계부의 위치를 변화시키거나 영상의 화소값이 전체영상을 대상으로 변화시켜 비교적 도로 폭이 넓은 경우 효과적이었다. 고주파 필터링은 세부적인 영상정보를 선택적으로 강조할 수 있었다.

  • PDF