• Title/Summary/Keyword: 정보 필터링

Search Result 1,980, Processing Time 0.034 seconds

Analysis of filtering performance of Korean and English spam-mails (한국어와 영어 스팸메일의 필터링 성능 분석)

  • Hwang Wun-Ho;Kang Sin-Jae;Kim Tae-Hee;Kim Hee-Jae;Kim Jong-Wan
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2006.05a
    • /
    • pp.389-396
    • /
    • 2006
  • 본 연구에서는 한국어와 영어 메일을 대상으로 2단계 스팸 메일 필터링 시스템을 구축하여 성능평가를 수행한다. 2단계 스팸 메일 필터링 시스템은 블랙리스트를 활용하는 1단계와 기계학습을 통한 지능적인 분류를 하는 2단계로 구성된다. 만약 새로 도착한 메일이 블랙리스트의 내용을 포함한다면 이 메일은 스팸 메일로 분류되고 그렇지 않은 메일은 2단계로 넘어가서 스팸 메일 여부를 판단하게 된다. 메일의 본문이 영어로 작성된 영어 스팸 메일을 일반 메일로부터 분류해내기 위해서는 우선 Stemming과 Stopping 기법을 이용하여 본문에서 정형화된 어휘정보들을 추출한다. 추출된 어휘정보들을 대상으로 속성벡터를 구축한 후 SVM 기계 학습을 시켜 SVM 분류기를 생성하여 지능적인 스팸 메일 필터링을 수행한다. 속성벡터를 구축할 때 기준이 되는 자질을 어떻게 선택하느냐에 따라 스팸 메일 필터링 시스템의 성능이 좌우된다. 따라서 SYM 기계 학습을 위한 속성벡터를 구축할 때 기준이 되는 자질을 선택하는 여러 알고리즘들을 적용하여 성능을 비교 분석한다. 그리고 한국어 스팸 메일 필터링 시스템과 비교하여 영어 스팸 메일 필터링 시스템의 전체적인 성능을 비교 분석한다.

  • PDF

Collaborative Filtering Method Using Context of P2P Mobile Agents (P2P 모바일 에이전트의 컨텍스트 정보를 이용한 협력적 필터링 기법)

  • Lee Se-Il;Lee Sang-Yong
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.15 no.5
    • /
    • pp.643-648
    • /
    • 2005
  • In order to supply services necessary for users intelligently in the ubiquitous computing, effective filtering of context information is necessary. But studies of context information filtering have not been made much yet. In order for filtering of context information, we can use collaborative filtering being used much at electric commerce, etc. In order to use such collaborative filtering method in the filtering of ubiquitous computing environment, we must solve such problems as first rater problem, sparsity problem, stored data problem and etc. In this study, in order to solve such problems, the researcher proposes the collaborative filtering method using types of context information. And as the result of applying this filtering method to MAUCA, the P2P mobile agent system, the researcher could confirm the average result of 7.7% in the aspect of service supporting function.

A method for high-speed event processing in the real-time RFID middleware systems (실시간 RFID 미들웨어에서의 태그 데이터 고속 필터링 방법)

  • Park, Mi Sun;Kim, Yong Jin;Ryu, Minsoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.435-436
    • /
    • 2009
  • RFID 시스템의 미들웨어는 태그에서 생성된 방대한 양의 데이터를 리더를 통해 전달받는다. RFID 미들웨어는 이러한 데이터를 정제하여 응용 애플리케이션에 전달하는 기능을 담당한다. 하지만 태그 데이터 정제 과정에서 발생되는 지연 시간은 RFID 미들웨의 응답성을 저하시킨다. 본 논문은 EPCglobal 의 RFID 미들웨어 표준인 ALE 에 의거하여 태그 데이터에 대한 다수의 필터링 조건들이 주어진 RFID 미들웨어 환경에서 실시간으로 수집되는 대용량의 태그에 대한 고속 필터링 엔진을 설계한다. 이를 위하여 Intermediate node 들이 key 값을 저장하는 Binary Search Tree 형태를 구성하여 태그를 필터링하는 방법을 제안한다. 결과로써 기존의 순차적인 RFID 데이터 필터링에 비해 고속의 필터링 성능을 보이며 특히 필터의 수가 증가할수록 필터링의 효율이 높아짐을 보인다.

A Web Document Filtering System for Animals (웹에서 동물영역 관련문서 필터링)

  • 김상모;김원우;변영태
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.57-59
    • /
    • 2000
  • 인터넷에 돌아다니는 정보의 양은 무한정에 가까워지고 있고 이용자는 필요한 정보들을 얻을 수 있게 되었으나 검색 가능한 정보의 양이 폭발적으로 증가함에 따라 이용자는 정보검색을 하는데 있어 어려움이 따랐고, 이는 원하는 정보만을 필터링하여 보여주는 정보검색방법이 필요하게 되었다. 본 연구에서는 웹 사용자들이 정보검색을 하는데 원하는 정보를 정확하게 찾아주기 위해 웹 문서에 대한 TAG 가중치와 관련용어 영역지식의 구축 및 웹 문서 평가작업을 통한 Term의 웹 문서 DF테이블의 구축을 이용한 필터링 방법을 제안하고 그 유효성을 확인하였다.

  • PDF

Study of Feature Extraction Algorithm for Harmful word Filtering (유해어 필터링을 위한 자질어 추출 알고리즘에 관한 연구)

  • Jeong Jung-Hoon;Lee Won-Hee;Lee Shin-Won;An Don-Gun;Chung Sung-Jong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06b
    • /
    • pp.7-9
    • /
    • 2006
  • 유해 정보란 정보의 홍수 속에서 무차별적으로 제공되는 음란, 폭력 등의 내용을 담고 있는 정보를 말한다. 이러한 유해 정보들로부터 청소년 등 사회적으로 보호를 받아야 할 인터넷 이용자들을 보호하기 위한 장치가 필요하다. 현재 다양한 방법이 제안되고 연구되고 있다. 본 연구에서는 유해 문서의 필터링을 기법 중 키워드 필터링에서 사용되는 유해어 사전을 위한 자질어 추출 알고리즘에 대해서 비교/연구하였다. 키워드 필터링에서 자질어는 필터링의 성능에 많은 영향을 미친다. 따라서 필터링의 성능을 높이기 위한 자질어 추출 알고리즘 선택은 매우 중요하다. 이에 본 논문에서는 다양한 알고리즘을 비교 분석하여 정확하고 효율적인 자질어 추출 알고리즘 조합을 찾고자 하였다. 그 결과 CHI/TF-IDF 조합이 높은 성능을 보였으며 92%의 정확도를 얻을 수 있었다.

  • PDF

A Study on Movies Recommendation System of Hybrid Filtering-Based (혼합 필터링 기반의 영화 추천 시스템에 관한 연구)

  • Jeong, In-Yong;Yang, Xitong;Jung, Hoe-Kyung
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.1
    • /
    • pp.113-118
    • /
    • 2015
  • Recommendation system is filtering for users require appropriate information from increasing information. Recommendation system is provides the information based on user information or content that information entered in the original through process of filtering through the algorithm. Recommend system is problems with Cold-start, and Cold-start is not enough information in the occurrences for new users of recommend system in the new information to the user when recommend. Cold-start is should meet to resolve the user of information and item information. In this paper, Suggest for movie recommendation system on collaborative filtering techniques and content-based filtering techniques based to a hybrid of a hybrid filtering techniques to solve problems in cold-start.

Implementation and Experimental Results of Neural Network and Genetic Algorithm based Spam Filtering Technique (신경망과 운전자 알고리즘을 이용한 스팸 메일 필터링 기법에 구현과 성능평가)

  • Kim Bum-Bae;Choi Hyoung-Kee
    • The KIPS Transactions:PartC
    • /
    • v.13C no.2 s.105
    • /
    • pp.259-266
    • /
    • 2006
  • As the volume of spam has increased to extreme levels, many anti-spam filtering techniques have been proposed. Among these techniques, the machine-Loaming filtering technique is one of the most popular filtering techniques. In this paper, we propose a machine-learning spam filtering technique based on the neural network, the genetic algorithm and the $X^2$-statistic. This proposed filtering technique is designed to overcome the problems in existing filtering techniques, and to achieve high spam filtering accuracy. It is able to classify spam and legitimate emil with 95.25 percent and 95.31 percent accuracy. This accuracy of the sum filtering is 7.75 percent and the 12.44 percent higher than rule-based filtering and the Bayesian filtering technique, respectively.

Knowledge-Based Web Document Filtering (지식기반 웹 문서 필터링)

  • 황상규;김상모;변영태
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10b
    • /
    • pp.51-53
    • /
    • 1999
  • 인터넷에서 검색 가능한 정보의 양은 폭발적으로 증가하고 있으며, 그에 따라 웹 기반 정보검색시스템은 사용자가 원하는 정보만을 필터링하여 이용자의 정보검색 수행과정에 부담을 덜어줄 필요가 있다. 본 연구에서는 웹 정보검색에 익숙치 못한 초보 이용자들이 실제 웹 정보검색을 수행하는데 있어 발생할 수 있는 문제점을 살펴보고, 초보 이용자들의 보다 편리한 웹 정보검색을 도와줄 수 있도록 하기 위하여 WordNet을 활용한 지식베이스와 SDCC(Semantic Distance for Common Category)를 이용한 웹 문서 필터링 알고리즘을 개발하고 그 효율성을 확인하였다.

  • PDF

The Implementation of Intelligently Integrated Agent (재능형 통합 에이전트의 구현)

  • Lee, Seung-Won;Ryu, Je;Yu, Sung-Gyu;Han, Kwang-Rok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.10b
    • /
    • pp.1437-1440
    • /
    • 2000
  • 정보의 홍수 속에서 사용자가 원하는 정보를 제공하기 위해서는 현재의 Web 상에서의 단순 검색에 의한 정보의 제공이 아닌 뉴스서버에서의 정보제공과 함께 검색된 정보를 필터링하고 하여 더 높은 수준의 정보를 제공하여야 한다. 본 논문에서는 HTTP 와 NNTP를 사용하여 웹과 뉴스 서버상에 존재하는 정보를 검색하고 각 사용자의 Profile을 구축, 이것을 이용하여 피드백, 클러스터링 등의 필터링 기법을 적용, 사용자에게 정보를 제공할 수 있는 지능형 통합 에이전트 시스템의 구현 방법을 소개한다. 제안하는 시스템은 사용자의 관심도를 나타내는 Profile을 이용한 검색된 정보와의 필터링 과정을 통하여 검색된 정보의 유용성과 질을 높일 수 있으며 각 필터링 방법의 모듈화를 통하여 각 학습방법의 개선을 용이하게 한 것이 특징이다.

  • PDF

Comparative Analysis of LPF and HPF for Roads Edge Detection from High Resolution Satellite Imagery (고해상도위성영상에서 도로 경계 검출을 위한 고주파와 저주파 필터링 비교분석에 관한 연구)

  • Choi, Hyun;Kang, In-Joon
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.14 no.3 s.37
    • /
    • pp.3-11
    • /
    • 2006
  • The need for edge detection about topography data from the high resolution satellite imagery is happening with increasing frequency according to many people utilize the its imagery as various fields recently. Many experts is recognizing of other GIS will make use of the road detection from the high resolution satellite imagery, including ITS (Intelligent Transportation Systems) and urban planning. This paper is comparative analysis of LPF (Low Pass Filtering) and HPF (High Pass Filtering) for roads edge detection from high resolution satellite imagery. As a result, LPF and HPF can be highlight selective pixels at edge area about input data. In case or applying to other techniques such as LPF for the same purpose, they aye more effective for wide road width which often cause the slight distortion of boundary or overall change of brightness values on the whole Image. Whereas, HPF has ability to enhance selectively detailed components in a target image.

  • PDF