• Title/Summary/Keyword: 필터링 기법

Search Result 1,144, Processing Time 0.034 seconds

Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network (문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링)

  • Lee, Hyun-Young;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network (문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링)

  • Lee, Hyun-Young;Kang, Seung-Shik
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

Recommendation Method using Naive Bayesian algorithm in Hybrid User and Item based Collaborative Filtering (사용자와 아이템의 혼합 협력적 필터링에서 Naive Bayesian 알고리즘을 이용한 추천 방법)

  • 김용집;정경용;한승진;고종철;이정현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.184-186
    • /
    • 2003
  • 기존의 사용자 기반 협력적 필터링이 가지는 단점으로 지적되었던 희박성과 확장성의 문제를 아이템 기반 협력적 필터링 기법을 통하여 개선하려는 연구가 진행되어 왔다. 실제로 많은 성과가 있었지만. 여전히 명시적 데이터를 기반으로 하기 때문에 희박성이 존재하며, 아이템의 속성이 반영되지 않는 문제점이 있다. 본 논문에서는 기존의 아이템 기반 협력적 필터링의 문제점을 보완하기 위하여 사용자와 아이템의 혼합 협력적 필터링에서 Naive Bayesian 알고리즘을 이용한 추천 방법을 제안한다. 제안된 방법에서는 각 사용자와 아이템에 대한 유사도 검색 테이블을 생성한 후, Naive Bayesian 알고리즘으로 아이템을 예측 및 추천함으로써, 성능을 개선하였다. 성능 평가를 위해 기존의 아이템 기반 협력적 필터링 기술과 비교 평가하였다.

  • PDF

The Mechanism to Bypass Ingress Filtering for Multihomed Mobile Networks (멀티호밍 모바일 네트워크를 위한 인그레스 필터링 우회 메커니즘)

  • Ryu, Ji-Ho;Choi, Nak-Jung;Kwon, Tae-Kyoung;Choi, Yang-Hee;Paik, Eun-Kyoung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10d
    • /
    • pp.283-287
    • /
    • 2006
  • 본 논문에서는 멀티호밍 모바일 네트워크에서 발생하는 다양한 이슈 중 인그레스 필터링(ingress filtering) 문제에 대한 해결책을 제시하고자 한다. 본 저자들은 먼저 다수의 모바일 라우터가 존재하는 모바일 네트워크 환경에서 이웃 모바일 라우터 사이에 '프리픽스(prefix) 이웃' 관계를 제안한다. 그리고 이런 관계를 활용하여 모바일 라우터의 서비스를 받는 단말들이 자신의 주소를 변경하지 않고도 이웃 모바일 라우터를 통하여 릴레이 서비스를 받을 수 있도록 하는 인그레스 필터링 우회 기법도 제안한다. 또한 제안된 기법들을 ns-2 시뮬레이터 상에서 구현하고 모의 실험을 수행하여 제안된 기법의 성능 향상을 검증한다.

  • PDF

A Collecting Method for Swear Words Using Semi-Global Text Alignment (반전역(Semi-Global) 문자 정열을 이용한 비속어 수집 기법)

  • Kim, Sung-Hwan;Cho, Hwan-Gue
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.414-417
    • /
    • 2011
  • 단어 필터링 기법의 개발에 있어서 가장 큰 난제는 정상단어를 금지어로 인식하여 이를 차단하는 오탐지 문제이다. 이를 방지하기 위하여 다양한 문장에 대한 면밀하고 광범위한 검사가 필수적이나 일반적으로 쉽게 접근할 수 있는 데이터는 주로 단어 위주로 구성된 검증 데이터로 문장 또는 구절로 구성된 데이터의 양은 실제 검증에 활용하기에는 충분하지 못하다. 본 논문에서는 웹에서 수집한 방대한 양의 말뭉치 데이터에 반전역정열(Semi-Global Alignment)을 적용하여 주어진 금지어가 사용되거나 금지어와 유사한 단어가 존재하는 구간을 탐색함으로써 단어 필터링 시스템에서 범용적으로 사용될 수 있는 문장형 평가 데이터를 수집하는 시스템을 제안하고 해당 기법을 통하여 수집한 문장 단위 데이터를 분석하고 단어 필터링 시스템이 오탐지 방지를 위해 가져야할 요소들에 대하여 검토해 본다.

Music information and musical propensity analysis, and music recommendation system using collaborative filtering (음악정보와 음악적 성향 분석 및 협업 필터링을 이용한 음악추천시스템)

  • Gong, Minseo;Hong, Jinju;Choi, Jaehyun
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2015.05a
    • /
    • pp.533-536
    • /
    • 2015
  • Mobile music market is growing. However, services what are applied recently are inaccurate to recommend music that a user is worth to prefer. So, this paper suggests music recommend system. This system recommend music that users prefer analyzing music information and user's musical propensity and using collaborative filtering. This system classify genre and extract factors what can be get using STFT's ZCR, Spectral roll-off, Spectral flux. So similar musics are clustered by these factors. And then, after divide mood of music's lyric, it finally recommend music automatically using collaborative filtering.

  • PDF

A Real Time Deblocking Technique Using Adaptive Filtering in a Mobile Environment (모바일 환경에서 적응적인 필터링을 이용한 실시간 블록현상 제거 기법)

  • Yoo, Jae-Wook;Park, Dae-Hyun;Kim, Yoon
    • The Journal of Korean Association of Computer Education
    • /
    • v.13 no.4
    • /
    • pp.77-86
    • /
    • 2010
  • In this paper, we propose a real time post-processing visual enhancement technique to reduce the blocking artifacts in block based DCT decoded image for mobile devices that have allocation of the restricted resource. In order to reduce the blocking artifacts effectively even while preserving the image edge to the utmost, the proposed algorithm uses the deblocking filtering or the directional filtering according to the edge detection of the each pixel. After it is discriminated that the pixel to apply the deblocking filtering belongs again to the monotonous area, the weighted average filter with the adaptive mask is applied for the pixel to remove the blocking artifacts. On the other hand, a new directional filter is utilized to get rid of staircase noise and preserve the original edge component. Experimental results show that the proposed algorithm produces better results than those of the conventional algorithms in both subjective and objective qualities.

  • PDF

An Energy Efficient Continuous Skyline Query Processing Method in Wireless Sensor Networks (무선 센서 네트워크 환경에서 에너지 효율적인 연속 스카이라인 질의 처리기법)

  • Seong, Dong-Ook;Yeo, Myung-Ho;Yoo, Jae-Soo
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.15 no.4
    • /
    • pp.289-293
    • /
    • 2009
  • In sensor networks, many methods have been proposed to process in-network aggregation effectively. Contrary to normal aggregation queries, skyline query processing that compare multi-dimension data for producing result is very hard. It is important to filter unnecessary data for energy-efficient skyline query processing. Existing approach like MFTAC restricts unnecessary data transitions by deploying filters to whole sensors. However, network lifetime is reduced by energy consumption for filters transmission. In this paper, we propose a lazy filtering-based skyline query processing algorithm of in-network for reducing energy consumption by filters transmission. The proposed algorithm creates the skyline filter table (SFT) in the data gathering process which sends from sensor nodes to the base station and filters out unnecessary transmissions using it. The experimental results show that the proposed algorithm reduces false positive by 53% and improves network lifetime by 44% on average over MFTAC.

Enhanced Detection of Flaws by using Non-Destructive Testing of Air Deck (항공 갑판의 비파괴 검사를 이용한 개선된 결함 검출)

  • Hong, Dong-Jin;Chae, Byung-Joo;Cho, Jae-Hyun;Kim, Kwang-Baek
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2011.10a
    • /
    • pp.168-170
    • /
    • 2011
  • 본 논문에서는 항공 갑판의 비파괴 검사 영상에서, 조직의 이상이나 결함의 정도를 검출하는 기존의 방법보다 결함 검출의 정확도를 개선한 방법을 제안한다. 제안된 결함 검출 방법은 결함의 윤곽선을 추출하기 위하여 라플라시안 필터링 기법을 적용하여 윤곽선을 추출한다. 라플라시안 필터링 기법을 적용하여 윤곽선을 추출할 경우에는 결함 이외의 다른 객체들의 윤곽선도 검출된다. 따라서 본 논문에서는 이진화 기법과 팽창 연산을 적용하여 결함의 후보 객체들을 연결한다. 그리고 Grassfire 라벨링 기법을 적용하여 잡음을 제거하고 팽창 연산과 침식 연산을 이용하여 결함 후보 영역의 크기를 조정한다. 크기가 조정된 결함 후보 영역을 기반으로 원 영상에서 결함 후보 영역을 추출한다. 결함 후보 영역에서 결함 영역을 추출하기 위해 결함 후보 영역의 명암 대비를 증가시키고 결함 후보 영역의 주변 정보를 이용하여 이진화한다. 이진화 된 영역에서 Grassfire 라벨링 기법을 이용하여 잡음을 제거하고 최종적으로 결함 영역을 검출한다. 본 논문에서 제안한 방법으로 항공갑판의 결함을 추출한 결과, 기존의 방법보다 항공 갑판의 결함을 추출하는데 효과적인 것을 확인하였다.

  • PDF

Machine Learning Based Fire News Filtering Technique Incorporating Meta-features (메타 속성을 융합한 기계 학습 기반 화재 뉴스 필터링 기법)

  • Kim, Tae-Jun;Kim, Han-joon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.746-749
    • /
    • 2016
  • 주제 기반 크롤링(Topical Crawling)으로 수집된 문서들은 서로 비슷한 단어들을 가지고 있기 때문에 정작 주어진 주제에 적합하지 않은 문서 들을 포함할 수 있다. 이를 해결하기 위해 특정 주제에 해당하는 문서만을 필터링하는 작업이 필요하다. 본 논문은 화재 뉴스 기사에 대한 필터링을 위해 단어 기반 속성과 어울려 화재 뉴스 기사의 특성을 고려한 메타 데이터 속성을 추출하여 이에 특화된 기계학습 메커니즘을 제안하였다. 제안 기법의 F1-측정치는 92.1 %로서, 현재 최고의 성능을 보이는 SVM, 나이브베이즈 알고리즘보다. 2~3% 개선된 것이다.