• Title/Summary/Keyword: 필터링특성

Search Result 644, Processing Time 0.027 seconds

Dual SMS SPAM Filtering: A Graph-based Feature Weighting Method (듀얼 SMS 스팸 필터링: 그래프 기반 자질 가중치 기법)

  • Hwang, Jae-Won;Ko, Young-Joong
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.95-99
    • /
    • 2014
  • 본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

  • PDF

Adult Contents Filtering using Voice Information and DTW (음성 정보와 DTW 알고리즘을 활용한 성인 컨텐츠 필터링)

  • Cho, Jung-Ik;Lee, Yill-Byung
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2008.04a
    • /
    • pp.432-434
    • /
    • 2008
  • This paper deals with the DTW algorithm for the filtering contents, in order to improve the filtering performance rate. Contents filtering is the technology that confirm the identification of contents by using the feature of voice. Such technique is classified into general contents and adults contents. This proposed method extracts the information of voice contribute to improvement of filtering contents. In other words, We proposed filtering identification rate can be improved by using DTW algorithm. As a result, the proposed method is utilized improvement of filtering contents. Finally, we provide contents examples to test the accuracy of the proposed feature. Consequently, We know that the difference of characteristic between general contents and adults contents. In the future, We utilize this to improve filtering performance rate.

  • PDF

협력적 필터링 알고리즘의 예측 성과와 사용자 선호도 평가치 특성과의 관계에 관한 연구

  • Lee, Hui-Chun;Lee, Seok-Jun
    • Proceedings of the Safety Management and Science Conference
    • /
    • 2012.11a
    • /
    • pp.87-92
    • /
    • 2012
  • 본 연구는 전자상거래에서 협력적 필터링 알고리즘을 통한 사용자의 선호도 예측 정확도와 사용자가 평가한 선호도 평가치의 관계를 분석하여 알고리즘의 예측 정확도에 영향을 미치는 평가치의 통계적 특성에 관하여 연구한다. 협력적 필터링 알고리즘의 예측 정확도는 상품에 대해 공통의 관심을 갖는 이웃 사용자들의 선정과 이들의 선호도 경향이 중요한 요인이지만 본 연구에서는 선호도 예측을 위한 자신의 선호도 평가치 특성이 알고리즘에 중요한 요인임을 제시한다. 이러한 평가치의 평균, 표준편차, 왜도, 첨도 등과 같은 통계적 특성이 선호도 예측 정확도와 연관성이 있음을 제시하여 차후 연구에서 선호도 예측 이전에 사용자의 선호도 예측성과에 대한 사전평가의 가능성을 제시하고자 한다.

  • PDF

Optimization of a waveguide with stubs based on the genetic algorithm (유전 알고리즘을 이용한 도파관 스텁 구조의 최적화)

  • Cho, Yong Heui
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2009.05a
    • /
    • pp.648-651
    • /
    • 2009
  • Using a mode-matching technique, a waveguide structure with multiple stubs which is utilized as the component of various communication systems has frequency filtering characteristics. We define a proper fitness function to automatically design the pass and stop bands of a waveguide structure with multiple stubs for frequency filtering and the genetic algorithm can be implemented with the fitness function proposed in this paper. The frequency filtering characteristics are numerically computed and parametric sweeps are also performed.

  • PDF

A Comment Spam Filter System based on Inverse Chi-Square Using of Co-occurrence Feature Between Comment and Blog Post (본문과 덧글의 동시출현 자질을 이용한 역 카이제곱 기반 블로그 덧글 스팸 필터 시스템)

  • Jeon, Hee-Won;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.122-127
    • /
    • 2007
  • 최근 대표적인 1인 미디어의 형태인 블로그는 개인 기록의 수단뿐만 아니라 기업의 홍보에까지 널리 사용되는 인터넷 미디어이다. 그러나 누구나 글을 쓸 수 있다는 자유로움 이면에 이를 이용한 덧글 스팸이 성행이 성행하고 있다. 일반적인 스팸 필터의 경우 그 해당 덧글만을 가지고 스팸 필터링을 한다. 그러나 특성상 스팸인 덧글이 정상인 덧글보다 상대적으로 짧기 때문에 일반적인 덧글 자체만의 필터링 방법으로는 높은 정확도를 기대하기 힘든 단점이 있다. 본 논문에서는 정상인 덧글과 본문간의 내용상의 유사도가 있음을 가정해 이런 정보를 역카이제곱 분류기에 동시출현(co-occurrence) 정보로 부여함으로써 스팸 필터의 정확도를 높이고자 했으며, 실제 그러한 정보를 추가함으로 단순한 확률기반 스팸 필터링 방법을 사용하는 것보다 스팸 필터의 전반적인 성능이 상승되었음을 실험 결과를 통해 알 수 있었다.

  • PDF

Real-time 2-D Separable Median Filter (실시간 2차원 Separable 메디안 필터)

  • Jae Gil Jeong
    • Journal of the Korea Computer Industry Society
    • /
    • v.3 no.3
    • /
    • pp.321-330
    • /
    • 2002
  • A 2-D median filter has many applications in various image and video signal processing areas. The rapid development in VLSI technology makes it possible to implement a real-time or near real-time 2-D median filter with reasonable cost. For the efficient VLSI implementation, the algorithm should have characteristics such as small memory requirements, regular computations, and local data transfers. This paper presents an architecture of the real-time two-dimensional separable median filter which has appropriate characteristics for the VLSI implementation. For the efficient two-dimensional median filter, a separable two-dimensional median filtering structure and a bit-sliced pipelined median searching algorithm are used. A behavioral simulator is implemented with C language and used for the analysis of the presented architecture.

  • PDF

Improved Bayesian Filtering mechanism to reduce the false positives by training both Sending and Receiving e-mails (송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법)

  • Kim, Doo-Hwan;You, Jong-Duck;Jung, Sou-Hwan
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.18 no.2
    • /
    • pp.129-137
    • /
    • 2008
  • In this paper, we propose an improved Bayesian Filtering mechanism to reduce the False Positives that occurs in the existing Bayesian Filtering mechanism. In the existing Bayesian Filtering mechanism, the same Bayesian Filtering DB trained at the e-mail server is applied to each e-mail user. Also, the training method using receiving e-mails only could not provide the high quality of ham DB. Due to these problems, the existing Bayesian Filtering mechanism can produce the False Positives which misclassify the ham e-mails into the spam e-mails. In the proposed mechanism, the sending e-mails of the user are treated as the high quality of ham information, and are trained to the Bayesian ham DB automatically. In addition, by providing a different Bayesian DB to each e-mail user respectively, more efficient e-mail filtering service is possible. Our experiments show the improvement of filtering accuracy by 3.13%, compared to the existing Bayesian Filtering mechanism.

Volume Ray Casting for Ultrasound Data Using Real-Time Noise Reduction (초음파 데이터에서 실시간 잡음 감쇄를 이용한 광선 투사법)

  • Seo, Kang-Hee;Kwon, Koo-Joo;Shin, Byeong-Seok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.1623-1626
    • /
    • 2005
  • 초음파 영상 기법은 장기, 연조직, 혈류를 검사하는데 쓰이는 영상 진단법이다. 초음파 장비를 통해 얻어진 초음파 볼륨 데이터는 장비 특성상 많은 잡음(speckle noise)을 포함하기 때문에, 깨끗한 영상을 얻기 위해서는 잡음 필터링(noise filtering)이 필요하다. 그런데, 볼륨 데이터 모든 영역에 대해 잡음 필터링을 적용할 경우 전처리 시간이 길어져 실시간으로 초음파 볼륨 데이터를 렌더링하기 어렵다. 본 논문에서는 실시간으로 입력되는 초음파 볼륨 데이터를 가시화 하기위하여 전처리 시간 없이 잡음을 제거하는 방법을 제안한다. 전처리 시간에 전체 볼륨 데이터에 대해 잡음 필터링을 적용하지 않고, 영상을 생성하는 동안 참조되는 복셀(voxel)에 대해서만 잡음 필터를 적용하여 얻은 값을 사용한다. 이때 필터링에 소요되는 시간을 최소화하기 위해 가장 단순한 평균화 필터를 사용한다. 그리고 복셀에 적용되는 3차원 필터를 3단계의 1차원 필터 연산 단계로 분할 한 후, 각 단계별 연산을 거친 복셀들에 대해서는 다시 연산을 하지 않도록 하여 중복을 피한다. 이를 통해 전처리 시간 없이 기존 방법과 동일한 화질을 유지하는 최종 영상을 만들어 낸다.

  • PDF

Transform Domain Adaptive Filtering with a Chirp Discrete Cosine Transform LMS (CDCTLMS를 이용한 변환평면 적응 필터링)

  • Jeon, Chang-Ik;Yeo, Song-Phil;Chun, Kwang-Seok;Lee, Jin;Kim, Sung-Hwan
    • The Journal of the Acoustical Society of Korea
    • /
    • v.19 no.8
    • /
    • pp.54-62
    • /
    • 2000
  • Adaptive filtering method is one of signal processing area which is frequently used in the case of statistical characteristic change in time-varing situation. The performance of adaptive filter is usually evaluated with complexity of its structure, convergence speed and misadjustment. The structure of adaptive filter must be simple and its speed of adaptation must be fast for real-time implementation. In this paper, we propose chirp discrete cosine transform (CDCT), which has the characteristics of CZT (chrip z-transform) and DCT (discrete cosine transform), and then CDCTLMS (chirp discrete cosine transform LMS) using the above mentioned algorithm for the improvement of its speed of adaptation. Using loaming curve, we prove that the proposed method is superior to the conventional US (normalized LMS) algorithm and DCTLMS (discrete cosine transform LMS) algorithm. Also, we show the real application for the ultrasonic signal processing.

  • PDF

An Enhanced Separable Adaptive Interpolation Filter for High-Definition Video Compression (고해상도 비디오 압축을 위한 향상된 분리 적응형 보간 필터)

  • Yoon, Yeo-Jin;Jung, Seung-Won;Choi, Hae-Chul;Choi, Jin-Soo;Ko, Sung-Jea
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2009.11a
    • /
    • pp.53-56
    • /
    • 2009
  • 최근 HD 방송의 실현과 함께 HDTV가 빠르게 상용화되면서 고화질 비디오를 더 효율적으로 압축하기 위한 기술 개발이 활발하게 진행되고 있다. 최신 표준 비디오 압축 방식인 H.264/AVC에서는 고정 6탭 필터를 사용하여 참조 영상을 보간하고 움직임 예측을 수행하는데, 이의 압축 효율을 향상시키기 위하여 고정 필터를 개선한 비분리 적응형 보간 필터가 개발되었다. 하지만 비분리 적응형 보간 필터는 압축률뿐만 아니라 계산량도 증가하는 단점이 있기 때문에 2차원 필터를 1차원 필터의 연결로 모델링 한 분리 적응형 보간 필터가 개발되었고, 그 결과 압축률은 비슷하게 유지하면서 계산량을 훨씬 줄일 수 있게 되었다. 분리 적응형 보간 필터는 1차원 필터 모델링을 할 때, 수평방향의 필터링 수행 후 수직방향 필터링을 하기 때문에 이를 통해 만들어진 보간 영상은 원 영상의 수평방향에 대한 특성을 더 많이 반영하게 된다. 따라서 수직방향으로 더 높은 주파수 특성을 갖는 영상의 경우에는 효율이 떨어지게 된다. 이를 고려하여 본 논문에서는 영상의 수직방향 주파수 특성을 더 많이 반영할 수 있는 보간 필터를 추가함으로써 영상의 주파수 특성에 따라 보간 필터를 적응적으로 선택하는 향상된 분리 적응형 보간 필터를 제안한다. 제안한 알고리즘을 이용할 경우 기존의 분리 적응형 보간 필터에 비해 움직임 예측 및 보상이 더 정확하게 이뤄질 수 있으며, 부호화 효율이 향상됨을 확인할 수 있다.

  • PDF