• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.552-555
• /
• 2016

본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.36 no.8A
• /
• pp.683-690
• /
• 2011

The conventional sensor tag data filtering algorithm uses time window based data filtering for each tag data. However, this approach shows many performance problems such as low error and event detection rate and larger storage size requirement. In this paper, we propose a collaborative sensor tag data filtering algorithm to improve sensor data processing performance. simulation study shows that the proposed sensor tag filtering algorithm outperforms the conventional filtering algorithm in terms of the processing time, the size of required data storage memory and accuracy of error and event detection rate.

• Journal of Digital Contents Society
• /
• v.17 no.6
• /
• pp.523-529
• /
• 2016

Stereo matching algorithm is an essential part in computer vision and photography. Accuracy and computational complexity are challenges of stereo matching algorithm. Much research has been devoted to stereo matching based on cost volume filtering of matching costs. Local stereo matching based guided image filtering (GIF) has a computational complexity of O(N), but is still not enough to provide real-time 3-dimensional (3-D) video services. The proposed algorithm concentrates reduction of computational complexity using the concept of fast guided image filter, which increase the speed up to $O(N/\small{s}^2)$ with a sub-sampling ratio $\small{s}$. Experimental results indicated that the proposed algorithm achieves effective local stereo matching as well as a fast execution time for 3-D video service.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.04a
• /
• pp.363-366
• /
• 2005

유비쿼터스 컴퓨팅에서 사용자에게 필요한 서비스를 지능적으로 제공하기 위해서는 컨텍스트 정보의 효과적인 필터링이 필요하다. 현재까지 사용되고 있는 필터링 기술은 온라인상에서 사용되는 사용자 정보를 기준으로 서비스를 제공하고 있다. 하지만 휴대용 유$\cdot$무선기기에서 컨텍스트 인식에 기반을 둔 서비스를 제공하기 위해서는 복잡한 필터링과정과 큰 저장 공간이 요구된다. 따라서 본 논문에서는 사용자 주변에 널려 있는 센서를 통해 입력된 컨텍스트 정보들을 효율적으로 필터링하여 사용자에게 필요한 서비스만을 제공하도록 하였다. 이를 위해서 기존의 P2P 모바일 에이전트에서 사용되는 협력적 필터링 기술에 Naive Bayesian 알고리즘을 혼합한 컨텍스트 협력적 필터링 알고리즘을 제안한다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.12 no.4
• /
• pp.65-73
• /
• 2007

This study devotes to compare the accuracy of Top-N recommendations of items transacted on the web site for customers with the accuracy of rank conformity of the real ratings with estimated ratings for customers preference about items generated from two types of collaborative filtering algorithms. One is Neighborhood Based Collaborative Filtering Algorithm(NBCFA) and the other is Correspondence Mean Algorithm(CMA). The result of this study shows the accuracy of Top-N recommendations and the rank conformity of real ratings with estimated ratings generated by CMA are better than that of NBCFA. It would be expected that the customer's satisfaction in Recommender System is more improved by using the prediction result from CMA than NBCFA, and then Using CMA in collaborative filtering recommender system is more efficient than using NBCFA.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.48 no.6
• /
• pp.123-139
• /
• 2011

Web spam has a significant influence on the ranking quality of web search results because it promotes unimportant web pages. Therefore, web search engines need to filter web spam. web spam filtering is a concept that identifies spam pages - web pages contributing to web spam. TrustRank, Anti-TrustRank, Spam Mass, and Link Farm Spam are well-known web spam filtering algorithms in the research literature. The output of these algorithms depends upon the input seed. Thus, refinement in the input seed may lead to improvement in the quality of web spam filtering. In this paper, we propose seed refinement techniques for the four well-known spam filtering algorithms. Then, we modify algorithms, which we call modified spam filtering algorithms, by applying these techniques to the original ones. In addition, we propose a strategy to achieve better quality for web spam filtering. In this strategy, we consider the possibility that the modified algorithms may support one another if placed in appropriate succession. In the experiments we show the effect of seed refinement. For this goal, we first show that our modified algorithms outperform the respective original algorithms in terms of the quality of web spam filtering. Then, we show that the best succession significantly outperforms the best known original and the best modified algorithms by up to 1.38 times within typical value ranges of parameters in terms of recall while preserving precision.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.81-82
• /
• 2016

최근 사용자들의 추천 서비스를 위해 다른 사용자들의 평가값을 이용하여 특정 사용자에게 서비스를 추천해주는 추천 시스템은 협력 필터링 방법을 널리 사용되고 있다. 하지만 이러한 추천 시스템은 클러스터링 과정에서 이미 분류된 그룹에 특정 사용자가 분류되어 정확히 분류되지 못하고, 사용자들의 평가값 오차가 클 경우 정확하지 못한 결과를 추천하는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 협력 필터링 알고리즘을 클러스터링 기반으로 분산 환경에서 구현하여, 추천의 효과를 최적화 하는 기법을 제안하며 하둡 및 스파크 기반으로 시스템을 구성하여 협력 필터링 추천 알고리즘을 비교 하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.7-9
• /
• 2006

유해 정보란 정보의 홍수 속에서 무차별적으로 제공되는 음란, 폭력 등의 내용을 담고 있는 정보를 말한다. 이러한 유해 정보들로부터 청소년 등 사회적으로 보호를 받아야 할 인터넷 이용자들을 보호하기 위한 장치가 필요하다. 현재 다양한 방법이 제안되고 연구되고 있다. 본 연구에서는 유해 문서의 필터링을 기법 중 키워드 필터링에서 사용되는 유해어 사전을 위한 자질어 추출 알고리즘에 대해서 비교/연구하였다. 키워드 필터링에서 자질어는 필터링의 성능에 많은 영향을 미친다. 따라서 필터링의 성능을 높이기 위한 자질어 추출 알고리즘 선택은 매우 중요하다. 이에 본 논문에서는 다양한 알고리즘을 비교 분석하여 정확하고 효율적인 자질어 추출 알고리즘 조합을 찾고자 하였다. 그 결과 CHI/TF-IDF 조합이 높은 성능을 보였으며 92%의 정확도를 얻을 수 있었다.

• The KIPS Transactions:PartC
• /
• v.13C no.2 s.105
• /
• pp.259-266
• /
• 2006

As the volume of spam has increased to extreme levels, many anti-spam filtering techniques have been proposed. Among these techniques, the machine-Loaming filtering technique is one of the most popular filtering techniques. In this paper, we propose a machine-learning spam filtering technique based on the neural network, the genetic algorithm and the $X^2$-statistic. This proposed filtering technique is designed to overcome the problems in existing filtering techniques, and to achieve high spam filtering accuracy. It is able to classify spam and legitimate emil with 95.25 percent and 95.31 percent accuracy. This accuracy of the sum filtering is 7.75 percent and the 12.44 percent higher than rule-based filtering and the Bayesian filtering technique, respectively.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.184-186
• /
• 2003

기존의 사용자 기반 협력적 필터링이 가지는 단점으로 지적되었던 희박성과 확장성의 문제를 아이템 기반 협력적 필터링 기법을 통하여 개선하려는 연구가 진행되어 왔다. 실제로 많은 성과가 있었지만. 여전히 명시적 데이터를 기반으로 하기 때문에 희박성이 존재하며, 아이템의 속성이 반영되지 않는 문제점이 있다. 본 논문에서는 기존의 아이템 기반 협력적 필터링의 문제점을 보완하기 위하여 사용자와 아이템의 혼합 협력적 필터링에서 Naive Bayesian 알고리즘을 이용한 추천 방법을 제안한다. 제안된 방법에서는 각 사용자와 아이템에 대한 유사도 검색 테이블을 생성한 후, Naive Bayesian 알고리즘으로 아이템을 예측 및 추천함으로써, 성능을 개선하였다. 성능 평가를 위해 기존의 아이템 기반 협력적 필터링 기술과 비교 평가하였다.