• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.552-555
• /
• 2016

본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며, 크기 또한 거대해서 이를 실시간 처리하기 위해서는 분석에 불필요한 데이터를 충분히 필터링해야 한다. 하지만, 기존 필터링 알고리즘은 하나의 데이터 형식에만 사용이 가능하여 다양하고 복잡한 스트림 환경에서는 사용하기가 어렵다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 스트림 형식에 따라 필터링 알고리즘을 다양하게 선택할 수 있는 필터링 시스템을 제안한다. 그리고 실시간 필터링을 위해 대표적인 오픈소스 DSMS(data stream management system)인 에스퍼 기반으로 구현한다. 또한 웹 기반 클라이언트-서버 모델로 확장 구현하여 사용자가 언제 어디에서든 필터링 시스템을 사용할 수 있게 한다. 제안하는 에스퍼 기반 실시간 필터링 시스템은 데이터 스트림으로 실시간 데이터 스트림과 벌크 데이터 스트림을 지원한다. 그리고 필터링 알고리즘으로 질의 필터링, 블룸 필터링, 베이지안 필터링을 제공한다. 제안하는 필터링 시스템 구현 결과, 데이터 스트림 특성에 적합한 필터링 알고리즘을 선택적으로 제공함으로써, 사용자가 보다 정확하고 효율적으로 의미있는 데이터를 추출 가능하게 하였다.

• 한국통신학회논문지
• /
• 제36권8A호
• /
• pp.683-690
• /
• 2011

센서 태그의 데이터는 태그 정보와 센싱 정보를 동시에 가지며 미들웨어 또는 상위 레벨에서의 필터링 및 가공이 필요하다는 특정을 가지고 있다. 기존의 필터링 알고리즘에서는 태그데이터와 센서 데이터를 각각 필터링하는 알고리즘이 주로 제안되었다. 그러나 센서 태그의 사용 요구는 점차 증가하고 있으며, 사용요구에 적합한 필터링을 위해서는 센싱 데이터와 RFID 데이터를 통합 처리할 수 있는 새로운 필터링 알고리즘이 필요하다. 본 논문에서 제안하는 필터링 알고리즘에서는 각 태그의 시간 축에 대한 필터링만을 고려하는 것이 아니라 공간적으로 근접한 태그의 데이터도 함께 고려하여 필터링하여 오류 및 이벤트 검출의 정확성을 향상시키고 데이터의 대표값 저장으로 데이터 저장에 필요한 비용을 감소시킬 수 있다.

• 디지털콘텐츠학회 논문지
• /
• 제17권6호
• /
• pp.523-529
• /
• 2016

스테레오 매칭 알고리즘은 컴퓨터 비전과 사진촬영에 필수적인 알고리즘으로 정확도와 복잡도는 스테레오 매칭 알고리즘의 주요 문제점이었다. 그 중에서도 복잡도가 높은 문제점을 극복하기 위해 비용 볼륨 필터링을 기반한 스테레오 매칭 알고리즘에 대한 많은 연구가 이루어졌다. 지역 스테레오 매칭 기술인 유도 영상 필터링 기술은 O(N)의 복잡도를 가지고 있지만, 여전히 실시간 3D 비디오 서비스를 제공하기에는 계산량이 많은 편이다. 따라서 본 논문에서 고속 유도 영상 필터링에 기반한 스테레오 매칭 알고리즘을 제안한다. 고속 유도 필터링은 서브샘플 비율 $\small{s}$에 따라 복잡도 $O(N/\small{s}^2)$을 가지는 알고리즘이다. 제안하는 알고리즘은 효과적인 스테레오 알고리즘을 성능을 보여줌과 동시에 3D 서비스를 위한 빠른 실행 시간을 보여준다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2005년도 춘계학술대회 학술발표 논문집 제15권 제1호
• /
• pp.363-366
• /
• 2005

유비쿼터스 컴퓨팅에서 사용자에게 필요한 서비스를 지능적으로 제공하기 위해서는 컨텍스트 정보의 효과적인 필터링이 필요하다. 현재까지 사용되고 있는 필터링 기술은 온라인상에서 사용되는 사용자 정보를 기준으로 서비스를 제공하고 있다. 하지만 휴대용 유$\cdot$무선기기에서 컨텍스트 인식에 기반을 둔 서비스를 제공하기 위해서는 복잡한 필터링과정과 큰 저장 공간이 요구된다. 따라서 본 논문에서는 사용자 주변에 널려 있는 센서를 통해 입력된 컨텍스트 정보들을 효율적으로 필터링하여 사용자에게 필요한 서비스만을 제공하도록 하였다. 이를 위해서 기존의 P2P 모바일 에이전트에서 사용되는 협력적 필터링 기술에 Naive Bayesian 알고리즘을 혼합한 컨텍스트 협력적 필터링 알고리즘을 제안한다.

• 한국산업정보학회논문지
• /
• 제12권4호
• /
• pp.65-73
• /
• 2007

본 연구는 추천시스템에서 협력적 필터링 알고리즘인 이웃기반의 협력적 필터링 알고리즘과 대응평균 알고리즘의 선호도 예측 결과를 이용하여 예측결과의 순위 일치성과 실제 고객에 상품 추천인 Top-N 추천의 정확도에 대하여 연구하였다. 연구결과 대응평균 알고리즘에 의한 선호도 예측 정확도의 순위 일치성과 예측치를 이용한 Top-N 추천의 정확도가 기존의 이웃기반의 협력적 필터링 알고리즘의 결과보다 우수함을 알 수 있었다. 이는 협력적 필터링 추천시스템에서 대응평균 알고리즘을 이용한 선호도 예측 결과를 이용하여 고객에게 상품추천을 하는 것이 이웃기반의 협력적 필터링 알고리즘을 이용하는 것보다 더 효과적이며 추천시스템에 대한 고객의 만족을 향상시킬 수 있을 것으로 기대된다.

• 전자공학회논문지CI
• /
• 제48권6호
• /
• pp.123-139
• /
• 2011

웹 스팸은 중요하지 않은 웹 페이지들의 중요도를 승격시키기 때문에 웹 검색 결과의 품질에 중대한 영향을 준다. 따라서 웹 검색 엔진은 웹 스팸을 제거할 필요가 있다. 웹 스팸 필터링은 스팸 페이지들, 즉 웹 스팸에 기여하는 웹 페이지들을 식별하는 것이며, 잘 알려진 웹 스팸 필터링 알고리즘으로는 Trust Rank, Anti-Trust Rank, Spam Mass, 그리고 Link Farm Spam이 있다. 이러한 알고리즘들의 결과 품질은 입력 시드(input seed)에 따라 달라진다. 따라서 입력 시드를 정제(refinement) 함으로써, 웹 스팸 필터링의 품질을 향상 시킬 수 있다. 본 논문에서는 잘 알려진 네 가지 알고리즘에 대한 시드를 정제하는 기술을 제안한다. 다음으로, 이러한 기술을 원(original) 알고리즘에 각각 적용하는 방법으로 알고리즘을 수정한다. 이를 수정된 웹 스팸 필터링 알고리즘이라고 부른다. 본 논문에서는 또한, 웹 스팸 필터링을 좀 더 향상시키기 위한 전략을 제안한다. 이 전략에서는 수정된 알고리즘들을 수행 순서상의 적절한 위치에 배치함으로써 알고리즘들의 상호간 지원을 통해 전체적으로 성능을 향상시키는 가능성을 고려한다. 마지막으로, 실험에서는 시드 정제의 효과를 보인다. 이를 위해, 먼저, 수정된 알고리즘의 웹 스팸 필터링 품질이 원 알고리즘의 품질보다 더 우수함을 보인다. 다음으로, 웹 스팸 필터링 알고리즘들이 수행되는 순서의 조합 중 가장 성능이 우수한 조합이 가장 뛰어난 잘 알려진 알고리즘과 비교하여 정확도(precision)를 유지하면서 파라미터의 전형적인 값 범위 내에서 재현율(recall)은 최대 1.38배까지 높게 향상됨을 보인다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
• /
• pp.81-82
• /
• 2016

최근 사용자들의 추천 서비스를 위해 다른 사용자들의 평가값을 이용하여 특정 사용자에게 서비스를 추천해주는 추천 시스템은 협력 필터링 방법을 널리 사용되고 있다. 하지만 이러한 추천 시스템은 클러스터링 과정에서 이미 분류된 그룹에 특정 사용자가 분류되어 정확히 분류되지 못하고, 사용자들의 평가값 오차가 클 경우 정확하지 못한 결과를 추천하는 문제점이 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 협력 필터링 알고리즘을 클러스터링 기반으로 분산 환경에서 구현하여, 추천의 효과를 최적화 하는 기법을 제안하며 하둡 및 스파크 기반으로 시스템을 구성하여 협력 필터링 추천 알고리즘을 비교 하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.7-9
• /
• 2006

유해 정보란 정보의 홍수 속에서 무차별적으로 제공되는 음란, 폭력 등의 내용을 담고 있는 정보를 말한다. 이러한 유해 정보들로부터 청소년 등 사회적으로 보호를 받아야 할 인터넷 이용자들을 보호하기 위한 장치가 필요하다. 현재 다양한 방법이 제안되고 연구되고 있다. 본 연구에서는 유해 문서의 필터링을 기법 중 키워드 필터링에서 사용되는 유해어 사전을 위한 자질어 추출 알고리즘에 대해서 비교/연구하였다. 키워드 필터링에서 자질어는 필터링의 성능에 많은 영향을 미친다. 따라서 필터링의 성능을 높이기 위한 자질어 추출 알고리즘 선택은 매우 중요하다. 이에 본 논문에서는 다양한 알고리즘을 비교 분석하여 정확하고 효율적인 자질어 추출 알고리즘 조합을 찾고자 하였다. 그 결과 CHI/TF-IDF 조합이 높은 성능을 보였으며 92%의 정확도를 얻을 수 있었다.

• 정보처리학회논문지C
• /
• 제13C권2호
• /
• pp.259-266
• /
• 2006

스팸 메일의 양의 급증함에 따라, 다양한 스팸 메일 필터링 기법이 제시되고 있다. 이런 필터링 기법 가운데, 학습 기반 필터링 기법은 현재 가장 보편화된 필터링 기법 가운데 하나이다. 본고에서는 신경망과, 유전자알고리즘, 카이제곱통계를 이용한 학습 기반 필터링 기법을 제시한다. 제안된 필터링 기법은 기존 필터링 기법의 문제를 해결하고, 스팸 메일 필터링에 높은 정확도를 제공할 수 있다 제안된 필터링 기법은 스팸메일 필터링 정확도와 정상 메일 필터링 정확도에서 각각 95.25%와 95.31%의 높은 정확도를 보인다. 이런 실험 결과는 기존의 규칙 기반 필터링 기법과 베이지안 필터링 기법에 비해 각각 7%, 12% 이상 높은 수치이다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
• /
• pp.184-186
• /
• 2003

기존의 사용자 기반 협력적 필터링이 가지는 단점으로 지적되었던 희박성과 확장성의 문제를 아이템 기반 협력적 필터링 기법을 통하여 개선하려는 연구가 진행되어 왔다. 실제로 많은 성과가 있었지만. 여전히 명시적 데이터를 기반으로 하기 때문에 희박성이 존재하며, 아이템의 속성이 반영되지 않는 문제점이 있다. 본 논문에서는 기존의 아이템 기반 협력적 필터링의 문제점을 보완하기 위하여 사용자와 아이템의 혼합 협력적 필터링에서 Naive Bayesian 알고리즘을 이용한 추천 방법을 제안한다. 제안된 방법에서는 각 사용자와 아이템에 대한 유사도 검색 테이블을 생성한 후, Naive Bayesian 알고리즘으로 아이템을 예측 및 추천함으로써, 성능을 개선하였다. 성능 평가를 위해 기존의 아이템 기반 협력적 필터링 기술과 비교 평가하였다.