• Title/Summary/Keyword: 정보 여과

Search Result 315, Processing Time 0.031 seconds

Building Error-Reflected Models for Collaborative Filtering Recommender System (협업적 여과 추천 시스템을 위한 에러반영 모델 구축)

  • Kim, Heung-Nam;Jo, Geun-Sik
    • The KIPS Transactions:PartD
    • /
    • v.16D no.3
    • /
    • pp.451-462
    • /
    • 2009
  • Collaborative Filtering (CF), one of the most successful technologies among recommender systems, is a system assisting users in easily finding the useful information. However, despite its success and popularity, CF encounters a serious limitation with quality evaluation, called cold start problems. To alleviate this limitation, in this paper, we propose a unique method of building models derived from explicit ratings and applying the models to CF recommender systems. The proposed method is divided into two phases, an offline phase and an online phase. First, the offline phase is a building pre-computed model phase in which most of tasks can be conducted. Second, the online phase is either a prediction or recommendation phase in which the models are used. In a model building phase, we first determine a priori predicted rating and subsequently identify prediction errors for each user. From this error information, an error-reflected model is constructed. The error-reflected model, which is reflected average prior prediction errors of user neighbors and item neighbors, can make accurate predictions in the situation where users or items have few opinions; this is known as the cold start problems. In addition, in order to reduce the re-building tasks, the error-reflected model is designed such that the model is updated effectively and users'new opinions are reflected incrementally, even when users present a new rating feedback.

협력적 태그를 이용한 추천 시스템

  • Yeon, Cheol;Kim, Heung-Nam;Ji, Ae-Tti;Jo, Geun-Sik
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2007.05a
    • /
    • pp.179-188
    • /
    • 2007
  • 디지털 기기 가 보편 화 되 면서 많 은 디지털 컨텐츠가 생성되고 있다. 또한, 인터넷 서비스의 발전으로 이들 컨텐츠를 과거에 비해 손쉽게 웹 상에 개제할 수 있게 되 었다. 따라서, 많은 컨텐츠를 추 천해 주기 위해 추천 시스템에 관한 연구가 활발히 진행되고 있다. 이들 컨텐츠가 기존의 텍스트 기반에서 사진이나 동영상, 사운드 등 컴퓨터가 자동으로 내용을 파악하기 힘든 컨텐츠로 변화하면서, 내용의 파악이 필요 없 는 협력적 여 과(Collaborative Filtering)가 추천 시스템에서 유 용하게 이 용될 수 있다. 또한 web 2.0의 영향으로 컨텐츠를 분류하고 재검색을 용이하게 하기 위해 태깅(tagging)을 제공하는 서비스가 많아지고 있다. 본 논문에서는 내용 파 악이 힘든 컨텐츠의 효과적인 추천을 위해 협력적 여과(Collaborative Filtering)와 협력적 태깅(Collaborative Tagging)을 접목시킨 방법을 제안하고, 전통적인 협력적 여과 방법과 제안한 방법의 비교 실험을 통하여 협력적 여과 방법에서의 태 깅의 효과에 대 해 논한다.

  • PDF

Efficient Key Re-dissemination Method for Saving Energy in Dynamic Filtering of Wireless Sensor Networks (무선 센서 네트워크의 동적 여과 기법에서 에너지 절약을 위한 효율적인 키 재분배 기법)

  • Park, Dong-Jin;Cho, Tae-Ho
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2015.07a
    • /
    • pp.71-72
    • /
    • 2015
  • WSN의 센서 노드는 제한된 자원으로 인해 보안상의 취약성을 가지며 공격자는 쉽게 임의의 데이터를 삽입하는 허위 데이터 주입 공격을 할 수 있다. WSN에서는 이러한 공격이 치명적이기 때문에 허위 데이터를 가능한 빨리 여과해야 한다. 허위 데이터 주입 공격을 탐지하는 기법으로 동적 여과 기법이 제안되었는데 이 기법은 초기 분배된 비밀키에 대한 재분배가 이루어지지 않아 같은 공격에 계속 노출될 경우 불필요한 에너지 소모가 발생한다. 본 논문에서 제안하는 기법은 효율적인 키 재분배를 통해 허위 데이터를 빨리 감지하고 에너지 효율성을 향상시킨다. 전달 노드에서 허위 데이터가 탐지되면 정의된 알람 메시지를 통해 베이스 스테이션에 보고되고 키 재분배를 수행하여 더 효율적으로 허위 데이터를 감지한다. 그러므로 제안 기법은 기존 기법과 비교하였을 때 허위 데이터를 조기에 감지하고 전체 네트워크의 에너지를 절약한다.

  • PDF

Document Filtering Algorithm for Efficient Preprocessing of XML Information Retrieval (XML 정보검색의 효율적 전처리를 위한 문서여과 알고리즘)

  • Kong Yong-Hae;Kim Myung-Sook
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.6 no.1
    • /
    • pp.1-11
    • /
    • 2005
  • The paper proposes a preprocessing method for efficient processing of XML queries in information retrieval with a large amount of XML documents. The conventional preprocessing methods filter out XML documents by parsing XML document for keyword of query or by comparing query signatures with signatures of XML document to be generated. But these methods are dependent on a query and are very in efficient for a large amount of XML documents. For this, we generate a universal DTD based on ontology of a domain. The universal DTD is applicable to the XML documents when they contain information of a same domain even when they have different structures and attributes. Then, using the universal DTD, we filter out the XML documents that are not bounded in the domain. We evaluate the performance of this method through experiments.

  • PDF

A Recommender System using Collaborative Filtering with Stereotype Model (스테레오타입 기반의 협업 여과 추천 시스템)

  • 이용준;이세훈;이정현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.571-573
    • /
    • 2004
  • 본 논문에서는 협업 여과 추천의 사용자 정보 부족으로 발생하는 초기화 문제를 개선하기 위하여 스테레오 타입 정보를 활용하여, 희소성 문제 해결 방안으로 스테레오타입 정보 기반의 사용자 성향 반영을 통한 계층적 구조를 가지는 가상 점수를 부여하여, 유사도 계산의 개선 및 추천의 정확도를 향상시킨다. 또한 항목의 속성을 분석하여 유사도가 높게 나타날 수 있는 항목을 선정하여 추천의 정확도를 향상시키고자 한다.

  • PDF

Text Classification By Boosting Nave Bayes (베이지안 부스팅학습에 의한 문서 분류)

  • 김유환;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.256-258
    • /
    • 2000
  • 최근 들어, 여러 기계학습 알고리즘이 문서 분류와 여과에 사용되고 있다. 특히 AdaBoost와 같은 부스팅 알고리즘은 실세계의 문서 데이터에 사용되었을 때 비교적 좋은 성능을 보이는 것으로 알려져 있다. 그러나 지금까지의 부스팅 알고리즘은 모두 단어의 존재 여부만을 가지고 판단하는 분류자를 기반으로 하고 있기 때문에 가중치 정보를 충분히 사용할 수 없다는 단점이 있다. 이 논문에서는 나이브 베이스를 사용한 부스팅 알고리즘은 단어의 가중치 정보를 효율적으로 사용할 수 있을 뿐 아니라. 확률적으로도 의미있는 신뢰도(confidence ratio)를 생성 할 수 있기 때문이다. TREC-7과 TREC-8의 정보 여과 트랙(filtering track)에 대해서 실험한 결과 좋은 성능을 보여주었다.

  • PDF

XML Information Retrieval by Document Filtering and Query Expansion Based on Ontology (온톨로지 기반 문서여과 및 질의확장에 의한 XML 정보검색)

  • Kim Myung Sook;Kong Yong-Hae
    • Journal of Korea Multimedia Society
    • /
    • v.8 no.5
    • /
    • pp.596-605
    • /
    • 2005
  • Conventional XML query methods such as simple keyword match or structural query expansion are not sufficient to catch the underlying information in the documents. Moreover, these methods inefficiently try to query all the documents. This paper proposes document tittering and query expansion methods that are based on ontology. Using ontology, we construct a universal DTD that can filter off unnecessary documents. Then, query expansion method is developed through the analysis of concept hierarchy and association among concepts. The proposed methods are applied on variety of sample XML documents to test the effectiveness.

  • PDF

An Efficient Collaborative Filtering Method Based on k-Nearest Neighbor Learning for Large-Scale Data (대규모 데이터를 위한 k-최근접 이웃 학습 기반의 효율적인 협력적 여과 기법)

  • Jun, Kwang-Sung;Hwang, Kyu-Baek
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.376-380
    • /
    • 2008
  • 사회의 복잡화와 인터넷의 성장으로 폭발적으로 늘어나고 있는 정보들을 사용자가 모두 검토한 후 여과하기는 어려운 일이다. 이러한 문제를 보완하기 위해서 자동화된 정보 여과 기술이 사용되는데, k-최근접 이웃(k-nearest neighbor) 알고리즘은 그 구현이 간단하며 비교적 정확하여 가장 널리 쓰이고 있는 알고리즘 중 하나이다. k 개의 최근접 이웃들로부터 평가값을 계산하는 데 흔히 쓰이는 방법은 상관계수를 이용한 가중치에 기반하는 것이다. 본 논문에서는 이를 보완하여 대규모 데이터에 대해서도 속도는 크게 저하되지 않으며 정확도는 대폭 향상시킬 수 있는 방법을 적용하였다. 또한, 최근접 이웃을 구하는 거리함수로 다양한 방법을 시도하였다. 영화추천을 위한 실제 데이터에 대한 실험 결과, 속도의 저하는 미미하였으나 정확도에 있어서는 크게 향상된 결과를 가져올 수 있었다.

  • PDF

Base-Noun Extraction with filtering and Segmentation in Korean (여과 및 분리 기법을 이용한 한국어 기준명사 추출)

  • 김재훈;김준홍;박호진
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2000.06a
    • /
    • pp.3-10
    • /
    • 2000
  • 웹의 등장으로 방대한 양의 문서를 다루는 정보검색, 정보추출, 정보요약 등의 분야에서 명사 추출은 대단히 중요한 역할을 담당하는 한 모듈이다. 본 논문에서는 대량의 문서에서 효과적으로 명사를 추출하기 위해 여과기법과 분리기법을 이용한 한국어 기준명사 추출 시스템을 기술한다. 기준명사는 명사들 중에서 기본이 되는 명사로서 복합명사는 제외된다. 본 논문의 기본적인 개념은 먼저 여과기법을 이용해서 명사를 포함하지 않은 어절을 미리 제거하고, 그리고 분리기법을 이용해서 명사가 포함된 어절에서 명사어구와 조사를 분리하고, 복합명사에 해당할 경우에는 각 명사를 분리하여 기준명사를 추출한다. ETRI 말뭉치를 대상으로 실험한 결과, 재헌율과 정확률 모두 약 89% 정도의 성능을 보였으며, 제안된 시스템을 한국어 정보요약 시스템에 적용해 보았을 때, 좋은 결과를 얻을 수 있었다.

  • PDF

Modifying Sparse Data for Collaborative Filtering (협동적 여과를 위한 희소 데이터 변형 기법)

  • Kim, Hyung-Il;Kim, Jun-Tae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.610-612
    • /
    • 2005
  • 협동적 여과를 이용한 추천 시스템은 데이터의 희소성 문제(sparseness problem)와 초기 추천 문제 (cold-start problem)에 대해 취약점을 가지고 있다. 협동적 여과를 이용한 추천 시스템에서 사용하는 선호도 데이터에 아이템들의 전체 수량에 비해 매우 적은 양의 아이템 선호도만 존재한다면 사용자들의 유사도 측정에 문제를 발생시켜 극단적인 경우엔 협동적 추천이 불가능할 경우가 발생한다. 이와 같은 문제는 선호도 데이터에 나타난 아이템들의 총수에 비해 사용자가 선호(구매)한 아이템이 극히 적은 수량으로 존재하기 때문이며 새로운 사용자의 경우에는 아이템 선호도 정보가 전혀 없기 때문에 유사 사용자를 추출하지 못하여 아이템을 전혀 추천할 수 없는 문제가 발생한다. 본 논문에서는 희소성이 높은 선호도 데이터를 희소하지 않은 상태로 변형하는 희소 데이터 변형 기법을 제안한다. 희소 데이터 변형 기법은 희소데이터에 나타난 사용자와 아이템의 추가 속성 정보의 확률분포를 이용하여 알려지지 않은 선호도 값을 예측함으로써 희소성이 높은 선호도 데이터를 변경하고, 변경된 선호도 데이터를 협동적 추천에 적용하여 추천 성능을 향상시킨다. 이와 같은 선호도 데이터 변경 기법을 데이터 블러링(data blurring)이라 한다. 몇가지 실험 결과를 통해 제안된 기법의 효과를 확인하였다.

  • PDF