• 제목/요약/키워드: Data Filtering method

검색결과 808건 처리시간 0.026초

Filtering Effect in Supervised Classification of Polarimetric Ground Based SAR Images

  • Kang, Moon-Kyung;Kim, Kwang-Eun;Cho, Seong-Jun;Lee, Hoon-Yol;Lee, Jae-Hee
    • 대한원격탐사학회지
    • /
    • 제26권6호
    • /
    • pp.705-719
    • /
    • 2010
  • We investigated the speckle filtering effect in supervised classification of the C-band polarimetric Ground Based SAR image data. Wishart classification method was used for the supervised classification of the polarimetric GB-SAR image data and total of 6 kinds of speckle filters were applied before supervised classification, which are boxcar, Gaussian, Lopez, IDAN, the refined Lee, and the refined Lee sigma filters. For each filters, we changed the filtering kernel size from $3{\times}3$ to $9{\times}9$ to investigate the filtering size effect also. The refined Lee filter with the kernel size of bigger than $5{\times}5$ showed the best result for the Wishart supervised classification of polarimetric GB-SAR image data. The result also showed that the type of trees could be discriminated by Wishart supervised classification of polarimetric GB-SAR image data.

Handling Incomplete Data Problem in Collaborative Filtering System

  • Noh, Hyun-Ju;Kwak, Min-Jung;Han, In-Goo
    • 지능정보연구
    • /
    • 제9권2호
    • /
    • pp.51-63
    • /
    • 2003
  • Collaborative filtering is one of the methodologies that are most widely used for recommendation system. It is based on a data matrix of each customer's preferences of products. There could be a lot of missing values in such preference data matrix. This incomplete data is one of the reasons to deteriorate the accuracy of recommendation system. There are several treatments to deal with the incomplete data problem such as case deletion and single imputation. Those approaches are simple and easy to implement but they may provide biased results. Multiple imputation method imputes m values for each missing value. It overcomes flaws of single imputation approaches through considering the uncertainty of missing values. The objective of this paper is to suggest multiple imputation-based collaborative filtering approach for recommendation system to improve the accuracy in prediction performance. The experimental works show that the proposed approach provides better performance than the traditional Collaborative filtering approach, especially in case that there are a lot of missing values in dataset used for recommendation system.

  • PDF

초음파 볼륨 렌더링을 위한 3차원 양방향 적응 필터 (3D Adaptive Bilateral Filter for Ultrasound Volume Rendering)

  • 김민수;권구주;신병석
    • 한국게임학회 논문지
    • /
    • 제15권2호
    • /
    • pp.159-168
    • /
    • 2015
  • 이 논문에서는 의료용 초음파 볼륨 데이터의 잡음을 효과적으로 제거하기 위한 방법을 제안한다. 초음파 영상은 잡음이 심하여 필터링이 필요하다. 기존의 2차원 필터링은 인접한 슬라이스 간 정보를 무시하고 기존의 3차원 필터링은 속도가 느리거나 잡음 제거 효과가 떨어지는 필터를 적용하였고 또한 초음파 데이터의 샘플링 특성을 고려치 않아 균등하게 필터링 하지 않았다. 이를 해결하기 위해 잡음제거에 효과적인 양방향 필터를 병렬로 빠르게 처리하고 필터 영역에 따라 윈도우 크기를 달리하는 기법을 제안한다. 공간 필터의 합산영역 테이블을 이용하여 병렬로 빠르게 필터링하고 윈도우 크기는 필터 영역에 따라 비례적으로 결정한다. 실험은 평균 필터와 양방향 필터, 양방향 적응 필터를 적용한 초음파 볼륨 렌더링 영상에서 잡음 제거와 원본 손실 정도를 비교한다. 이렇게 하여 양방향 필터링을 빠르게 수행하면서 기존 보다 균등하게 필터링하여 잡음을 효과적으로 정확하게 제거할 수 있다.

무선센서노드의 센싱 데이터 필터링을 사용한 메모리 관리 기법에 대한 연구 (A Study on the memory management techniques using Sensing Data Filtering of Wireless sensor nodes)

  • 강연이;김황래
    • 한국산학기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.1633-1639
    • /
    • 2010
  • 최근 무선센서 네트워크가 다양한 용도로 활용되고 있고 이에 대한 연구가 활발히 진행되고 있다. 무선센서 네트워크의 여러 가지 제약 사항 중에서도 에너지 소모를 줄이기 위한 방법들이 활발하게 연구되고 있는데 대표적인 예로 에너지 소모를 줄이고 전송 효율을 높이기 위한 클러스터를 이용한 연구 방법을 볼 수 있다. 클러스터방식의 연구는 센서노드를 클러스터로 구성하여 그 중에서 클러스터 헤드를 뽑아서 주변노드가 가지고 있는 센싱 정보를 모아서 싱크노드에 전송을 한다. 클러스터 헤드로 뽑힌 센서노드의 에너지 소모가 너무 많게 되어 클러스터 헤드로 사용된 센서노드는 수명이 짧아지게 되어 다른 센서노드로 대체를 해야 하다. 본 논문에서는 클러스터-메쉬 방식의 단점을 보완할 수 있으면서, 메모리를 효율적으로 관리할 수 있는 센싱 데이터 필터링하는 방식에 대하여 제안한다. 필터링 방식은 센싱 데이터를 그대로 보관하는 기존방식과 달리 센싱 데이터를 필터링 시스템에 먼저 보내서 해싱 알고리즘에 의해 직접 해싱 테이블에 저장할 주소를 계산을 하고 계산된 주소에 센싱 데이터를 저장하도록 하는 방식으로 중복 발생한 센싱 데이터는 저장되지 않도록 하고 중복되지 않은 데이터만 해싱 테이블에 필터링하여 저장하도록 하는 방식이다.

잠재적 속성 선호도를 이용한 협업 필터링의 데이터 희소성 문제 개선 방법 (Method to Improve Data Sparsity Problem of Collaborative Filtering Using Latent Attribute Preference)

  • 권형준;홍광석
    • 인터넷정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.59-67
    • /
    • 2013
  • 본 논문에서는 협업 필터링의 선호도 예측 정확성의 저하를 초래하는 전통적 문제점 중 하나인 데이터 희소성 문제에 강인한 잠재적 속성 선호도 기반 협업 필터링 방법(Latent Attribute Rating-based Collaborative Filtering, LAR_CF)을 제안한다. 기존의 협업 필터링은 객체의 유사성을 판단하기 위한 특징벡터로써 사용자가 명시적으로 평가한 선호도만을 이용하며, 해당 문제 개선을 위해 속성을 사용하는 연구들은 범용적으로 사용하기 어려웠다. 이웃 기반 필터링에 근본을 두는 LAR_CF는 기존의 명시적 선호도와 함께 유사도 평가의 대상이 되는 두 객체의 고유한 속성을 특징벡터로 삼기 때문에 명시적 선호도의 수가 적어서 발생하는 데이터 희소성 문제를 개선하여 선호도 예측 정확도를 향상시키며, 속성의 종류에 구애받지 않고 손쉽게 적용할 수 있는 장점을 가진다. LAR_CF의 유효성 평가를 위해서 MovieLens 100k 데이터세트 및 해당 데이터세트에 사용된 속성정보를 활용하여 일반적 성능 실험과 인공적 데이터 희소성 실험에서 선호도 예측 정확도를 평가한 결과, 제안하는 방법이 데이터 희소 조건에서 선호도 예측 정확도를 향상시킬 수 있음을 확인하였다.

Personalized Movie Recommendation System Combining Data Mining with the k-Clique Method

  • Vilakone, Phonexay;Xinchang, Khamphaphone;Park, Doo-Soon
    • Journal of Information Processing Systems
    • /
    • 제15권5호
    • /
    • pp.1141-1155
    • /
    • 2019
  • Today, most approaches used in the recommendation system provide correct data prediction similar to the data that users need. The method that researchers are paying attention and apply as a model in the recommendation system is the communities' detection in the big social network. The outputted result of this approach is effective in improving the exactness. Therefore, in this paper, the personalized movie recommendation system that combines data mining for the k-clique method is proposed as the best exactness data to the users. The proposed approach was compared with the existing approaches like k-clique, collaborative filtering, and collaborative filtering using k-nearest neighbor. The outputted result guarantees that the proposed method gives significant exactness data compared to the existing approach. In the experiment, the MovieLens data were used as practice and test data.

P2P 모바일 에이전트의 컨텍스트 정보를 이용한 협력적 필터링 기법 (Collaborative Filtering Method Using Context of P2P Mobile Agents)

  • 이세일;이상용
    • 한국지능시스템학회논문지
    • /
    • 제15권5호
    • /
    • pp.643-648
    • /
    • 2005
  • 유비쿼터스 컴퓨팅에서 사용자에게 필요한 서비스를 지능적으로 제공하기 위해서는 컨텍스트 정보의 효과적인 필터링이 필요하다. 그러나 아직까지 컨텍스트 정보의 필터링에 관한 연구는 거의 이루어지고 있지 않는 실정이다. 컨텍스트 정보의 필터링을 위해서는 전자상거래 등에서 많이 사용되고 있는 협력적 필터링을 사용할 수가 있다. 이와 같은 협력적 필터링을 유비쿼터스 컴퓨팅 환경의 필터링에 사용하기 위해서는 초기 평가 문제, 희소성 문제, 축적된 자료의 문제 등이 해결되어야 한다. 본 연구에서는 이러한 문제점을 해결하기 위하여 컨텍스트 정보의 타입을 이용한 협력적 필터링 기법을 제안하였다. 그리고 이 필터링 기법을 P2P 모바일 에이전트 시스템인 MAUCA에 적용해 본 결과, 서비스 지원 성능 평가 면에서 평균적으로 7.7% 정도 우수함을 보였다.

네트워크 필터링에서 캐시를 적용한 트라이 구조의 탐색 성능 개선 (Improving Search Performance of Tries Data Structures for Network Filtering by Using Cache)

  • 김호연;정규식
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권6호
    • /
    • pp.179-188
    • /
    • 2014
  • 트래픽의 엄청난 양과 함께 급격한 증가로 인하여 네트워크 장비들의 성능이 중요한 이슈가 되고 있다. 방화벽 또는 부하분산기와 같이 패킷을 처리하는 네트워크 장비에서 성능에 영향을 주는 주요한 기능 중에 하나가 네트워크 필터링이다. 본 논문에서는 네트워크 필터링의 탐색 방법 중의 하나인 기존 트라이 방법의 성능을 개선하기 위하여 캐시를 적용한 트라이를 제안한다. 클라이언트와 서버 사이의 패킷 교환에서 한 번에 다수의 패킷이 송수신되는 경우에 대하여, 기존 방법은 동일한 탐색을 반복적으로 수행한다. 반면, 본 논문에서 제안하는 방법은 기존 방법에 캐시를 적용하여 불필요한 반복 탐색을 방지함으로써 네트워크 필터링 성능이 향상될 수 있다. 기존 방법과 제안 방법을 이용한 네트워크 필터링 실험을 수행하였다. 실험결과는 제안 방법이 기존 방법에 비하여 최대 초당 790,000개의 패킷을 더 처리할 수 있었음을 보여준다. 캐시 리스트 크기가 11일 때, 메모리 사용 증가량(7.75%) 대비 성능 개선(18.08%)이 가장 우수하였다.

Collaborative Filtering Algorithm Based on User-Item Attribute Preference

  • Ji, JiaQi;Chung, Yeongjee
    • Journal of information and communication convergence engineering
    • /
    • 제17권2호
    • /
    • pp.135-141
    • /
    • 2019
  • Collaborative filtering algorithms often encounter data sparsity issues. To overcome this issue, auxiliary information of relevant items is analyzed and an item attribute matrix is derived. In this study, we combine the user-item attribute preference with the traditional similarity calculation method to develop an improved similarity calculation approach and use weights to control the importance of these two elements. A collaborative filtering algorithm based on user-item attribute preference is proposed. The experimental results show that the performance of the recommender system is the most optimal when the weight of traditional similarity is equal to that of user-item attribute preference similarity. Although the rating-matrix is sparse, better recommendation results can be obtained by adding a suitable proportion of user-item attribute preference similarity. Moreover, the mean absolute error of the proposed approach is less than that of two traditional collaborative filtering algorithms.

추천 시스템을 위한 단계적 평가치 예측 방안 (A Stepwise Rating Prediction Method for Recommender Systems)

  • 이수정
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권4호
    • /
    • pp.183-188
    • /
    • 2021
  • 협력 필터링 기반의 추천 시스템은 현재 다양한 분야의 상업용 시스템의 필수불가결한 기능으로서, 사용자들이 선호할만한 상품을 맞춤형으로 제공해 주는 유용한 서비스이다. 그러나, 사용자들의 평가 데이타가 불충분할 경우 선호상품의 예측이 부정확할 우려가 크다. 본 연구에서는 이러한 단점을 해결하기 위하여 단계적으로 상품의 평가치를 예측하는 방안을 제시한다. 각 단계에 해당하는 예측 방법의 적용 조건을 만족하지 못할 경우 다음 단계의 방법을 적용한다. 제안 방법의 성능 평가를 위해, 공개 데이터셋을 활용한 실험을 진행하였으며, 제안 방법은 여러 전통적 유사도 척도를 도입한 협력 필터링 시스템의 예측 성능과 정밀도 성능을 크게 향상시켰고, 평가데이터 희소성 해결을 위한 기존 방식들의 성능을 능가하는 결과를 보였다.