• 제목/요약/키워드: 데이터 필터링

검색결과 981건 처리시간 0.042초

협업 필터링 기반 개인화에서의 상품군 중립적 사용자 프로파일링 타당성 검토 (Feasibility Study on Cross-Product Category User Profiling in Collaborative Filtering Based Personalization)

  • 김종우;박수환;이홍주
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 2005년도 추계학술대회 및 정기총회
    • /
    • pp.257-263
    • /
    • 2005
  • 초기에 하나의 상품 카테고리만을 다루던 전자상거래 사이트들이 브랜드 확립 후에 다른 상품 카테고리까지 확대해 나가는 모습을 많이 보아왔다. 고객이 아직 방문하지 않은 신규 상품 카테고리의 상품에 대하여 기존 상품 카테고리에서 만들어진 사용자 프로파일을 활용하여 개인화된 추천을 할 수 있다면, 고객이 다양한 상품 카테고리를 방문하도록 유도할 수 있을 것이다. 하지만 일반적으로 전자상거래 사이트에서는 상품 카테고리별로 사용자의 선호도를 파악하여 개인화된 추천을 수행하기 때문에, 해당 카테고리 내 상품의 구매나 방문 기록이 없다면 개인화된 추천을 수행하기가 어렵다 . 본 논문에서는 협업 필터링을 통해 신규 상품카테고리 내의 상품을 추천하기 어려운 고객들을 대상으로 기존의 사용자 선호도 데이터를 활용하여 신규 상품 카테고리 내의 상품을 추천하는 방안의 타당성을 살펴보도록 한다. 즉, 기존 사용자의 특정상품 카테고리 선호도 데이터를 통해 사용자간 유산도를 계산하고, 이를 추천하려는 타 상품 카테고리 내의 상품들에 대한 예측 선호도 계산에 활용 타당성을 살펴본다. 이를 실증적으로 검토하기 위해서, Yes24 사이트의 서적, 음반, DVD 3개의카테고리 내의 상품을 방문한 웹 패널 데이터를 이용하여 타당성 분석을 수행하였다. 분석 결과, 동일 상품 카테고리 내의 선호도 정보를 가지고 현업 필터링을 수행하는 것보다는 추천 성과가 낮았지만 활용할만한 추천 성과를 보였으며, 활용하는 상품 카테고리와 예측하는 상품 카테고리별로 추천성과가 상이했다.

  • PDF

저수지 유입량 자료 평활화를 위한 필터링 기법 적용 효과 (Effects of filtering techniques for smoothing reservoir inflow data)

  • 최영제;이재황;박문형
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.424-424
    • /
    • 2023
  • 댐, 저수지 등 수자원 시스템분석 시 가장 기초가 되는 유입량 자료는 실측 수위(저수량)와 방류량을 역산하여 산정된다. 이 중 댐 수위는 수표면 진동으로 인해 변동이 크며, 특히, 급격한 수위 변화가 발생하는 홍수기에는 수위-저수량 변환 시 큰 오차가 발생하여 유입량 진동이 더욱 커지게 된다. 하지만 홍수기 저수지 운영 효과 분석 등 관련 연구를 위해서는 시간 간격이 짧은 10분 또는 1시간 단위의 유입량 자료가 필요함에 따라 관련 연구 수행 시 이동평균법(Moving Average) 등을 통해 실측 유입량 자료를 보정하여 사용하는 것이 일반적이다. 데이터 평활화를 위해 이동평균법을 적용하면 데이터의 변동을 효과적으로 줄일 수는 있지만 실측자료와 비교하였을 때 첨두 유입량이 큰 폭으로 감소하거나, 첨두 유입량 발생시간이 지체되는 문제가 발생한다. 본 연구에서는 저수지 유입량과 같이 변동이 큰 수문자료의 평활화를 위해 가우시안 가중 이동평균법(Gaussian-weighted moving average technique), 사비츠키-골레이 필터링기법(Savitzky-Golay filtering technique) 등 필터링 기법을 댐 유입량 보정에 적용하고, 이에 따른 효과를 분석하고자 하였다. 이를 위해 2020년 8월에 발생한 홍수사상을 대상으로 충주댐, 합천댐 등 다목적댐 유입량 자료를 수집하고, 보정을 수행하였다. 필터링 기법의 적용 효과 분석을 위해서는 실측자료와 이동평균법을 적용하여 보정한 결과와 비교하였고, 추가적으로 비교적 변동이 작은 일 단위 유입량 자료와의 양적 비교를 진행하였다. 그 결과 이동평균법을 적용하였을 때보다 필터링 기법을 적용하였을 때 실측자료와의 양적 차이가 작고, 첨두 유입량 및 첨두 유입 발생시간에서도 차이를 큰 폭으로 감소시킬 수 있는 것으로 확인되었다.

  • PDF

무선 센서 네트워크 환경에서 에너지 효율적인 연속 스카이라인 질의 처리기법 (An Energy Efficient Continuous Skyline Query Processing Method in Wireless Sensor Networks)

  • 성동욱;여명호;유재수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권4호
    • /
    • pp.289-293
    • /
    • 2009
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 비교를 요구하므로 인-네트워크 처리가 쉽지 않다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 Lazy 필터링 기법을 통한 스카이라인 질의 처리 기법을 제안한다. 제안하는 기법은 필터를 미리 배포하지 않고 하위 노드로부터 기지국으로 데이터를 수집하는 과정에서 스카이라인 필터 테이블(SFT)을 만들고 필터링을 수행한다. 제안하는 알고리즘의 우수성을 보이기 위해 시뮬레이션을 통해 기존에 제안된 MFTAC 기법과 비교하였으며, 그 결과 평균 False Positive가 평균 53% 감소하였고, 네트워크 수명이 약 44% 증가하였다.

데이터 캐시의 활용도를 높이는 동적 선인출 필터링 기법 (Dynamic Prefetch Filtering Schemes to Enhance Utilization of Data Cache)

  • 전영숙;이병권;김석일;전중남
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.562-564
    • /
    • 2004
  • 캐시 선인출 기법은 메모리 참조에 따른 지연시간을 줄이는 효과적인 방법이다. 그러나 너무 적극적인 선인출은 캐시 오염을 유발시켜 선인출에 의한 장점을 상쇄시킨다. 본 연구에서는 캐시의 오염을 줄이기 위해 동적으로 필터 테이블을 참조하여 선인출 명령을 수행할 지의 여부를 결정하는 4가지 필터링 방법들을 비교 평가한다. 비교 연구를 위한 이상적인 필터링 구조를 제안하였으며, 기존 연구에서의 잠김 현상을 개선하기 위한 이진 상태 구조를 제안하였다. 또한, 정교한 필터링을 위한 블록주소 참조 방식을 제안하였다. 일반적으로 많이 사용되는 일반 벤치마크 프로그램과 멀티미디어 벤치마크 프로그램들에 대하여 실험한 결과, 캐시 미스율이 이진 상태 구조는 평균 5.6%, 블록주소 참조 구조는 7.9% 각각 감소하였다.

  • PDF

신재생 에너지 스트림 데이터 분석을 위한 필터링 기법 (Filtering Method for Analyzing Renewable Energy Stream Data)

  • 김성호;이훈;김규익;황미영;김상엽;김광득;류근호
    • 중소기업융합학회논문지
    • /
    • 제1권1호
    • /
    • pp.39-44
    • /
    • 2011
  • 인류가 석탄, 석유, 천연가스 화석 연료 등 연로들에 대한 무절제한 사용으로 하여 전 세계적으로 심각한 환경오염과 화석 연료의 자원 고갈문제에 직면하게 되었다. 따라서 이러한 환경오염 문제를 줄이고 또한 고갈돼가고 있는 화석 연료를 대체할 태양 에너지, 풍력, 수력, 바이오매스, 지열 등과 같은 신재생에너지 자원의 개발이 필요하게 되었다. 최근 센서 네트워크 기술의 발달로 인하여 신재생 에너지 데이터는 각종 센서들로부터 원격으로 수집이 된다. 그러나 이러한 데이터는 센서 네트워크로부터 실시간으로 연속적으로 무한히 수집되는 센서 스트림 데이터이기 때문에 주기적으로 갱신되는 데이터 수집 방법으로는 최신의 데이터를 유지하기 어려우며, 부정확한 분석 결과를 도출할 수 있다. 따라서 본 논문에서는 무선 센서 네트워크 내에서 데이터 스트림을 효율적으로 수집하고 센서의 전송 횟수를 감소하기 위한 칼만 필터링 기법에 기반 한 필터링 기법을 제안하였다.

  • PDF

듀얼 SMS 스팸 필터링: 그래프 기반 자질 가중치 기법 (Dual SMS SPAM Filtering: A Graph-based Feature Weighting Method)

  • 황재원;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.95-99
    • /
    • 2014
  • 본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

  • PDF

이중 방화벽과 다중 필터링을 이용한 DDoS 차단 시스템 (DDoS Prevention System Using Double Firewall and Multi-Filtering Method)

  • 조지호;신지용;이극
    • 융합보안논문지
    • /
    • 제14권2호
    • /
    • pp.65-72
    • /
    • 2014
  • 본 논문에서는 DDoS 탐지를 위해 기존의 이중 방화벽에 다중 필터링 방법을 적용한다. 1차 방화벽에서는 외부에서 유입되는 패킷 경로를 분석하여 R-PA(Router Path Anlaysis) 패킷 필터링 알고리즘과 엄격한 홉 카운터 필터링을 적용한다. 2차 방화벽에서는 1차 방화벽을 거쳐서 온 패킷의 데이터를 검사하여 정상적인 패킷과 비정상적인 패킷을 구분하고, 패킷 트래픽이 사용자에게 할당 된 임계치를 초과하는지를 검사하여 DDoS 공격을 차단한다.

클러스터링 기반 협업 필터링 알고리즘을 사용한 분산 추천 시스템 (Distributed Recommendation System Using Clustering-based Collaborative Filtering Algorithm)

  • 조현제;이필규
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권1호
    • /
    • pp.101-107
    • /
    • 2014
  • 본 논문에서는 협업 필터링 알고리즘을 클러스터링 기반으로 분산 환경에서 구현하여, 추천을 위한 수행 시간을 최적화 하는 방법에 대한 제안을 한다. 하둡 기반으로 시스템을 구성하였고, 분산 Min-hash 클러스터링 기반의 협업 필터링 방법을 제안하고, 이를 기반으로 분산 추천 시스템을 구성하였다. 분산 사용자 기반 협업 필터링 기법을 사용하여 무비렌즈 (Movie Lens)의 영화 평점 데이터를 기반으로 각각의 사용자에게 알맞은 영화를 추천해주는 분산추천 시스템을 구현하고 실험을 통하여 성능의 우수성을 검증하였다.

개인화 추천 시스템에서 속성 정보를 이용한 연관 사용자 군집 방법 (Associative User Group Method using Attribute Information in Personalized Recommendation System)

  • 한경수;조동주;정경용
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.169-173
    • /
    • 2006
  • 유비쿼터스 상거래에서 사용자가 정보를 효율적으로 이용할 수 있도록 제어하고 필터링하는 일을 도와주는 개인화된 추천 시스템이 등장하였다. 더 나아가서는 사용자가 원하는 아이템을 예측하고 추천해주며, 이를 위해 협력적 필터링 기술을 적용하고 있다. 이는 사용자의 성향에 맞는 아이템을 예측하고 추천하기 위하여 비슷한 선호도를 가지는 사용자들 간의 유사도 가중치를 계산한다. 본 논문에서는 속성정보에 대한 사용자의 선호도를 고려하지 않은 문제점을 개선하기 위해서 속성정보를 이용한 연관 사용자의 선호도를 협력적 필터링 기술에 반영함으로써 추천의 정확도를 높이고자 한다. 그리고 협력적 필터링의 {연관 사용자-아이템} 행렬에서 사용자들 간의 연관 관계를 유지하면서 차원 수를 감소시키기 위해 ARHP 알고리즘을 이용하여 연관 사용자 군집을 한다. 제안된 방법의 성능 평가를 하기 위해 사용자가 아이템에 대해서 평가한 MovieLens 데이터 집합을 대상으로 평가되었으며, 기존의 Nearest Neighbor Model과 K-Means 군집보다 그 성능이 우수함을 보인다.

  • PDF

NFA 표현을 사용한 문서-중심적 XML의 키워드 기반 필터링 기법 (A Keyword-based Filtering Technique of Document-centric XML using NFA Representation)

  • 이경한;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (C)
    • /
    • pp.25-27
    • /
    • 2006
  • XPath 명세는 XML 원소 내용을 필터링하기 위한 질의어 작성이 어렵다. 본 논문은 이러한 문제점을 해결하기 위해 SQL의 LIKE 연산자에서 사용되던 특별한 매칭 문자 '%' 를 허용한 확장된 XPath 명세와 그것을 표준 질의어로 사용하는 문서-중심적 XML 필터링 기법인 Pfilter를 제안한다. Pfilter는 값-기반 술어(value-based predicate)에서 피연산자의 공통 앞부분 문자를 공유하여 값-기반 술어의 처리 성능을 향상시킨다. 또한 본 논문은 Pfilter와 대표적인 데이터-중심적 XML 필터링 기법인 Yfilter를 값-기반 술어 처리의 확장성과 효율성에 대해 비교하고 Pfilter의 값-기반 술어 삽입, 삭제, 처리 결과를 제공한다.

  • PDF