• 제목/요약/키워드: sparsity

검색결과 333건 처리시간 0.026초

개인화 추천 시스템에서 연관 관계 군집에 의한 아이템 기반의 협력적 필터링 기술 (An Item-based Collaborative Filtering Technique by Associative Relation Clustering in Personalized Recommender Systems)

  • 정경용;김진현;정헌만;이정현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권4호
    • /
    • pp.467-477
    • /
    • 2004
  • 추천 시스템은 예전에는 몇몇 혁신적인 전자상거래(E-commerce) 사이트에서만 사용되어 왔으나 현재는 전자상거래를 새롭게 재구성하는 필수적인 비즈니스 도구가 되어가고 있다. 그리고 협력적 필터링은 이론과 실무 분야 모두에서 가장 성공적으로 평가받은 추천 기법 중 하나이다. 그러나 개인화 추천 시스템을 구축하기 위해서는 두 가지 문제를 동시에 고려해야 한다. 즉 초기 평가 문제와 희박성 문제이다. 본 논문에서는 연관 관계 군집과 연관 규칙의 향상도를 이용하여 이러한 문제를 해결하고자 한다. 사용자의 평가 데이타를 사용하여 아이템간의 향상도를 산출하고, a-cut에 의한 임계값을 아이템들간의 연관성에 적용한다. 연관 관계 군집의 효율성을 높이기 위해서 기존의 Hypergraph Clique Clustering 알고리즘과 본 연구에서 제안하는 Split Cluster Method를 이용하였다. 군집이 완성되면, 각 군집 내부에서 아이템간의 유사도를 산출하고 빠른 액세스를 위해 인덱스를 데이터베이스에 저장한다. 새로운 아이템들의 선호도 예측 시에 생성한 인덱스를 적용시킨다. 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다. 그 결과 기존의 협력적 필터링 기술의 문제점을 해결하여 예측의 정확도를 높이는데 효과적임을 확인하였다.

사용자 로그 분석과 클러스터 내의 문서 유사도를 이용한 동적 추천 시스템 (A Dynamic Recommendation System Using User Log Analysis and Document Similarity in Clusters)

  • 김진수;김태용;최준혁;임기욱;이정현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권5호
    • /
    • pp.586-594
    • /
    • 2004
  • 웹 문서들은 빠른 생성과 소멸의 특징 때문에, 사용자는 찾고자하는 웹 문서를 신속하고 정확하게 추천해 줄 시스템을 요구하고 있다. 정제되지 않은 웹 데이타에는 사용자들의 축적된 경험들을 포함하는 유용한 정보들을 포함하고 있다. 현재, 이러한 유용한 정보를 마이닝 기법이나 통계학적 측정 방법 등을 가지고 정제하여 추천 시스템을 통해 사용자에게 제공하려는 노력이 시도되고 있다. 기존의 정보 필터링 방식은 사용자들의 프로파일을 반드시 이용해야 하는 문제점을 갖고 있으며, 협력적 필터링 방식은 First Rater 문제와 Sparsity 문제가 있다. 또한 사용자 브라우징 패턴을 이용하는 동적 추천 시스템은 연관성이 없는 웹 문서들을 결과로서 제공한다는 문제점이 있다. 본 논문에서는 웹 문서 형식에 따라 웹 문서 사이의 유사도를 이용하여 웹 문서를 분류하고, 웹 서버에 기록된 로그 파일을 이용하여 사용자 브라우징 순차 패턴 DB를 생성한다. 이렇게 생성된 정보들과 사용자들의 세션 정보를 이용하여, 사용자가 웹 문서에 접근했을 때 현재 웹 문서와 유사도가 높은 상위 N개의 연관 웹 문서 집합을 제공하고, 순차적인 특성을 갖는 웹 문서를 추천 문서로 제공하는 시스템을 제안한다.

디지털 보청기 벤트 반향제거를 위한 부밴드 성긴 적응필터 (Subband Sparse Adaptive Filter for Echo Cancellation in Digital Hearing Aid Vent)

  • 배현덕
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.538-542
    • /
    • 2018
  • 디지털보청기 벤트에서 발생되는 반향은 사용자의 불편을 초래한다. 벤트에서 귀환되는 반향을 제거하기 위해서는 귀환경로인 벤트의 임펄스응답의 정확한 추정이 요구된다. 벤트의 임펄스응답은 시간에 따라 변하는 특성과 함께 성긴 특성을 가진다. 이러한 특성의 벤트 임펄스응답 추정에 유용한 적응 알고리즘으로는 IPNLMS가 유용한 것으로 알려져 있다. 본 논문에서는 벤트의 성긴 임펄스응답을 추정하여 벤트에 의한 반향의 제거를 위해 IPNLMS를 부밴드 보청기 구조에 적용하는 부밴드 성긴 적응필터를 제안한다. 제안 기법에서 신호의 부밴드 분해는 각 대역 신호의 사전백색화가 가능하므로 적응필터의 수렴속도의 개선이 가능하다. 그리고 적응필터의 다위상 분해는 각 다위상 성분 필터에서 성긴도를 증가시키며, 추가 계산 없이 반향제거 성능개선이 가능하다. 제안 적응필터의 계수갱신 식 유도를 위해 가중 NLMS에 근거한 비용함수를 정의하고 이를 이용 각부밴드에서 적응필터의 계수 갱신 식을 유도한다. 제안한 적응필터의 성능검증을 위해 백색신호를 입력으로 하여 수렴속도와 정상상태오차를, 실제 음성신호를 입력으로 하여 반향제거 결과를 기존 알고리즘과 비교 평가한다.

상황 정보를 이용한 개인화 추천 방법 개발 (A personalized recommendation procedure with contextual information)

  • 문현실;최일영;김재경
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.15-28
    • /
    • 2015
  • 최근 개인 단말기의 보급과 객체간의 네트워크 연결이 확산됨에 따라 방대한 양의 상황 정보들이 수집되고 있지만 역설적으로 사용자들과 서비스 제공자들은 정보의 홍수 속에서 종종 잘못된 의사결정을 내리고 있다. 이러한 정보 과부하 문제를 해결하기 위해 추천 시스템은 좋은 대안이 될 수 있지만 전통적인 추천 시스템은 다양한 형태의 상황 정보 사용에 한계를 보이고 있다. 또한 획득 가능한 상황 정보가 다양해지고 방대해짐에 따라 이를 활용한 추천 시스템은 복잡성의 문제를 해결해야 하며 지속적으로 변화되는 사용자 선호 및 상황에 부합할 수 있도록 실시간 서비스가 가능하도록 설계되어야 한다. 따라서 본 연구에서는 상황 영역의 개념을 기반으로 한 상황 인식 추천 서비스 방법론을 제안하여 추천 시스템에서 상황정보를 활용하는 한편 복잡성 및 실시간 서비스 제공의 문제를 해결하려 한다. 먼저 적절한 해석과 구조로 상황 데이터를 사용자 프로필에 반영할 수 있도록 상황 영역 개념에 기반한 프로파일링을 제안함에 따라 기존의 상황 인식 추천 시스템이 가지고 있던 복잡성의 한계를 해결하고자 한다. 다음으로 목표 사용자의 상황 영역에 기반한 이웃 집단 탐색으로 추천 시스템의 희박성과 신규 사용자 문제를 해결하는 한편 현재의 상황 정보에 대한 해석으로 도출되는 상황 지지 점수를 기반으로 한 추천 목록을 생성하여 실시간 서비스가 가능한 방법론을 제안한다. 결론적으로 본 연구에서 제안하는 방법론은 추천 시스템의 적용 영역을 확장하는 연구가 될 것으로 기대되며 새로운 기술 출현을 고려한 유연한 모델을 제안함에 따라 마케팅 담당자나 서비스 제공자들이 쉽게 본 연구에서 제안하는 방법론을 적용할 수 있으리라 판단된다.

사용자-상품 행렬의 최적화와 협력적 사용자 프로파일을 이용한 그룹의 대표 선호도 추출 (Extracting Typical Group Preferences through User-Item Optimization and User Profiles in Collaborative Filtering System)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권7호
    • /
    • pp.581-591
    • /
    • 2005
  • 협력적 여과 시스템은 희박성과 단지 두 고객만의 선호도에 따른 상관 관계로 추천을 제공한다는 문제점과 군집내의 가장 유사한 두 사용자만의 상관 관계에 의하여 추천을 한다는 단점이 있다. 또한, 상품의 내용을 기반으로 하지 않고 선호도만을 기반으로 하므로 추천의 정확도가 사용자에 의해 평가한 자료에만 의존한다는 문제점도 있다. 이와 같이 평가된 자료를 추천에 이용할 경우, 모든 사용자가 모든 상품에 대해 성의 있게 평가할 수는 없으므로 추천의 정확도가 낮아지는 결과를 가져온다. 따라서 본 논문에서는 엔트로피을 사용하여 사용자가 상품에 대하여 평가한 자료를 기반으로 검증되지 않은 사용자를 제외시키고, 다음으로 사용자 프로파일을 생성한 후 사용자를 군집시키며, 마지막으로 그룹의 대표 선호도를 추출하는 방법을 제안한다. 기존의 사용자 군집을 이용한 방법은 군집내의 사용자만을 대상으로 유사한 사용자를 찾으므로 희박성은 해결할 수 있으나 그 외의 단점을 해결하지 못하였다. 제안한 방법에서는 상품에 대해 평가한 선호도 뿐만 아니라 상품에 대한 정보를 반영하기 위하여 연관 단어 마이닝의 방법에 의해 협력적 사용자의 프로파일을 생성하고, 이를 기반으로 벡터 공간 모델과 K-means 알고리즘에 의해 사용자를 군집시킨다. 군집된 사용자를 대상으로 상품의 선호도와 사용자의 엔트로피를 병합함으로써 최종적으로 그룹의 대표 선호도를 추출한다. 대표 선호도를 이용한 추천 시스템은 한 사용자의 부정확한 선호도를 기반으로 추천을 하는 경우에 나타나는 추천의 부정확도 문제를 해결하며, 군집내의 가장 유사한 두 사용자만의 상관 관계에 의하여 추천을 하는 단점을 보완하고, 또한 그룹 내에 가장 유사한 사용자를 찾는 데 소요되는 시간을 절약할 수 있다는 장점을 갖는다.

부도예측모형에서 도메인 지식을 통합한 반사실적 예시 기반 설명력 증진 방법 (Domain Knowledge Incorporated Counterfactual Example-Based Explanation for Bankruptcy Prediction Model)

  • 조수현;신경식
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.307-332
    • /
    • 2022
  • 부도예측모형은 여러 금융기관의 신용평가모형의 지식기반(knowledge base)로 이용되고 있으며 최근 머신러닝 기법의 발전으로 이를 도입하여 고도화하려는 다양한 시도가 진행 중이다. 그러나 실제 이러한 모형이 도입되기 위해서는 모형을 이용하는 사용자와 설명제공 대상인 고객의 이해와 수용이 전제되어야 한다. 그러나 사용자에게 제공되는 설명이 현실적 타당성(feasibility)이 결여되어 있다면 모형의 신뢰성과 수용도에 부정적인 영향을 미친다. 이에 따라 본 연구는 도메인 지식을 설명 생성 알고리즘에 통합하여 현실적으로 타당한 설명을 사용자에게 제공하고자 한다. 본 연구에서는 머신러닝 기반의 부도예측 모형에 설명력을 더하는 방법으로 반사실적 예시(counterfactual example) 기반의 로컬영역에서의 설명을 제공하는 모델을 제안한다. 제안 모델은 모형에 이용된 재무변수의 특성을 설명력 생성 알고리즘에 통합하여 설명의 현실적 가능성을 확보하고 이를 통해 사용자의 이해와 수용을 도모하고자 한다. 또한 본 연구에서는 반사실적 예시기반 설명을 위해 유전알고리즘(GA)를 이용하며 다목적함수를 목적함수로 설정하여 반사실적 예시의 주요 기준이 되는 항목을 반영하고 있다. 본 연구는 대표적인 머신러닝 기법인 인공신경망을 이용해 부도예측모형을 학습시킨 뒤, 사후적 방법(post-hoc)으로 설명을 위한 알고리즘을 도입하여 기존의 모형 설명 알고리즘인 LIME과 현실적 가능성이 결여된 반사실적 예시 기반 알고리즘과 비교하였다. 더 나아가 제안방법의 금융/회계 분야의 종사자를 대상으로 서베이를 진행하여 제안 방법의 설명의 질을 정성적으로 평가하였다.

고객별 구매빈도에 동적으로 적응하는 개인화 시스템 : 음료수 구매 예측에의 적용 (The Adaptive Personalization Method According to Users Purchasing Index : Application to Beverage Purchasing Predictions)

  • 박윤주
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.95-108
    • /
    • 2011
  • 인터넷 비즈니스의 활성화에 따라서 기업은 고객의 인물정보 및 거래정보를 활용하여 보다 맞춤화된 개인화 서비스를 제공하고 있다. 기존의 고객군별 예측기법은 유사한 고객들을 군집화하여 고객군별로 예측모델을 수립하는 것으로, 구매가 많고 충성도가 높은 핵심고객에게 요구되는 일대일 서비스를 제공하는 데는 한계가 있다. 반면 일대일 고객별 예측기법은 각 고객에게 고도로 맞춤화된 서비스를 제공하지만, 과거 구매이력이 많지 않은 고객 이나 신규 고객에게는 정확한 개인화 서비스를 제공하지 못한다. 본 연구는 고객의 구매빈도에 따라서 유사 고객들과의 군집화 수준을 동적으로 조정하는 새로운 지능형 개인화 시스템을 제안한다. 제안된 시스템은 과거 구매가 많은 고객들에 대해서는 일대일 예측모델을 수립하지만, 구매 빈도가 낮은 고객의 경우 다른 고객들과의 최적화된 군집화를 통해 예측모델을 수립한다. 본 기법을 Neilsen의 음료수 구매 데이터셋에 적용하여 고객의 일회 구매금액 및 구매품목을 예측한 결과, 기존 두 예측기법들에 비하여 적정한 계산비용(computational cost)으로 더욱 정확한 개안화 서비스를 제공할 수 있음을 확인하였다.

추천시스템의 효과적 도입을 위한 소셜네트워크 분석 (Social Network Analysis for the Effective Adoption of Recommender Systems)

  • 박종학;조윤호
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.305-316
    • /
    • 2011
  • 협업필터링은 다양한 분야에서 널리 활용되고 있지만 협업필터링의 추천 성능은 적용하는 기업의 비즈니스 형태나 발생하는 거래 데이터의 특성에 따라 다르게 나타나고 있다. 기업에서 협업필터링 추천시스템을 구축하려면 상당한 시간과 비용이 소요되기 때문에 구축된 추천시스템의 성과가 높지 않다면 기업 자원의 낭비를 초래할 뿐만 아니라 부정확한 추천서비스를 받는 고객들의 불만을 살 수 있다. 따라서 추천시스템 도입을 검토할 때 기업이 갖고 있는 데이터의 특성을 파악하고 이를 통해 추천시스템을 도입하는 것이 타당한지 사전에 예측할 수 있다면 불필요한 도입으로 인한 경제적 손실과 고객 만족도 저하를 막을 수 있을 것이다. 기존 연구에서는 협업필터링 추천 성과에 희박성, 우연성, 커버리지 등이 영향을 미칠 수 있다고 설명하고 있지만 이러한 요인들이 어떻게 얼마나 추천 성과에 영향을 미치는지, 요인들 간에 어떠한 상관관계가 있는지는 현재까지 구체적으로 밝혀진 바가 없다. 본 연구에서는 구매 트랜잭션으로부터 생성된 소셜네트워크로부터 밀도, 군집화계수, 집중도 등의 구조적 지표를 측정한 후 이들이 추천성과에 어떻게 영향을 미치는지 통계적 분석을 통해 실증적으로 규명한다. 이를 통해 협업필터링 추천시스템에 대한 도입 여부를 결정하고자 할 때 유용하게 사용될 수 있는 지침을 제공하고자 한다.

GEase-K: 부가 정보를 활용한 선형 및 비선형 오토인코더 기반의 추천시스템 (GEase-K: Linear and Nonlinear Autoencoder-based Recommender System with Side Information)

  • 이태범;이승학;마민정;조윤호
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.167-183
    • /
    • 2023
  • 최근 추천시스템 분야에서는 희소한 데이터를 효과적으로 모델링하기 위한 다양한 연구가 진행되고 있다. GLocal-K(Global and Local Kernels for Recommender Systems)는 그중 하나의 연구로 전역 커널과 지역 커널을 결합하여 데이터의 전역적인 패턴과 개별 사용자의 특성을 모두 고려해 사용자 맞춤형 추천을 제공하는 모델이다. 하지만 GLocal-K는 커널 트릭을 사용하기 때문에 매우 희소한 데이터에서 성능이 떨어지고 부가 정보를 사용하지 않아 새로운 사용자나 아이템에 대한 추천을 제공하는 데 어려움이 있다. 본 논문에서는 이러한 GLocal-K의 단점을 극복하기 위해 EASE(Embarrassingly Shallow Autoencoders for Sparse Data) 모델과 부가 정보를 활용한 GEase-K(Global and EASE kernels for Recommender Systems) 모델을 제안한다. 우선 GLocal-K의 지역 커널 대신 EASE를 활용하여 매우 희소한 데이터에서 추천 성능을 높이고자 하였다. EASE는 단순한 선형 연산 구조로 이루어져 있지만, 규제화와 아이템 간 유사도 학습을 통해 매우 희소한 데이터에서 높은 성능을 내는 오토인코더이다. 다음으로 Cold Start 완화를 위해 부가 정보를 활용하였다. 학습 과정에서 부가 정보를 추가하기 위해 조건부 오토인코더 구조를 적용하였으며 이를 통해 사용자-아이템 간의 유사성을 더 잘 파악할 수 있도록 하였다. 결론적으로 GEase-K는 선형 구조와 비선형 구조의 결합, 부가 정보의 활용을 통해 매우 희소한 데이터와 Cold Start 상황에서 강건한 모습을 보인다. 실험 결과, GEase-K는 매우 희소한 GoodReads, ModCloth 데이터 세트에서 RMSE, MAE 평가 지표 기준 GLocal-K 보다 높은 성능을 보였다. 또한 GoodReads, ModCloth 데이터 세트를 4개의 집단으로 나누어 실험한 Cold Start 실험에서도 GLocal-K 대비 Cold Start 상황에서 좋은 성능을 보였다.

카테고리 중립 단어 활용을 통한 주가 예측 방안: 텍스트 마이닝 활용 (Stock Price Prediction by Utilizing Category Neutral Terms: Text Mining Approach)

  • 이민식;이홍주
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.123-138
    • /
    • 2017
  • 주식 시장은 거래자들의 기업과 시황에 대한 기대가 반영되어 움직이기에, 다양한 원천의 텍스트 데이터 분석을 통해 주가 움직임을 예측하려는 연구들이 진행되어 왔다. 주가의 움직임을 예측하는 것이기에 단순히 주가의 등락 뿐만이 아니라, 뉴스 기사나 소셜 미디어의 반응에 따라 거래를 하고 이에 따른 수익률을 분석하는 연구들이 진행되어 왔다. 주가의 움직임을 예측하는 연구들도 다른 분야의 텍스트 마이닝 접근 방안과 동일하게 단어-문서 매트릭스를 구성하여 분류 알고리즘에 적용하여 왔다. 문서에 많은 단어들이 포함되어 있기 때문에 모든 단어를 가지고 단어-문서 매트릭스를 만드는 것보다는 단어가 문서를 범주로 분류할 때 기여도가 높은 단어들을 선정하여야 한다. 단어의 빈도를 고려하여 너무 적은 등장 빈도나 중요도를 보이는 단어는 제거하게 된다. 단어가 문서를 정확하게 분류하는 데 기여하는 정도를 측정하여 기여도에 따라 사용할 단어를 선정하기도 한다. 단어-문서 매트릭스를 구성하는 기본적인 방안인 분석의 대상이 되는 모든 문서를 수집하여 분류에 영향력을 미치는 단어를 선정하여 사용하는 것이었다. 본 연구에서는 개별 종목에 대한 문서를 분석하여 종목별 등락에 모두 포함되는 단어를 중립 단어로 선정한다. 선정된 중립 단어 주변에 등장하는 단어들을 추출하여 단어-문서 매트릭스 생성에 활용한다. 중립 단어 자체는 주가 움직임과 연관관계가 적고, 중립 단어의 주변 단어가 주가 상승에 더 영향을 미칠 것이라는 생각에서 출발한다. 생성된 단어-문서 매트릭스를 가지고 주가의 등락 여부를 분류하는 알고리즘에 적용하게 된다. 본 연구에서는 종목 별로 중립 단어를 1차 선정하고, 선정된 단어 중에서 다른 종목에도 많이 포함되는 단어는 추가적으로 제외하는 방안을 활용하였다. 온라인 뉴스 포털을 통해 시가 총액 상위 10개 종목에 대한 4개월 간의 뉴스 기사를 수집하였다. 3개월간의 뉴스 기사를 학습 데이터로 분류 모형을 수립하였으며, 남은 1개월간의 뉴스 기사를 모형에 적용하여 다음 날의 주가 움직임을 예측하였다. 본 연구에서 제안하는 중립 단어 활용 알고리즘이 희소성에 기반한 단어 선정 방안에 비해 우수한 분류 성과를 보였다.