• ETRI Journal
• /
• 제46권2호
• /
• pp.277-289
• /
• 2024

In this paper, we describe a neural network-based application that recommends multiple items using dialog context input and simultaneously outputs a response sentence. Further, we describe a multi-item recommendation by specifying it as a set of clothing recommendations. For this, a multimodal fusion approach that can process both cloth-related text and images is required. We also examine achieving the requirements of downstream models using a pretrained language model. Moreover, we propose a gate-based multimodal fusion and multiprompt learning based on a pretrained language model. Specifically, we propose an automatic evaluation technique to solve the one-to-many mapping problem of multi-item recommendations. A fashion-domain multimodal dataset based on Koreans is constructed and tested. Various experimental environment settings are verified using an automatic evaluation method. The results show that our proposed method can be used to obtain confidence scores for multi-item recommendation results, which is different from traditional accuracy evaluation.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.707-720
• /
• 2021

To improve the accuracy of the recommendation system, multi-criteria recommendation systems have been widely researched. However, it is highly complicated to extract the preferred features of users and items from the data. To this end, subjective indicators, which indicate a user's priorities for personalized recommendations, should be derived. In this study, we propose a method for generating recommendation candidates by predicting multi-criteria ratings from reviews and using them to derive user priorities. Using a deep learning model based on convolutional neural network (CNN) and bidirectional long short-term memory (BiLSTM), multi-criteria prediction ratings were derived from reviews. These ratings were then aggregated to form a linear regression model to predict the overall rating. This model not only predicts the overall rating but also uses the training weights from the layers of the model as the user's priority. Based on this, a new score matrix for recommendation is derived by calculating the similarity between the user and the item according to the criteria, and an item suitable for the user is proposed. The experiment was conducted by collecting the actual "TripAdvisor" dataset. For performance evaluation, the proposed method was compared with a general recommendation system based on singular value decomposition. The results of the experiments demonstrate the high performance of the proposed method.

• 한국멀티미디어학회논문지
• /
• 제25권6호
• /
• pp.819-832
• /
• 2022

Cross-domain recommender system transfers knowledge across different domains to improve the recommendation performance in a target domain that has a relatively sparse model. However, they suffer from the "negative transfer" in which transferred knowledge operates as noise. This paper proposes a novel Multiple Fusion-based Deep Cross-Domain Recommendation named MFDCR. We exploit Doc2Vec, one of the famous word embedding techniques, to fuse data user-wise and transfer knowledge across multi-domains. It alleviates the "negative transfer" problem. Additionally, we introduce a simple multi-layer perception to learn the user-item interactions and predict the possibility of preferring items by users. Extensive experiments with three domain datasets from one of the most famous services Amazon demonstrate that MFDCR outperforms recent single and cross-domain recommendation algorithms. Furthermore, experimental results show that MFDCR can address the problem of "negative transfer" and improve recommendation performance for multiple domains simultaneously. In addition, we show that our approach is efficient in extending toward more domains.

• 지능정보연구
• /
• 제29권1호
• /
• pp.249-263
• /
• 2023

대표적인 추천 시스템 방법론인 협업 필터링(Collaborative Filtering)에는 이웃기반 방법(Neighbor Methods)과 잠재 요인 모델(Latent Factor model)이라는 두 가지 접근법이 있다. 이중 행렬 분해(Matrix Factorization)를 이용하는 잠재 요인 모델은 사용자-아이템 상호작용 행렬을 두 개의 보다 낮은 차원의 직사각형 행렬로 분해하고 이들의 행렬 곱으로 아이템의 평점(Rating)을 예측한다. 평점 패턴으로부터 추출된 요인 벡터들을 통해 사용자와 아이템 속성을 포착할 수 있기 때문에 확장성, 정확도, 유연성 측면에서 이웃기반 방법보다 우수하다고 알려져 있다. 하지만 평점이 지정되지 않은 아이템에 대해서는 선호도가 다른 개개인의 다양성을 반영하지 못하는 근본적인 한계가 있고 이는 반복적이고 부정확한 추천을 초래하게 된다. 이러한 잠재요인 모델의 한계를 개선하고자 각각의 아이템 별로 사용자의 선호도를 적응적으로 학습하는 적응 심층 잠재요인 모형(Adaptive Deep Latent Factor Model; ADLFM)이 등장하였다. ADLFM은 아이템의 특징을 설명하는 텍스트인 아이템 설명(Item Description)을 입력으로 받아 사용자와 아이템의 잠재 벡터를 구하고 어텐션 스코어(Attention Score)를 활용하여 개인의 다양성을 반영할 수 있는 방법을 제시한다. 하지만 아이템 설명을 포함하는 데이터 셋을 요구하기 때문에 이 방법을 적용할 수 있는 대상이 많지 않은 즉 일반화에 있어 한계가 있다. 본 연구에서는 아이템 설명 대신 추천시스템에서 보편적으로 사용하는 아이템 ID를 입력으로 하고 Self-Attention, Multi-head attention, Multi-Conv1d 등 보다 개선된 딥러닝 모델 구조를 적용함으로써 ADLFM의 한계를 개선할 수 있는 일반화된 적응 심층 잠재요인 추천모형 G-ADLFRM을 제안한다. 다양한 도메인의 데이터셋을 가지고 입력과 모델 구조 변경에 대한 실험을 진행한 결과, 입력만 변경했을 경우 동반되는 정보손실로 인해 ADLFM 대비 MAE(Mean Absolute Error)가 소폭 높아지며 추천성능이 하락했지만, 처리할 정보량이 적어지면서 epoch 당 평균 학습속도는 대폭 향상되었다. 입력 뿐만 아니라 모델 구조까지 바꿨을 경우에는 가장 성능이 우수한 Multi-Conv1d 구조가 ADLFM과 유사한 성능을 나타내며 입력변경으로 인한 정보손실을 충분히 상쇄시킬 수 있음을 보여주었다. 결론적으로 본 논문에서 제시한 모형은 기존 ADLFM의 성능은 최대한 유지하면서 빠른 학습과 추론이 가능하고(경량화) 다양한 도메인에 적용할 수 있는(일반화) 새로운 모형임을 알 수 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권6호
• /
• pp.269-276
• /
• 2015

최근 스마트폰 발달로 인터넷 접근이 쉬워짐에 따라 소셜 네트워크 서비스(SNS)의 이용이 손쉬워졌다. 하지만 현재 SNS는 개인의 일상 또는 관심사 공유에 그치며 여러 사용자 간의 공통관심사 파악은 어렵다. 본 논문에서는 SNS를 통해 개인이 아닌 여러 사용자 간의 공통관심사를 파악하여 스마트폰을 통해 원하는 것을 추천해주는 콘텐츠 추천 시스템을 제안한다. 추천 시스템은 그룹 내 사용자들의 선호도와 편차를 고려하여 제안한 공식을 포함한다. 시뮬레이션 후 공식에 대해 나올 수 있는 경우는 4가지로 간추려졌다. 그 결과 개인의 선호도를 나타내는 '좋아요' 수가 많으면서 페이스북 사용자들 간 선호도 편차가 적은 콘텐츠를 추천한다. 제안한 방법은 공식에 대한 4가지 경우의 시뮬레이션과 실제 페이스북 사용자들의 '좋아요' 데이터로 증명한다. 제안 시스템은 그룹 내에서의 선호도와 편차를 고려하여 공통관심사를 추천해주기 때문에 양질의 맞춤형 콘텐츠를 제공한다.

• 지능정보연구
• /
• 제11권1호
• /
• pp.107-121
• /
• 2005

최근, 추천시스템과 협업 필터링에 대한 연구가 학계와 업계에서 활발하게 이루어지고 있다. 하지만, 제품 아이템들은 다중 값 속성을 가질 수 있음에도 불구하고, 기존의 연구들은 이러한 다중 값 속성을 반영하지 못하고 있다. 이러한 한계를 극복하기 위하여, 본 연구에서는 추천시스템을 위한 새로운 방법론을 제시하고자 한다. 제안된 방법론은 제품 아이템에 대한 클러스터링 기법에 기반하여 다중 값 속성을 팔용하며, 정확한 추천을 위하여 협업 필터링을 적용한다. 즉, 사용자간의 상관관계만이 아니라 아이템간의 상관관계를 고려하기 위하여, 사용자 클러스터링에 기반한 사례기반추론과 아이템 속성 클러스터링에 기반한 사례기반추론 모두가 협업 필터링에 적용되는 것이다. 다중 값 속성에 기반하여 아이템을 클러스터링 함으로써, 아이템의 특징이 명확하게 식별될 수 있다. MovieLens 데이터를 이용하여 실험을 하였으며, 제안된 방법론이 기존 방법론의 성능을 능가한다는 결과를 얻을 수 있었다.

• 지능정보연구
• /
• 제27권3호
• /
• pp.157-173
• /
• 2021

소비자의 욕구와 관심에 맞추어 개인화된 제품을 추천하는 추천 시스템은 비즈니스에 필수적인 기술로서의 그 중요성이 증가하고 있다. 추천 시스템의 대표적인 모형 중 협업 필터링은 우수한 성능으로 다양한 분야에서 활용되고 있다. 그러나 협업필터링은 사용자-아이템의 선호도 정보가 충분하지 않을 경우 성능이 저하되는 희소성의 문제가 있다. 또한 실제 평점 데이터의 경우 대부분 높은 점수에 데이터가 편향되어 있어 심한 불균형을 갖는다. 불균형 데이터에 협업 필터링을 적용할 경우 편향된 클래스에 과도하게 학습되어 추천 성능이 저하된다. 이러한 문제를 해결하기 위해 많은 선행연구들이 진행되어 왔지만 추가적인 외부 데이터 또는 기존의 전통적인 오버샘플링 기법에 의존한 추천을 시도하였기에 유용성이 떨어지고 추천 성능 측면에서 한계점이 있었다. 본 연구에서는 CGAN을 기반으로 협업 필터링 구현 시 발생하는 희소성 문제를 해결함과 동시에 실제 데이터에서 발생하는 데이터 불균형을 완화하여 추천의 성능을 높이는 것을 목표로 한다. CGAN을 이용하여 비어있는 사용자-아이템 매트릭스에 실제와 흡사한 가상의 데이터를 생성하여, 희소성을 가지고 있는 기존의 매트릭스로만 학습한 것과 비교했을 때 높은 정확도가 예상된다. 이 과정에서 Condition vector y를 이용하여 소수 클래스에 대한 분포를 파악하고 그 특징을 반영하여 데이터를 생성하였다. 이후 협업 필터링을 적용하고, 하이퍼파라미터 튜닝을 통해 추천 시스템의 성능을 최대화하는데 기여하였다. 비교 대상으로는 전통적인 오버샘플링 기법인 SMOTE, BorderlineSMOTE, SVM-SMOTE, ADASYN와 GAN을 사용하였다. 결과적으로 데이터 희소성을 가지고 있는 기존의 실제 데이터뿐만 아니라 기존 오버샘플링 기법들보다 제안 모형의 추천 성능이 우수함을 확인하였으며, RMSE, MAE 평가 척도에서 가장 높은 예측 정확도를 나타낸다는 사실을 증명하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권5호
• /
• pp.1413-1432
• /
• 2023

Recommender systems aim to recommend items to users by taking into account their probable interests. This study focuses on creating a model that utilizes multiple sources of information about users and items by employing a multimodality approach. The study addresses the task of how to gather information from different sources (modalities) and transform them into a uniform format, resulting in a multi-modal feature description for users and items. This work also aims to transform and represent the features extracted from different modalities so that the information is in a compatible format for integration and contains important, useful information for the prediction model. To achieve this goal, we propose a novel multi-modal recommendation model, which involves extracting latent features of users and items from a utility matrix using matrix factorization techniques. Various transformation techniques are utilized to extract features from other sources of information such as user reviews, item descriptions, and item categories. We also proposed the use of Principal Component Analysis (PCA) and Feature Selection techniques to reduce the data dimension and extract important features as well as remove noisy features to increase the accuracy of the model. We conducted several different experimental models based on different subsets of modalities on the MovieLens and Amazon sub-category datasets. According to the experimental results, the proposed model significantly enhances the accuracy of recommendations when compared to SVD, which is acknowledged as one of the most effective models for recommender systems. Specifically, the proposed model reduces the RMSE by a range of 4.8% to 21.43% and increases the Precision by a range of 2.07% to 26.49% for the Amazon datasets. Similarly, for the MovieLens dataset, the proposed model reduces the RMSE by 45.61% and increases the Precision by 14.06%. Additionally, the experimental results on both datasets demonstrate that combining information from multiple modalities in the proposed model leads to superior outcomes compared to relying on a single type of information.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권4호
• /
• pp.457-466
• /
• 2004

추천은 과다하게 제공되는 정보로부터 사용자 개인의 취향에 알맞은 정보만을 제공하는 서비스이다. 최근 이러한 서비스는 정보제공자와 인터넷 사용자들이 많은 관심을 가지고 있다. 또한, 서비스를 위해 가장 널리 사용되는 방법은 협력적 여과방법이다. 협력적 여과방법은 특정 사용자와 관련 있는 사용자들에 대한 목표 항목의 선호도를 이용하거나 목표 항목과 관련 있는 항목들에 대한 특정 사용자의 선호도를 이용하여 특정 사용자에게 목표 항목을 추천하는 방법이다. 본 논문에서는 신경망 기반 협력적 여과 방법을 제안한다. 제안한 방법은 신경망을 이용하여 사용자 흑은 항목들 간의 선호 상관관계를 학습시킴으로써 모델을 생성하고 생성된 모델을 사용하여 추천할 목표 항목의 선호도를 추정하는 방법이다. 특히, 본 논문에서는 희소성 문제를 해결하기 위해 다양한 정보를 융합하는 방법과 보다 성능을 향상시키기 위해 목표 항목과 관련 있는 항목들 또는 특정 사용자와 관련 있는 사용자들을 선택하는 것에 대해 제시한다. 마지막으로 EachMovie 데이타를 이용한 실험들을 통해 제안한 방법이 기존 방법들 보다 우수한 성능을 보이는 것을 확인할 수 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권10호
• /
• pp.1010-1014
• /
• 2010

잡지기사 관련 상품 연계 추천 서비스는 온라인 상에서 잡지 가사의 컨텍스트를 반영하여 상품을 추천하는 서비스이다. 현재 이러한 서비스는 잡지기사와 상품에 부여되어 있는 태그 간의 유사성을 기준으로 한 추천 기술에 의존하고 있으나, 태그 부여 비용과 추천의 정확도가 높지 않은 단점이 있다. 본 논문에서는 잡지 기사 컨텍스트 관련 상품연계 추천 기술의 한 요소로서 상품이미지 정보로부터 상품의 종류를 자동으로 분류하고 이를 상품의 태그로 활용하는 방법을 제안한다. 이미지에서 추출한 시각단어(visual word)와 상품 종류 간의 고차 연관관계를 하이퍼네트워크 기법을 통해 학습하고, 학습된 하이퍼네트워크를 이용하여 상품 이미지에 한 개 이상의 태그를 자동으로 부여한다. 실제 온라인 쇼핑몰에서 사용되는 10 가지 종류의 상품 1,251개의 이미지 데이터를 기반으로, 하이퍼네트워크 이용한 상품이미지 자동 태깅 기법이 다른 기계학습 방법과 비교하여 경쟁력 있는 성능을 보여줌과 동시에, 복수개의 태그 부여를 통해 상품 이미지 태깅의 정확성이 향상됨을 보인다.