Addressing the Item Cold-Start in Recommendation Using Similar Warm Items

유사 아이템 정보를 이용한 콜드 아이템 추천성능 개선

Abstract

Item cold start is a well studied problem in the research field of recommender systems. Still, many existing collaborative filters cannot recommend items accurately when only a few user-item interaction data are available for newly introduced items (Cold items). We propose a interaction feature prediction method to mitigate item cold start problem. The proposed method predicts the interaction features that collaborative filters can calculate for the cold items. For prediction, in addition to content features of the cold-items used by state-of-the-art methods, our method exploits the interaction features of k-nearest content neighbors of the cold-items. An attention network is adopted to extract appropriate information from the interaction features of the neighbors by examining the contents feature similarity between the cold-item and its neighbors. Our evaluation on a real dataset CiteULike shows that the proposed method outperforms state-of-the-art methods 0.027 in Recall@20 metric and 0.023 in NDCG@20 metric.

1. 서론

추천 시스템에서 널리 사용되는 알고리즘인 협업 필터 (CollaborativeFilter) [1]는 사용자의 취향이나이이템의 특성을 유사한 사용자-아이템 상호작용 (클릭, 구입 등)을 보인 다른 사용자나 아이템의 상호작용 패턴을 이용하여 추론한다. 상호작용 패턴을 이용하기 때문에, 예를 들어 추천 시스템에 등록된 후 충분한 시간이 경과하지 않은 사용자나 아이템은 유사도 계산에 필요한 상호작용 정보가 적어 협업 필터를 사용하여 사용자에게 정확한 추천을 제공하기 어렵다. 이러한 문제를 콜드 스타트(ColdStart) 문제라고 지칭하며, 상호작용이 적은 주체가 무엇이냐에 따라 사용자 혹은 아이템 콜드 스타트(Useror Item ColdStart) 문제[2]라 지칭한다.

최신 연구는 콜드 스타트 문제를 개선하기 위해 상호작용이 적은 아이템과 사용자를 뜻하는 “콜드 아이템(Cold item)”과 “콜드 사용자(Cold user)”에대해 추천 시스템에 등록되는 시점부터 알 수 있는 사용자 혹은 아이템의 특징을 설명하는 정보인 “컨텐츠자질(Contents Feature)”을 입력으로, 협업 필터를 사용하여 계산하는 상호작용 패턴의 특징을 표현하는 정보인 “상호작용자질(Interaction Feature)”을인공신경망을 사용하여 예측하는 방법을 제안하였다[3,4].

앞에서 설명한 최신 연구들은[3,4]유사한 컨텐츠자질을 가진 아이템들에 대한 사용자의 행동 패턴은 유사하다는 가정을 전제로 하고 있다.그러나 실제로는 유사한 컨텐츠 자질을 가진 아이템이라도, 아이템컨텐츠의 일부 특정 요소가 사용자의 행동에 큰 영향을 끼칠 수 있다. 예를 들어 영국 프로축구팀에 관한 뉴스 기사들은 영국 프로축구를 좋아하는 사용자가 많이 읽지만, 영국 프로축구팀의 한국 선수에 관한 기사는 평소 영국 프로축구 기사를 잘 읽지 않는 한국 사용자도 즐겨 읽을 수 있다.이와 같이 컨텐츠의일부 특정 요소가 상호작용에 큰 영향을 주는 경우, 아이템 컨텐츠의 주요 특징으로부터 상호작용 패턴의 미세한 차이를 예측하기 어렵다.

본 논문에서는 아이템 컨텐츠의 일부 요소가 상호작용에 큰 영향을 줄 수 있는 경우도 고려할 수 일도록 하여 콜드 아이템 추천성능을 개선하기 위해, 콜드 아이템의 컨텐츠자질뿐만 아니라 충분한 상호작용 데이터도 보유하고 있는 웜 아이템(WarmItem) 에서 예측하려는 콜드 아이템과 매우 유사한 컨텐츠자질을 가지는 아이템들의 상호작용자질도 입력으로 사용하여 콜드 아이템의 상호작용자질을 예측하는 방법을 제안한다.

제안 방법은 Fig. 1과 같이, 컨텐츠자질이 매우 유사한 아이템들은 상호작용 패턴에 영향을 주는 컨텐츠자질의 특정 요소도 유사할 가능성이 높으며, 따라서 이들의 상호작용자질을 이용하면 콜드 아이템의 상호작용 자질도 더 정확히 예측할 확률이 높다는 가정을 바탕으로, 유사한 웜 아이템의 상호작용자질로부터 적절한 상호작용 패턴을 추출하여 예측에 활용하기 위해 어텐션 네트워크[5]를 사용한다.

Fig. 1. The idea of proposed method.

본 논문의 구조는 다음과 같다. 2장에서, 우리는 관련 연구 및 제안 방법과 밀접히 관련되어 있는 인공신경망을 이용한 상호작용자질 예측 연구에 대해 살펴본다.3장에서 제안 방법을 설명하고. 4장에서실제 데이터를 사용하여 제안 방법의 성능을 평가한다. 마지막으로, 5장에서 본 논문을 정리한다.

2. 관련 연구

2.1 협업필터 (Collaborative Filter)

행렬분해(Matrix Factorization)기반의 협업 필터[6,7]가 대부분의 추천 방법에서 널리 사용된다[8, 9, 10, 11, 12].Fig. 2와 같이, m명의 사용자, n개의 아이템이 존재하는 추천 시스템에서 행렬분해는, 행렬의 각 행이 각각의 사용자, 각 열이 각각의 아이템을 나타내고, u행, i열의 원소가 u번째 사용자의 i열 아이템에 대한 상호작용 (클릭 여부, 5단계 평점 등)을나타내는 m × n레이팅 행렬(Rating Matrix) R을 행렬 분해하여 m × d^it, n × d^it의 P 행렬, Q 행렬을 각각 계산한다. P행렬의 각 행은 각각의 사용자에 대한 d^it차원 상호작용자질, Q 행렬의 각 행은 각각의 아이템에 대한 d^it차원 상호작용자질을 나타낸다. P×Q^T ≃ R을 만족하도록 P, Q를 계산함으로써 임의 사용자 u의 임의 아이템 i에 대한 상호작용은 행렬의 P 행과, U 행렬의 Q 행의 내적(dot product)으로 계산할 수 있다. R이 사용자 아이템 상호작용 정보를 저장하고 있으므로, P, Q 행렬에는 사용자와 아이템의 상호작용 패턴의 특징이 각각 사용자 상호작용자질, 아이템 상호작용자질의 형태로 압축되어 저장된다.협업 필터는 상호작용 정보를 바탕으로 상호작용 자질을 계산하므로 상호작용 정보가 부족한 콜드 스타트 상황에서 정확한 추천성능을 발휘하기 어렵다.

Fig. 2. Matrix Factorization [6].

2.2 컨텐츠필터 및 하이브리드 방식

콜드 스타트 상황에서 추천성능을 개선하기 위한 방법으로 컨텐츠필터 (ContentsFilter)방식 [13,14] 과, 이와 협업필터를 혼합한 하이브리드 방식 [15, 16, 17]이 연구되었다.

컨텐츠필터 방식은 상호작용 정보와 무관한, 아이템의 컨텐츠 정보 (예를 들어 영화라면 장르, 감독, 배우, 줄거리 등)를 이용하여, 추천 대상 사용자를 해당 사용자가 소비한 아이템의 컨텐츠 정보에 대한 누적 분포로 나타내고, 사용자의 컨텐츠 정보 분포와 추천 대상이 되는 아이템의 컨텐츠 정보 분포의 유사성을 계산하여 더 유사한 아이템을 추천한다.

컨텐츠필터 방식은 상호작용 정보를 사용하지 않아 콜드 스타트 상황에서도 비교적 정확한 추천이 가능하나 상호작용 정보를 충분히 사용할 수 있는 경우의 협업필터 방식과 비교하면 추천성능의 정확도가 떨어진다. 하이브리드 방식은, 상호작용 정보가 충분한 아이템은 컨텐츠 정보와 상호작용 정보를 모두 사용할 수 있어 협업필터 대비 추천성능이 개선되나 콜드 아이템 추천성능은 컨텐츠필터 방식과 유사하다.

2.3 인공신경망을 이용한 협업필터 정보 예측

최근에는 컨텐츠 정보와 상호작용 정보를 상호 보완적으로 이용하는 것이 아니라, 인공신경망을 사용하여 컨텐츠 정보로부터 상호작용 정보를 예측하여 콜드 스타트 추천성능 개선에 활용하려는 방법이 연구되고 있다. 구체적으로, Volkovs등이 제안한 Dro- poutNet[3]은 사용자와 아이템 각각에 대한, 행렬분해로 계산한 상호작용자질과 컨텐츠로부터 계산한컨텐츠자질의 총 4종류의 자질을 인공신경망의 입력으로 사용하여 사용자와 아이템의 상호작용자질의 내적 값을 예측하는 모델을 학습시킨다.학습 과정에서 일정 확률로 상호작용자질을 모델 입력에서 제거 (Dropout)[18]함으로써 모델이 컨텐츠자질로부터 상호작용자질을 예측할 수 있도록 학습시킨다.이 방식은 주어진 사용자의 상호작용자질과 아이템의 상호작용자질 사이의 내적값 예측을 목적함수로 설정함으로써 상호작용자질 예측 자체는 학습의 제거과정에서 얻어지는 간접적인 학습 효과에 중심을 둔다.

한편, Zhu등이 제안한 Heater[4]는 두 종류의 서로 다른 목적함수를 동시에 만족시키는 모델을 학습하는 것이 특징이다.컨텐츠 자질로부터 상호작용자질을 예측하는 것 자체를 첫번째 목적함수로 두고, 예측한 상호작용자질을 사용하여 실제 상호작용 여부를 예측하는 것을 두 번째 목적함수로 둔다. 특히컨텐츠자질로부터 상호작용자질을 예측하는데 있어서 컨텐츠자질을 여러 다른 관점에서 분석하기 위해 Mixture-of-Expert [19]구조를 사용한 것이 특징이다.

DropoutNet과 Heater는 예측하려는 사용자 혹은 아이템의 자질 정보만을 사용한다. 이는 예측하려는 아이템과 유사한 컨텐츠 자질을 가지는 웜 아이템의 자질 정보도 사용하는 제안 방법과 차이가 있다.

3. 제안 방법

본 장에서는 먼저 제안 방법의 개요를 설명하고, 이후에 제안 방법의 핵심 부분인 최근접 아이템 기반 상호작용자질 예측 방법과 모델학습 및 추론에 대해 구체적으로 설명한다.

3.1 모델의 개요

Table 1에 제안 방법의 설명에 사용하는 기호를 정리하였다.이후 특별한 언급이 없으면 기호 u는추천 대상 사용자, i는 u의 취향 강도를 예측하고자 하는 추천 아이템 후보가 되는 콜드 아이템을 표기하기 위해 사용한다.

Table 1. Notations.

Fig. 3에 제안 방법의 개요를 나타내었다. 제안 방법은 사용자 u의 상호작용자질, 콜드 아이템 i의 컨텐츠자질, 상호작용 데이터를 충분히 보유하고 있는 웜 아이템 중에서 i와 컨텐츠자질이 가장 유사한 k개의 아이템 (이후 i의 “k-최근접 아이템”으로 표기한다.)들의 컨텐츠자질과 상호작용자질을 입력으로 하여, u의 i에 대한 취향 강도를 예측한다. 이를 위해 i의 컨텐츠자질로부터 i의 상호작용자질을 예측하기 위한 개별자질 예측기 (IndividualFeaturePre- dictor)와 i의 “k-최근접 아이템”의 정보로부터 i의 상호작용자질을 예측하기 위한 그룹자질 예측기 (Group Feature Predictor)로 구성된다.

Fig. 3. Overview of the proposed method.

개별자질 예측기는 사용자 u와, 콜드 아이템 i의상호작용자질을 예측하여 취향 예측 벡터 (prefer- encepredictionvector) f_u, f_i의 형태로 출력한다. u의 경우 컨텐츠자질이 입력으로 사용되나, i의 경우 상호작용자질이 입력되므로 i의 상호작용자질은 예측값을 출력하나, u의 상호작용자질은 입력 정보를 그대로 형태만 변형하여 출력한다. 개별자질 예측기는 컨텐츠 자질로부터 상호작용자질을 예측할 수 있는 기존 모델 어떤 것이든지 사용할 수 있다. 본 논문에서는 Zhu등이 제안한 Heater[4]를 사용하였다.

그룹자질 예측기는 콜드 아이템 i의 k-최근접 아이템들의 상호작용자질을 기반으로 어텐션 네트워크를 사용하여 예측한 i의 상호작용자질 값인 취향 예측 벡터 \(f_{N_{i}}\) 을 계산한다.

마지막으로 f_i와 \(f_{N_{i}}\)을 더해서 생성한 벡터와, f_u의 내적으로 u의 i에 대한 예측 취향 \(\hat{r}_{u i}\)을 계산한다.

3.2 k-최근접 아이템 기반 상호작용자질 예측

본 장에서는 그룹자질 예측기에 대해 상세히 설명한다.

두 아이템 사이의 컨텐츠가 서로 유사할수록 이들 아이템에 대한 사용자의 상호작용 패턴도 유사해질 i의 k-최근접 아이템 n_ik의 상호작용자질 \(q_{n_{i}}\)가 i의 상호작용자질 예측에 기여하는 정도는 n_ik와 i의 컨텐츠자질 (\(c_{n_{a}}\) 와 c_i)사이의 유사도에 비례할 확률이 높다. 따라서 i의 k-최근접 아이템 중 컨텐츠자질이 i의 컨텐츠자질과 더 유사한 아이템이 그렇지 않은 아이템보다 c_i의 상호작용자질 예측에 더 많이 반영되도록, i의 컨텐츠자질 c_i를 질의(Query), i의 k-최근접 아이템의 컨텐츠 자질 \(c_{n_{a}}\)를 키(Key), 상호작용자질 \(q_{n_{i}}\)를 값(Value)으로 사용하는 어텐션 네트워크[5]를 사용하여 i의 k-최근접 아이템 정보 기반 상호작용자질 예측값인 \(f_{N_{i}}\)를 계산한다.

\(f_{N_{i}}=\sum_{n_{i k} \in N_{i}} a_{n_{i k}} \cdot \operatorname{value}\left(q_{n_{i k}}\right)\)       (1)

식 (1)처럼 \(f_{N_{i}}\)는 i의 k-최근접 아이템의 상호작용자질을 입력으로 계산한 value(\(q_{n_{i}}\))값의 가중합으로 계산한다. 가중치 \(a_{n_{\text {㲀 }}}\)는 식 (2)처럼 i의 컨텐츠자질을 입력으로 계산한 query(c_i)와 n_ik의 컨텐츠자질을 입력으로 계산한 key(\(c_{n_{i k}}\))의 소프트맥스로 계산된다.

\(a_{n_{i k}}=\frac{e^{q u e r y\left(c_{i}\right) \cdot \operatorname{key}\left(c_{r_{k}}\right)}}{\sum_{n \in N_{i}} e^{q u e r y\left(c_{i}\right)} \cdot \operatorname{keg}\left(c_{n}\right)}\)       (2)

query(c_i), key(\(c_{n_{i k}}\)), value(n_ik)는 각각 식 (3), (4), (5) 을 사용하여, c_i, \(c_{n_{i k}}\), \(q_{n_{i k}}\)를 선형변환(Linear transformation)한 결과이다. W_query , W_key , W_value는 각각 의 입력 벡터 c_i, \(c_{n_{i k}}\), \(q_{n_{i k}}\)를 상호작용자질의 차원인 d_it차원의 벡터로 변환하기 위한 가중 행렬(Weight Matrix)이고, b_query, b_key , b_value는 각각의 변환에서의 d_it차원 바이어스 벡터이다.

\(\operatorname{quer} y\left(c_{i}\right)=\tanh \left(W_{q u e r y}{ }^{*} c_{i}+b_{q u e r y}\right)\)       (3)

\(\operatorname{keg}\left(c_{n_{k}}\right)=\tanh \left(W_{k c y} * c_{n_{k}}+b_{k e y}\right)\)       (4)

\(\text { value }\left(q_{n_{k}}\right)=\tanh \left(W_{\text {value }}{ }^{*} q_{n_{k}}+b_{\text {value }}\right)\)       (5)

i의 k-최근접 아이템 집합 N_i는, i와 상호작용자 질이 존재하는 다른 모든 웜 아이템(Warm item) 각 각에 대해 컨텐츠자질의 코사인 유사도를 계산하여 이중 유사도가 가장 높은 k개의 아이템으로 구성한다.

3.3 모델학습 및 추론

그룹자질 예측기를 사용하여 계산한 \(f_{N_{i}}\)과 같이 개별자질 예측기에서 계산한 i의 취향 예측 벡터 f_i와 더한 다음, 이를 u의 취향 예측벡터 f_u와내적하여 u의 i에 대한 예측 취향 \(\hat{r}_{u i}\)을 계산한다.

\(\hat{r}_{u i}=f_{u} \cdot\left(f_{i}+f_{N_{i}}\right)\)       (6)

모델학습은 식 (7)의 목적함수를 최소화하는 모델 매개변수를 학습한다.

\(L=\sum_{(u, i) \in R^{+} \cup R^{-}}\left|r_{u i}-\hat{r}_{u i}\right|^{2}+\lambda\|\Theta\|_{F}^{2}\)       (7)

Θ는 모델의 모든 매개변수를 나타내는 기호이고 ∥Θ∥_F는 프로베니우스 놈(FrobeniusNorm)을 나타낸다. R⁺는 학습 데이터에서 상호작용이 관측된 사용자-아이템 쌍의 집합이고 r_ui의 값은 1이다. R^- 는 상호작용이 관측되지 않은 사용자-아이템 쌍의 집합이며 r_ui의 값은 0이다.

앞에서 설명한 바와 같이, 제안 방법은 모든 사용자-아이템 조합에 대해, 사용자 아이템 상호작용 예측 오차를 최소화하는 모델을 학습한다. 다만, 관측된 사용자-아이템 상호작용 조합의 개수에 비해 관측되지 않은 사용자-아이템 상호작용 조합의 개수가 매우 많으므로, 모델학습 속도 향상을 위해 관측된 상호작용 쌍 1개에 대해 관측되지 않은 상호작용 쌍을 5개 임의로 추출해서 학습하는 네거티브 샘플링 (Negative Sampling) 방식을 사용한다.

제안 방법을 사용한 추천은 추천 대상 사용자 u와 추천 대상이 되는 콜드 아이템 집합 I_c가 주어질 경우, 모든 c>쌍에 대해 식 (6)을 사용하여 \(\hat{r}_{u i}\) 값을 예측한 다음 \(\hat{r}_{u i}\) 값이 큰 순서대로 아이템을 정렬하고 이중 앞에서 n개의 아이템을 추천한다.

4. 실험 결과 및 고찰

본 장에서는 제안 방법 평가를 위한 실험 데이터, 평가지표 및 비교방법에 대해 설명하고 제안 방법의 성능 평가 결과를 분석한다.

4.1 데이터

CiteULike¹⁾, 데이터 집합을 사용하여 제안 방법의 성능을 평가하였다. CiteULike는 사용자가 읽거나 흥미를 가져 본인의 논문 리스트에 등록한 학술논문을 기록한 데이터이다.5, 551명의 사용자와 16, 980개의 논문, 그리고 204, 986개의 상호작용(등록: r_ui = 1, 등록하지 않음 r_ui = 0)데이터로 이루어져 있다. 논문의 컨텐츠 데이터로 논문 제목과 논문 초록이 제공된다. 컨텐츠 데이터를 [3,4]의 연구와 동일하게, 논문 뭉치(Corpus)에서 나타나는 단어에 대해 tf-idf로 중요도를 평가하여 tf-idf가 높은 8,000개의 단어를 선별한 다음, 각 논문에 대해 8,000개의 단어가 나타나는지의 여부를 벡터로 나타내고 이들을 특이값분해 (SingularValueDecomposition)를 통하여 차원 축소하여 각 논문마다 d_ct = 300인 컨텐츠자질 c_i를 계산하였다. 사용자와 논문의 상호작용자질 p_u, q_i는 BPR[7]을 사용하여 d_it = 200인 벡터를 계산하였다.

CiteULike전체 데이터에서 찾을 수 있는 논문 중 랜덤하게 추출한 4/5의 논문에 대한 상호작용 데이터를 모델학습에 사용하였다.나머지 1/5의 논문은 상호작용 데이터 및 상호작용 자질을 사용할 수 없는 콜드 아이템으로 가정하고, 이 중 30%(전체의 3/50) 를 모델 검증에, 나머지 70%(전체의 7/50)를 모델 테스트에 사용하였다.검증 및 테스트에 사용한 콜드 아이템 각각에 대해 최근접 이웃은 학습에 사용한 논문에서 컨텐츠자질이 가장 유사한 k개의 논문을 선택하여 사용하였다.

4.2 실험 환경

4.2.1 평가지표

Precision@n(P@n)[20], Recall@n(R@n)[20], NDCG@n(N@n)[21]을 사용하여 평가하였다.Precision@n은 u 를 위해 추천된 n개의 아이템 중 몇 개가 u의 테스트 셋에 존재하는지 비율을 계산하고, Recall@n은 테스트 셋에 존재하는 u가 상호작용한 아이템 중 몇 개가 u를 위해 추천된 n개의 아이템 중에 존재하는지의 비율을 계산한다. NDCG@n은 Recall@n과 유사하나 상호작용한 아이템이 추천 리스트의 앞에 위치할수록 더 높은 점수가 부여되도록 계산된다. 예를 들어, 서로 다른 두 알고리즘이 사용자가 상호작용한 아이템을 동일한 개수 추천하였다 하더라도 상호작용한 아이템들을 추천 리스트의 상위에 더 많이 위치시키는 알고리즘이 NDCG가 더 높다. 앞의 세 지표 모두 1.0이 최상, 0.0이 최하의 성능을 뜻한다. n으로는 10, 20, 50, 100을 사용하였으며 테스트시 모든 사용자는 2, 378개의 추천 후보 아이템 중에서 n개의 아이템을 추천받는다.

4.2.3 비교 방법

(1)랜덤하게 아이템을 추천하는 랜덤추천, 최신방법인 (2)DropoutNet과 (3)Heater, 그리고 (4) 제안 방법(SimCSR)을 비교하였다.Tensorflow2.4²⁾ 를 사용하여 구현하였으며, 최적화 알고리즘은 모멘텀 SGD(MomentumSGD) [22]를 사용하였다. 각알고리즘에 대해 최고의 성능을 발휘하도록 설정값을 설정하였고 구체적인 값을 Table 2에 나타내었다. Table 2에 언급되지 않은 값은 각 논문에서 나타난 설정을 따랐다.

Table 2. Model Configurations.

4.3 성능 평가 및 고찰

Table 3에 각 알고리즘의 성능 비교 결과를 나타내었다. 표의 결과와 같이, 모든 지표에 있어서 제안 방법이 다른 비교 방법들에 비해 뛰어난 성능을 보였다. 이는 상호작용자질 예측에 있어서 컨텐츠가 유사한 다른 아이템의 상호작용자질 정보를 활용할 수 있음을 보여주고 있다.

Table 3. Model Performance. +3 indicates performance improvement to Heater is statistically significant for p<0.001 judged by paired t-test.

Fig. 4에 제안 방법의 k-최근접 아이템의 아이템개수(k)변화에 따른 제안 방법의 Recall@20 변화를 나타내었다. k가 증가해감에 따라 성능도 증가하다가 k=5에서 포화상태가 되었다.

Fig. 4. Recall@20 w.r.t. the number of neighbors (k).

Fig. 5는 주어진 아이템에 대한 9개의 최근접 아이템의 컨텐츠자질의 코사인 유사도 평균과 상호작용자질의 코사인 유사도 평균을 나타내었다. 첫 번째 최근접 아이템과 다섯 번째 최근접 아이템의 컨텐츠자질 유사도와 상호작용자질 유사도의 차이가 각각 0.11, 0.05로 0.03, 0.02인 다섯 번째 최근접 아이템과 아홉 번째 최근접 아이템 사이의 차이에 비해 두 배 이상 큰 차이가 관측된다.또한 k=5이상부터는 차이가 작아져 최저값으로 수렴하는 경향을 보인다. 이는 k=5를 기점으로 최근접 아이템이 추천성능 향상에 이용할 새로운 정보를 제공하기 어렵다는 것을 의미하며, k=5 이상의 최근접 아이템을 사용해도 Recall@20 성능이 개선되지 않는 결과로 이어졌다고 생각된다.

Fig. 5. Avg. Cosine similarity to k-th similar neighbors.

5. 결론

본 논문에서는 아이템 콜드 스타트 추천을 개선하기 위해 콜드 아이템의 컨텐츠자질과 해당 콜드 아이템의 k-최근접 아이템의 상호작용자질를 함께 사용하여 콜드 아이템의 상호작용자질를 예측하는 인공신경망 알고리즘을 제안한 다음, CiteULike데이터를 사용하여 평가하여 제안 방법이 컨텐츠자질로 단어와 같은 비범주형 컨텐츠 정보를 가지는 아이템추천에 대해 관련 최신 알고리즘보다 Recall@20 기준 0.027, NDCG@20 기준 0.023만큼 성능을 개선함을 보였다. 따라서 제안 기법을, 예를 들어 뉴스기사 추천과 같은 아이템의 특징이 문서와 같은 비범주형 데이터로 정의될 수 있으며 아이템의 가치가 시간 경과와 함께 급격히 떨어지기 때문에 상호작용자질를 계산하기 위한 정보가 충분하지 않은 환경에서의 아이템추천성능 개선에 적용할 수 있을 것이다.