Multiple Fusion-based Deep Cross-domain Recommendation

다중 융합 기반 심층 교차 도메인 추천

Abstract

Cross-domain recommender system transfers knowledge across different domains to improve the recommendation performance in a target domain that has a relatively sparse model. However, they suffer from the "negative transfer" in which transferred knowledge operates as noise. This paper proposes a novel Multiple Fusion-based Deep Cross-Domain Recommendation named MFDCR. We exploit Doc2Vec, one of the famous word embedding techniques, to fuse data user-wise and transfer knowledge across multi-domains. It alleviates the "negative transfer" problem. Additionally, we introduce a simple multi-layer perception to learn the user-item interactions and predict the possibility of preferring items by users. Extensive experiments with three domain datasets from one of the most famous services Amazon demonstrate that MFDCR outperforms recent single and cross-domain recommendation algorithms. Furthermore, experimental results show that MFDCR can address the problem of "negative transfer" and improve recommendation performance for multiple domains simultaneously. In addition, we show that our approach is efficient in extending toward more domains.

1. 서론

현재 다양한 분야에서 빅 데이터의 수혜를 받고 있지만, 매일 수백만 개의 새로운 제품, 이미지 및 영상이 빠르게 생성되어 사람들이 자신의 관심 항목을 찾는데 오히려 어려움이 있다[1].이러한 정보의과 부화를 해결하고자, 추천 시스템은 이용자의 관심사를 추적하고 그들의 관심에 맞춤화된 아이템 항목을 제공하기 위해 연구되고 있다[2].이러한 시스템은 아이템에 대한 사용자의 관심 정보를 평점 행렬 (ratingmatrix)내부에 평가 점수나 상호작용 여부의 형태로 저장한다.따라서 도메인이라 불리는 추천시스템의 생태계는 사용자와 아이템 및 평점 행렬로 구성된다[3, 4].

최근 세계적 기업들은 자신의 서비스 플랫폼(plat- form)을 여러 도메인으로 확장하고 있으며, 소비자들은 해당 플랫폼에서 여러 도메인의 서비스를 이용한다. 이러한 상황에서 여러 도메인 간의 사용자와 아이템의 상호작용은 불균형하게 분포된다.예를 들어, 드라마 도메인의 상호작용은 희소할 수 있지만 영화 도메인의 상호작용은 상대적으로 풍부할 수 있다. 이러한 희소한 도메인에서 나타나는 데이터 희소성 문제(datasparsityproblem)는 추천 알고리즘의 성능 저하를 야기한다[5, 6].이외에도 대부분의 비활성 이용자는 소수의 아이템과 상호작용하고, 인기 없는 대부분의 아이템은 피드백을 거의 받지 못할 수 있다.이러한 문제는 새로운 사용자 및 아이템의 경우에 더욱 심각하다[7].따라서 기존 추천 알고리즘은 새로운 사용자에게 아이템을 추천하거나 새로운 아이템을 제공하기 어려우며, 이를 콜드 스타트 ​​문제 (cold-startproblem)라고 한다.

많은 소비자가 여러 도메인과 상호작용하기 시작함에 따라, 다른 도메인에서 수집된 정보를 활용하여 데이터 희소성과 콜드 스타트 ​​문제를 완화하려는 시도가 최근 증가하고 있다. 이중 교차 도메인 추천 (crossdomainrecommendation)은 최근 연구자들의 많은 주목받고 있다[8].여러 도메인으로부터 사용 가능한 데이터를 결합하여 데이터가 희소한 도메인의 추천 성능을 개선하는 것을 목적으로 하는 교차도 메인 추천 시스템은 기존의 추천 시스템과 비교할 때 더 복잡하다.첫째로 사용자 또는 아이템이 도메인 간에 공유되거나 공유되지 않는 것과 같은 다양한 시나리오가 존재 한다[4].둘째로 성능 개선 대상은 하나의 특정 도메인 또는 여러 도메인이 될 수 있다 [9].그리고 사용자와 아이템의 상호작용을 모델링하는 것 외에도, 도메인 간에 지식을 전달하는 방법에서 무엇을 전달할지, 어떻게 전달할지와 같은 이슈도 고려해야 한다[8].

위에서 언급한 두 번째 이슈에서 기존 연구는 주로 희소한 도메인의 성능만을 향상시키는 단일 대상교차 도메인 추천에 집중했다[9].그러나 도메인마다 정보의 유형(예 :평점과 사용자 프로필, 아이템 특성 정보)에 따라 풍부하거나 부족할 수 있다.따라서 도메인 간의 풍부한 정보를 활용하여 여러 도메인의 추천 성능을 동시에 향상시키기 위해, 이중[10, 11, 12]/ 다중[13]도메인의 추천 성능을 향상시키기 위한 노력이 최근 시도되고 있다.이러한 다중 대상 교차 도메인 추천 시스템은 희소한/밀집된 도메인의 지식을 밀집된/희소한 도메인으로 전달하거나 서로 공유한다. 그러나 정보 유형의 선택이 어려우며, 전달되는지 식이 노이즈로 작용되어 추천의 성능을 저하시키는 부정적 전달(transfernegative)이 발생한다[8].

본 연구는 MFDCR라고 불리는 새로운 다중 융합기반 심층 교차 도메인 추천을 제안한다.이는 다중대상 교차 도메인 추천(multi-targetcross-domain recommendation)으로써 여러 도메인의 추천 성능을 동시에 향상시킨다.먼저, 문서 임베딩 기술인 Doc2 Vec를 기반으로 여러 도메인의 사용자-아이템의 상호작용 데이터를 시간적 순서로 융합하여 각 도메인의 상호작용 데이터 모델을 풍부하게 만든다. 사용자별 상호작용 데이터를 문서로 간주하기 때문에 지식 이전은 사용자 단위로 적용된다.이러한 접근 방식은 여러 도메인에서 상호작용을 많이 한 사용자에게 집중적으로 영향을 주고 하나의 도메인과 주로 상호작용하는 사용자에게는 약한 영향력을 갖는다. 따라서부정적 전달 문제를 완화한다.이어서 Doc2Vec에 의해 학습된 사용자와 아이템의 표현 벡터는 다중 계층 퍼셉트론(multi-layer perceptron, MLP)에 입력되고, 사용자-아이템 상호작용의 복잡한 비선형성을 학습하여 사용자의 아이템 선호 확률을 예측한다. 실제 온라인 서비스인 Amazon의 세 개 도메인인 도서와 영화, 음악의 약 650만개의 평점 정보를 포함한 데이터 세트에 대한 실험 결과에서 제안한 MFDCR 은 단일 도메인과 교차 도메인 추천을 위한 최신 알고리즘들보다 우수한 성능을 보여준다.또한 추가적인 실험에서 제안한 기법이 단일 도메인 추천의 성능보다 더 많은 도메인을 융합하여 추천하는 경우에도 성능이 개선된 것을 확인하였다.즉, 제안한 MFDCR 이 부정적 전달 문제를 잘 완화하고 다중 대상 교차추천으로써의 유용성을 검증할 수 있었다.이와 관련하여, 본 연구의 기여는 다음과 같이 세 가지로 요약된다.

⦁본 연구는 다중 대상 교차 도메인 추천의 부정적 이전 문제를 완화하기 위해, 문서 임베딩 기술을 도입하여 상호작용 데이터를 개인별로 융합하는 방법을 제안한다.

⦁사용자와 아이템 간의 복잡한 상호작용 정보를 잘 학습하기 위해 딥러닝 기술을 도입하였다.

⦁2개의 유명 서비스의 6개의 도메인 데이터를 기반으로 제안한 기법의 우수성을 입증하였다.

본 논문의 구성은 다음과 같다.2장에서 관련 연구를 소개하고, 3장에서 제안하는 다중 융합 기반 교차도 메인 추천 기법을 설명한다.여기에서는 제안한 추천 기법의 전체적인 개요와 Doc2Vec기반 다중 도메인 융합, 심층 신경망 기반 선호 확률 예측을 순서로 서술한다.그리고 4장에서는 최신 기법들과 비교하여 제안한 기법의 성능과 유효성을 평가하고 5장에서 결론을 맺는다.

2. 관련 연구

2.1 단어 임베딩과 딥러닝 기반 추천

최근 단어 임베딩(wordembedding)기술이 추천시스템에 활발히 적용되고 있다. [14]가 논의한 바와 같이 단어 임베딩은 협업 필터링 기법인 행렬 분해 (matrixfactorization)와 같이 저차원 공간에서 입력요소의 표현 벡터를 학습하여 텍스트 데이터 상의 의미 정보를 단어나 문서의 표현 벡터로 변환한다. 이러한 장점을 이용하여 일부 추천 방법은 텍스트데이터로부터 아이템(뉴스[15]및 주제[16])또는 사용자 정보(사회적 관계[17])를 벡터로 변환하기 위해 대표적인 단어 임베딩 기술인 Word2vec나 문서 임 베딩 기술인 Doc2Vec를 도입하였다.반면 Word2Vec 는 협업 필터링이나 세션 기반 추천에서 텍스트 데이터가 아닌 사용자-아이템의 상호작용 정보를 모델링하기 위해 최근 도입되었다[18, 19, 20].그러나 [21] 의연구에 따르면, 무분별한 Word2Vec의 도입은 추천시스템의 성능을 저하 시킬 수 있기 때문에 신중해야 한다.

딥 러닝 기반 추천은 사용자-아이템 상호작용의 비선형성을 학습하고 선호도를 예측하는데 우수성을 입증하였다[22].초기에 [23]은 명시적 피드백인 평점을 모델링하기 위한 제한된 볼츠만 머신(res- trictedboltzmannmachines)의 도입을 제안하였다. 이후 오토인코더(Auto-Encoder)도 명시적 피드백기반 추천 시스템에 적용되었다[24, 25].반면에 명시적 피드백은 서비스 상황에 따라 이용이 불가능할 수 있기 때문에, 온라인 서비스의 보다 범용적인 상황에 맞는 클릭이나 시청, 장바구니 등으로 그 관심이 이동하고 있다[26]. [27]는 암시적 피드백의 선형성과 비선형성을 모델링하기 위해 피드포워드 신경망(feedforwardnetwork)을 사용하는 딥 러닝 기반협업 필터링 기법인 NCF(neuralcollaborativefil- tering)를 제안하였다. [1]은 두 가지 특성 변환 함수 (twofeaturetransformingfunction)를 제안하여 암시적 피드백과 부가 정보를 통합하는 DMF(deep matrixfactorization)를 개발하였고, [26]는 암시적 피드백에서 아이템 간의 복잡한 상호작용을 학습하기 위해 신경망을 활용하는 DeepICF(deep itembasedcollaborative filtering)를 제안하였다.

본 연구에서는 문서와 단어의 벡터를 학습하는 Doc2Vec을 사용하여 암시적 피드백(즉, 사용자와 아이템의 상호작용 여부)을 모델링한다.또한 주변 단어를 고려하여 단어의 표현 벡터를 예측하는 Doc2 Vec고유의 기능을 활용하여, 세션 기반 추천과 유사하게 MFDCR은 사용자-아이템 상호작용의 시간적 변화를 반영하여 사용자(즉, 문서)와 아이템(즉, 단어)을 모델링한다.즉, 본 연구는 다중 도메인을 위한 교차 도메인 추천에 Doc2Vec를 적용한 첫 번째 시도이다. 또한 MFDCR은 암시적 피드백으로부터 사용자와 아이템 간의 복잡한 상호작용의 비선형성을 효율적으로 학습하고 사용자의 아이템에 대한 선호 확률을 예측하기 위해 다중 계층 퍼셉트론을 도입한다.

2.2 교차 도메인 추천

전통적인 추천 기법은 데이터 희소성과 콜드 스타트라는 오랜 문제에 직면해 왔고, 이는 교차 도메인추천 시스템의 연구를 촉진시켰다[8].지난 10년간 교차 도메인 추천에 대한 많은 시도가 있었으며, 여러 체계적인 문헌[4, 8, 9]은 교차 도메인 추천 기법을 도메인과 중복 부분, 추천 작업의 관점에서 분류하였다. 최근 딥 러닝과 인공 신경망을 교차 도메인 추천에 활용하는 연구가 시도되고 있다. [28]은 두 개의생성기(generator)를 사용하여 두 도메인에서 동일한 기간에 발생한 사용자-아이템 상호작용의 지식을 양방향으로 매핑하는 CGN(cycle generation net- work)을 제안하였다. [10]은 사전 훈련된 오토인코더(auto-encoder)에 기반을 둔 DDTCDR(deepdual transfercrossdomainrecommendation)모델을 제안하였다. 이는 개별 도메인의 내부 정보와 도메인 간의 사용자-아이템 상호작용을 모델링하고, 도메인 간의 지식을 전달하기 위해 잠재 직교 매핑 함수 (latent orthogonal mapping function)를 이용하여두 도메인에 대한 성능을 동시에 높이는 이중 교차도 메인 추천(dual-target cross-domain recom- mendation) 기법이다.

[8]에서 정의한 교차 도메인 추천의 분류에 따르면, CGN및 DDTCDR과 마찬가지로 MFDCR은 도메인 내부 및 다중 대상(intra-domain andmulti- target)범주에 속한다.즉, 제안한 기법은 아이템과 동일한 도메인에 속한 사용자에게 아이템을 추천하고, 도메인 간의 지식 전달을 통해 여러 도메인의 추천을 동시에 개선한다.또한 제안한 기법은 CGN 와 같이 여러 도메인에 걸쳐 일부 사용자가 겹치고 아이템은 다른 데이터(userpartialoverlap&itemnon- overlap data)를 대상으로 한다.

3. 제안한 방법

3.1 MFDCR의 개요

본 절은 MFDCR에 대한 개요로서 다중 도메인 상의 사용자와 아이템의 상호작용 데이터를 융합하고, 개인 사용자의 도메인별 아이템에 대한 선호 확률을 예측한다.Fig.1에서 볼 수 있듯이 MFDCR는이론적으로 N개의 도메인을 동시에 고려할 수 있으며, 문서 임베딩 기술인 Doc2Vec와 다중 계층 퍼셉트론을 이용하여 언급한 두 목적을 달성한다. 그리고실제 추천 어플리케이션 관점에서, 사용자가 도메인 D₂의 아이템 추천을 요청 시, 아래 그림과 같이 해당도 메인의 아이템과 사용자의 표현 벡터로 학습된 인공 신경망을 통하여 가장 선호할 아이템 k개를 추천한다.

Fig. 1. Overview of MFDCR for Recommending Items in D₂.

MFDCR는 다중 도메인 융합(multi-domainfu- sion, MDF)과 다중계층퍼셉트론 기반 선호 예측 (MLP-based preference prediction, MPP) 모듈로 구성된다.전자는 다중 도메인의 사용자와 아이템 간의 상호작용을 융합하여, Doc2Vec를 통해 이를 학습하여 사용자와 아이템을 벡터로 표현한다.후자는 학습된 사용자와 아이템 벡터를 입력으로 하는 MLP를 학습하여 사용자가 특정 도메인의 아이템을 선호할 확률을 예측한다.

3.2 다중 도메인 융합

다중 도메인 상호작용 융합(MDF)은 여러 도메인에서의 사용자와 아이템 간의 상호작용을 시간적 순서로 융합하여 아이템의 식별자로 구성된 사용자별 아이템 상호작용 내역인 문서를 구성한다. 그리고 Doc2Vec기술은 해당 문서를 학습하고, 사용자와 아이템을 의미적으로 유사성을 갖는 벡터로 표현한다. MDF는 다중 도메인 서비스 상에서의 사용자의 과거 아이템 소비가 현재 소비가 연관되어 있다는 가설에 기반을 둔다.예를 들어, 평소 “스파이더맨” 만화를 즐겨 읽던 독자는 “어메이징 스파이더맨”영화나 “스파이더맨 뉴유니버스”애니메이션을 시청할 확률이 높을 것이다.

본 연구에서 Doc2Vec를 통해 사용자와-아이템 상호작용을 학습하는 방식을 설명하기 위하여, 문서와 단어의 벡터를 학습하는 일반적인 Doc2Vec와 MDF에서의 Doc2Vec를 비교한다.해당 단어임 베딩기술은 비슷한 분포의 단어들이 비슷한 의미를 갖는다는 분산 가설(distributionalhypothesis)에 기반을 두어 단어와 문서를 계산이 용이한 벡터로 표현한다. 학습된 벡터는 비정형 텍스트인 단어나 문서에 비해 쉽게 다루고 활용할 수 있으므로 많은 기계학습 기법과 함께 이용되고 있다[29].이와 같이 근본적으로 Doc2Vec는 자연어처리 기술이지만, 언급한 장점으로 인해 최근 추천 시스템[17, 30]에도 활발히 적용되고 있다.본 연구는 Doc2Vec를 소비자의 소비 패턴이나 흥미 정보를 포함하는 사용자와 아이템의 상호작용 데이터에 적용하기 위해, 사용자의 상호작용 내역을 문서로, 상호작용 내의 아이템을 단어로 간주한다. 즉, Doc2Vec를 통해 다중 도메인에서 상호작용한 아이템의 분포를 학습하여 사용자(문서)와 아이템(단어)의 벡터를 얻는다.

Fig.2는 세 개의 도메인에서의 사용자와 아이템 상호작용 데이터를 예시로 하여 MDF모듈 내에서 상호작용 데이터가 융합되는 과정을 보여준다.Step 1에서는, 세 개의 도메인의 아이템과 두 명의 사용자가 있다고 가정할 때, Step2와 같이 각 사용자는 세 개의 도메인에 속한 아이템과 시간적으로 상호작용했다. Doc2Vec모델의 입력 데이터인 아이템 식별자 (단어)로 구성된 문서 형태로 변환하기 위해, Step 3에서는 사용자의 다중 도메인 상의 아이템 상호작용 목록에 문서의 태그로써 사용자의 식별자를 추가한다. 그리고 Step4와 같이 Doc2Vec모델을 학습하여 사용자와 아이템을 벡터로 표현되고, 각 벡터는 같은 크기를 가지며 실숫값으로 조밀하게 채워진다.

Fig. 2. Overview of Data Fusion Process in MDF.

MDF에서 Doc2Vec를 활용 시 기대되는 두 가지 효과는 다음과 같다.

첫 번째는 다중 도메인에서의 아이템 상호작용을 시간적 순서로 융합하여 문서로 구성하였고 Doc2Vec 가 아이템의 벡터를 학습하면서 일정 거리 내의 아이템들만 고려하기 때문에 사용자의 시간에 따른 아이템 이용 패턴이나 선호를 반영할 수 있다.

두 번째는 여러 도메인에서의 아이템 상호작용의 융합이 개인 단위로 작용하기 때문에 부정적 전달 (transfernegative) 문제를 완화 할 수 있다. 결과 MDF는 학습한 사용자와 아이템의 벡터 p_u와 q_i는 다음 모듈인 MPP의 MLP에 입력으로 전달한다.

3.3 MLP 기반 선호 예측

본 절에서는 다중계층퍼셉트론(MLP)의 구성과 MLP의 사용자-아이템 상호작용의 비선형성을 학습하여 사용자의 도메인별 아이템에 대한 선호 정도를 예측하는 MLP기반 선호 예측(MPP)모듈에 대해서 설명한다.MDF모듈에서 학습된 사용자와 아이템의 표현 벡터 p_u와 q_i는 MLP의 입력 계층에 유입되어 학습되며, a_j와 W_j, 그리고 b_j가 MLP의 j번째 계층의 활성 함수와 가중치 행렬, 편향 벡터를 나타낼 때, MLP신경망은 다음과 같이 정의된다.

\(\begin{aligned} &z_{1}=\Phi_{1}\left(p_{u}, q_{i}\right)=\left[\begin{array}{c} p_{u} \\ q_{i} \end{array}\right] \\ &\Phi_{2}\left(z_{1}\right)=a_{2}\left(W_{2}^{T} z_{1}+b_{2}\right) \\ &\cdots^{\Phi_{L}}\left(z_{L-1}\right)=a_{L}\left(W_{L}^{T} z_{L-1}+b_{L}\right) \\ &\hat{y}_{u i}=\sigma\left(h^{T} \Phi_{L}\left(z_{L-1}\right)\right) \end{aligned}\)\(\begin{aligned} &z_{1}=\Phi_{1}\left(p_{u}, q_{i}\right)=\left[\begin{array}{l} p_{u} \\ q_{i} \end{array}\right] \\ &\Phi_{2}\left(z_{1}\right)=a_{2}\left(W_{2}^{T} z_{1}+b_{2}\right) \\ &\cdots \\ &\Phi_{L}\left(z_{L-1}\right)=a_{L}\left(W_{L}^{T} z_{L-1}+b_{L}\right) \\ &\hat{y}_{u i}=\sigma\left(h^{T} \Phi_{L}\left(z_{L-1}\right)\right) \end{aligned}\)       (1)

tanh함수(hyperbolictangent)와 시그모이드 함수(sigmoid), ReLU함수(rectifiedlinerunit)이 활성화 함수가 될 수 있지만, 사전 실험에서 좋은 성능은 성능을 보이고, 희소데이터에 강한 ReLU를 사용한다[27, 31].Fig.3은 MPP모듈의 인공신경망을 도식화 한 것으로 MLP의 네트워크 구조는 가장 아래 계층이 넓고, 위로 쌓이는 계층은 반으로 줄어드는 타워 패턴을 사용한다.타워 패턴은 상위 계층에서 소수의 은닉 유닛을 이용하여 데이터의 추상적인 특징을 더 잘 학습한다[32].MDF에서 얻어지는 벡터가 고정된 크기를 갖기 때문에, 결과적으로 벡터 크기보다 작고 2의 지수 중 가장 큰 정수 값으로 MLP의 입력 계층 크기를 설정한다.

Fig. 3. Neural Network Structure of MPP.

본 연구는 제안하는 MFDCR의 범용성을 높이고 실제 응용 서비스에 쉽게 적용될 수 있도록, 사용자의 아이템 클릭이나 장바구니 담기와 같은 암시적 피드백을 이용하여 선호 확률을 예측한다.즉, 사용자 u가 아이템 i과 상호작용이 있는 경우 y_ui는 1이 되고, 이때 예측한 \(\hat{y}_{u i}\)가 1에 가까울수록 예측의 오류는 줄어들게 된다.따라서 MFDCR은 오류는 줄이는 방향으로 신경망을 학습해야 하며, 목적 함수는 다음과 같이 정의된다.

\(\begin{aligned} L &=-\sum_{(u, i) \in Y} \log \hat{y}_{u i}-\sum_{(u, i) \in Y \sim} \log \left(1-\hat{y}_{u i}\right) \\ &=-\sum_{(u, i) \in Y \cup Y \sim} y_{u i} \log \hat{y}_{u i}+\left(1-y_{u i}\right) \log \left(1-\hat{y}_{u i}\right) \end{aligned}\)  \(\begin{aligned} L &=-\sum_{(u, i) \in Y} \log \hat{y}_{u i}-\sum_{(u, i) \in Y \sim} \log \left(1-\hat{y}_{u i}\right) \\ &=-\sum_{(u, i) \in Y \cup Y \sim} y_{u i} \log y_{u i}+\left(1-y_{u i}\right) \log \left(1-\hat{y}_{u i}\right) \end{aligned}\)     (2)

위 목적 함수를 최적화하기 위해 확률적 경사 하강법을 사용한다.암시적 피드백(상호작용)이 0과 1의 이진수이기 때문에, 해당 문제는 이진 분류로써 고려될 수 있으며 Binarycross-entropyloss를 사용하여 학습한다.따라서 Fig.3과 같이 최종 활성 함수로써시그모이드와 비용 함수로써 Cross-entropy loss를 이용한다.아래 그림과 같이, 입력 값으로 MDF의 결과인 n개의 실수로 구성된 사용자 u와 아이템 i의 벡터 p_u와 q_i, 그리고 이들의 실제 상호작용 여부로 딥러

닝을 학습하고, 예측 결과 값으로 0(상호작용 없음)과 1(상호작용 있음)의 확률을 반환한다.예를 들어, 정답 값이 y=(1.0,0.0)^T일 때, 예측 값 \(\hat{y}=(0.4,0.6)^{T}\)인 경우, 파라미터는 \(\hat{y}\)가 y에 가까운 값을 갖을 수 있도록 조정된다.

4. 실험 및 논의

4.1 실험 설계

본 절에서는 평가에 사용된 데이터와 지표, 비교알고리즘을 설명한다.MFDCR를 평가하기 위해 [33] 에서 소개된 Amazon의 세 개의 도메인 도서와 영화, 음악의 평점 정보를 활용한다.해당 리뷰 데이터는 사용자와 아이템 식별자와 1에서 5범위의 평점, 시간 정보로 구성된다.본 논문에서는 2011년에서 2013 년에 생성된 리뷰 데이터를 이용하고, 추천 연구 분야에서 일반적으로 사용하듯 10개 미만의 아이템 상호작용을 갖는 사용자는 필터링하였다.언급한 바와 같이 암시적 피드백을 활용하기 때문에, 사용자들의 아이템에 대한 평가 점수는 의도적으로 1로 변환하였다. 도메인별 최종 데이터 세트에 대한 통계는 Table 1에 나열되어 있으며, 오른쪽은 데이터 희소성 및 사용자와 아이템별 평균 상호작용의 수를 나타낸다.

Table 1. Statistical information of three Amazon datasets.

^a“Inter.” and “#” represent interaction and “number of”, respectively

추천 성능을 평가하기 위해서, 광범위하게 사용되는 LOOCV(leave-one-out cross-validation) 전략을 사용한다[27]. 즉, 한 번에 하나의 상호작용을 선택한 후 나머지 데이터로 모델을 학습하고, 선택한 한 개를 테스트하는 과정을 n번 진행한 후 평균을 구하는 방식이다.본 연구에서는 모든 사용자에 대해 마지막으로 상호작용한 아이템을 테스트 데이터로 이용하고 나머지의 상호작용한 아이템들은 학습 데이터로 사용하였다.이때, 학습에 모든 아이템을 대상으로 상호작용 여부를 예측하여 확률별로 순위를 매기는 것은 시간적으로 비효율적이다. 따라서 [9] 에서 실험에 사용한 바와 같이, 테스트 아이템 하나와 해당 사용자가 상호작용하지 않았던 아이템 99개를 랜덤하게 선택하여 총 100개의 아이템에 대한 선호확률을 예측하고 높은 확률 순으로 정렬하여 추천순위를 정하였다.그리고 평가 지표로써 상위 k 아이템 추천에서의 히트율(HR:hitrate)과 NDCG(nor- malized discounted cumulative gain)를 사용한다. 즉, HR@k와 NDCG@k(이하 ND@k)를 통해 추천되는 아이템의 적절성과 이들의 순위의 적절성에 대해 평가한다.k는 실제 서비스 환경에서 자주 사용되는 5와 10, 15로 설정하였고, 5회 반복한 결과의 평균을 평가에 이용한다.

제안한 MFDCR은 다중 대상 교차 도메인 추천 (multi-targetcross-domainrecommendation)에 속한다. 다양한 관점에서의 평가를 위해, Table2에 나열된 한 개의 비개인화 알고리즘과 세 개의 최신 단일 도메인 추천 알고리즘, 그리고 세 개의 교차 도메인 추천 알고리즘과 비교하여 평가한다. 알고리즘의파라미터는 각 연구에 명시된 전략을 따르고 우수한 성과를 이용하며, 공정한 평가를 위해 모든 기법은 원본 소스 코드를 활용하여 동일한 컴퓨팅 환경(CPU : Radeon Graphics 2.90 Ghz, GPU : NVIDIA Ge ForceGTX1650Ti, RAM:16GB)에서 구현 및 평가하였다.본 연구의 소스 코드는 과제가 진행 중인바 공개하지 않는다.

Table 2. Baseline methods and methodology.

^aSDR and CDR denote single-domain recommendation and cross-domain recommendation. ^bSTR and MTR indicate single-target and multi-target cross-domainrecommendations.

^cNon-pers. representsnon-personalization algorithm.

제안한 MFDCR의 MDF모듈의 Doc2Vec파라미터를 최적화하기 위해 학습 시 고려되는 주변 아이템과의 거리인 window와 벡터의 크기인 vector_size 의 조합에 대해 탐욕적 검색(gridsearch)기법을 활용하였고, 두 파라미터는 최적의 성능을 보인 10과 40으로 각각 설정하였다.MPP모듈의 MLP 인공신경망을 최적화하기 위해 Mini-BatchAdam을 사용하였다. 또한, 배치 크기는 256과 512, 1024, 그리고 학습률(LearningRate)은 0.001과 0.005, 0.01, 0.05를 테스트하였다.결과적으로 가장 좋은 성능을 보인 배치 크기 1024와 학습률 0.005로 비교한다.

4.2 추천 성능 비교 평가

본 절에서는 Table2에 나열한 알고리즘의 추천성능을 비교하여 평가한다.아래 세 개의 Table3과 4, 그리고 5는 각 알고리즘의 상위 5개와 10, 15개에서의 HR과 NDCG(표 내에 ND로 표기)를 나열한다. 이때, 단일 도메인 추천(SDR)의 경우 각 도메인에서의 성능을 나열하였고, 결과적으로 같은 도메인에서의 성능은 동일하다. 교차 도메인 추천(CDR)의 경우, 비교한 교차 도메인 추천 연구가 두 개의 도메인에 대한 교차 추천 성능을 비교하였기 때문에, 공정한 파라미터 설정과 비교를 위하여 제안한 기법 도두 도메인의 결합한 모델에 따른 각 도메인에서의 추천 성능을 표기하였다.전체 알고리즘에서 최상의 성능은 굵은 글꼴과 음영으로 표시하며, 비교 알고리즘인 단일과 교차 도메인 추천 방식 중에 가장 좋은 성능은 기울임 글꼴로 나타냈다.마지막 두 행은 왼쪽의 단일과 교차 도메인 알고리즘 중에 최상의 성능을 보인 최신 알고리즘과 제안한 MFDCR의 성능을 비교한 결과로써 해당 알고리즘에 대한 성능 개선율을 보여준다

Table 3. HR and NDCG of algorithms for Bok. and Mov. domains.

^aND@k indicates NDCG@k.

Table 4. HR and NDCG of algorithms for Mov. and CDV. domains.

^aND@k indicates NDCG@k

Table 5. HR and NDCG of algorithms for CDV. and Bok. domains.

^aND@k indicates NDCG@k.

전체적으로 살펴보면, 제안한 MFDCR은 다른 알고리즘의 성능을 뛰어넘는 결과를 보여주었고, 비교 단일 및 교차 도메인 추천 알고리즘 중에는 인공신경망에 기반을 둔 DeepICFa와 DDTCDR이 가장 우수한 결과를 보였다.추천 방식 측면에서는 일반적으로 교차 도메인 추천인 CGN과 DDTCDR이 단일 도메인 추천 방식보다 더 나은 성능을 보였다.이는 딥러닝 기술의 복잡한 사용자-아이템 상호작용 데이터의 비선형성을 우수하게 모델링 능력에 기인하고, Table 1에 나열한 바와 같이 높은 데이터 희소성 문제를 교차 도메인 추천이 잘 처리함을 의미한다.Table1 에서 분석한 도메인별 특성에서 MFDCR의 성능 결과를 평가하면, 일반적으로 단일 도메인 추천과 비교 시 상대적으로 평점 데이터가 풍부한 Book보다, Movie&TV와 CD&Vinyl도메인에서의 추천에서 상대적으로 더 큰 성능 개선을 보인다.이는 비교 교차 도메인 추천 알고리즘인 CGN과 DDTCDR에서도 비슷한 양상을 보인다.

각 비교 알고리즘별로 자세히 살펴보면, 먼저 예상과는 달리 최근 제안된 Word2Vec기반의 KIU는상대적으로 데이터가 희소한 Movie&TV와 CD& Vinyl추천에서 단순히 인기도가 높은 아이템을 제공하는 ItemPop보다 전체적으로 낮은 성능을 보였다. KIU에 제안한 MDF방법론을 적용하여 교차 도메인으로 확장한 KIU-c의 경우, ItemPop보다 훨씬 우수한 성능을 보이지만, 인공신경망 기반의 단일 도메인 추천인 NCF와 DeepICFa보다는 여전히 낮은 성능을 보인다.최근 [21]에서 논의된 바와 같이, 이는 Word2Vec은 추천 알고리즘에 신중하게 적용되어야 함을 의미한다.Fig.2와 다르게, KIU의 사용자 -아이템 상호작용 데이터를 모델링하는 방식은 문장을 구성할 때 사용자의 ID로 시작하여 상호작용한 아이템 ID를 시간적 순서로 나열한다.한 단어의 벡터를 학습할 때 근처 단어들을 주는 Word2Vec의 특성에 의해, 이러한 구성 방식은 부정적으로 작동할 수 있다.예를 들면 사용자가 최근 상호작용한 아이템이 멀게 배치되고 결과적으로 의미론적 유사성의 의미가 퇴색되거나 부정확해질 수 있다.반면 MFDCR은 Doc2Vec을 도입하여 사용자의 이용내역 전체를 문서로 간주하여 단어로 고려된 모든 아이템을 시간적 순서와 함께 반영하고, 결과적으로 월등히 우수한 성능을 보인다.

한편 MFDCR은 인공신경망 기반의 단일 도메인추천 알고리즘 NCF에 비해 HR@10과 NDCG@10에서 평균 18.41%와 19.38%개선을 보이는 매우 우수한 결과를 보였다.이와 유사하게 마지막 두 번째 행에서 볼 수 있듯이, 제안한 기법은 인공신경망에 기반을 둔 최신 단일 도메인 추천 기법인 DeepICFa과비교해도 두 평가 지표에서 여전히 큰 성능 개선율 10.08%와 14.80%를 보이며 월등한 성능 차이를 보인다. 실제 MFDCR과 유사하게 DeepICFa는 사용자 흥미 변화 등의 시간성을 반영하여 사용자와 아이템의 상호작용을 모델링한다.따라서 MFDCR이 다중도메인의 사용자-아이템의 상호작용을 융합하여 추천 성능을 향상시킬 수 있다는 결론지을 수 있다.즉, MFDCR이 풍부한 도메인의 지식을 희소한 도메인에 전달하여 성능을 개선하고자 하는 교차 도메인추천의 목적을 잘 이루었다는 것을 암시한다.

마지막으로 다중 교차 도메인 추천 기법과 비교하여 제안한 기법을 평가하자.CGN은 데이터 모델링에서 시간적 요인을 매우 엄격하게 반영한다.즉, 매월 또는 격월 등의 같은 시간 구간에 속하는 상호작용 간에만 지식이 전달한다.그러나 CGN의 추천 성능은 제안한 MFDCR와는 달리 상대적으로 평점 데이터가 풍부한 Book추천에서 단일 도메인 추천인 DeepICFa과 거의 유사한 성능을 보인다.이러한 결과는 소스 도메인인 Movie&TV이나 CD&Vinly 에서 넘어온 지식이 대상 도메인인 Book에서 노이즈로 작용하는 부정적 전달(transfernegative) 현상에기인한다고 예상된다.반면에 MFDCR와 같이 다중대상 교차 도메인 추천에 속하는 DDTCDR은 비교알고리즘 중에 가장 우수한 성능을 보여준다. 모든테스트에서 DeepICFa보다 더 나은 성능을 보여주며, 부정적 전달 문제도 어느 정도 극복할 수 있음을 알 수 있다.그러나 제안한 MFDCR은 부정적 전달 현상이 보이는 Book도메인 추천에서 DDTCDR의 HR@10과 NDCG@10보다 평균적으로 2.8%와 7.5% 의 개선율과, 모든 도메인에서 HR과 NDCG에서 6.77 %와 8.41%의 성능 개선을 보였다.이러한 결과는 도메인 간의 지식을 사용자 단위로 전달하는 MFDCR 의 MDF모듈이 부정적 전달 문제를 보다 효과적으로 완화하고, 도메인 지식 융합으로 희소한 도메인의 성능을 더욱 향상할 수 있음을 의미한다.

4.3 도메인 융합의 확장성 평가

본 절에서는 사용자와 아이템의 상호작용 데이터의 융합에 고려되는 도메인 수의 증가에 따른 MFDCR 의 성능을 분석하고 논의한다.이를 위해 단일 도메인과 두/세 개의 도메인을 융합하는 교차 도메인 시나리오에서의 MFDCR의 세 가지 변형의 성능을 평가하며, 이를 각각 MFDCR₁과 MFDCR₂, MFDCR₃ 으로 명명한다.MFDCR₁의 경우 MDF모듈에서 추천 대상 도메인의 사용자와 아이템의 상호작용 데이터만을 이용하여 Doc2Vec에 입력되는 문서를 구성하여 학습하고, MPP모듈에서 선호 확률을 예측한다. Fig.4는 상위 5개와 10개, 15개의 아이템을 추천할 때의 각 변형의 HR과 NDCG성능을 보여준다. MFDCR₂의 경우, 도메인별로 두 가지 경우의 평균 결괏값을 표시한다.예를 들어 Book도메인의 성능 결과는 Book과 Movie&TV와 Book과 CD&Vinly 의 상호작용 데이터 융합 모델을 사용하여 Book 도메인의 아이템을 추천한 두 성능의 평균이다. X축은아이템의 수로 HR@k와 NDCG@k에서 k를 의미하며, Y축은 HR과 NDCG지표의 평가 결과를 나타낸다. Y축의 범위와 간격은 변형별 성능의 차이의 가독성을 위해 조정하였다.

Fig. 4. HR@k and NDCG@k of MFDCR Variants according to Domain Expansion. (a) Book, (b) Movie & TV, and (c) CD & Vinyl domains.

결과적으로 다중 대상 교차 도메인 추천인 MFDCR₂ 와 MFDCR₃이 단일 도메인 추천 기법인 MFDCR₁보다 전반적으로 성능이 우수함을 알 수 있다. 이는 MFDCR이 동일한 추천 메커니즘에서도 도메인 융합에 따른 이득을 잘 살린다는 것을 의미한다.이외에도 MFDCR₃이 MFDCR₂보다 더 나은 성능을 보였다. 위 실험에서 n개의 도메인의 융합을 통한 교차도 메인 추천 MFDCRn의 성능을 확인할 수 없지만, MFDCR이 세 개 이상의 다중 도메인 간의 부정적 전달(transfernegative)문제를 극복할 수 있음을 보여준다.

이에 대해 보다 명확하게 판단하기 위해, MFDCR₁ 의 모든 k에 대한 HR과 NDCG의 평균 결과와 MFDCR₂ 및 MFDCR₃의 개선율을 Table6에 나열하고 분석한다. 굵은 글꼴과 음영은 세 개의 도메인 중에 가장 높은 개선을, 기울임 글꼴은 두 번째로 높은 개선을 보인 도메인 나타낸다.결과적으로 전반적으로 교차도 메인 추천이 성능 개선을 보여주었으며, 각 도메인별로 Table1에서 나열된 더 희소한 도메인(즉, Movie &TV와 Book과 CD&Vinly)의 경우, 더 높은 성능개선율을 보였다.이러한 결과는 교차 도메인 추천기법으로써의 MFDCR의 효과성을 증명한다. 이외에도 MFDCR₂보다 MFDCR₃의 개선 정도가 줄어드는 것으로부터, 융합되는 도메인이 증가할수록 성능개선의 폭은 작아질 것으로 조심스럽게 예상할 수 있다.그러나 MFDCR의 성능이 도메인이 증가함에 따라 악화된다는 의미는 아니며(증가 또는 수렴할 수 있음), 이는 향후 더욱 연구할 것이다.

Table 6. HR and NDCG improvements of MFDCR₂ and MFDCR₃.

추가로 MFDCR₁이 대부분의 테스트에서 4.2절에서 평가한 단일 도메인을 위한 인공신경망 기반의 최신 알고리즘인 DeepICFa보다 성능이 우수하다는 점도 언급할 가치가 있으며, 이는 제안된 MDF 모듈의 중요성을 의미한다.마지막으로 제안한 MFDCR 은 구조적으로 Doc2Vec를 기반으로 데이터를 융합하는 단순성과 도메인별 인공신경망 학습의 독립성을 보장한다.따라서 상호작용 융합에 고려되는 도메인의 수에 관계없이 쉽게 적용할 수 있다. Fig.1에서볼 수 있듯이, 제안한 MDF는 사용자별로 다중 도메인의 상호작용 데이터를 시간적 순서로 융합 후 Doc2 Vec모델을 학습하고, 오직 대상 도메인에 속하는 사용자와 아이템의 벡터 정보만 MPP모듈에 공급되어 사용자의 아이템에 대한 선호 정도를 예측한다. 단순하지만 지금까지 살펴본 바와 같이 최신 단일추천과 교차 도메인 추천 알고리즘의 성능을 능가함을 보였다.추가로 본 연구에서는 암시적 피드백을 이용하여 본 알고리즘의 범용성을 높이고자 하였고, 이는 제안한 MFDCR의 실제 응용 서비스에서의 실용성도 보장한다.

5. 결론

치열한 경쟁에서 살아남고 선도하기 위하여 세계적 기업들은 서비스를 여러 도메인으로 공격적으로 확장하고 있으며, 소비자들은 이들의 플랫폼에서 여러 도메인의 콘텐츠를 소비한다.이러한 환경은 여러 도메인에서의 사용자 콘텐츠 소비 패턴 등의 정보를 융합할 수 있는 기회를 제공한다.결과적으로 이는 기존 추천 기법의 성능을 저하시키는 데이터 희소성의 문제를 해결하기 위한 교차 도메인 추천 연구를가속화하였다. 하지만 데이터가 풍부한 도메인에서의 성능이 저하되는 부정적 전달(transfernegative) 문제가 발생한다.

본 연구에서는 문서 임베딩 Doc2Vec와 인공신경망 MLP를 기반으로 하는 새로운 다중 융합 기반 심층 교차 도메인 추천 기법 MFDCR을 제안한다. 해당기법은 세 가지 가설에 기반하며, 첫 번째는 시간성 측면에서 여러 도메인에서의 사용자와 아이템의 상호작용이 관계를 갖는다는 것이고, 두 번째는 Doc2Vec 기술을 기반으로 도메인 간의 사용자의 상호작용 패턴 등의 지식을 적절하게 전달할 수 있다는 것이다. 마지막으로 사용자 단위로 지식을 전달하여 교차 도메인 추천 기법에서 발생하는 부정적 전달을 완화할 수 있다는 것이다.이에 대한 검증을 위해 온라인 리뷰 서비스인 Amazon으로부터 Book과 Movie&TV, CD&Vinly도메인에 대한 세 개의 데이터 세트로 제안한 기법과 여러 최신 알고리즘을 비교하여 평가했다. 실험 결과는 MFDCR가 최신 단일 도메인이나 교차 도메인 추천 알고리즘의 성능을 능가함을 보였다. 또한 MFDCR가 부정적 전달 현상을 효과적으로 완화하고, 더 많은 도메인 간의 지식 융합의 확장에 MFDCR의 구조적 단순성과 독립성이 효과적이며 효율적으로 작동함을 보였다.

향후에는 다음 두 가지 방향으로 제안한 MFDCR 를 개선할 계획이다.본 논문에서 제안한 MFDCR은 Doc2Vec를 다중 대상 교차 도메인 추천에 적용한 첫 번째 시도로써, 범용성을 고려하여 사용자와 아이템 간의 상호작용에 대한 암시적 피드백만을 사용하였다. 여러 연구[18, 26]에서 리뷰 서비스에서 얻을 수 있는 다양한 부가 정보(예 :리뷰 텍스트나 상황, 아이템 및 사용자의 특징 정보)의 유용성은 입증되었기 때문에, 향후 MFDCR에 추가 정보를 활용하는 것은 가치가 있을 것이다.특히 MPP모듈의 인공신경망을 활용하면 다양한 부가 정보를 쉽게 융합할 수 있다.두 번째로, 실제 응용 서비스 환경에는 사용자 비중첩과 아이템 비중첩(User & Item Non- Overlap)과 같은 다양한 교차 도메인 추천 시나리오가 존재한다.따라서 MFDCR을 다양한 시나리오에 적용해보고, 더 많은 도메인 융합에 따른 성능 증가의 수렴을 개선하기 위해 노력할 것이다.추가로 다양한 인공신경망 아키텍처(auto-encoder[10], at- tentionnetwork[26]등)를 도입도 흥미로운 연구 방향이 될 것이다.