• 한국콘텐츠학회논문지
• /
• 제21권4호
• /
• pp.177-192
• /
• 2021

경제협력개발기구 개발원조위원회에서는 국제적으로 통용되는 공적개발원조위원회 5대 평가기준 개편에 대하여 논의하고 1991년 공적개발원조 평가 시 적절성·효율성·효과성·영향력·지속가능성 등 5대 평가 기준의 적용을 권고한 바 있다. 본 연구는 2019년부터 네팔에서 시행 중인 포용적 비즈니스 프로그램의 평가에 있어 경제협력개발기구 개발원조위원회 평가기준을 적용하여 분석하고 개선과제를 도출하는데 있다. 연구 방법은 네팔 현장조사와 포커스 그룹 미팅 방법을 적용하였다. 연구 결과 네팔 포용적 비즈니스 프로그램의 적절성은 장애인, 고아 여성 등 취약계층 대상 지속적인 고용과 일자리 창출에 부합되었고 특히, 한국의 시각적 특수효과에 대한 수요가 증가하는 시점인데다 네팔 취약계층 대상 컴퓨터 그래픽 전문교육을 통한 인력양성이라는 점에서 프로그램이 적정하다고 볼 수 있다. 효율성은 작업지시와 작업컨펌 등의 과정이 전자식 관리 툴로 이루어지고 결과물의 납품이 온라인으로 전송되어 타업종에 비해 시간과 비용이 절감된다는 점에서 효율적이라고 할 수 있다. 효과성은 본 사업이 네팔의 장애인, 고아 여성 등 취약계층 대상 컴퓨터 그래픽 전문교육을 실시하고 수료생을 직원으로 채용하는 등 양질의 일자리를 제공한 점에서 효과성이 있는 프로그램이라고 할 수 있다. 지속가능성은 코이카 포용적 비즈니스 프로그램이 기존 농업, 제조업의 분야에서 종사하는 취약계층들로 하여금 컴퓨터 그래픽 업종에 종사하게 한 점과 영화, 캐릭터, 교육사업의 확장성, 타국가의 롤모델이 될 수 있는 점에서 지속가능성이 있다고 볼 수 있다. 향후 공적개발원조의 규모가 증가할 것을 고려한다면 체계적인 모니터링 시스템과 환류체계의 구축 등 공여국과 수원국 양국간 사업의 지속방안 마련이 요구된다.

• 지능정보연구
• /
• 제29권1호
• /
• pp.249-263
• /
• 2023

대표적인 추천 시스템 방법론인 협업 필터링(Collaborative Filtering)에는 이웃기반 방법(Neighbor Methods)과 잠재 요인 모델(Latent Factor model)이라는 두 가지 접근법이 있다. 이중 행렬 분해(Matrix Factorization)를 이용하는 잠재 요인 모델은 사용자-아이템 상호작용 행렬을 두 개의 보다 낮은 차원의 직사각형 행렬로 분해하고 이들의 행렬 곱으로 아이템의 평점(Rating)을 예측한다. 평점 패턴으로부터 추출된 요인 벡터들을 통해 사용자와 아이템 속성을 포착할 수 있기 때문에 확장성, 정확도, 유연성 측면에서 이웃기반 방법보다 우수하다고 알려져 있다. 하지만 평점이 지정되지 않은 아이템에 대해서는 선호도가 다른 개개인의 다양성을 반영하지 못하는 근본적인 한계가 있고 이는 반복적이고 부정확한 추천을 초래하게 된다. 이러한 잠재요인 모델의 한계를 개선하고자 각각의 아이템 별로 사용자의 선호도를 적응적으로 학습하는 적응 심층 잠재요인 모형(Adaptive Deep Latent Factor Model; ADLFM)이 등장하였다. ADLFM은 아이템의 특징을 설명하는 텍스트인 아이템 설명(Item Description)을 입력으로 받아 사용자와 아이템의 잠재 벡터를 구하고 어텐션 스코어(Attention Score)를 활용하여 개인의 다양성을 반영할 수 있는 방법을 제시한다. 하지만 아이템 설명을 포함하는 데이터 셋을 요구하기 때문에 이 방법을 적용할 수 있는 대상이 많지 않은 즉 일반화에 있어 한계가 있다. 본 연구에서는 아이템 설명 대신 추천시스템에서 보편적으로 사용하는 아이템 ID를 입력으로 하고 Self-Attention, Multi-head attention, Multi-Conv1d 등 보다 개선된 딥러닝 모델 구조를 적용함으로써 ADLFM의 한계를 개선할 수 있는 일반화된 적응 심층 잠재요인 추천모형 G-ADLFRM을 제안한다. 다양한 도메인의 데이터셋을 가지고 입력과 모델 구조 변경에 대한 실험을 진행한 결과, 입력만 변경했을 경우 동반되는 정보손실로 인해 ADLFM 대비 MAE(Mean Absolute Error)가 소폭 높아지며 추천성능이 하락했지만, 처리할 정보량이 적어지면서 epoch 당 평균 학습속도는 대폭 향상되었다. 입력 뿐만 아니라 모델 구조까지 바꿨을 경우에는 가장 성능이 우수한 Multi-Conv1d 구조가 ADLFM과 유사한 성능을 나타내며 입력변경으로 인한 정보손실을 충분히 상쇄시킬 수 있음을 보여주었다. 결론적으로 본 논문에서 제시한 모형은 기존 ADLFM의 성능은 최대한 유지하면서 빠른 학습과 추론이 가능하고(경량화) 다양한 도메인에 적용할 수 있는(일반화) 새로운 모형임을 알 수 있다.

• 한국과학예술포럼
• /
• 제25권
• /
• pp.103-118
• /
• 2016

ICT의 비약적인 발전으로 기업 비즈니스 모델이 빠르게 변화했으며 더불어 급진적인 IT기술의 성장으로 순차적 혹은 점진적인 생존이 어렵게 되었다. IT서비스와 같이 인터넷을 기반으로 둔 새로운 사업들은 기존에 존재하지 않는 융·복합적인 새로운 비즈니스 모델을 찾으며 더욱 경쟁력 있는 비즈니스 모델을 만들어 내고자 고민하고 있지만, 과거에 성공했던 비즈니스 모델은 그 경제적인 효율성에 소멸되고 있다. 그러나 인터넷을 통한 플랫폼의 경우 플랫폼의 가치가 급격히 높아지는 임계점 도달이 기존에 비해 빠른 속도로 일어나게 되었기 때문에 모든 비즈니스에 있어서 비즈니스의 급격한 팽창을 위한 플랫폼화가 매우 중요한 조건이 되었다. 본 연구에서는 IT서비스 기획에 있어서 플랫폼 비즈니스 모델 수립의 필요성을 분석하고, 플랫폼 비즈니스 모델 사례들을 분석함으로써 플랫폼 비즈니스 모델의 특징을 도출하였다. 연구결과, 도출된 특징들은 첫째, 충분한 구매자와 판매자를 확보해야하고 둘째, 고객들에게는 해당 플랫폼만의 차별적인 가치가 창출되어 제공되어야 하며 셋째, 플랫폼 주도 기업과 참여자, 또는 참여자 간 공동의 이익이 존재해야 한다. 그리고 넷째로, 참여자의 기반 확대와 업그레이드, 인접 분야 확장 등으로 지속적인 확장성을 가지고 있어야 하며, 진화가 지속되어야 한다는 것이다. 도출된 특징들은 플랫폼 비즈니스 모델 수립과 서비스기획의 도식화에 많은 영향력을 미칠 것을 기대하며, 본 연구를 시작으로 연구에 언급되지 않은 플랫폼 비즈니스 수익모델의 이론이 정립되어 플랫폼 기반 IT서비스 기획을 하는 기획자들이 기획 초안 다지기에 있어서 보다 더욱 시간을 줄이고 큰 그림을 그려갈 수 있는 길이 될 수 있길 기대해본다.

• 지능정보연구
• /
• 제17권3호
• /
• pp.63-77
• /
• 2011

월드와이드웹(World Wide Web)은 인터넷에 연결된 컴퓨터를 통해 사람들이 정보를 공유할 수 있는 매우 큰 분산된 정보 공간이다. 웹은 1991년에 시작되어 개인 홈페이지, 온라인 도서관, 가상 박물관 등 다양한 정보 자원들을 웹으로 표현하면서 성장하였다. 이러한 웹은 현재 5천억 페이지 이상 존재할 것이라고 추정한다. 대용량 정보에서 정보를 효과적이며 효율적으로 검색하는 기술을 적용할 수 있다. 현재 존재하는 몇몇 검색 도구들은 초 단위로 gigabyte 크기의 웹을 검사하여 사용자에게 검색 정보를 제공한다. 그러나 검색의 효율성은 검색 시간과는 다른 문제이다. 현재 검색 도구들은 사용자의 질의에 적합한 정보가 적음에도 불구하고 많은 문서들을 사용자에게 검색해준다. 그러므로 대부분의 적합한 문서들은 검색 상위에 존재하지 않는다. 또한 현재 검색 도구들은 사용자가 찾은 문서와 관련된 문서를 찾을 수 없다. 현재 많은 검색 시스템들의 가장 중요한 문제는 검색의 질을 증가 시키는 것이다. 그것은 검색된 결과로 관련 있는 문서를 증가시키고, 관련 없는 문서를 감소시켜 사용자에게 제공하는 것이다. 이러한 문제를 해결하기 위해 CiteSeer는 월드와이드웹에 존재하는 논문에 대해 한정하여 ACI(Autonomous Citation Indexing)기법을 제안하였다. "Citaion Index"는 연구자가 자신의 논문에 다른 논문을 인용한 정보를 기술하는데 이렇게 기술된 논문과 자신의 논문을 연결하여 색인한다. "Citation Index"는 논문 검색이나 논문 분석 등에 매우 유용하다. 그러나 "Citation Index"는 논문의 저자가 다른 논문을 인용한 논문에 대해서만 자신의 논문을 연결하여 색인했기 때문에 논문의 저자가 다른 논문을 인용하지 않은 논문에 대해서는 관련 있는 논문이라 할지 라도 저자의 논문과 연결하여 색인할 수 없다. 또한 인용되지 않은 다른 논문과 연결하여 색인할 수 없기 때문에 확장성이 용이하지 못하다. 이러한 문제를 해결하기 위해 본 논문에서는 검색된 문서에서 단락별 명사와 동사 및 목적어를 추출하여 해당 동사가 명사 및 목적어를 취할 수 있는 가능한 값을 고려하여 하나의 문서를 formal context 형태로 변환한다. 이 표를 이용하여 문서의 계층적 그래프를 구성하고, 문서의 그래프를 이용하여 문서 간 그래프를 통합한다. 이렇게 만들어진 문서의 그래프들은 그래프의 구조를 보고 각각의 문서의 영역을 구하고 그 영역에 포함관계를 계산하여 문서와 문서간의 관계를 표시할 수 있다. 또한 검색된 문서를 트리 형식으로 보여주어 사용자가 원하는 정보를 보다 쉽게 검색할 수 있는 문서의 구조적 통합 방법에 대해 제안한다. 제안한 방법은 루씬 검색엔진이 가지고 있는 순위 계산 공식을 이용하여 문서가 가지는 중요한 단어를 문서의 참조 관계에 적용하여 비교하였다. 제안한 방법이 루씬 검색엔진보다15% 정도 높은 성능을 나타내었다.

• 지능정보연구
• /
• 제18권3호
• /
• pp.171-183
• /
• 2012

세계가 급변하고 시시각각 발전하는 기술 속에서 전시 산업은 국가와 기업의 중요한 홍보 수단으로 부각되고 있다. 특히, 전시회에 참여하는 참여업체는 상품 또는 서비스를 전시하고 메시지를 전달하기 위해 마련된 개별 전시공간을 통해 기업들과 소비자들에게 단기간에 신제품과 신기술에 대한 정보를 제공할 수 있으며 국내외 시장의 욕구와 추세변화 및 경쟁업체들에 대한 정보를 파악할 수 있다. 참여업체들은 이러한 참가 목적의 달성을 위해 다양한 프로모션을 계획하고 실행하며 프로모션 정보를 참관객에게 실시간으로 제공할 수 있는 스마트 전시 환경의 구축은 이전보다 다양한 프로모션 기법의 적용 및 실행을 가능하게 하였다. 하지만, 이러한 스마트 전시 환경의 발전에도 불구하고 현재 실행되고 있는 프로모션은 참관객의 욕구나 목표에 대한 이해가 부족한 상태에서 무차별적인 매스마케팅 형태로 진행되어 그 본래의 목적을 상실하고 있다. 따라서, 본 연구에서는 참여업체의 차별화된 프로모션의 계획과 실행을 위해 기존에 널리 사용되는 마케팅 기법인 STP 전략의 프로세스를 도입하여 스마트 전시 환경에서 프로모션에 적합한 참관객을 자동적으로 선정하여 프로모션 정보를 제공하는 시스템을 제안하였다. 특히, 본 연구에서는 다음과 같은 스마트 전시회의 특성을 고려한다. 먼저, 전시회는 전시업체가 관람객과 상호작용하기 위해 모인 일시적이고 시간에 민감한 시장이다. 따라서, 불충분한 기존 참관객의 정보를 이용하는 것이 아닌 신규 참관객 분석의 관점에서 서비스를 제공할 수 있어야 한다. 두 번째로, 스마트 전시 환경에서는 참관객의 정보를 실시간으로 획득할 수 있다는 장점이 있는 반면에 데이터의 분석 및 서비스의 제공이 실시간으로 이루어져야 한다. 마지막으로, 참관객이 스마트 전시 환경에서 만들어 내는 데이터를 활용하는 기법이 필요하다. 스마트 전시 환경에서는 유용한 데이터를 실시간으로 획득할 수 있어 참관객이 전시회 내에서 하는 활동을 분석하는 행위적 세분화에 근거한 접근방식이 필요하다. 이러한 특성을 고려하여 본 연구에서는 제안한 시스템을 실제 전시회에 파일럿 시스템 형태로 적용하여 참관객을 실시간으로 분류 및 분석하고 각 메시지에 대한 성과를 측정하는 실험을 진행하였다. 그 결과, 전시 참관객의 행동 패턴을 4가지로 분류하여 각 군집별 특성을 프로모션 메시지의 성과로 측정하여 그에 적합한 프로모션 전략을 도출하였다. 이러한 프로모션 전략은 실제 전시 참여업체의 프로모션 기획 및 실행에 중요한 전략적 도구로 사용되어 프로모션 성과를 높일 수 있을 것으로 기대된다.

• 지능정보연구
• /
• 제23권3호
• /
• pp.69-94
• /
• 2017

최근 빅데이터 분석 수요의 지속적 증가와 함께 관련 기법 및 도구의 비약적 발전이 이루어지고 있으며, 이에 따라 빅데이터 분석은 소수 전문가에 의한 독점이 아닌 개별 사용자의 자가 수행 형태로 변모하고 있다. 또한 전통적 방법으로는 분석이 어려웠던 비정형 데이터의 활용 방안에 대한 관심이 증가하고 있으며, 대표적으로 방대한 양의 텍스트에서 주제를 도출해내는 토픽 모델링(Topic Modeling)에 대한 연구가 활발히 진행되고 있다. 전통적인 토픽 모델링은 전체 문서에 걸친 주요 용어의 분포에 기반을 두고 수행되기 때문에, 각 문서의 토픽 식별에는 전체 문서에 대한 일괄 분석이 필요하다. 이로 인해 대용량 문서의 토픽 모델링에는 오랜 시간이 소요되며, 이 문제는 특히 분석 대상 문서가 복수의 시스템 또는 지역에 분산 저장되어 있는 경우 더욱 크게 작용한다. 따라서 이를 극복하기 위해 대량의 문서를 하위 군집으로 분할하고, 각 군집별 분석을 통해 토픽을 도출하는 방법을 생각할 수 있다. 하지만 이 경우 각 군집에서 도출한 지역 토픽은 전체 문서로부터 도출한 전역 토픽과 상이하게 나타나므로, 각 문서와 전역 토픽의 대응 관계를 식별할 수 없다. 따라서 본 연구에서는 전체 문서를 하위 군집으로 분할하고, 각 하위 군집에서 대표 문서를 추출하여 축소된 전역 문서 집합을 구성하고, 대표 문서를 매개로 하위 군집에서 도출한 지역 토픽으로부터 전역 토픽의 성분을 도출하는 방안을 제시한다. 또한 뉴스 기사 24,000건에 대한 실험을 통해 제안 방법론의 실무 적용 가능성을 평가하였으며, 이와 함께 제안 방법론에 따른 분할 정복(Divide and Conquer) 방식과 전체 문서에 대한 일괄 수행 방식의 토픽 분석 결과를 비교하였다.

• 지능정보연구
• /
• 제20권1호
• /
• pp.195-211
• /
• 2014

클라우드 컴퓨팅 서비스는 IT 자원을 사용자 요구에 따라 서비스 형태로 제공하며, IT 자원을 소유하는 기존의 개념에서 빌려서 사용하는 개념으로 새로운 IT 패러다임 전환을 이끌고 있다. 이러한 클라우드 컴퓨팅은 과거의 네트워크 컴퓨팅, 유틸리티 컴퓨팅, 서버 기반 컴퓨팅, 그리드 컴퓨팅 등에 대한 연구들을 기반으로 진화해온 IT 서비스로서, 추후 여러분야에 접목 가능성이 높음에 따라 다양한 분야에서의 연구가 지속적으로 이루어지고 있다. 본 연구에서는 1994년부터 2012년까지 주요 해외 저널에 게재된 클라우드 컴퓨팅 관련 연구 논문들의 서지정보 및 인용정보를 수집하였으며, 사회 네트워크 분석 척도를 활용하여 연구 논문간의 인용 관계와 동일 논문에 출현하는 키워드간의 관계로부터 연구 주제들 간 네트워크 변화를 분석하였다. 이를 통해서 클라우드 컴퓨팅 관련 분야의 연구 주제들간의 관계를 파악할 수 있었고, 추후 잠재성이 높은 신규 연구 주제들을 도출하였다. 또한 본 연구에서는 클라우드 컴퓨팅에 대한 연구 동향 맵(research trend map)을 작성하여, 클라우드 컴퓨팅과 관련된 연구 주제들의 동태적인 변화를 확인하였다. 이러한 연구 동향 맵을 통해서 클라우드 컴퓨팅 주요 연구들의 추이를 쉽게 파악 할 수 있으며, 진화 형태 또는 유망 분야를 설명할 수 있다. 논문 인용 관계 분석 결과, 클라우드 컴퓨팅 보안과 분산 처리, 클라우드 컴퓨팅에서의 광네트워크에 관한 연구 논문들이 페이지랭크 척도를 기준으로 상위에 나타났다. 연구 논문의 핵심 주제를 나타내는 키워드에 대한 결과는 2009년에는 클라우드 컴퓨팅과 그리드 컴퓨팅이 높은 중심성 수치를 보였으며, 2010~2011년에는 데이터 아웃소싱, 에러검출 방법, 인프라구축 등 주요 클라우드 요소 기술에 관한 키워드가 높은 중심성 수치를 나타내었다. 2012년에는 보안, 가상화, 자원 관리 등이 높은 중심성 수치를 보였으며, 이를 통해서 클라우드 컴퓨팅 기술들에 대한 관심이 점차 증가함을 확인 할 수 있다. 연구 동향 맵 작성 결과, 보안은 유망영역에 위치하고 있으며, 가상화는 유망영역에서 성장 영역으로 이동하였고, 그리드 컴퓨팅과 분산 시스템은 쇠퇴 영역으로 이동하고 있음을 확인 할 수 있다.

• 지능정보연구
• /
• 제19권2호
• /
• pp.1-20
• /
• 2013

소셜 네트워크는 사용자들의 공통된 관심사, 경험, 그리고 일상 생활들을 함께 공유하기 위해 소셜 네트워크 상 사람들을 서로 연결시켜주는 거대한 커뮤니케이션 플랫폼이다. 소셜 네트워크상의 사용자들은 포스팅, 댓글, 인스턴스 메시지, 게임, 소셜 이벤트 외에도 다양한 애플리케이션을 통해 다른 사용자들과 소통하고 개인 정보 관리하는데 많은 시간을 소비한다. 소셜 네트워크 상의 풍부한 사용자 정보는 추천시스템이 추천 성능을 향상시키기 위해 필요한 큰 잠재력이 되었다. 대부분의 사용자들은 어떤 상품을 구매하기 전 가까운 관계이거나 같은 성향을 가진 사람들의 의견을 반영하여 의사 결정을 하게 된다. 그러므로 소셜 네트워크에서의 사용자 관계는 추천시스템을 위한 사용자 선호도 예측을 효율적으로 높이는데 중요한 요소라 할 수 있다. 일부 연구자들은 소셜 네트워크에서의 사용자와 다른 사용자들 사이의 상호작용 즉, 소셜 관계(social relationship)와 같은 소셜 데이터가 추천시스템에서 추천의 질에 어떠한 영향을 미치는가를 연구하고 있다. 추천시스템은 아마존, 이베이, Last.fm과 같은 큰 규모의 전자상거래 사이트 또한 채택하여 사용되는 시스템으로, 추천시스템을 위한 방법으로는 협업적 여과 방법과 내용 기반 여과 방법이 있다. 협업적 여과 방법은 사용자들의 선호도 학습에 의해 사용자가 아직 평가하지 않은 아이템 중 선호할 수 있는 아이템을 정확하게 제안하기 위한 추천시스템 방법 중 하나이다. 협업적 여과는 사용자들의 데이터에 초점을 맞춘 방법으로 유사한 배경과 선호도를 가지는 사용자들로부터 정보를 수집하여 사용자들의 선호도 예측을 자동으로 발생시킨다. 특히 협업적 여과는 근접한 이웃 사용자들에 의해서 목적 사용자가 선호할 수 있는 아이템을 제시하는 것으로 유사한 이웃 사용자를 찾는 것이 중요하다. 좋은 이웃 사용자 발견은 사용자와 아이템을 고려하는 방법이 일반적이다. 각 사용자는 아이템 즉, 영화, 상품, 책 등에 자신의 선호도를 나타내기 위하여 평가 값을 입력하고, 시스템은 이를 바탕으로 사용자-평가 행렬을 구축한다. 이 사용자-평가 행렬은 목적 사용자와 유사하게 아이템을 평가한 사용자 그룹을 찾기 위한 것으로, 목적 사용자가 아직 평가하지 않은 아이템에 대하여 사용자-평가 매트릭스를 통해 그 평가 값을 예측한다. 현재 이 협업적 여과 방법은 전자상거래와 정보 검색에서 적용되어 개인화 시스템에 효율적으로 사용되고 있다. 하지만 초기 사용자 문제, 데이터 희박성 문제와 확장성 그리고 예측 정확도 향상 등 해결해야 할 과제가 여전히 남아 있다. 이러한 문제들을 해소하기 위해 많은 연구자들은 하이브리드, 신뢰기반, 소셜 네트워크 기반 협업적 여과와 같은 다양한 방법을 제안하였다. 본 논문에서는 전통적인 협업적 여과 방식의 예측 정확도와 추천 성능을 향상시키기 위해 소셜 네트워크에 존재하는 소셜 관계를 이용한 협업적 여과 시스템을 제안한다. 소셜 관계는 소셜 네트워크 서비스 중 하나인 페이스북 사용자들이 남긴 포스팅과 사용자의 소셜 네트워크 친구와 의견 교류 중 남긴 코멘트와 같은 사용자 행동을 기반으로 정의된다. 소셜 관계를 구축하기 위해 소셜 네트워크 사용자의 포스팅과 댓글을 추출하고, 추출된 텍스트에 불용어 및 특수 기호 제거와 스테밍 등 전처리를 수행하였다. 특징 벡터는 TF-IDF를 이용하여 전처리된 텍스트에 나타난 각 단어에 대한 특징 점수를 계산함으로써 구축된다. 본 논문에서 이웃 사용자를 결정하기 위해 사용되는 사용자 간 유사도는 특징 벡터를 이용한 사용자 행동 유사도와 사용자의 영화 평가를 기반으로 한 전통적 방법의 유사도를 결합하여 계산된다. 제안하는 시스템은 목표 사용자와 제안한 방법을 통해 결정된 이웃 사용자 집단을 기반으로 목표 사용자가 평가하지 않은 아이템에 대한 선호도를 예측하고 Top-N 아이템을 선별하여 사용자에게 아이템을 추천하게 된다. 본 논문에서 제안하는 방법을 확인하고 평가하기 위하여 IMDB에서 제공하는 영화 정보 기반으로 영화 평가 시스템을 구축하였다. 예측 정확도를 평가하기 위해 MAE 값을 이용하여 제안하는 알고리즘이 얼마나 정확한 추천을 수행하는지에 대한 예측 정확도를 측정하였다. 그리고 정확도, 재현율 및 F1값 등을 활용하여 시스템의 성능을 평가하였으며, 시스템의 추천 품질은 커버리지를 이용하여 평가되었다. 실험 결과로부터 본 논문에서 제안한 시스템이 보다 더 정확하고 좋은 성능으로 사용자에게 아이템을 추천하는 것을 볼 수 있었다. 특히 소셜 네트워크에서 사용자 행동을 기반으로 한 소셜 관계를 이용함으로써 추천 정확도를 6% 향상시킴을 보였다. 또한 벤치마크 알고리즘과의 성능비교 실험을 통해 7% 향상된 추천 성능의 결과를 보여준다. 그러므로 사용자의 행동으로부터 관찰된 소셜 관계를 CF방법과 결합한 제안한 방법이 정확한 추천시스템을 위해 유용하며, 추천시스템의 성능과 품질을 향상시킬 수 있음을 알 수 있다.