• 지능정보연구
• /
• 제22권3호
• /
• pp.23-43
• /
• 2016

최근 IT기술의 발전에 따라 많은 사람들이 자신들의 여가활동에 대한 경험을 공유하고 있으며, 역으로 다른 사람들의 여가활동에 대한 경험을 참고하여 더 나은 여가활동을 누릴 수 있는 기회를 얻게 되었다. 이러한 현상은 영화, 숙박, 음식, 여행 등 여가활동 전반에 걸쳐 나타나고 있으며, 그 중심에는 여가활동에 대한 정보를 요약하여 제공하는 수많은 사이트가 있다. 대부분의 여가활동 정보 사이트는 각 상품에 대한 평균 평점뿐만 아니라 상세 리뷰를 제공함으로써, 해당 상품을 구매하고자 하는 잠재고객의 의사결정을 지원하고 있다. 하지만 기존 대부분의 사이트는 한 단계의 평가기준에 따라 평점과 리뷰를 제공하기 때문에, 각 평가기준을 구성하는 세부요소에 대한 특징과 평가기준 별 주요 이슈를 파악하기 위해서는 상당히 많은 수의 리뷰를 직접 읽어야 한다는 불편이 따른다. 즉 사용자는 자신이 중요한 것으로 생각하는 평가기준에 대한 조건을 파악하기 위해, 많은 수의 리뷰를 하나하나 읽어보는 과정에서 많은 시간과 노력을 소비하게 된다. 예를 들어 호텔의 접근성, 객실, 서비스, 음식 등 한 단계의 평가기준만을 사용하여 평점과 리뷰를 제공하는 사이트의 경우, 접근성 중 특히 지하철역과의 거리, 객실 중 특히 욕실의 상태를 살펴보고자 하는 사용자에게 필요한 정보를 충분히 제공하지 못하게 된다. 따라서 본 연구에서는 기존 여가활동 정보 사이트의 한계, 즉 평가기준별로 입력된 리뷰를 신뢰하기 어렵다는 점과 평가기준을 구성하고 있는 세부 내용을 파악하기 어렵다는 점을 극복하기 위한 방안을 제시하고자 한다. 본 연구에서 제안하는 방법론은 사용자가 별도의 구분 없이 입력한 리뷰를 그 내용에 따라 평가기준별로 자동 분류하고, 각 평가 기준 별 주요 이슈를 요약하여 제공한다. 제안 방법론은 최근 텍스트 분석에 활발하게 사용되고 있는 토픽 모델링(Topic Modeling)에 기반을 두고 있으며, 각 리뷰를 하나의 문서 단위로 사용하는 것이 아니라 리뷰를 문장 단위로 끊어 개별 리뷰 유닛(Review Unit)으로 분해한 뒤, 평가기준별로 리뷰 유닛을 재구성하여 분석한다는 측면에서 기존의 토픽 모델링 기반 연구와 큰 차이가 있다고 할 수 있다. 본 논문에서는 제안 방법론을 실제 호텔 정보 사이트에서 수집한 423건의 리뷰 문서에 적용하여 6가지 평가기준에 대해 총 4,860건의 리뷰 유닛을 재구성하고, 이에 대한 분석 결과를 소개함으로써 제안 방법론의 유용성을 간접적으로 보인다.

• 핵의학기술
• /
• 제14권2호
• /
• pp.77-82
• /
• 2010

PET/CT 기기의 설치가 증가함에 따라 PET/CT 검사 시감쇄 보정을 위한 CT 검사 역시 증가하여 검사 과정에서 피폭 선량이 증가 되고 있어 의료 피폭의 저감 대책을 포함한 방사선 안전 관리의 체계적인 구축이 필요하다. 본 연구에서는 PET/CT 검사에서의 환자 선량 데이터베이스를 구축하여 환자 선량 저감을 위한 초석을 세우기 위해 CT 선량 측정 프로그램을 사용하여 CT를 사용한 투과 스캔 시 환자가 받는 CT의 예측 유효 선량을 비교 분석하였다. BIO40, BIO16, DSTe8 에서 $^{18}F$-FDG PET/CT 검사를 시행한 180명을 대상으로 하였다. 각 기기 별로 남, 여 30명씩 선량의 평균을 분석하였다. 자동 노출 제어 시스템으로 선량 조절 시 가장 큰 영향을 줄 수 있는 환자의 체중 별로 50 kg미만, 50-60 kg 미만, 60 kg 이상 세 집단으로 나누어 선량의 평균을 분석하였다. CT-Expo v1.7과 ImPACT v1.0을 사용하여 선량 측정을 한 값을 비교 분석하고 체중과 유효 선량의 상관관계를 분석하였다. BIO40에서 검사한 환자의 유효 선량을 CT-Expo v1.7과 ImPACT v1.0을 사용하여 예측하였을 때, 남자 환자 30명은 각각 $6.46{\pm}1.18$ mSv, $6.54{\pm}1.21$ mSv, 여자 환자 30명은 각각 $6.29{\pm}0.97$ mSv, $5.87{\pm}1.09$ mSv 이었다. BIO16 에서 검사한 환자의 유효 선량은 남자 환자 30명은 각각 $9.36{\pm}1.96$ mSv, $8.36{\pm}1.69$ mSv 여자 환자 30명은 각각 $10.02{\pm}2.42$ mSv, $8.43{\pm}1.89$ mSv 이었다. DSTe8에서 검사한 환자의 유효 선량은 남자 환자 30명은 각각 $9.36{\pm}1.96$ mSv, $9.74{\pm}2.55$ mSv, 여자 환자 30명은 각각 $9.05{\pm}2.27$ mSv, $9.19{\pm}2.29$ mSv 이었다. 각 기기에서 검사를 시행한 환자의 체중에 따른 환자의 선량을 비교하기 위해, BIO40에서 검사를 시행한 환자를 대상으로 하여 50 kg 미만, 50~60 kg 미만, 60 kg 이상으로 체중별로 세 개의 집단으로 나누어 환자 선량을 측정하였다. CT-expo v1.7로 측정을 하였을 때 각각 $6.05{\pm}1.77$ mSv, $6.18{\pm}1.05$ mSv, $6.80{\pm}1.06$ mSv이었고 ImPACT v1.0으로 측정했을 때 각각 $5.06{\pm}1.46$ mSv, $5.72{\pm}0.86$ mSv, $6.42{\pm}0.96$ mSv이었다. BIO16에서 검사를 시행한 환자를 대상으로 하여 50 kg 미만, 50-60 kg 미만, 60 kg 이상으로 체중 별로 나누어 환자 선량을 측정하였다. CT-Expo v1.7로 측정을 하였을 때 각각 $7.74{\pm}0.66$ mSv, $8.58{\pm}0.93$ mSv, $10.88{\pm}1.32$ mSv이었고 ImPACT v1.0으로 측정했을 때 각각 $6.60{\pm}0.54$ mSv, $7.45{\pm}0.69$ mSv, $9.43{\pm}1.11$ mSv이었다. DSTe8에서 검사를 시행한 환자를 대상으로 하여 50 kg 미만, 50-60 kg 미만, 60kg 이상으로 체중 별로 나누어 환자 선량을 예측하였다. CT-Expo v1.7로 측정했을 때 각각 $5.03{\pm}0.95$ mSv, $8.25{\pm}1.66$ mSv, $10.33{\pm}1.68$ mSv 이었고 ImPACT v1.0으로 측정했을 때 각각 $5.20{\pm}1.01$ mSv, $8.51{\pm}1.53$ mSv, $10.9{\pm}1.87$ mSv이었다. 체중과 유효 선량의 상관관계를 분석하였을 때 CT-Expo v1.7과 ImPACT v1.0에서 Pearson 정률 상관계수가 각각 0.743, 0.692으로 매우 강한 양의 상관관계가 있었다. 피폭 선량의 예측이 필요할 경우 이와 같은 상용화된 선량 평가 프로그램을 사용하면 Phantom 연구를 시행하지 않더라도 유효 선량의 예측 및 평가가 가능하고, CT 선량 관리를 위한 기초 자료를 수집하는데 활용 될 수 있을 것으로 생각된다.

• 지능정보연구
• /
• 제24권3호
• /
• pp.1-19
• /
• 2018

최근 딥러닝은 오디오, 텍스트 및 이미지 데이터와 같은 비 체계적인 데이터를 대상으로 다양한 추정, 분류 및 예측 문제에 사용 및 적용되고 있다. 특히, 의류산업에 적용될 경우 딥러닝 기법을 활용한 의류 인식, 의류 검색, 자동 제품 추천 등의 심층 학습을 기반으로 한 응용이 가능하다. 이 때의 핵심모형은 합성곱 신경망을 사용한 이미지 분류이다. 합성곱 신경망은 입력이 전달되고 출력에 도달하는 과정에서 가중치와 같은 매개 변수를 학습하는 뉴런으로 구성되고, 영상 분류에 가장 적합한 방법론으로 사용된다. 기존의 의류 이미지 분류 작업에서 대부분의 분류 모형은 의류 이미지 자체 또는 전문모델 착용 의류와 같이 통제된 상황에서 촬영되는 온라인 제품 이미지를 사용하여 학습을 수행한다. 하지만 본 연구에서는 통제되지 않은 상황에서 촬영되고 사람들의 움직임과 다양한 포즈가 포함된 스트릿 패션 이미지 또는 런웨이 이미지를 분류하려는 상황을 고려하여 분류 모형을 훈련시키는 효과적인 방법을 제안한다. 이동성을 포착하는 런웨이 의류 이미지로 모형을 학습시킴으로써 분류 모형의 다양한 쿼리 이미지에 대한 적응력을 높일 수 있다. 모형 학습 시 먼저 ImageNet 데이터셋을 사용하여 pre-training 과정을 거치고 본 연구를 위해 수집된 32 개 주요 패션 브랜드의 2426개 런웨이 이미지로 구성된 데이터셋을 사용하여 fine-tuning을 수행한다. 학습 과정의 일반화를 고려해 10번의 실험을 수행하고 제안된 모형은 최종 테스트에서 67.2 %의 정확도를 기록했다. 본 연구 모형은 쿼리 이미지가 런웨이 이미지, 제품 이미지 또는 스트릿 패션 이미지가 될 수 있는 다양한 분류 환경에 적용될 수 있다. 구체적으로는 패션 위크에서 모바일 어플리케이션 서비스를 통해 브랜드 검색을 용이하게 하는 서비스를 제공하거나, 패션 잡지사의 편집 작업에 사용되어 브랜드나 스타일을 분류하고 라벨을 붙일 수 있으며, 온라인 쇼핑몰에서 아이템 정보를 제공하거나 유사한 아이템을 추천하는 등의 다양한 목적에 적용될 수 있다.

• 지능정보연구
• /
• 제24권2호
• /
• pp.85-109
• /
• 2018

추천시스템은 사용자의 과거 구매행동을 통해 향후 구매할 것이라고 예상되는 제품을 자동으로 검색하여 추천해준다. 특히 전자상거래 기업의 상품추천시스템은 일대일 마케팅의 대표적 실현수단으로 가치가 있다. 하지만, 전통적인 추천시스템, 특히 학계 및 산업계에서 가장 널리 사용되고 있는 전통적인 협업필터링 기법은 단일차원의 '종합 평점'만을 고려하여 추천결과를 생성하도록 설계되어 있어, 사용자들의 정확한 니즈를 이해하고 대응하는데 근본적인 한계가 있다. 최근에는 전자 상거래 기업들도 고객들로부터 보다 다각화된, 다기준 방식으로 피드백을 받고 있다. 특히 다기준 평점은 정량적으로 입력되는 정보이므로 상대적으로 분석 및 처리가 용이하다는 장점이 있다. 그러나 다기준 평점 역시 사전에 정해진 기준에 대해서만 사용자의 피드백이 이루어지기 때문에, 보다 상세하게 사용자의 의견을 이해하여 추천에 반영하는 데에는 한계가 있다. 이에 본 연구는 다기준 평점 정보와 선택적 협업필터링의 서로 다른 접근방법을 통해 도출된 추천결과를 종합하여, 최종적으로 추천 대상리스트를 산출할 수 있는 하이브리드 기술을 제안한다. 본 연구에서 제안한 연구모형의 유용성을 검증하기 위해, 식음료점(식당, 카페 등)에 대한 실제 이용자를 대상으로 온라인 설문을 통해 종합 평점과 다기준 평점을 수집하였으며, 데이터를 학습용과 검증용으로 구분하여 학습시키고 성과를 평가하였다. 이 기법은 결합 함수 기반 접근법과 사용자마다 구매의사결정의 체계가 다르다는 전제하에, 사용자들을 유형화하고, 유형에 따라 정보원을 선택적으로 활용하는 협업필터링 알고리즘을 활용했다. 실험결과, 제안 알고리즘을 통한 추천 방법이 단일 차원을 고려하는 전통적인 협업필터링과 비교해 더 우수한 예측정확도를 나타냄을 확인했다. 아울러, 본 연구가 제안하는 다기준 평점과 선택적 협업필터링 알고리즘을 종합하여 추천하는 방법이, 단순히 다기준 평점을 고려했을 때 보다 통계적으로 유의한 수준의 정확도의 개선이 이루어짐을 확인할 수 있었다.

• Strategy21
• /
• 통권46호
• /
• pp.239-276
• /
• 2020

유엔 안전보장이사회(UNSC, United Nations Security Council) 주도의 경제제재는 초창기 '포괄적 경제제재(comprehensive sanctions)' 모델에서 '스마트 경제제재(smart sanctions)' 모델로 발전하고 있다. 유엔 안보리는 직접적인 무력개입(military intervention)보다 규범적 비용(normative costs)과 부담이 덜한 경제제재를 통해 대상 국가의 손익계산법(cost-benefit calculation)을 바꿔 행동변화를 이끌어내려고 했으나, '포괄적 경제제재'에 따른 비용 대부분이 일반 대중에게 전가되면서, 인도적 위기(humanitarian crisis) 사태를 초래하고, 대상 국가의 내부 결속력을 강화하는 역설적인 상황을 만들었다. 이에 따라 정책 결정 과정에 직접적으로 관여하는 지도자와 정치 엘리트를 대상으로 자산을 동결(asset freeze)하거나 여행금지(travel ban) 조치 등을 집중적으로 하는 '스마트 제재'가 탄생하였다. 대북한 경제제재 또한 '스마트 경제제재' 모델로 점차 발전하여 그 효과성을 나타내고 있다. 특히 최근의 결의안(resolutions)을 통해 석탄 수출을 전면 금지하고, 원유 수입을 제한함에 따라 지표상 가시적인 성과가 나타나고 있고, 2018년부터 한국, 미국과 평화협상에 나서면서 제재완화를 촉구하는 등, 위와 같은 '스마트' 대북제재가 북한의 행동변화를 이끌어내고 있음을 알 수 있다. 대북제재의 효과성은 북한의 대외무역규모(total trade volume) 변화량을 통해 측정할 수 있는데, '포괄적 경제제재'의 성격에 가까운 초기의 대북제재 결의안 채택 이후에는 북한 대외무역규모가 감소한 경우도 있지만 도리어 증대된 경우도 있었다. 그러나 석탄 수출 금지 및 원유 수입 제한 조치를 담은 2016, 2017년의 결의안 이후에는 북한 대외무역규모가 2016년 약 65억 달러에서 2017년 약 55억 달러로, 2018년에는 약 28억 달러로 대폭 감소한 사실을 발견할 수 있다. 북한의 대외무역은 정권의 자금줄과 같기 때문에 대외무역규모의 감소는 곧 '스마트 제재'의 효과와 같다. 대북경제제재의 효과성에 영향을 미치는 두 번째 조건은 중국의 대북제재 레짐(sanctions regime)에의 참여 여부다. 북한은 경제적으로 중국에 상당히 의존하고 있고, 이는 지표상으로도 명백히 나타나고 있다. 중국은 그 동안 북한의 지정학적인 가치 및 급변 사태 시 북-중 국경에서의 대규모 난민 발생 우려 등에 따라 직간접적으로 북한을 지지해왔지만, 북한 핵능력의 고도화에 따른 동북아시아 지역에서의 핵확산(nuclear proliferation) 우려, 미-중 무역분쟁에 따른 여파 등으로 대북제재 레짐에 성실히 참여할 것을 밝혔다. 실제로 중국의 대북한 석유 수출량이 감소하고, 북-중간 대외무역 총량 또한 2016년부터 지속적으로 감소하며, 대북경제제재에 중국의 참여가 제재 성공의 중요한 변수임을 증명했다. 효과적인 대북제재를 위한 마지막 요건은 북한의 경제제재 회피 노력 방지(prevention of North Korea's economic sanctions evasion efforts)다. 앞서 밝힌 바와 같이 석탄 수출과 원유 수입은 북한 정권의 자금줄이자 핵무력 고도화를 위한 필수 에너지원이다. 중국이 대북제재 레짐에의 참여를 선언한 상태에서 중국으로부터의 원유 수입량이 급감함에 따라 중동지역 등지로부터 바닷길을 통해 원유를 수입해야 하는데, 원유 수입량 제한에 따라 동중국해(East China Sea) 및 공해(high seas)상에서 선박 대 선박간 불법 환적(ship-to-ship illegal transshipment)을 실시하면서 대북제재를 무력화하고 있다. 유엔 대북제재위 산하 전문가 패널(Panel of Experts), 미 국무부(U.S. Department of State), 미 재무부 외부자산통제국(U.S. Department of the Treasury's Office of Foreign Assets Control, OFAC) 등은 보고서를 통해 북한의 해상 불법 환적 실태를 상세히 밝히고 있는데, 자동 선박 식별 장치(AIS, Automatic Identification System)의 허위 신호 송출(false signaling), 선박 등록 문서 위조(false certificate of registry)와 같은 방식으로 감시 및 단속을 회피하고 있는 실정이다. '스마트'한 대북제재 설계 및 중국의 참여로 대북제재가 북한의 행동 변화를 이끌어낼 수 있음이 확인되었지만, 국제사회의 눈을 피해 해상에서 만연하고 있는 불법 환적과 같은 행위는 효과적인 대북제재 실행의 마지막 퍼즐이라고 할 수 있다. 앞으로 해상에서의 불법 환적 행위를 막기 위해 다음 세 가지 정책적 함의를 도출해낼 수 있다. 첫 번째는 가장 강력한 조치라고 할 수 있는 해상봉쇄(maritime blockade)에 대한 고려다. 전세계 물동량의 40%가 지나가는 말라카 해협(Malacca Strait)은 북한에게도 중요한 해상 교통로이다. 북한이 계속해서 결의안을 위반하고 공해상에서 불법 환적 행위를 자행할 경우, 말라카 해협에서 북한과 연계된 의심 선박을 검문 검색하고 차단(interdiction)하여 강제적인 방식으로 북한의 제재 회피 노력을 근절할 수 있다. 남중국해(South China Sea)에서 중국과 미국 간, 중국과 주변국 간 갈등이 격화됨에 따라 다국적군의 말라카 해협 봉쇄는 중국에게 달갑지 않겠지만, 유엔 대북제재 결의안에 명시되어 있는 의심 선박에 대한 검문 검색 행위임을 명백히 함과 동시에 다자간의 협조를 바탕으로 하여 규범적 정당성(normative justification)을 높인다면 충분히 실현 가능한 방안이다. 두 번째는 공해상에서의 불법 해상 환적에 대한 감시 강화와 증거 수집이다. 마지막 세번째는 대한민국의 다국적 해상 감시 활동에의 참여다. 북한의 대북제재 이행 여부는 한국의 안보와 직결되는 사안이다. 대북제재의 최종 목표는 북한 비핵화에 있고, 협상 테이블에 북한을 이끌어내는 데 제재가 효과적이라는 것이 드러났기 때문에 핵 위협의 당사자인 대한민국 또한 효과적인 제재 이행 여부 감시에 책임감을 가져야 한다.

• 지능정보연구
• /
• 제19권2호
• /
• pp.1-20
• /
• 2013

소셜 네트워크는 사용자들의 공통된 관심사, 경험, 그리고 일상 생활들을 함께 공유하기 위해 소셜 네트워크 상 사람들을 서로 연결시켜주는 거대한 커뮤니케이션 플랫폼이다. 소셜 네트워크상의 사용자들은 포스팅, 댓글, 인스턴스 메시지, 게임, 소셜 이벤트 외에도 다양한 애플리케이션을 통해 다른 사용자들과 소통하고 개인 정보 관리하는데 많은 시간을 소비한다. 소셜 네트워크 상의 풍부한 사용자 정보는 추천시스템이 추천 성능을 향상시키기 위해 필요한 큰 잠재력이 되었다. 대부분의 사용자들은 어떤 상품을 구매하기 전 가까운 관계이거나 같은 성향을 가진 사람들의 의견을 반영하여 의사 결정을 하게 된다. 그러므로 소셜 네트워크에서의 사용자 관계는 추천시스템을 위한 사용자 선호도 예측을 효율적으로 높이는데 중요한 요소라 할 수 있다. 일부 연구자들은 소셜 네트워크에서의 사용자와 다른 사용자들 사이의 상호작용 즉, 소셜 관계(social relationship)와 같은 소셜 데이터가 추천시스템에서 추천의 질에 어떠한 영향을 미치는가를 연구하고 있다. 추천시스템은 아마존, 이베이, Last.fm과 같은 큰 규모의 전자상거래 사이트 또한 채택하여 사용되는 시스템으로, 추천시스템을 위한 방법으로는 협업적 여과 방법과 내용 기반 여과 방법이 있다. 협업적 여과 방법은 사용자들의 선호도 학습에 의해 사용자가 아직 평가하지 않은 아이템 중 선호할 수 있는 아이템을 정확하게 제안하기 위한 추천시스템 방법 중 하나이다. 협업적 여과는 사용자들의 데이터에 초점을 맞춘 방법으로 유사한 배경과 선호도를 가지는 사용자들로부터 정보를 수집하여 사용자들의 선호도 예측을 자동으로 발생시킨다. 특히 협업적 여과는 근접한 이웃 사용자들에 의해서 목적 사용자가 선호할 수 있는 아이템을 제시하는 것으로 유사한 이웃 사용자를 찾는 것이 중요하다. 좋은 이웃 사용자 발견은 사용자와 아이템을 고려하는 방법이 일반적이다. 각 사용자는 아이템 즉, 영화, 상품, 책 등에 자신의 선호도를 나타내기 위하여 평가 값을 입력하고, 시스템은 이를 바탕으로 사용자-평가 행렬을 구축한다. 이 사용자-평가 행렬은 목적 사용자와 유사하게 아이템을 평가한 사용자 그룹을 찾기 위한 것으로, 목적 사용자가 아직 평가하지 않은 아이템에 대하여 사용자-평가 매트릭스를 통해 그 평가 값을 예측한다. 현재 이 협업적 여과 방법은 전자상거래와 정보 검색에서 적용되어 개인화 시스템에 효율적으로 사용되고 있다. 하지만 초기 사용자 문제, 데이터 희박성 문제와 확장성 그리고 예측 정확도 향상 등 해결해야 할 과제가 여전히 남아 있다. 이러한 문제들을 해소하기 위해 많은 연구자들은 하이브리드, 신뢰기반, 소셜 네트워크 기반 협업적 여과와 같은 다양한 방법을 제안하였다. 본 논문에서는 전통적인 협업적 여과 방식의 예측 정확도와 추천 성능을 향상시키기 위해 소셜 네트워크에 존재하는 소셜 관계를 이용한 협업적 여과 시스템을 제안한다. 소셜 관계는 소셜 네트워크 서비스 중 하나인 페이스북 사용자들이 남긴 포스팅과 사용자의 소셜 네트워크 친구와 의견 교류 중 남긴 코멘트와 같은 사용자 행동을 기반으로 정의된다. 소셜 관계를 구축하기 위해 소셜 네트워크 사용자의 포스팅과 댓글을 추출하고, 추출된 텍스트에 불용어 및 특수 기호 제거와 스테밍 등 전처리를 수행하였다. 특징 벡터는 TF-IDF를 이용하여 전처리된 텍스트에 나타난 각 단어에 대한 특징 점수를 계산함으로써 구축된다. 본 논문에서 이웃 사용자를 결정하기 위해 사용되는 사용자 간 유사도는 특징 벡터를 이용한 사용자 행동 유사도와 사용자의 영화 평가를 기반으로 한 전통적 방법의 유사도를 결합하여 계산된다. 제안하는 시스템은 목표 사용자와 제안한 방법을 통해 결정된 이웃 사용자 집단을 기반으로 목표 사용자가 평가하지 않은 아이템에 대한 선호도를 예측하고 Top-N 아이템을 선별하여 사용자에게 아이템을 추천하게 된다. 본 논문에서 제안하는 방법을 확인하고 평가하기 위하여 IMDB에서 제공하는 영화 정보 기반으로 영화 평가 시스템을 구축하였다. 예측 정확도를 평가하기 위해 MAE 값을 이용하여 제안하는 알고리즘이 얼마나 정확한 추천을 수행하는지에 대한 예측 정확도를 측정하였다. 그리고 정확도, 재현율 및 F1값 등을 활용하여 시스템의 성능을 평가하였으며, 시스템의 추천 품질은 커버리지를 이용하여 평가되었다. 실험 결과로부터 본 논문에서 제안한 시스템이 보다 더 정확하고 좋은 성능으로 사용자에게 아이템을 추천하는 것을 볼 수 있었다. 특히 소셜 네트워크에서 사용자 행동을 기반으로 한 소셜 관계를 이용함으로써 추천 정확도를 6% 향상시킴을 보였다. 또한 벤치마크 알고리즘과의 성능비교 실험을 통해 7% 향상된 추천 성능의 결과를 보여준다. 그러므로 사용자의 행동으로부터 관찰된 소셜 관계를 CF방법과 결합한 제안한 방법이 정확한 추천시스템을 위해 유용하며, 추천시스템의 성능과 품질을 향상시킬 수 있음을 알 수 있다.