• 제목/요약/키워드: 지능 기계

검색결과 1,048건 처리시간 0.028초

적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법 (Anomaly Detection for User Action with Generative Adversarial Networks)

  • 최남웅;김우주
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.43-62
    • /
    • 2019
  • 한때, 이상 탐지 분야는 특정 데이터로부터 도출한 기초 통계량을 기반으로 이상 유무를 판단하는 방법이 지배적이었다. 이와 같은 방법론이 가능했던 이유는 과거엔 데이터의 차원이 단순하여 고전적 통계 방법이 효과적으로 작용할 수 있었기 때문이다. 하지만 빅데이터 시대에 접어들며 데이터의 속성이 복잡하게 변화함에 따라 더는 기존의 방식으로 산업 전반에 발생하는 데이터를 정확하게 분석, 예측하기 어렵게 되었다. 따라서 기계 학습 방법을 접목한 SVM, Decision Tree와 같은 모형을 활용하게 되었다. 하지만 지도 학습 기반의 모형은 훈련 데이터의 이상과 정상의 클래스 수가 비슷할 때만 테스트 과정에서 정확한 예측을 할 수 있다는 특수성이 있고 산업에서 생성되는 데이터는 대부분 정답 클래스가 불균형하기에 지도 학습 모형을 적용할 경우, 항상 예측되는 결과의 타당성이 부족하다는 문제점이 있다. 이러한 단점을 극복하고자 현재는 클래스 분포에 영향을 받지 않는 비지도 학습 기반의 모델을 바탕으로 이상 탐지 모형을 구성하여 실제 산업에 적용하기 위해 시행착오를 거치고 있다. 본 연구는 이러한 추세에 발맞춰 적대적 생성 신경망을 활용하여 이상 탐지하는 방법을 제안하고자 한다. 시퀀스 데이터를 학습시키기 위해 적대적 생성 신경망의 구조를 LSTM으로 구성하고 생성자의 LSTM은 2개의 층으로 각각 32차원과 64차원의 은닉유닛으로 구성, 판별자의 LSTM은 64차원의 은닉유닛으로 구성된 1개의 층을 사용하였다. 기존 시퀀스 데이터의 이상 탐지 논문에서는 이상 점수를 도출하는 과정에서 판별자가 실제데이터일 확률의 엔트로피 값을 사용하지만 본 논문에서는 자질 매칭 기법을 활용한 함수로 변경하여 이상 점수를 도출하였다. 또한, 잠재 변수를 최적화하는 과정을 LSTM으로 구성하여 모델 성능을 향상시킬 수 있었다. 변형된 형태의 적대적 생성 모델은 오토인코더의 비해 모든 실험의 경우에서 정밀도가 우세하였고 정확도 측면에서는 대략 7% 정도 높음을 확인할 수 있었다.

RFM 다차원 분석 기법을 활용한 암시적 사용자 피드백 기반 협업 필터링 개선 연구 (A Study on Improvement of Collaborative Filtering Based on Implicit User Feedback Using RFM Multidimensional Analysis)

  • 이재성;김재영;강병욱
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.139-161
    • /
    • 2019
  • 전자상거래 시장의 이용이 보편화 되며 고객들에게 좋은 품질의 물건을 어디서, 얼마나 합리적으로 구매할 수 있는지가 중요해졌다. 이러한 구매 심리의 변화는 방대한 정보 속에서 오히려 고객들의 구매 의사결정을 어렵게 만드는 경향이 있다. 이때 추천 시스템은 고객의 구매 행동을 분석하여 정보 검색에 드는 비용을 줄이고 만족도를 높이는 효과가 있다. 하지만 대부분 추천 시스템은 책이나 영화 등 동종 상품 분류 내에서만 추천이 이뤄진다. 왜냐하면 추천 시스템은 특정 상품에 매긴 구매 평점 데이터를 기반으로 해당 상품 분류 내 유사한 상품에 대한 구매 만족도를 추정하기 때문이다. 그밖에 추천 시스템에서 사용하는 구매 평점의 신뢰성에 대한 문제도 제시되고 있으며 오프라인에선 평점 확보 자체가 어렵다. 이에 본 연구에서는 일련의 문제를 개선하기 위해 RFM 다차원 분석 기법을 활용하여 기존에 사용하던 고객의 구매 평점을 객관적으로 대체할 수 있는 새로운 지표의 활용 가능성을 제안하는 바이다. 실제 기업의 구매 이력 데이터에 해당 지표를 적용해서 검증해본 결과 높게는 약 55%에 해당하는 정확도를 기록했다. 이는 총 4,386종에 달하는 이종 상품들 중 한번도 이용해 본 적 없는 상품을 추천한 결과이기 때문에 검증 결과는 상대적으로 높은 정확도와 활용가치를 의미한다. 그리고 본 연구는 오프라인의 다양한 상품데이터에서도 적용할 수 있는 범용적인 추천 시스템의 가능성을 시사한다. 향후 추가적인 데이터를 확보한다면 제안하는 추천 시스템의 정확도 향상도 기대할 수 있다.

미래전을 대비한 한국군 발전방향 제언: 미국의 모자이크전 수행개념 고찰을 통하여 (A Proposal for Korean armed forces preparing toward Future war: Examine the U.S. 'Mosaic Warfare' Concept)

  • 장진오;정재영
    • 해양안보
    • /
    • 제1권1호
    • /
    • pp.215-240
    • /
    • 2020
  • 2017년 8월 미(美) 국방성 산하 DARPA(Defense Advanced Research Projects Agency)는 "모자이크전(mosaic warfare)"이라는 새로운 전투방식을 제안하였다. DARPA의 전략기술국장(Director of Strategic Technology Office) Timothy Grayson에 따르면 모자이크전이란 "지정된 위치에 딱 들어맞아야 제 역할을 할 수 있는 특정 모양의 "퍼즐조각(puzzle pieces, 특정임무가 지정된 플랫폼)"이 아니라 호환 가능한 "타일(tile, 센서 및 타격 기능)"이 복합체계로 구성된 전투방식"이다. 모자이크전 이론 및 최근 동향을 살펴보기에 앞서, 모자이크전에 대한 배경과 몇 가지 핵심전제를 분석하였다. 미 국방성은 중국 A2/AD에 대한 자국 자산의 방호가 극도로 제한된다는 점을 암묵적으로 인정하고 있다. 또한 미국은 여전히 다른 나라의 영토와 영공에서도 완전한 군사적 우위를 추구하고자 한다. 미국은 모자이크전을 통한 재빠른 전투손실 회복력, 인명피해 최소화로 대량의 물량이 필요한 소모전도 감수할 수 있을 것이다. 모자이크전의 핵심은 "의사결정 중심전(Decision Centric Warfare)"이다. 이를 구현하기 위해 아군에게는 적응력과 융통성을, 적에게는 복잡성과 불확실성을 제공하는 것으로, 인간의 "지휘(command)"와 기계의 "통제(control)"를 결합·활용하여 분산된 전력의 신속한 구성 및 재구성한다. 이를 통해 우군에게 더 많은 방책을 제공하고, 궁극적으로 상대의 의사결정 체계(OODA loop)를 붕괴시킨다. 이런 모자이크전 수행을 위한 핵심 요소는 적응형 킬웹(Adaptable kill web), 조합형 전력 패키지, 인공지능, 상황중심 C3 구조 등이 있다. 최근 CSBA(Center for Strategic and Budgetary Assessments)에서는 모자이크전의 의사결정과 관련하여 의미 있는 워게임 결과를 발표했다. 전통적인 전투수행 조직/방식(전통적 팀)과 모자이크전 수행방식의 팀(모자이크팀)간 분명한 차이점이 발견되었는데, 모자이크팀에서 더 많은 동시다발적 작전 수행 및 복잡성으로 상대의 의사결정 체계를 압도하고, 우군의 인명손실은 적었다. 또한 우군의 의사결정 속도를 증가시켜 지휘관 작전적 템포를 보다 신속하게 할 수 있었다. 한국군의 발전방향으로 우선 우리 안보환경을 고려한 '모자이크전'에 대한 연구와 발전이 필요하다. 미래전에 대비하여 영역에 상관없이 전력을 조합할 수 있는 전반적 군 구조를 검토해야 한다. 제한된 국방재원과 예산을 고려하여 선택과 집중이 필요하며, 주변국의 미래전 발전 동향에 대해 예의주시해야 한다.

  • PDF

해양 이상 자료 탐지를 위한 오토인코더 활용 기법 최적화 연구 (An Outlier Detection Using Autoencoder for Ocean Observation Data)

  • 김현재;김동훈;임채욱;신용탁;이상철;최영진;우승범
    • 한국해안·해양공학회논문집
    • /
    • 제33권6호
    • /
    • pp.265-274
    • /
    • 2021
  • 해양 이상 자료 탐지의 연구는 이전부터 활발하게 이루어지고 있으며, 통계 및 거리 기반의 기계 학습 알고리즘을 활용하는 기법들이 개발되었다. 최근에는 AI 기반의 해양 자료 이상 탐지 기법이 많은 관심을 받고 있으며, AI를 활용한 해양 이상 자료 탐지 기법은 정답이 주어지는 지도학습 기법이 주를 이루고 있다. 이러한 방법은 학습에 필요한 모든 자료에 수작업으로 분류 정보(라벨)를 지정해야 한다는 점에서 많은 시간과 비용이 요구된다. 본 연구에서는 이러한 문제를 극복하기 위해 비지도학습 기반의 오토인코더를 이상 자료 탐지 기법에 사용하였다. 실험으로는 오토인코더의 평가를 위해 단변수·다변수학습 두가지 실험을 구성하였고, 단변수 학습은 기상청에서 제공하는 덕적도 부이 정점 관측 자료 중 수온만 사용하였으며, 다변수 학습은 수온과 기온, 풍향, 풍속, 기압, 습도 등을 사용하였다. 사용기간은 1996~2020년의 25년간이며 학습 자료에 해양-기상 자료의 특성을 고려한 전처리 기법을 적용하였다. 학습된 다변수와 단변수 오토인코더를 활용하여 실제 표층 수온에 대한 이상 탐지를 시도하였다. 모델성능 비교를 위해 오차를 삽입한 합성 자료에 다변수와 단변수 오토인코더를 포함한 여러 이상 탐지 기법을 적용하여 정량적으로 평가하였으며, 다변수/단변수의 정확도가 각각 약 96%/91%로써 다변수 오토인코더가 더 나은 이상자료 탐지 성능을 보였다. 오토인코더를 이용한 비지도학습 기반 이상 탐지 기법은 주관적 판단에 의한 오류와 자료 라벨링에 필요한 시간과 비용을 줄일 수 있다는 점에서 다양하게 활용될 것으로 판단된다.

KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용 (KB-BERT: Training and Application of Korean Pre-trained Language Model in Financial Domain)

  • 김동규;이동욱;박장원;오성우;권성준;이인용;최동원
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.191-206
    • /
    • 2022
  • 대량의 말뭉치를 비지도 방식으로 학습하여 자연어 지식을 획득할 수 있는 사전학습 언어모델(Pre-trained Language Model)은 최근 자연어 처리 모델 개발에 있어 매우 일반적인 요소이다. 하지만, 여타 기계학습 방식의 성격과 동일하게 사전학습 언어모델 또한 학습 단계에 사용된 자연어 말뭉치의 특성으로부터 영향을 받으며, 이후 사전학습 언어모델이 실제 활용되는 응용단계 태스크(Downstream task)가 적용되는 도메인에 따라 최종 모델 성능에서 큰 차이를 보인다. 이와 같은 이유로, 법률, 의료 등 다양한 분야에서 사전학습 언어모델을 최적화된 방식으로 활용하기 위해 각 도메인에 특화된 사전학습 언어모델을 학습시킬 수 있는 방법론에 관한 연구가 매우 중요한 방향으로 대두되고 있다. 본 연구에서는 금융(Finance) 도메인에서 다양한 자연어 처리 기반 서비스 개발에 활용될 수 있는 금융 특화 사전학습 언어모델의 학습 과정 및 그 응용 방식에 대해 논한다. 금융 도메인 지식을 보유한 언어모델의 사전학습을 위해 경제 뉴스, 금융 상품 설명서 등으로 구성된 금융 특화 말뭉치가 사용되었으며, 학습된 언어 모델의 금융 지식을 정량적으로 평가하기 위해 토픽 분류, 감성 분류, 질의 응답의 세 종류 자연어 처리 데이터셋에서의 모델 성능을 측정하였다. 금융 도메인 말뭉치를 기반으로 사전 학습된 KB-BERT는 KoELECTRA, KLUE-RoBERTa 등 State-of-the-art 한국어 사전학습 언어 모델과 비교하여 일반적인 언어 지식을 요구하는 범용 벤치마크 데이터셋에서 견줄 만한 성능을 보였으며, 문제 해결에 있어 금융 관련 지식을 요구하는 금융 특화 데이터셋에서는 비교대상 모델을 뛰어넘는 성능을 보였다.

선박 갑판에서 이미지 기반 이동로봇 주행에 관한 연구 (A Study on Image-Based Mobile Robot Driving on Ship Deck)

  • 김선덕;박경민;왕승열
    • 해양환경안전학회지
    • /
    • 제28권7호
    • /
    • pp.1216-1221
    • /
    • 2022
  • 선박은 화물 운송의 효율을 증대시키기 위해 대형화되는 추세이다. 선박 대형화는 선박 작업자의 이동시간 증가, 업무 강도 증가 및 작업 효율 저하 등으로 이어진다. 작업 업무 강도 증가 등의 문제는 젊은 세대의 고강도 노동 기피 현상과 맞물러 젊은 세대의 노동력 유입을 감소시키고 있다. 또한 급속한 인구 노령화도 젊은 세대의 노동력 유입 감소와 복합적으로 작용하면서 해양산업 분야의 인력 부족 문제는 극심해지는 추세이다. 해양산업 분야는 인력 부족 문제를 극복하기 위해 지능형 생산설계 플랫폼, 스마트 생산 운영관리 시스템 등의 기술을 도입하고 있으며, 스마트 자율물류 시스템도 이러한 기술 중의 하나이다. 스마트 자율물류 시스템은 각종 물품들을 지능형 이동로봇을 활용하여 전달하는 기술로서 라이다, 카메라 등의 센서를 활용해 로봇 스스로 주행이 가능하도록 하는 것이다. 이에 본 논문에서는 이동로봇이 선박 갑판의 통행로를 감지하여 stop sign이 있는 곳까지 자율적으로 주행할 수 있는지를 확인하였다. 자율주행은 Nvidia의 End-to-end learning을 통해 학습한 데이터를 기반으로, 이동로봇에 장착된 카메라를 통해 선박 갑판의 통행로를 감지하여 수행하였다. 이동로봇의 정지는 SSD MobileNetV2를 이용하여 stop sign을 확인하여 수행하였다. 실험은 약 70m 거리의 선박 갑판 통행로를 이동로봇이 이탈 없이 주행 후 stop sign을 확인하여 정지하는지를 5회 반복 실험하였으며, 실험 결과 경로이탈 없이 주행하는 결과를 얻을 수 있었다. 이 결과를 적용한 스마트 자율물류 시스템이 산업현장에 적용된다면 작업자가 작업 시 안정성, 노동력 감소, 작업 효율이 향상될 것으로 사료된다.

차원축소를 활용한 해외제조업체 대상 사전점검 예측 모형에 관한 연구 (Preliminary Inspection Prediction Model to select the on-Site Inspected Foreign Food Facility using Multiple Correspondence Analysis)

  • 박혜진;최재석;조상구
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.121-142
    • /
    • 2023
  • 수입식품의 수입 건수와 수입 중량이 꾸준히 증가함에 따라 식품안전사고 방지를 위한 수입식품의 안전관리가 더욱 중요해지고 있다. 식품의약품안전처는 통관단계의 수입검사와 더불어 통관 전 단계인 해외제조업소에 대한 현지실사를 시행하고 있지만 시간과 비용이 많이 소요되고 한정된 자원 등의 제약으로 데이터 기반의 수입식품 안전관리 방안이 필요한 실정이다. 본 연구에서는 현지실사 전 부적합이 예상되는 업체를 사전에 선별하는 기계학습 예측 모형을 마련하여 현지실사의 효율성을 높이고자 하였다. 이를 위해 통합식품안전정보망에 수집된 총 303,272건의 해외제조가공업소 기본정보와 2019년도부터 2022년 4월까지의 현지실사 점검정보 데이터 1,689건을 수집하였다. 해외제조가공업소의 데이터 전처리 후 해외 제조업소_코드를 활용하여 현지실사 대상 데이터만 추출하였고, 총 1,689건의 데이터와 103개의 변수로 구성되었다. 103개의 변수를 테일유(Theil-U) 지표를 기준으로 '0'인 변수들을 제거하였고, 다중대응분석(Multiple Correspondence Analysis)을 적용해 축소 후 최종적으로 49개의 특성변수를 도출하였다. 서로 다른 8개의 모델을 생성하고, 모델 학습 과정에서는 5겹 교차검증으로 과적합을 방지하고, 하이퍼파라미터를 조정하여 비교 평가하였다. 현지실사 대상업체 선별의 연구목적은 부적합 업체를 부적합이라고 판정하는 확률인 검측률(recall)을 최대화하는 것이다. 머신러닝의 다양한 알고리즘을 적용한 결과 Recall_macro, AUROC, Average PR, F1-score, 균형정확도(Balanced Accuracy)가 가장 높은 랜덤포레스트(Random Forest)모델이 가장 우수한 모형으로 평가되었다. 마지막으로 모델에 의해서 평가된 개별 인스턴스의 부적합 업체 선정 근거를 제시하기 위해 SHAP(Shapley Additive exPlanations)을 적용하고 현지실사 업체 선정 시스템에의 적용 가능성을 제시하였다. 본 연구결과를 바탕으로 데이터에 기반한 과학적 위험관리 모델을 통해 수입식품 관리체계의 구축으로 인력·예산 등 한정된 자원의 효율적 운영방안 마련에 기여하길 기대한다.

미국 프로농구(NBA)의 플레이오프 진출에 영향을 미치는 주요 변수 예측: 3점과 턴오버 속성을 중심으로 (Prediction of Key Variables Affecting NBA Playoffs Advancement: Focusing on 3 Points and Turnover Features)

  • 안세환;김영민
    • 지능정보연구
    • /
    • 제28권1호
    • /
    • pp.263-286
    • /
    • 2022
  • 본 연구는 웹 크롤링을 이용하여 1990년부터 2022년까지 총 32개년에 해당하는 NBA 통계 정보를 획득하고, 탐색적 데이터 분석을 통해 관심 변수를 관찰하고 관련된 파생변수를 생성한다. 입력 데이터에 대한 정제 과정을 거쳐 무의미한 변수들을 제거하고, 남은 변수에 대한 상관관계 분석, t 검정 및 분산분석을 수행하였다. 관심 변수에 대해 플레이오프 진출/미진출 그룹 간 평균의 차이를 검정하였고, 이를 보완하기 위해 순위를 기준으로 하는 3개 집단(상위/중위/하위) 간 평균 차이를 재확인하였다. 입력 데이터 중 올해 시즌 데이터만을 테스트 세트로 활용하였고, 모델 훈련을 위해서는 훈련 세트와 검증 세트를 분할하여 5-fold 교차검증을 수행하였다. 교차검증 결과와 시험 세트를 이용한 최종 분석 결과를 비교하여 성능 지표에서 차이가 없음을 확인함으로써 과적합 문제를 해결하였다. 원시 데이터의 품질 수준이 높고, 통계적 가정을 만족하기 때문에 적은 수준의 데이터 세트임에도 불구하고 대부분 모델에서 좋은 결과를 나타냈다. 본 연구는 단순히 머신러닝을 이용하여 NBA의 경기 결과를 예측하거나 플레이오프 진출 여부만을 분류하는 것에서 그치지 않고, 입력 특성의 중요도를 파악하여 높은 중요도를 갖는 주요 변수에 본 연구의 관심 대상 변수가 포함되는지를 확인하였다. Shap value의 시각화를 통해 특성 중요도의 결과만으로 해석할 수 없었던 한계를 극복하고, 변수의 진입/제거 과정에서 중요도 산출에 일관성이 부족하다는 점을 보완할 수 있었다. 본 연구에서 관심 대상으로 분류했던 3점 및 실책과 관련된 다수의 변수가 미국 프로농구에서의 플레이오프 진출에 영향을 미치는 주요 변수에 포함되는 것으로 나타났다. 본 연구는 기존의 스포츠 데이터 분석 분야에서 다루었던 경기 결과, 플레이오프 및 우승 예측 등의 주제를 포함하고 분석을 위해 여러 머신러닝 모델을 비교 분석했다는 점에서 유사성이 있지만, 사전에 관심 속성을 설정하고, 이를 통계적으로 검증함으로써 머신러닝 분석 결과와 비교하였다는 측면에서 차이가 있다. 또한 XAI 모델 중 하나인 SHAP를 이용하여 설명 가능한 시각화 결과를 제시함으로써 기존 연구와 차별화하였다.

전통문화 이미지를 위한 세부 자질 주목형 이미지 자동 분석기 (Detail Focused Image Classifier Model for Traditional Images)

  • 김규경;허윤아;김경민;유원희;임희석
    • 한국융합학회논문지
    • /
    • 제8권12호
    • /
    • pp.85-92
    • /
    • 2017
  • 이 논문에서는 최근 전통문화의 늘어나는 콘텐츠와 대조적으로 전통문화에 대한 접근성이 떨어지는 점에 주목하여 이러한 콘텐츠의 접근성의 향상을 위해 지속된 관리와 연구를 위하여 전통문화 이미지를 위한 이미지 자동 분석기를 소개한다. 이 논문에서 소개하는 이미지 자동 분석기는 인공신경망을 기반으로 입력 이미지의 자질들을 벡터스페이스로 변환하여 이를 RNN 기반의 모델을 통하여 세부 자질들을 파악하여 전통문화 이미지의 분류를 행한다. 이러한 방법을 통하여 전체적으로 비슷하게 보이는 전통문화 이미지들의 분류를 가능케 한다. 해당 모델의 훈련을 위하여 한민족정보문화마당 기반의 형식을 토대로 넓은 폭의 이미지 데이터를 수집 및 정리하여 차후 전통문화 이미지 관련 분야에서 사용할 수 있는 데이터셋의 구축에 기여를 하였다. 또한 이러한 연구가 최종적으로 전통문화와 관련된 수요, 공급 및 연구가 한층 더 활발해지는 것에 기여를 한다.

LDA 기반 은닉 토픽 추론을 이용한 TV 프로그램 자동 추천 (Automatic TV Program Recommendation using LDA based Latent Topic Inference)

  • 김은희;표신지;김문철
    • 방송공학회논문지
    • /
    • 제17권2호
    • /
    • pp.270-283
    • /
    • 2012
  • 다채널 TV, IPTV 및 Smart TV 서비스의 등장으로 인해 수많은 방송 채널과 방대한 TV 프로그램 콘텐츠가 시청자 단말로 제공됨으로써 시청자들은 자신이 원하는 콘텐츠를 쉽게 찾고 소비하는 것이 어려운 TV 시청 환경을 맞게 되었다. 따라서 TV 사용자들에게 자신이 선호하는 콘텐츠를 자동 추천해 줌으로써 원하는 콘텐츠로의 접근성을 증대시키는 것은 미래의 지능형 TV 서비스에 있어서 주요한 이슈이다. 이에 본 논문에서는 사용자의 선호 취향과 대중의 선호취향을 모두 고려한 협업필터링 개념의 통계적 기계학습 기반 TV 프로그램 추천 모델을 제시한다. 이를 위해 시청한 TV 콘텐츠에 대한 선호 토픽을 사용자의 시청 선호도로 보고, 최근 널리 활용되고 있는 LDA(Latent Dirichlet Allocation)모델을 TV 프로그램 추천 모델에 적용하였다. LDA 기반 TV 프로그램 추천 성능을 개선하기 위해 본 논문에서는 TV시청 이용내역 데이터를 기반으로, TV 사용자들의 관심 토픽을 은닉 변수로 하고, TV 사용자들의 관심 토픽에 대한 다양성을 반영하기 위해 은닉 변수의 확률분포 특성을 비대칭 디리클레(Dirichlet) 분포로 모형화하여 실험에 적용하였다. 제안된 LDA 기반 TV 프로그램 자동 추천 방법의 성능을 검증하기 위해, 유사 시청 특성을 갖는 사용자 그룹에 대해 상위 5개의 TV 프로그램을 일주일 단위로 추천하였을 경우 평균 66.5%, 2개월 단위의 추천에 대해서는 평균 77.9%의 precision 추천 성능을 확인할 수 있었다.