• 제목/요약/키워드: Corpus analysis

검색결과 419건 처리시간 0.033초

KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용 (KB-BERT: Training and Application of Korean Pre-trained Language Model in Financial Domain)

  • 김동규;이동욱;박장원;오성우;권성준;이인용;최동원
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.191-206
    • /
    • 2022
  • 대량의 말뭉치를 비지도 방식으로 학습하여 자연어 지식을 획득할 수 있는 사전학습 언어모델(Pre-trained Language Model)은 최근 자연어 처리 모델 개발에 있어 매우 일반적인 요소이다. 하지만, 여타 기계학습 방식의 성격과 동일하게 사전학습 언어모델 또한 학습 단계에 사용된 자연어 말뭉치의 특성으로부터 영향을 받으며, 이후 사전학습 언어모델이 실제 활용되는 응용단계 태스크(Downstream task)가 적용되는 도메인에 따라 최종 모델 성능에서 큰 차이를 보인다. 이와 같은 이유로, 법률, 의료 등 다양한 분야에서 사전학습 언어모델을 최적화된 방식으로 활용하기 위해 각 도메인에 특화된 사전학습 언어모델을 학습시킬 수 있는 방법론에 관한 연구가 매우 중요한 방향으로 대두되고 있다. 본 연구에서는 금융(Finance) 도메인에서 다양한 자연어 처리 기반 서비스 개발에 활용될 수 있는 금융 특화 사전학습 언어모델의 학습 과정 및 그 응용 방식에 대해 논한다. 금융 도메인 지식을 보유한 언어모델의 사전학습을 위해 경제 뉴스, 금융 상품 설명서 등으로 구성된 금융 특화 말뭉치가 사용되었으며, 학습된 언어 모델의 금융 지식을 정량적으로 평가하기 위해 토픽 분류, 감성 분류, 질의 응답의 세 종류 자연어 처리 데이터셋에서의 모델 성능을 측정하였다. 금융 도메인 말뭉치를 기반으로 사전 학습된 KB-BERT는 KoELECTRA, KLUE-RoBERTa 등 State-of-the-art 한국어 사전학습 언어 모델과 비교하여 일반적인 언어 지식을 요구하는 범용 벤치마크 데이터셋에서 견줄 만한 성능을 보였으며, 문제 해결에 있어 금융 관련 지식을 요구하는 금융 특화 데이터셋에서는 비교대상 모델을 뛰어넘는 성능을 보였다.

배란유도주기에 따른 초음파검사와 기초체온표의 비교분석 (A Comparative Analysis of Basal Body Temperature to Ultrasound, as a Method of Ovulation Detection in Induced Ovulatory Menstrual Cycles)

  • 최욱;서병희;이재현
    • Clinical and Experimental Reproductive Medicine
    • /
    • 제12권2호
    • /
    • pp.25-37
    • /
    • 1985
  • Four points on the basal body temperature (B.B.T.) curve was correlated with the estimated time of ovulation, as determined by serial ultrasound in 50 induced menstrual cycles from 22 subjects. The time of ovulation was estimated by measuring the maximal diameter of follicles and observing the morphologic changes within the ovary from follicle to corpus luteum. The results were as following; 1. The diameter of the follicle measured at the day before disappearance was 21.1 mm on an average (S.D.: 2.14). The average follicular growth for 4 days before ovulation was measured at a rate of 2.8 mm/day, and rapid growth of follicle was observed 3.1 mm/day at the day before. 2. The changes associated with rupture of the follicles were the followings, in order of frequency; decrease in size(94%), disappearance of follicles(64%), fluid in the Cul-de-Sac(26%) and increased internal echoes(16%). 3. Only 20 of 50 cycles, exhibited a BBT dip and correlated with the estimated time of ovulation by ultrasound in 2 of which cases(10%). BBT nadir, 30 of 50 cycles, correlated in 5(16.7%). The first day of hyperthermic plateau(FDHP) and BBT coverline was exhibited in all cycles, correlated in 41(82%) and 35(70%) cases. 4. The relationship between the diameter of dominant dominant follicle, measured by ultrasound, and the basal body temperature curve were as following. During cycles in which dip was observed on the BBT curve, the follicular diameter were 10.5${\pm}$2.12 mm on 4 days prior to the point (D-4), and 12.5${\pm}$2.12 mm (D-3), 15.5${\pm$2.12 mm (D-2), 17.0${\pm}$1.41 mm (D-1) and 21.5${\pm}$2.12 mm just prior to the dip (D-0). In the nadir; 9.6${\pm}$1.67 mm (N-4), 12.8${\pm}$1.79 mm (N-3), 16.2${\pm}$1.92 mm (N-2), 18.2${\pm}$2.17 mm (N-1) and 21.4${\pm}$2.61 mm (N-0). In the First day of Hyperthemic Plateau (FDHP); 9.8${\pm}$1.36 mm (F-4), 12.4${\pm}$1.41 mm (F-3),15.1${\pm}$1.57 mm (F-2), 18.1${\pm}$1.67 mm (F-1) and 21.2${\pm}$2.25 mm (F-0). In the BBT coverline endopint; 9.9${\pm}$.39 mm (C-4), 12.5 ${\pm}$1.44 mm (C-3), 15.2${\pm}$1.64 mm (C-2), 18.0 ${\pm}$1.69 mm (C-1), and 21.2${\pm}$2.31 mm (C-0). 5. The relationship between the ultrasonographic signs of ovulation and the basal body temperature curve were as following. The BBT dip correlated with the ovulation in 2 cases, which revealed decrease in follicular diameter (100%), fluid pattem in the Cul-de-Sac (1 case, 50%) and complete disappearance of follicle (1 case, 50%). In the nadir (5 cases); the ultrasonographic signs of ovulation were decrease in follicular diameter (5 cases, 100%), fluid pattern in the Cul-de-Sac (1 case, 20%) and complete disappearance of follicle (3 cases, 60%). In the First day of Hyperthermic Plateau (41 cases); decrease in follicular diameter (40 cases, 97.6%), fluid pattern in the Cul-de-Sac (11 cases, 26.8%), appearance of internal echo and thickening of the wall (6 cases, 14.6%) and com plete disappearance of follicle (28 cases, 68.3%). In the BBT coverline endpoint (35 cases); decrease in follicular diameter (33 cases, 94.3%), fluid pattern in the Cul-de Sac (9 cases, 25.7%), appearance of internal echo and thickening of the wall (5 cases 14.3%) and complete disappearance of follicle (20 cases, 57.1%).

  • PDF

우수리땃쥐 Crocidura lasiura의 치아 마모에 의한 연령결정과 번식의 계절적 변이의 조직학적 분석 (Age Determination by Tooth Wear and Histological Analysis of Seasonal Variation of Breeding in the Big White-Toothed Shrew, Crocidura lasiura)

  • 정순정;윤명희;최정미;김현대;임도선;박진주;최백동;정문진
    • Applied Microscopy
    • /
    • 제40권1호
    • /
    • pp.37-45
    • /
    • 2010
  • 포획된 야생의 우수리땃쥐 Crocidura lasiura는 구치의 마모와 높이를 이용하여 3개의 연령군으로 분류하였고 번식과 생식기관의 계절적 변이를 조사하였다. 유수들은 구치에서 마모를 가지지 않았고 세 번째 구치 높이가 첫 번째와 두 번째 구치보다 낮았고 비번식상태만을 가졌다. 아성수들은 약간의 마모를 가졌고 세 번째 구치가 첫 번째와 두 번째 구치 높이에 도달했고 성수들은 구치에 깊은 마모를 가졌으며 아성수와 성수는 계절에 따라 번식 혹은 비번식상태를 가졌다. 조직학적 관찰을 근거로 아성수와 성수 수컷의 번식상태는 2월 초에서 10월 초까지 유지되었고 4월에 가장 높은 번식활동을 보였으며 암컷의 번식 상태는 3월 말에서 10월까지 유지되어, 수컷이 암컷보다 빨리 성적 성숙에 이르는 것으로 밝혀졌다. 반면 번식상태는 비번식기 동안 중단되며 이것은 식량자원인 토양 무척추동물의 부족때문이라 생각된다. 번식기의 아성수와 성수들은 많은 생식세포들로 채워진 확장된 세정관을 가지는 큰 정소와 많은 정자들을 가진 팽창된 부정소 미부를 가졌고 10.0 g 이상의 몸무게와 0.03 g 이상의 정소와 부정소 무게를 가졌다. 번식기의 암컷들은 4~6개의 새끼를 가진 임신상태이거나 난소에 성숙난포들과 황체를 가졌고 9.6 g 이상의 몸무게를 가졌다.

이질성 학습을 통한 문서 분류의 정확성 향상 기법 (Improving the Accuracy of Document Classification by Learning Heterogeneity)

  • 윌리엄;현윤진;김남규
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.21-44
    • /
    • 2018
  • 최근 인터넷 기술의 발전과 함께 스마트 기기가 대중화됨에 따라 방대한 양의 텍스트 데이터가 쏟아져 나오고 있으며, 이러한 텍스트 데이터는 뉴스, 블로그, 소셜미디어 등 다양한 미디어 매체를 통해 생산 및 유통되고 있다. 이처럼 손쉽게 방대한 양의 정보를 획득할 수 있게 됨에 따라 보다 효율적으로 문서를 관리하기 위한 문서 분류의 필요성이 급증하였다. 문서 분류는 텍스트 문서를 둘 이상의 카테고리 혹은 클래스로 정의하여 분류하는 것을 의미하며, K-근접 이웃(K-Nearest Neighbor), 나이브 베이지안 알고리즘(Naïve Bayes Algorithm), SVM(Support Vector Machine), 의사결정나무(Decision Tree), 인공신경망(Artificial Neural Network) 등 다양한 기술들이 문서 분류에 활용되고 있다. 특히, 문서 분류는 문맥에 사용된 단어 및 문서 분류를 위해 추출된 형질에 따라 분류 모델의 성능이 달라질 뿐만 아니라, 문서 분류기 구축에 사용된 학습데이터의 질에 따라 문서 분류의 성능이 크게 좌우된다. 하지만 현실세계에서 사용되는 대부분의 데이터는 많은 노이즈(Noise)를 포함하고 있으며, 이러한 데이터의 학습을 통해 생성된 분류 모형은 노이즈의 정도에 따라 정확도 측면의 성능이 영향을 받게 된다. 이에 본 연구에서는 노이즈를 인위적으로 삽입하여 문서 분류기의 견고성을 강화하고 이를 통해 분류의 정확도를 향상시킬 수 있는 방안을 제안하고자 한다. 즉, 분류의 대상이 되는 원 문서와 전혀 다른 특징을 갖는 이질적인 데이터소스로부터 추출한 형질을 원 문서에 일종의 노이즈의 형태로 삽입하여 이질성 학습을 수행하고, 도출된 분류 규칙 중 문서 분류기의 정확도 향상에 기여하는 분류 규칙만을 추출하여 적용하는 방식의 규칙 선별 기반의 앙상블 준지도학습을 제안함으로써 문서 분류의 성능을 향상시키고자 한다.

작은땃쥐 Crocidura suaveolens의 치아 마모에 의한 연령결정과 번식의 계절적 변이의 조직학적 분석 (Age Determination by Tooth Wear and Histological Analysis of Seasonal Variation of Breeding in the Lesser White-Toothed Shrew, Crocidura suaveolens)

  • 정순정;윤명희;김숙향;함주현;임도선;최백동;박진주;정문진
    • Applied Microscopy
    • /
    • 제40권3호
    • /
    • pp.125-132
    • /
    • 2010
  • 작은땃쥐 Crocidura suaveolens는 치아 마모도를 이용하여 3개의 연령군으로 분류하였고 생식기관의 계절적 변이를 조사하였다. 유수들의 구치는 치아 마모를 보이지 않았고 세 번째 구치의 높이가 첫 번째와 두 번째 구치보다 낮았으며, 아성수는 약간의 치아 마모를 보였고 세 번째 구치의 높이가 첫 번째와 두 번째 구치의 높이에 이르렀고, 성수들은 깊은 치아 마모를 보였으며 세 번째 구치 높이 역시 첫 번째와 두 번째의 구치에 도달하였다. 조직학적 조사를 근거로, 번식의 계절적 변이가 명확해졌으며, 수컷 성수의 번식 상태는 2월 초에서 10월 초까지 유지되었고 4월과 7월에 가장 높은 번식 활동을 보였고 비번식기는 10월 중순에서 1월 말까지였다. 번식기에 포획된 아성수와 성수 수컷은 다양한 생식세포들로 채워진 확장된 세정관을 가진 큰 정소와 많은 정자들을 가진 팽창된 부정소 미부를 가졌고 비번식기에 포획된 아성수와 성수 수컷들은 정원세포만으로 채워진 가늘어진 세정관을 가진 작은 정소와 정자를 가지지 않는 감소된 부정소를 가졌다. 몸무게가 3.9g 이상이고 정소와 부정소 무게가 0.013 g 이상인 수컷은 번식기에 성적 성숙에 도달하였고, 몸무게가 3.8 g 이상이고 번식기에 포획된 암컷들은 5~6마리의 새끼를 가진 임신상태이거나 난소에 성숙난포들과 황체를 가지고 있었다.

한우 난소의 Follicular Fluid의 특징과 과립막 세포의 스테로이드호르몬 분비에 대한 Anti-Inhibin Serum의 첨가효과 (Effects of Characteristics of Ovarian follicular Fluid and Ant-Inhibin Serum on Steroid Hormone Secretion by Hanwoo Granulosa Cells In Vitro)

  • 성환후;민관식;양병철;노환국;최선호;임기순;장유민;박성재;장원경
    • 한국가축번식학회지
    • /
    • 제25권2호
    • /
    • pp.119-124
    • /
    • 2001
  • 본 연구는 한우 난포발달에 있어서 난포액 및 inhibin의 생리적 역할을 검토하기 위해 수행되었다. Anti-inhibin serum(AI)생산을 위해 사용된 항원은 porcine inhibin-$\alpha$-subunit 19~32의 peptide를 사용하여 adjuvant 용액을 혼합, 앙고라종 토끼 5두(체중 2.5kg)에게 주 2회 간격으로 면역 실시 후 52일째의 토끼로부터 항혈청을 생산하였다. 과립막 세포의 체외배양을 위해 D-MEM(10% FCS와 antibiotics를 첨가)을 배양액으로 하여 1$\times$$10^{6}$ cells/$m\ell$로 조절하였으며, 호르몬은 RIA 및 ELISA법으로 분석하였다. Western blotting법에 의해 과립막 세포 및 황체조직의 각 세포질을 SDS-PAGE로 분리하여 nitro cellulose membrane에 transfer하여 검토한 결과, 직경 1.0 cm의 성숙 난포의 granulosa cell의 세포질에서 특이하게 Inhibin이 존재하고 있음이 확인되었으나, 황체조직 및 성숙 난포에서는 검출되지 않았다. 난포 크기별 난포액의 progesterone 및 estradiol-17$\beta$을 농도를 분석한 결과, estradiol-17$\beta$농도는 난포 크기가 직경 2.0 cm부터 유의적으로 높았으나 난포 크기가 적을수록 감소되었다. 이에 반해, Progesterone 농도는 직경 2.0 cm 난포에서 가장 높았으며 난포 크기가 적을수록 낮았다. 과립막 세포의 48시간 체외배양에서 bFF 5% 처리구와 bFF 5%+AI 5% 처리구에서는 progesterone은 대조구보다 유의적으로 억제되었으나, AI 5% 단독 처리구에서는 대조구와 큰 차이가 없었다. 또한, estradiol-17$\beta$농도는 5% AI구와 5% AI+5% bFF 처리구에서는 대조구에 비해 증가하였다. 그러나, 5% bFF 단독처리구에서는 대조구와 큰 차이가 없었다. 이상의 결과로, 한우에 있어서 성숙난포에 존재하는 Inhibin은 AI처리에 의해 내인성 Inhibin의 기능이 약하되어 FSH분비를 조절하는 역할을 함으로써 난포발달 및 난포세포의 스테로이드호르몬합성에 중요하게 관여하고 있는 것으로 사료된다.

  • PDF

의미간의 유사도 연구의 패러다임 변화의 필요성-인지 의미론적 관점에서의 고찰 (The Need for Paradigm Shift in Semantic Similarity and Semantic Relatedness : From Cognitive Semantics Perspective)

  • 최영석;박진수
    • 지능정보연구
    • /
    • 제19권1호
    • /
    • pp.111-123
    • /
    • 2013
  • 개념간의 의미적 유사도 및 관계도(Semantic Similarity/Relatedness)를 구하는 연구는 고전적인 연구에서는 데이터 베이스 통합이나 시스템 통합, 그리고 현대의 연구에 있어서는 태그 및 키워드 추출, 연관 단어 추천 등에 걸쳐 다양한 분야에서 활용되어 온 연구이다. 그 연구는 역사가 오래되었을 뿐만 아니라, 경영정보와 컴퓨터 공학, 계산 언어학에 걸쳐 여러 분야에서도 많은 관심을 가져왔던 연구 분야라고 할 수 있다. 그러나, 지금까지의 개념간의 관계도 계산 방식은 미리 만들어진 사전이나 참조할 수 있는 다른 시맨틱 네트워크(Semantic Network)를 이용하여 계산하는 방법이 주를 이루었다. 이러한 접근 방법의 경우, 개념간의 의미적 관계가 변화에 대한 가능성을 고려하지 않는 것이 일반적이다. 하지만, 정보 기술의 발달과 빠른 사회변화는 개념간의 의미관계 등에 변화를 가져오고 있는 것이 현실이다. 사회적으로 일어나는 사건이나, 문화적 변화 등이 개념간의 의미관계를 변화시키는 것을 물론이며, 이러한 변화가 정보 통신 기술의 도움으로 빠르게 공유되고 있다. 이렇게 개념간의 의미 관계가 시간이나 맥락에 따라 빠르게 변화할 수 있는 가능성이 있음에도 불구하고, 기존의 개념간 의미적 유사도 및 관계도에 대한 연구들은 이러한 '의미관계의 변화'에 대한 새로운 문제에 대해 해답을 제시하지 못한 것이 사실이다. 따라서, 본 연구에서는 개념간의 유사도 연구에 있어 지금까지 있어왔던 '정적인 의미간 관계도 패러다임'에서 '동적인 의미간 관계도 패러다임'으로의 전환의 필요성과 그 당위성을 인지 의미론적(Cognitive Semantics)의 관점에서 역설하고자 한다. 인간이 인지하는 개념간의 의미관계가 변화할 수 있는 이론적 근거를 인지 의미론에서 찾아봄으로써, 패러다임 변화의 방향을 구체적으로 제시하였다. 또한 이러한 패러다임의 변화에 맞추어 개념간의 의미적 유사도 및 관계도에 대한 연구가 어떠한 방향으로 나아가야 할지 구체적인 연구 방향을 제시함으로써 관련 연구자들에게 새로운 연구의 가이드라인을 제시하였다.

도메인 특수성이 도메인 특화 사전학습 언어모델의 성능에 미치는 영향 (The Effect of Domain Specificity on the Performance of Domain-Specific Pre-Trained Language Models)

  • 한민아;김윤하;김남규
    • 지능정보연구
    • /
    • 제28권4호
    • /
    • pp.251-273
    • /
    • 2022
  • 최근 텍스트 분석을 딥러닝에 적용한 연구가 꾸준히 이어지고 있으며, 특히 대용량의 데이터 셋을 학습한 사전학습 언어모델을 통해 단어의 의미를 파악하여 요약, 감정 분류 등의 태스크를 수행하려는 연구가 활발히 이루어지고 있다. 하지만 기존 사전학습 언어모델이 특정 도메인을 잘 이해하지 못한다는 한계를 나타냄에 따라, 최근 특정 도메인에 특화된 언어모델을 만들고자 하는 방향으로 연구의 흐름이 옮겨가고 있는 추세이다. 도메인 특화 추가 사전학습 언어모델은 특정 도메인의 지식을 모델이 더 잘 이해할 수 있게 하여, 해당 분야의 다양한 태스크에서 성능 향상을 가져왔다. 하지만 도메인 특화 추가 사전학습은 해당 도메인의 말뭉치 데이터를 확보하기 위해 많은 비용이 소요될 뿐 아니라, 고성능 컴퓨팅 자원과 개발 인력 등의 측면에서도 많은 비용과 시간이 투입되어야 한다는 부담이 있다. 아울러 일부 도메인에서 추가 사전학습 후의 성능 개선이 미미하다는 사례가 보고됨에 따라, 성능 개선 여부가 확실하지 않은 상태에서 도메인 특화 추가 사전학습 모델의 개발에 막대한 비용을 투입해야 하는지 여부에 대해 판단이 어려운 상황이다. 이러한 상황에도 불구하고 최근 각 도메인의 성능 개선 자체에 초점을 둔 추가 사전학습 연구는 다양한 분야에서 수행되고 있지만, 추가 사전학습을 통한 성능 개선에 영향을 미치는 도메인의 특성을 규명하기 위한 연구는 거의 이루어지지 않고 있다. 본 논문에서는 이러한 한계를 극복하기 위해, 실제로 추가 사전학습을 수행하기 전에 추가 사전학습을 통한 해당 도메인의 성능 개선 정도를 선제적으로 확인할 수 있는 방안을 제시한다. 구체적으로 3개의 도메인을 분석 대상 도메인으로 선정한 후, 각 도메인에서의 추가 사전학습을 통한 분류 정확도 상승 폭을 측정한다. 또한 각 도메인에서 사용된 주요 단어들의 정규화된 빈도를 기반으로 해당 도메인의 특수성을 측정하는 지표를 새롭게 개발하여 제시한다. 사전학습 언어모델과 3개 도메인의 도메인 특화 사전학습 언어모델을 사용한 분류 태스크 실험을 통해, 도메인 특수성 지표가 높을수록 추가 사전학습을 통한 성능 개선 폭이 높음을 확인하였다.

개인화된 뉴스 서비스를 위한 소셜 네트워크 기반의 콘텐츠 추천기법 (Content-based Recommendation Based on Social Network for Personalized News Services)

  • 홍명덕;오경진;가명현;조근식
    • 지능정보연구
    • /
    • 제19권3호
    • /
    • pp.57-71
    • /
    • 2013
  • 세계에는 수많은 사람들이 살아가고 있고, 사람들의 일상으로부터 매일, 매 시간 단위로 새로운 뉴스가 발생한다. 발생되는 뉴스는 예정된 일과 예상하지 못한 일들을 포함하고 있다. 발생하는 뉴스의 거대한 양과 이를 전달하는 수많은 미디어들로 인해 사람들은 뉴스 콘텐츠를 이용하는데 많은 시간을 소비하게 된다. 하지만 미디어에 시시각각 나타나는 속보와 실시간 이슈의 대부분이 가십 기사로 이루어져 있어 사용자들이 자신의 성향에 맞는 뉴스를 선별하고, 뉴스로부터 정보를 획득하는 것은 쉽지 않은 일이다. 또한 사용자의 관심사가 시간에 따라 변하기 때문에 뉴스 제공에 있어 사용자의 변하는 관심사를 반영하는 것이 요구된다. 본 논문에서는 사용자의 최근 관심사를 기반으로 사용자 선호도에 맞는 뉴스를 제공하기 위한 콘텐츠 기반의 추천 기법 및 시스템을 제안한다. 사용자의 최근 선호도를 파악하기 위하여 소셜 네트워크 서비스인 Facebook 사용자의 정보와 최근 게시글을 이용하여 동적으로 사용자 프로파일을 생성하여 이를 뉴스 서비스에 활용하고, 사용자 선호도에 적합한 뉴스를 추출하기 위해서 뉴스 콘텐츠의 분석을 요구한다. 뉴스 콘텐츠 분석을 위해 미디어에서 제공되는 뉴스의 카테고리를 사용하고, 뉴스 방송원고의 분석 및 주요 키워드 추출을 통해 뉴스 프로파일을 생성한다. 사용자 프로파일과 뉴스 프로파일 간의 유사도 측정을 위해서는 두 프로파일 간 형식의 일치화가 요구되므로 사용자 프로파일을 뉴스 프로파일과 동일한 형태로 생성한다. 사용자가 시스템에 접속하면 시스템은 사용자 프로파일에 명시된 선호도를 기반으로 뉴스 프로파일과의 유사도를 측정하고, 사용자 선호도에 가장 적합한 뉴스들을 제공하게 된다. 또한 사용자에게 제공된 뉴스 프로파일과 다른 뉴스 프로파일들 간에 유사도를 측정하여 유사도가 높은 관련된 뉴스들을 제공하게 된다. 제안한 개인화된 뉴스 서비스의 성능을 평가하기 위해 사용자에게 추천된 뉴스에 대한 사용자 평가와 시스템 예측값의 오차를 기반으로 6Sub-Vectors 벤치마크 알고리즘과 성능 평가를 수행하였고, 실험 결과를 통해 제안한 시스템의 우수성을 입증하였다.