• 지능정보연구
• /
• 제20권1호
• /
• pp.35-48
• /
• 2014

2013년 건설 경기 전망 보고서에 따르면 주택건설경기 침체 상황의 지속으로 건설 기업의 유동성 위기가 지속될 것으로 전망된다. 건설업은 파산으로 인한 사회적 파급효과가 다른 산업에 비해 큰 편이지만, 업종의 특성상 다른 산업과는 상이한 자본구조와 부채비율, 현금흐름을 가지고 있어서 기업의 파산 예측이 더 어려운 측면이 있다. 건설업은 레버리지가 큰 산업으로 부채비율이 매우 높은 업종이며 현금흐름이 프로젝트 후반부에 집중되는 특성이 있다. 그리고 경기사이클에 따른 부침이 매우 심하여 경기하강국면에선 파산이 급증하는 양상을 보인다. 건설업이 레버리지 산업인 이상 건설업체의 파산율 증가는 여신을 공여한 은행에 큰 부담으로 작용한다. 그럼에도 그간의 파산예측모델이 주로 금융기관에 집중되어 왔고 건설업종에 특화된 연구는 드물었다. 기업의 재무 자료를 바탕으로 한 파산 예측 모델에 대한 연구는 오래 전부터 다양하게 진행되었다. 하지만, 일반적인 기업 전체를 대상으로 하는 모델이기 때문에, 건설 기업과 같이 유동성이 큰 기업의 예측에는 적절하지 못할 수 있다. 건설 산업은 오랜 사업 기간과 대규모 투자, 그리고 투자금 회수가 오래 걸리는 특징을 갖는 자본 집약 산업이다. 이로 인해 다른 산업과는 상이한 자본 구조를 갖기 마련이고, 다른 산업의 기업 재무 위험도를 판단하는 기준과 동일한 적용이 곤란할 수 있다. 최근에는 기계 학습을 바탕으로 한 기업 파산 예측 연구가 활발하다. 기계 학습의 대표적 응용 분야인 패턴 인식을 기업의 파산 예측에 응용한 것이다. 기업의 재무 정보를 바탕으로 패턴을 작성하고 이 패턴이 파산 위험 군에 속하는지 안전한 군에 속하는지 판단하는 것이다. 전통적인 Z-Score와 기계 학습을 이용한 파산 예측과 같은 기존 연구들은 특정 산업 분야가 아닌 일반적인 기업을 대상으로 하기 때문에 기업들의 특성을 전혀 고려하고 있지 못하다. 본 논문에서는 건설 기업을 규모에 따라 각 기법들의 예측 능력을 비교하여 적응형 부스팅이 가장 우수함을 확인하였다. 본 논문은 건설 기업을 자본금 규모에 따라 세 등급으로 분류하고 각각에 대해 적응형 부스팅의 예측력을 분석하였다. 실험 결과 적응형 부스팅이 다른 기법에 비해 예측 결과가 좋았고, 특히 자본금 규모가 500억 이상인 기업의 경우 아주 우수한 결과를 보였다.

• 지능정보연구
• /
• 제24권1호
• /
• pp.167-181
• /
• 2018

지난 10여 년간 딥러닝(Deep Learning)은 다양한 기계학습 알고리즘 중에서 많은 주목을 받아 왔다. 특히 이미지를 인식하고 분류하는데 효과적인 알고리즘으로 알려져 있는 합성곱 신경망(Convolutional Neural Network, CNN)은 여러 분야의 분류 및 예측 문제에 널리 응용되고 있다. 본 연구에서는 기계학습 연구에서 가장 어려운 예측 문제 중 하나인 주식시장 예측에 합성곱 신경망을 적용하고자 한다. 구체적으로 본 연구에서는 그래프를 입력값으로 사용하여 주식시장의 방향(상승 또는 하락)을 예측하는 이진분류기로써 합성곱 신경망을 적용하였다. 이는 그래프를 보고 주가지수가 오를 것인지 내릴 것인지에 대해 경향을 예측하는 이른바 기술적 분석가를 모방하는 기계학습 알고리즘을 개발하는 과제라 할 수 있다. 본 연구는 크게 다음의 네 단계로 수행된다. 첫 번째 단계에서는 데이터 세트를 5일 단위로 나눈다. 두 번째 단계에서는 5일 단위로 나눈 데이터에 대하여 그래프를 만든다. 세 번째 단계에서는 이전 단계에서 생성된 그래프를 사용하여 학습용과 검증용 데이터 세트를 나누고 합성곱 신경망 분류기를 학습시킨다. 네 번째 단계에서는 검증용 데이터 세트를 사용하여 다른 분류 모형들과 성과를 비교한다. 제안한 모델의 유효성을 검증하기 위해 2009년 1월부터 2017년 2월까지의 약 8년간의 KOSPI200 데이터 2,026건의 실험 데이터를 사용하였다. 실험 데이터 세트는 CCI, 모멘텀, ROC 등 한국 주식시장에서 사용하는 대표적인 기술지표 12개로 구성되었다. 결과적으로 실험 데이터 세트에 합성곱 신경망 알고리즘을 적용하였을 때 로지스틱회귀모형, 단일계층신경망, SVM과 비교하여 제안모형인 CNN이 통계적으로 유의한 수준의 예측 정확도를 나타냈다.

• 지능정보연구
• /
• 제24권4호
• /
• pp.137-154
• /
• 2018

조류인플루엔자와 구제역 같은 동물감염병은 거의 매년 발생하며 국가에 막대한 경제적 사회적 손실을 일으키고 있다. 이를 예방하기 위해서 그간 방역당국은 다양한 인적, 물적 노력을 기울였지만 감염병은 지속적으로 발생해 왔다. 최근 빅데이터와 딥러닝 기술을 활용하여 감염병의 예측모델을 개발하고자 하는 시도가 시작되고 있지만, 실제로 활용가능한 모델구축 연구와 사례보고는 활발히 진행되고 있지 않은 실정이다. KT와 과학기술정보통신부는 2014년부터 국가 R&D사업의 일환으로 축산관련 차량의 이동경로를 분석하여 예측하는 빅데이터 사업을 수행하고 있다. 동물감염병 예방을 위하여 연구진은 최초에는 차량이동 데이터를 활용한 회귀분석모델을 기반으로 한 예측모델을 개발하였다. 이후에는 기계학습을 활용하여 좀 더 정확한 예측 모델을 구성하였다. 특히, 2017년 예측모델에서는 시설물에 대한 확산 위험도를 추가하였고 모델링의 하이퍼 파라미터를 다양하게 고려하여 모델의 성능을 높였다. 정오분류표와 ROC 커브를 확인한 결과, 기계 학습 모델보다 2017년 구성된 모형이 우수함을 확인 할 수 있었다. 또한 2017에는 결과에 대한 설명을 추가하여 방역당국의 의사결정을 돕고 이해관계자를 설득할 수 있는 근거를 확보하였다. 본 연구는 빅데이터를 활용하여 동물감염병예방시스템을 구축한 사례연구로 모델주요변수값, 이에따른 실제예측성능결과, 그리고 상세하게 기술된 시스템구축 프로세스는 향후 감염병예방 영역의 지속적인 빅데이터활용 및 분석 모델 개발에 기여할 수 있을 것이다. 또한 본 연구에서 구축한 시스템을 통해 보다 사전적이고 효과적인 방역을 할 수 있을 것으로 기대한다.

• 지능정보연구
• /
• 제25권4호
• /
• pp.141-154
• /
• 2019

인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에 사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를 이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을 이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을 이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여 극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그 수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구 결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

• 지능정보연구
• /
• 제22권1호
• /
• pp.187-204
• /
• 2016

소셜 미디어를 이용하는 사용자들이 직접 작성한 의견 혹은 리뷰를 이용하여 상호간의 교류 및 정보를 공유하게 되었다. 이를 통해 고객리뷰를 이용하는 오피니언마이닝, 웹마이닝 및 감성분석 등 다양한 연구분야에서의 연구가 진행되기 시작하였다. 특히, 감성분석은 어떠한 토픽(주제)를 기준으로 직접적으로 글을 작성한 사람들의 태도, 입장 및 감성을 알아내는데 목적을 두고 있다. 고객의 의견을 내포하고 있는 정보 혹은 데이터는 감성분석을 위한 핵심 데이터가 되기 때문에 토픽을 통한 고객들의 의견을 분석하는데 효율적이며, 기업에서는 소비자들의 니즈에 맞는 마케팅 혹은 투자자들의 시장동향에 따른 많은 투자가 이루어지고 있다. 본 연구에서는 중국의 온라인 시나 주식 포럼에서 사용자들이 직접 작성한 포스팅(글)을 이용하여 기존에 제시된 토픽들로부터 핫토픽을 선정하고 탐지하고자 한다. 기존에 사용된 감성 사전을 활용하여 토픽들에 대한 감성값과 극성을 분류하고, 군집분석을 통해 핫토픽을 선정하였다. 핫토픽을 선정하기 위해 k-means 알고리즘을 이용하였으며, 추가로 인공지능기법인 SOM을 적용하여 핫토픽 선정하는 절차를 제시하였다. 또한, 로짓, 의사결정나무, SVM 등의 데이터마이닝 기법을 이용하여 핫토픽 사전 탐지를 하는 감성분석을 위한 모형을 개발하여 관심지수를 통해 선정된 핫토픽과 탐지된 핫토픽을 비교하였다. 본 연구를 통해 핫토픽에 대한 정보 제공함으로써 최신 동향에 대한 흐름을 알 수 있게 되고, 주식 포럼에 대한 핫토픽은 주식 시장에서의 투자자들에게 유용한 정보를 제공하게 될 뿐만 아니라 소비자들의 니즈를 충족시킬 수 있을 것이라 기대된다.

• 인지과학
• /
• 제33권1호
• /
• pp.51-75
• /
• 2022

경두개 직류전기자극(transcranial Direct Current Stimulation; tDCS)은 지각, 인지, 운동 등의 뇌기능 향상 및 발달 효과가 입증되며, 다양한 분야에서 활용 및 응용되는 비침습적 뇌자극술이다. tDCS 효과는 뇌의 해부학적 구조, 뇌의 노화 정도 등의 뇌신경활성화 특징에 따라 다르게 나타난다는 연구결과들이 보고되고 있다. 일주기 리듬(circadian rhythm)은 대략 하루 주기의 수면과 각성의 생리적 변화패턴을 의미하며 뇌신경활성화 상태는 일주기 리듬에 따라 다르게 나타난다. 일주기 유형(chronotype)은 하루 중에 발현되는 각성도의 크기에 따라 아침의 각성도가 큰 유형은 아침형으로 저녁의 각성도가 큰 유형은 저녁형으로 나누어진다. 본 연구는 일주기 리듬에 의해 변하는 뇌기능 특징이 tDCS 효과에 미치는 영향을 알아보고자 한다. 총 20명의 건강한 성인 대상으로 실험을 진행하였고, 참가자들은 일주기 유형을 분류하기 위해 아침형-저녁형 설문지에 의해 주간형(아침형, 중간형)과 야간형(저녁형)으로 분류했다. 본 실험은 Zoom 프로그램을 이용하여 참가자와 실험자가 온라인으로 만나서 실험을 진행했다. 실험이 확정된 참가자는 실험자로부터 뇌파 기기, 뇌파 데이터를 획득하는 앱이 있는 핸드폰, 핸드폰 거치대, 뇌자극 기기의 사용방법에 대한 설명을 듣고 기기를 테스트해보고 기기를 전달받았다. 기기사용의 어려움을 가진 2명의 참가자는 대면 실험을 진행하여, 실험자가 기기작동을 하여 실험에 참여했다. 일주기 리듬의 상태에 따른 뇌자극 효과를 알아보기 위해 1주일 간격으로 아침과 저녁에 실험했으며, tDCS 자극 전과 후의 신경활성화 반응의 차이를 뇌파를 이용하여 측정하였다. 뇌자극에 의한 뇌기능 변화를 확인하기 위해 자극 전의 뇌파와 자극 후 뇌파가 다른 패턴을 보이며 분류가 잘되는 지를 예측 정확도로 분석했으며, 뇌기능 특징 변화가 일주기 리듬과 일주기 유형에 따라 다르게 나타나는지 확인하기 위해 각 조건의 분류조건(아침/저녁, 주간형/야간형)에서 추출된 주요 EEG 특성을 비교했다. 54개의 뇌파 특성값을 추출하여 SVM(Support Vector Machine) 기계학습 알고리즘으로 분류 모델을 구축하였고, 구축된 모델을 Leave-One-Out 교차검증(Leave-One-Out Cross-Validation)을 사용하여 자극 전과 후의 뇌파 반응을 예측하는지 평가하였고, 분류예측모델의 주요 예측 인자를 확인하는 주요 특성 분석을 진행하였다. 아침과 저녁의 tDCS에 따른 뇌파 특징을 분류하는 예측 정확도는 모두 98%로 나타났으며, 주간형의 아침 자극 조건과 저녁 자극 조건의 예측 정확도는 92%와 96%이며, 야간형의 아침자극 조건과 저녁 자극 조건의 예측 정확도는 모두 94%로 나타났다. 아침 자극 전과 후의 뇌파를 분류하는 상위 3개의 주요 EEG 특성결과는 주간형과 야간형에 따라 다르게 나타났다. 주간형은 좌측 측두 두정엽과 전전두엽의 뇌파 특성값이 나타났으며, 야간형은 측두 두정엽의 뇌파 특성값들만 나타났다. 저녁 자극전과 후의 뇌파를 분류하는 상위 3개의 주요 EEG 특성 결과 또한 주간형과 야간형에 따라 다르게 나타났다. 주간형은 우측 측두 두정엽과 좌측 전두엽의 뇌파 특성값이 나타났으며, 야간형은 측두 두정엽과 전두엽의 뇌파 특성값이 나타났다. 이와 같은 연구결과는 일주기 리듬과 유형에 따라 아침과 저녁의 뇌기능 특징이 다르게 나타나서 뇌자극 효과가 다르게 나타날 수 있음을 확인한 결과이다. 본 연구의 결과는 효과적인 뇌자극을 위해 개인의 뇌신경 활성화 상태 및 특징에 따라서 뇌자극 프로토콜을 조정할 필요성을 제시한다는 데에 의의를 찾을 수 있다.

• 한국수자원학회논문집
• /
• 제57권3호
• /
• pp.181-193
• /
• 2024

기후변화에 의해 발생하는 대기 불균형은 강우량의 증가로 이어지고, 침수 발생 빈도가 증가함에 따라 이를 탐지할 수 있는 기술의 필요성이 증가하고 있다. 침수 피해를 최소화하기 위해 지속적인 모니터링이 필요하며, 날씨의 영향을 받지 않는 합성개구레이더(Synthetic Aperture Radar, SAR) 영상을 활용하여 침수지역을 탐지하였다. 관측된 데이터는 median 필터를 통해 노이즈를 감소시키는 전처리 과정을 진행하였으며, 객체 탐지 기법을 통해 수체와 비수체를 분류하여 각 기법의 침수탐지 활용성을 평가하고자 하였다. 본 연구에서는 Otsu 기법과 SVM 기법을 통해 수체 및 침수 탐지를 수행하였으며, Confusion Matrix를 통해 전체적인 모델의 성능을 평가하였다. Otsu 기법은 수체와 비수체의 경계를 구분하는데 적합함을 보였으나, 혼합물의 영향을 받아 오탐지의 비율이 높게 나타났다. 반면, SVM 기법을 사용한 경우, 오탐지 비율이 낮고 혼합물에 의한 영향에 민감하지 않은 것으로 관측되었다. 이에 따라 침수 상태를 제외한 다른 조건에서 SVM 기법의 정확도가 높게 나타났다. Otsu 기법이 침수 조건에서 SVM 기법보다 다소 높은 정확도를 보였지만, 정확도의 차이가 5% 미만임을 확인할 수 있었다(Otsu: 0.93, SVM: 0.90). SVM 기법이 Otsu 기법보다 침수 전, 침수 후의 조건에서 정확도 차이가 최대 15% 이상 발생하여 수체 및 침수탐지에 더 적합하게 나타났다(Otsu: 0.77, SVM: 0.92). 이러한 결과는 SVM 기법이 수체 및 침수탐지에서 효과적으로 활용될 수 있음을 시사하며, 미래의 수재해 탐지 시스템에 적용될 때 유용한 정보를 제공할 수 있을 것으로 기대된다.

• 지능정보연구
• /
• 제27권4호
• /
• pp.73-95
• /
• 2021

본 연구는 Node2vec 그래프 임베딩 방법과 Light GBM 링크 예측을 활용해 우리나라 식음료 산업의 미개척 수출 후보국가를 탐색한다. Node2vec은 네트워크의 공통 이웃 개수 등을 기반으로 하는 기존의 링크 예측 방법에 비해 상대적으로 취약하다고 알려져 있던 네트워크의 구조적 등위성 표현의 한계를 개선한 방법이다. 따라서 해당 방법은 네트워크의 커뮤니티 탐지와 구조적 등위성 모두에서 우수한 성능을 나타내는 것으로 알려져 있다. 이에 본 연구는 이상의 방법을 우리나라 식음료 산업의 국제 무역거래 정보에 적용했다. 이를 통해 해당 산업의 글로벌 가치사슬 관계에서 우리나라의 광범위한 마진 다각화 효과를 창출하는데 기여하고자 한다. 본 연구의 결과를 통해 도출된 최적의 예측 모델은 0.95의 정밀도와 0.79의 재현율을 기록하며 0.86의 F1 score를 기록해 우수한 성능을 나타냈다. 이상의 모델을 통해 도출한 우리나라의 잠재적 수출 후보국가들의 결과는 추가 조사를 통해 대부분 적절하게 나타난 것을 알 수 있었다. 이상의 내용을 종합하여 본 연구는 Node2vec과 Light GBM을 응용한 링크 예측 방법의 실무적 활용성에 대해 시사할 수 있었다. 그리고 모델을 학습하며 링크 예측을 보다 잘 수행할 수 있는 가중치 업데이트 전략에 대해서도 유용한 시사점을 도출할 수 있었다. 한편, 본 연구는 그래프 임베딩 기반의 링크 예측 관련 연구에서 아직까지 많이 수행된 적 없는 무역거래에 이를 적용했기에 정책적 활용성도 갖고 있다. 본 연구의 결과는 최근 미중 무역갈등이나 일본 수출 규제 등과 같은 글로벌 가치사슬의 변화에 대한 빠른 대응을 지원하며 정책적 의사결정을 위한 도구로써 충분한 유용성이 있다고 생각한다.

• 지능정보연구
• /
• 제23권1호
• /
• pp.47-67
• /
• 2017

강판 표면 결함은 강판의 품질과 가격을 결정하는 중요한 요인 중 하나로, 많은 철강 업체는 그동안 검사자의 육안으로 강판 표면 결함을 확인해왔다. 그러나 시각에 의존한 검사는 통상 30% 이상의 판단 오류가 발생함에 따라 검사 신뢰도가 낮은 문제점을 갖고 있다. 따라서 본 연구는 Simultaneous MTS (S-MTS) 알고리즘을 적용하여 보다 지능적이고 높은 정확도를 갖는 새로운 강판 표면 결함 진단 시스템을 제안하였다. S-MTS 알고리즘은 단일 클래스 분류에는 효과적이지만 다중 클래스 분류에서 정확도가 떨어지는 기존 마할라노비스 다구찌시스템 알고리즘(Mahalanobis Taguchi System; MTS)의 문제점을 해결한 새로운 알고리즘이다. 강판 표면 결함 진단은 대표적인 다중 클래스 분류 문제에 해당하므로, 강판 표면 결함 진단 시스템 구축을 위해 본 연구에서는 S-MTS 알고리즘을 채택하였다. 강판 표면 결함 진단 시스템 개발은 S-MTS 알고리즘에 따라 다음과 같이 진행하였다. 첫째, 각 강판 표면 결함 별로 개별적인 참조 그룹 마할라노비스 공간(Mahalanobis Space; MS)을 구축하였다. 둘째, 구축된 참조 그룹 MS를 기반으로 비교 그룹 마할라노비스 거리(Mahalanobis Distance; MD)를 계산한 후 최소 MD를 갖는 강판 표면 결함을 비교 그룹의 강판 표면 결함으로 판단하였다. 셋째, 강판 표면 결함을 분류하는 데 있어 결함 간의 차이점을 명확하게 해주는 예측 능력이 높은 변수를 파악하였다. 넷째, 예측 능력이 높은 변수만을 이용해 강판 표면 결함 분류를 재수행함으로써 최종적인 강판 표면 결함 진단 시스템을 구축한다. 이와 같은 과정을 통해 구축한 S-MTS 기반 강판 표면 결함 진단 시스템의 정확도는 90.79%로, 이는 기존 검사 방법에 비해 매우 높은 정확도를 갖는 유용한 방법임을 보여준다. 추후 연구에서는 본 연구를 통해 개발된 시스템을 현장 적용하여, 실제 효과성을 검증할 필요가 있다.

• 지능정보연구
• /
• 제22권3호
• /
• pp.129-142
• /
• 2016

전자상거래에서 소비자들의 구매 의사결정에 판매 제품을 이미 구매하여 사용한 고객의 리뷰가 중요한 영향을 미치고 있다. 전자상거래 업체들은 고객들이 제품 리뷰를 남기도록 유도하고 있으며, 구매고객들도 적극적으로 자신의 경험을 공유하고 있다. 한 제품에 대한 고객 리뷰가 너무 많아져서 구매하려는 제품의 모든 리뷰를 읽고 제품의 장단점을 파악하는 것은 무척 힘든 일이 되었다. 전자상거래 업체들과 연구자들은 텍스트 마이닝을 활용하여 리뷰들 중에서 유용한 리뷰들의 속성을 파악하거나 유용한 리뷰와 유용하지 않은 리뷰를 미리 분류하는 노력을 수행하고 있다. 고객들에게 유용한 리뷰를 필터링하여 전달하는 방안이다. 본 연구에서는 문서-단어 매트릭스에서 단어의 제거 기준으로 온라인 고객 리뷰가 유용한 지, 그렇지 않은지를 구분하는 문제에서 단어들이 유용 리뷰 집합과 유용하지 않은 리뷰집합에 중복하여 등장하는 정도를 측정한 중립도를 제시한다. 제시한 중립도를 희소성과 함께 분석에 활용하여 제거할 단어를 선정한 후에 각 분류 알고리즘의 성과를 비교하였다. 최적의 성과를 보이는 중립도를 찾았으며, 희소성과 중립도에 따라 단어를 선택적으로 제거하였다. 실험은 Amazon.com의 'Cellphones & Accessories', 'Movies & TV program', 'Automotive', 'CDs & Vinyl', 'Clothing, Shoes & Jewelry' 제품 분야 고객 리뷰와 사용자들의 리뷰에 대한 평가를 활용하였다. 전체 득표의 수가 4개 이상인 리뷰 중에서 제품 카테고리 별로 유용하다고 판단되는 1,500개의 리뷰와 유용하지 않다고 판단되는 1,500개의 리뷰를 무작위로 추출하여 연구에 사용하였다. 데이터 집합에 따라 정확도 개선 정도가 상이하며, F-measure 기준으로는 두 알고리즘에서 모두 희소성과 중립도에 기반하여 단어를 제거하는 방안이 더 성과가 높았다. 하지만 Information Gain 알고리즘에서는 Recall 기준으로는 5개 제품 카테고리 데이터에서 언제나 희소성만을 기준으로 단어를 제거하는 방안의 성과가 높았으며, SVM에서는 전체 단어를 활용하는 방안이 Precision 기준으로 성과가 더 높았다. 따라서, 활용하는 알고리즘과 분석 목적에 따라서 단어 제거 방안을 고려하는 것이 필요하다.