• 제목/요약/키워드: Support vector machines

검색결과 427건 처리시간 0.023초

CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석 (Sentiment Analysis of Movie Review Using Integrated CNN-LSTM Mode)

  • 박호연;김경재
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.141-154
    • /
    • 2019
  • 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에 사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를 이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을 이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을 이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여 극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그 수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구 결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

지능형 전망모형을 결합한 로보어드바이저 알고리즘 (Robo-Advisor Algorithm with Intelligent View Model)

  • 김선웅
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.39-55
    • /
    • 2019
  • 최근 은행과 증권회사를 중심으로 다양한 로보어드바이저 금융상품들이 출시되고 있다. 로보어드바이저는 사람 대신 컴퓨터가 포트폴리오 자산배분에 대한 투자 결정을 실행하기 때문에 다양한 자산배분 알고리즘이 활용되고 있다. 본 연구에서는 대표적 로보어드바이저 알고리즘인 블랙리터만모형의 강점을 살리면서 객관적 투자자 전망을 도출할 수 있는 지능형 전망모형을 제안하고 이를 내재균형수익률과 결합하여 최종 포트폴리오를 도출하는 로보어드바이저 자산배분 알고리즘을 새로이 제안하며, 실제 주가자료를 이용한 실증분석 결과를 통해 전문가의 주관적 전망을 대신할 수 있는 지능형 전망모형의 실무적 적용 가능성을 보여주고자 한다. 그동안 주가 예측에서 우수한 성과를 보여주었던 기계학습 방법 중 SVM 모형을 이용하여 각 자산별 기대수익률에 대한 예측과 예측 확률을 도출하고 이를 각각 기대수익률에 대한 투자자 전망과 전망에 대한 신뢰도 수준의 입력변수로 활용하는 지능형 전망모형을 제안하였다. 시장포트폴리오로부터 도출된 내재균형수익률과 지능형 전망모형의 기대수익률, 확률을 결합하여 최종적인 블랙리터만모형의 최적포트폴리오를 도출하였다. 주가자료는 2008년부터 2018년까지의 132개월 동안의 8개의 KOSPI 200 섹터지수 월별 자료를 분석하였다. 블랙리터만모형으로 도출된 최적포트폴리오의 결과가 기존의 평균분산모형이나 리스크패리티모형 등과 비교하여 우수한 성과를 보여주었다. 구체적으로 2008년부터 2015년까지의 In-Sample 자료에서 최적화된 블랙리터만모형을 2016년부터 2018년까지의 Out-Of-Sample 기간에 적용한 실증분석 결과에서 다른 알고리즘보다 수익과 위험 모두에서 좋은 성과를 기록하였다. 총수익률은 6.4%로 최고 수준이며, 위험지표인 MDD는 20.8%로 최저수준을 기록하였다. 수익과 위험을 동시에 고려하여 투자 성과를 측정하는 샤프비율 역시 0.17로 가장 좋은 결과를 보여주었다. 증권계의 애널리스트 전문가들이 발표하는 투자자 전망자료의 신뢰성이 낮은 상태에서, 본 연구에서 제안된 지능형 전망모형은 현재 빠른 속도로 확장되고 있는 로보어드바이저 관련 금융상품을 개발하고 운용하는 실무적 관점에서 본 연구는 의의가 있다고 판단된다.

온라인 주식 포럼의 핫토픽 탐지를 위한 감성분석 모형의 개발 (Development of Sentiment Analysis Model for the hot topic detection of online stock forums)

  • 홍태호;이태원;리징징
    • 지능정보연구
    • /
    • 제22권1호
    • /
    • pp.187-204
    • /
    • 2016
  • 소셜 미디어를 이용하는 사용자들이 직접 작성한 의견 혹은 리뷰를 이용하여 상호간의 교류 및 정보를 공유하게 되었다. 이를 통해 고객리뷰를 이용하는 오피니언마이닝, 웹마이닝 및 감성분석 등 다양한 연구분야에서의 연구가 진행되기 시작하였다. 특히, 감성분석은 어떠한 토픽(주제)를 기준으로 직접적으로 글을 작성한 사람들의 태도, 입장 및 감성을 알아내는데 목적을 두고 있다. 고객의 의견을 내포하고 있는 정보 혹은 데이터는 감성분석을 위한 핵심 데이터가 되기 때문에 토픽을 통한 고객들의 의견을 분석하는데 효율적이며, 기업에서는 소비자들의 니즈에 맞는 마케팅 혹은 투자자들의 시장동향에 따른 많은 투자가 이루어지고 있다. 본 연구에서는 중국의 온라인 시나 주식 포럼에서 사용자들이 직접 작성한 포스팅(글)을 이용하여 기존에 제시된 토픽들로부터 핫토픽을 선정하고 탐지하고자 한다. 기존에 사용된 감성 사전을 활용하여 토픽들에 대한 감성값과 극성을 분류하고, 군집분석을 통해 핫토픽을 선정하였다. 핫토픽을 선정하기 위해 k-means 알고리즘을 이용하였으며, 추가로 인공지능기법인 SOM을 적용하여 핫토픽 선정하는 절차를 제시하였다. 또한, 로짓, 의사결정나무, SVM 등의 데이터마이닝 기법을 이용하여 핫토픽 사전 탐지를 하는 감성분석을 위한 모형을 개발하여 관심지수를 통해 선정된 핫토픽과 탐지된 핫토픽을 비교하였다. 본 연구를 통해 핫토픽에 대한 정보 제공함으로써 최신 동향에 대한 흐름을 알 수 있게 되고, 주식 포럼에 대한 핫토픽은 주식 시장에서의 투자자들에게 유용한 정보를 제공하게 될 뿐만 아니라 소비자들의 니즈를 충족시킬 수 있을 것이라 기대된다.

영화 리뷰 감성분석을 위한 텍스트 마이닝 기반 감성 분류기 구축 (A Study on Analyzing Sentiments on Movie Reviews by Multi-Level Sentiment Classifier)

  • 김유영;송민
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.71-89
    • /
    • 2016
  • 누구나 본인이 사용한 제품이나, 이용한 서비스에 대한 후기를 자유롭게 인터넷에 작성할 수 있고, 이러한 데이터의 양은 점점 더 많아지고 있다. 감성분석은 사용자가 생성한 온라인 텍스트 속에 내포된 감성 및 감정을 식별하기 위해 사용된다. 본 연구는 다양한 데이터 도메인 중 영화 리뷰를 분석 대상으로 한다. 영화 리뷰를 이용한 기존 연구에서는 종종 리뷰 평점을 관객의 감성으로 동일시하여 감성분석에 이용한다. 그러나 리뷰 내용과 평점의 실제적 극성 정도가 항상 일치하는 것은 아니기 때문에 연구의 정확성에 한계가 발생할 수 있다. 이에 본 연구에서는 기계학습 기반의 감성 분류기를 구축하고, 이를 통해 리뷰의 감성점수를 산출하여 리뷰에서 나타나는 감성의 수치화를 목표로 한다. 나아가 산출된 감성점수를 이용하여 리뷰와 영화 흥행 간의 연관성을 살펴보았다. 감성분석 모델은 지지벡터 분류기와 신경망을 이용해 구축되었고, 총 1만 건의 영화 리뷰를 학습용 데이터로 하였다. 감성분석은 총 175편의 영화에 대한 1,258,538개의 리뷰에 적용하였다. 리뷰의 평점과 흥행, 그리고 감성점수와 흥행과의 연관성은 상관분석을 통해 살펴보았고, t-검정으로 두 지표의 평균차를 비교하여 감성점수의 활용성을 검증하였다. 연구 결과, 본 연구에서 제시하는 모델 구축 방법은 나이브 베이즈 분류기로 구축한 모델보다 높은 정확성을 보였다. 상관분석 결과로는, 영화의 주간 평균 평점과 관객 수 간의 유의미한 양의 상관관계가 나타났고, 감성점수와 관객 수 간의 상관분석에서도 유사한 결과가 도출되었다. 이에 두 지표간의 평균을 이용한 t-검정을 수행하고, 이를 바탕으로 산출한 감성점수를 리뷰 평점의 역할을 할 수 있는 지표로써 활용 가능함을 검증하였다. 나아가 검증된 결론을 근거로, 트위터에서 영화를 언급한 트윗을 수집하여 감성분석을 적용한 결과를 살펴봄으로써 감성분석 모델의 활용 방안을 모색하였다. 전체적 실험 및 검증의 과정을 통해 본 연구는 감성분석 연구에 있어 개선된 감성 분류 방법을 제시할 수 있음을 보였고, 이러한 점에서 연구의 의의가 있다.

기업의 SNS 노출과 주식 수익률간의 관계 분석 (The Analysis on the Relationship between Firms' Exposures to SNS and Stock Prices in Korea)

  • 김태환;정우진;이상용
    • Asia pacific journal of information systems
    • /
    • 제24권2호
    • /
    • pp.233-253
    • /
    • 2014
  • Can the stock market really be predicted? Stock market prediction has attracted much attention from many fields including business, economics, statistics, and mathematics. Early research on stock market prediction was based on random walk theory (RWT) and the efficient market hypothesis (EMH). According to the EMH, stock market are largely driven by new information rather than present and past prices. Since it is unpredictable, stock market will follow a random walk. Even though these theories, Schumaker [2010] asserted that people keep trying to predict the stock market by using artificial intelligence, statistical estimates, and mathematical models. Mathematical approaches include Percolation Methods, Log-Periodic Oscillations and Wavelet Transforms to model future prices. Examples of artificial intelligence approaches that deals with optimization and machine learning are Genetic Algorithms, Support Vector Machines (SVM) and Neural Networks. Statistical approaches typically predicts the future by using past stock market data. Recently, financial engineers have started to predict the stock prices movement pattern by using the SNS data. SNS is the place where peoples opinions and ideas are freely flow and affect others' beliefs on certain things. Through word-of-mouth in SNS, people share product usage experiences, subjective feelings, and commonly accompanying sentiment or mood with others. An increasing number of empirical analyses of sentiment and mood are based on textual collections of public user generated data on the web. The Opinion mining is one domain of the data mining fields extracting public opinions exposed in SNS by utilizing data mining. There have been many studies on the issues of opinion mining from Web sources such as product reviews, forum posts and blogs. In relation to this literatures, we are trying to understand the effects of SNS exposures of firms on stock prices in Korea. Similarly to Bollen et al. [2011], we empirically analyze the impact of SNS exposures on stock return rates. We use Social Metrics by Daum Soft, an SNS big data analysis company in Korea. Social Metrics provides trends and public opinions in Twitter and blogs by using natural language process and analysis tools. It collects the sentences circulated in the Twitter in real time, and breaks down these sentences into the word units and then extracts keywords. In this study, we classify firms' exposures in SNS into two groups: positive and negative. To test the correlation and causation relationship between SNS exposures and stock price returns, we first collect 252 firms' stock prices and KRX100 index in the Korea Stock Exchange (KRX) from May 25, 2012 to September 1, 2012. We also gather the public attitudes (positive, negative) about these firms from Social Metrics over the same period of time. We conduct regression analysis between stock prices and the number of SNS exposures. Having checked the correlation between the two variables, we perform Granger causality test to see the causation direction between the two variables. The research result is that the number of total SNS exposures is positively related with stock market returns. The number of positive mentions of has also positive relationship with stock market returns. Contrarily, the number of negative mentions has negative relationship with stock market returns, but this relationship is statistically not significant. This means that the impact of positive mentions is statistically bigger than the impact of negative mentions. We also investigate whether the impacts are moderated by industry type and firm's size. We find that the SNS exposures impacts are bigger for IT firms than for non-IT firms, and bigger for small sized firms than for large sized firms. The results of Granger causality test shows change of stock price return is caused by SNS exposures, while the causation of the other way round is not significant. Therefore the correlation relationship between SNS exposures and stock prices has uni-direction causality. The more a firm is exposed in SNS, the more is the stock price likely to increase, while stock price changes may not cause more SNS mentions.

빅데이터 기반의 정성 정보를 활용한 부도 예측 모형 구축 (Bankruptcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics)

  • 조남옥;신경식
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.33-56
    • /
    • 2016
  • 대부분의 부도 예측에 관한 연구는 재무 변수를 중심으로 통계적 방법 또는 인공지능 기법을 적용하여 부도 예측 모형을 구축하였다. 그러나 재무비율과 같은 회계 정보를 이용한 부도 예측 모형은 재무 제표 결산 시점과 신용평가 시점 간 시차를 고려하지 않을 뿐만 아니라 해당 산업의 경제적 상황과 같은 외부 환경적인 요소를 반영하기 어렵다는 한계점이 존재하였다. 기업의 부도 여부를 예측하기 위해 정량 정보인 재무 변수만을 이용하는 것에 한계가 있음에도 불구하고 정성 정보를 부도 예측 모형에 반영한 연구는 아직 미흡한 실정이다. 본 연구에서는 재무 변수를 이용하는 기존 부도 예측 모형의 성과를 개선하기 위해 빅데이터 기반의 정성 정보를 추가적인 입력 변수로 활용하는 부도 예측 모형을 제안하였다. 제안 모형의 성과 향상은 정성 정보를 예측 모형에 통합시키기에 적합한 형태로 정보의 유형을 변환시킬 수 있는가에 따라 달려있다. 이에 본 연구에서는 정성 정보 처리를 위한 방법으로 빅데이터 분석 기법 중 하나인 텍스트 마이닝(Text Mining)을 활용하였다. 해당 산업과 관련된 경제 뉴스 데이터로부터 경제 상황에 대한 감성 정보를 추출하기 위해 도메인 중심의 감성 어휘 사전을 구축하고, 구축된 어휘 사전을 기반으로 감성 분석(Sentiment Analysis)을 수행하였다. 형태소 분석 등을 포함한 텍스트 전처리 과정을 거쳐 감성 어휘를 추출하고, 각 어휘에 대한 극성 및 감성 점수를 부여하였다. 분석 결과, 전통적 부도 예측 모형에 경제 뉴스 데이터에서 도출한 정성 정보를 반영하는 것은 모형의 성과를 개선하는 것으로 나타났다. 특히, 경제 상황에 대한 부정적 감정이 기업의 부도 여부를 예측하는 데 더욱 효과적임을 알 수 있었다.

비대칭적 전이효과와 SVM을 이용한 변동성 매도전략의 수익성 개선 (Performance Improvement on Short Volatility Strategy with Asymmetric Spillover Effect and SVM)

  • 김선웅
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.119-133
    • /
    • 2020
  • Fama에 의하면 효율적 시장에서는 일시적으로 높은 수익을 얻을 수는 있지만 꾸준히 시장의 평균적인 수익을 초과하는 투자전략을 만드는 것은 불가능하다. 본 연구의 목적은 변동성의 장중 비대칭적 전이효과를 이용하는 변동성 매도전략을 기준으로 투자 성과를 추가적으로 개선하기 위하여 SVM을 활용하는 투자 전략을 제안하고 그 투자성과를 분석하고자 한다. 한국 시장에서 변동성의 비대칭적 전이효과는 미국 시장의 변동성이 상승한 날은 한국 시장의 아침 동시호가에 변동성 상승이 모두 반영되지만, 미국 시장의 변동성이 하락한 날은 한국 시장의 변동성이 아침 동시호가에서 뿐만 아니라 장 마감까지 계속해서 하락하는 이상현상을 말한다. 분석 자료는 2008년부터 2018년까지의 S&P 500, VIX, KOSPI 200, V-KOSPI 200 등의 일별 시가지수와 종가지수이다. 11년 동안의 분석 결과, 미국 시장의 변동성이 상승으로 마감한 날은 그 영향력이 한국 시장의 아침 동시호가 변동성에 모두 반영되지만, 미국 시장의 변동성이 하락으로 마감한 날은 그 영향력이 한국 시장의 아침 동시호가뿐만 아니라 오후 장 마감까지도 계속해서 유의적으로 영향을 미치고 있다. 시장이 효율적이라면 미국 시장의 전일 변동성 변화는 한국 시장의 아침 동시호가에 모두 반영되고 동시호가 이후에는 추가적인 영향력이 없어야 한다. 이러한 변동성의 장중 비정상적 전이 패턴을 이용하는 변동성 매도전략을 제안하였다. 미국 시장의 전날 변동성이 하락한 경우 한국 시장에서 아침 동시호가에 변동성을 매도하고 장 마감시에 포지션을 청산하는 변동성 데이트레이딩전략을 분석하였다. 연수익률은 120%, 위험지표인 MDD는 -41%, 위험과 수익을 고려한 성과지수인 Sharpe ratio는 0.27을 기록하고 있다. SVM 알고리즘을 이용해 변동성 데이트레이딩전략의 성과 개선을 시도하였다. 2008년부터 2014년까지의 입력자료를 이용하여 V-KOSPI 200 변동성지수의 시가-종가 변동 방향을 예측하고, 시가-종가 변동율이(-)로 예측되는 경우에만 변동성 매도포지션을 진입하였다. 거래비용을 고려하면 2015년부터 2018년까지 테스트기간의 연평균수익률은 123%로 기준 전략 69%보다 크게 높아지고, 위험지표인 MDD도 -41%에서 -29%로 낮아져, Sharpe ratio가 0.32로 개선되고 있다. 연도별로도 모두 수익을 기록하면서 안정적 수익구조를 보여주고 있고, 2015년을 제외하고는 투자 성과가 개선되고 있다.