DOI QR코드

DOI QR Code

비정형, 정형 데이터의 이미지 학습을 활용한 시장예측

MPIL: Market prediction through image learning of unstructured and structured data

  • 이윤선 (인하대학교 전기컴퓨터공학과) ;
  • 이주홍 (인하대학교 전기컴퓨터공학과) ;
  • 최범기 (인하대학교 전기컴퓨터공학과) ;
  • 송재원 (밸류파인더스)
  • 투고 : 2021.02.23
  • 심사 : 2021.03.30
  • 발행 : 2021.06.30

초록

금융 시계열 분석은 현대 사회의 경제적, 사회적으로 매우 중요한 역할을 하며 세계 발전에 영향을 미치는 중요한 과제지만 많은 잡음(noise)과 불확실성 등의 어려움으로 인해 금융 시계열 분석 예측은 어려운 연구 주제이다. 본 논문에서는 비정형 데이터와 정형 데이터를 함께 이미지로 변환하여 시장을 예측 하는 방법(MPIL)을 제안한다. 시장 예측을 위해 n일 기간의 비정형 데이터인 SNS, 뉴스 데이터를 감정분석하고 정형 데이터인 시장 데이터를 GADF 알고리즘으로 이미지 변환하고 이미지 학습을 통해 n+1일의 가격을 예측하는 초단기 시장을 예측한다. MPIL은 평균 정확도 56%로 기존 시장예측에 사용되던 감정분석을 활용하여 LSTM으로 시장을 예측하는 모델 평균 정확도 50%보다 높은 정확도를 보였다.

Financial time series analysis plays a very important role economically and socially in modern society and is an important task affecting global development, but due to difficulties such as a lot of noise and uncertainty, financial time series analysis prediction is a difficult research topic. In this paper, we propose a market prediction method (MPIL) by converting unstructured data and structured data into images. For market prediction, it analyzes SNS and news data, which is unstructured data for n days, and converts the market data, which is structured data, to an image with the GADF algorithm, and predicts an ultra-short market that predicts the price of n+1 days through image learning. MPIL has an average accuracy of 56%, which is higher than the 50% average accuracy of the model that predicts the market with LSTM by using sentiment analysis used for existing market forecasting.

키워드

과제정보

이 논문은 2021년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (2019R1F1A1062094, 2017R1D1A1A02018319, NRF-2020R1F1A1069361).

참고문헌

  1. Rodolfo C. Cavalcantea, Rodrigo C. Brasileiro, Victor L.F. Souza, Jarley P. Nobrega, Adriano L.I. Oliveira, "Computational Intelligence and Financial Markets: A Survey and Future Directions," Expert Systems with Applications, Vol. 55, pp. 194-211, Aut. 2016. https://doi.org/10.1016/j.eswa.2016.02.006
  2. Jonathan L. Ticknor, "A Bayesian regularized artificial neural network for stock market forecasting," Expert Systems with Applications, Vol. 40, No. 14, pp. 5501-5506, Oct. 2013. https://doi.org/10.1016/j.eswa.2013.04.013
  3. 이형용, "한국 주가지수 등락 예측을 위한 유전자 알고리즘 기반 인공지능 예측기법 결합모형," Enture Journal of Information Technology, Vol. 7, No. 2, 33-43쪽, 2018년 7월
  4. Johan Bollena, Huina Mao, Xiaojun Zeng, "Twitter mood predicts the stock market," Journal of computational science, Vol. 2, No. 1, pp. 1-8, Mar. 2011. https://doi.org/10.1016/j.jocs.2010.12.007
  5. 안성원, 조성배, "뉴스 텍스트 마이닝과 시계열 분석을 이용한 주가예측," 한국정보과학회 2010 한국컴퓨터종합학술대회 논문집, 제 37권, 제1호, 364-369쪽, 강릉원주대학교, 한국, 2010년 6월
  6. Tushar Rao, Saket Srivastava, "Analyzing Stock Market Movements Using Twitter Sentiment Analysis," Proceedings of the 2012 International Conference on Advances in Social Networks Analysis and Mining, pp. 119-123, Istanbul, Turkey, Aug. 2012.
  7. 김동영, 박제원, 최재현, "SNS와 뉴스기사의 감성분석과 기계학습을 이용한 주가예측 모형 비교 연구," Journal of Information Technology Services, 제13권, 제3호, 221-233쪽, 2014년 9월 https://doi.org/10.9716/KITS.2014.13.3.221
  8. Xu Jiawei,. Tomohiro Murata, "Stock Market Trend Prediction with Sentiment Analysis based on LSTM Neural Network," Proceedings of the International MultiConference of Engineers and Computer Scientists 2019, pp. 475-179, Kowloon, Hong Kong, Mar. 2019.
  9. 이충헌, "Data Digest: 데이터 이미지화와 응용," 정보과학회 컴퓨팅의 실제 논문지, 제24권, 제11호, 614-622쪽, 2018년 11월 https://doi.org/10.5626/KTCP.2018.24.11.614
  10. Theresa Wilson, et al., "Opinion Finder: A system for subjectivity analysis," Proceedings of HLT/EMNLP 2005 Interactive Demonstrations, pp. 34-35, Vancouver, Canada, Oct. 2005.
  11. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv:1810.04805, Oct. 2018.
  12. S.K. Aggarwal, L.M. Saini, A. Kumar, "Price forecasting using wavelet transform and LSE based mixed model in Australian electricity market," Int. J. Energy Sector Manage, vol. 2, No. 4, pp. 521-546, Nov. 2008. https://doi.org/10.1108/17506220810919054
  13. Qun Zhuge, Lingyu Xu, Gaowei Zhang, "LSTM Neural Network with Emotional Analysis for Prediction of Stock Price," Engineering Letters, Vol. 25, No. 2, pp. 64-72, May 2017.
  14. 박지연 외 2인, "시계열 데이터의 이미지화 알고리즘을 이용한 기계학습 성능 비교 및 분석," 2019년도 한국통신학회 추계종합학술발표회 논문집, 135-136쪽, 국민대학교, 한국, 2019년 11월
  15. Nima Hatami, Yann Gavet, Johan Debayle, "Classification of time-series images using deep convolutional neural networks," arXiv:1710.00886, Oct. 2017.
  16. Zhiguang Wang, Tim Oates, "Imaging Time-Series to Improve Classification and Imputation," Proceedings of the 24th International Conference on Artificial Intelligence, pp. 3939-3945, Buenos Aires, Argentina, Jul. 2015.
  17. Zhiwei Gao, Tiangang Zou, Lulu Zhang, Juan Chen, Jing Guo, Weixing Ji, "Rapidly Generate and Visualize the Digest of Massive Time Series Data," 2017 IEEE Third International Conference on Big Data Computing Service and Applications(BigDataService), Vol. 1, pp. 157-164, Redwood City, USA, Apr. 2017.
  18. Gregory Koch, Richard Zemel, Ruslan Salakhutdinov, "Siamese Neural Networks for One-shot Image Recognition," International Conference on Machine Learning, vol. 37, 2015.
  19. Rashmi Sutkatti, Dr. D.A. Torse, "Stock Market Forecasting Techniques: A Survey," International Research Journal of Engineering and Technology, International Research Journal of Engineering and Technology (IRJET), vol. 6, No. 5, pp. 4842-4844, May 2019.
  20. 이모세, 안현철, "효과적인 입력변수 패턴 학습을 위한 시계열 그래프 기반 합성곱 신경망 모형: 주식시장 예측에의 응용," 지능정보연구, 제24권, 제1호, 167-181쪽, 2018년 3월 https://doi.org/10.13088/JIIS.2018.24.1.167
  21. Feiyun Xiao, Yanyan Chen, Yanhe Zhu, "DGADF/GASF-HOG:feature extraction methods for hand movement classification from surface electromyography," Journal of Neural Engineering, Vol. 17, No. 4, Jul. 2020.
  22. 천성길, 이주홍, 최범기, 송재원, "대규모 외생 변수와 Deep Neural Network를 사용한 금융 시장 예측의 성능 향상에 관한 연구," 스마트미디어저널, 제9권, 제4호, 26-35쪽, 2020년 12월
  23. 유경호, 노주현, 홍택은, 김형주, 김판구, "Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구," 스마트미디어저널, 제10권, 제1호, 63-69쪽, 2021년 3월