DOI QR코드

DOI QR Code

Prediction of the Following BCI Performance by Means of Spectral EEG Characteristics in the Prior Resting State

뇌신호 주파수 특성을 이용한 CNN 기반 BCI 성능 예측

  • 강재환 (동의대학교 인공지능 그랜드ICT 연구센터) ;
  • 김성희 (동의대학교 산업ICT기술공학과) ;
  • 윤주상 (동의대학교 산업ICT기술공학과) ;
  • 김준석 (동의대학교 산업ICT기술공학과)
  • Received : 2020.09.21
  • Accepted : 2020.10.22
  • Published : 2020.11.30

Abstract

In the research of brain computer interface (BCI) technology, one of the big problems encountered is how to deal with some people as called the BCI-illiteracy group who could not control the BCI system. To approach this problem efficiently, we investigated a kind of spectral EEG characteristics in the prior resting state in association with BCI performance in the following BCI tasks. First, spectral powers of EEG signals in the resting state with both eyes-open and eyes-closed conditions were respectively extracted. Second, a convolution neural network (CNN) based binary classifier discriminated the binary motor imagery intention in the BCI task. Both the linear correlation and binary prediction methods confirmed that the spectral EEG characteristics in the prior resting state were highly related to the BCI performance in the following BCI task. Linear regression analysis demonstrated that the relative ratio of the 13 Hz below and above the spectral power in the resting state with only eyes-open, not eyes-closed condition, were significantly correlated with the quantified metrics of the BCI performance (r=0.544). A binary classifier based on the linear regression with L1 regularization method was able to discriminate the high-performance group and low-performance group in the following BCI task by using the spectral-based EEG features in the precedent resting state (AUC=0.817). These results strongly support that the spectral EEG characteristics in the frontal regions during the resting state with eyes-open condition should be used as a good predictor of the following BCI task performance.

뇌파를 이용한 Brain-computer interface (BCI) 연구에서는 다른 그룹보다 그 성능을 발휘하지 못하는 소위 BCI-illiteracy 그룹이라고 알려진 사용자 집단에 대한 이해와 처리가 중요하다. 본 연구는 사용자로부터 사전 휴지 상태의 뇌파 신호를 미리 측정하고 그 신호로부터 주파수 기반의 특징 변수를 생성하여 이를 피험자 개인의 특성 변수로 사용하고, 추정된 개인 특성 변수를 이용하여 이후 움직임 상상 패러다임이 적용된 BCI 시행의 성능과 어느 정도의 정량적 연관성을 가지며 이를 정확하게 예측할 수 있는지를 밝히고자 하였다. 결과에 대한 신뢰성을 높이기 위해서 검증된 공개 뇌파 데이터베이스를 활용하고 Convolution neural network 기반의 딥러닝 기법을 활용하여 이진 BCI 성능 계산을 실시하였으며 Lasso 정규화가 적용된 선형 회귀 분석을 통해서 각 특징 변수와의 예측 관련성을 조사하였다. 첫 번째로 휴지 상태 뇌파 모든 특징 변수들과 BCI 성능 간의 연관성을 파악하기 위해서 전통적인 통계 방법들을 적용하였고 이를 통해서 전두엽에서 측정된 뇌파 신호들의 13 Hz를 기준으로 이보다 낮은 주파수와 높은 주파수 파워 간의 비율이 BCI 성능 사이와 통계적 유의미한 높은 상관성이 가지고 있다는 사실을 확인할 수 있었다. 이를 근거로 상대 주파수 비율 값이 BCI 성능을 예측해볼 수 있는 좋은 지표 후보군으로 지정하였다. 두 번째로 Lasso를 이용한 회귀 분석을 통해서 휴식 상태의 상대 주파수 비율 변수를 이용하여 BCI 성능 사이에 최대 선형 계수 0.544 수준의 선형 관계를 찾을 수 있었으며, BCI 과제를 잘 시행할 수 있는 그룹과 못할 그룹을 AUC 0.817 수준으로 예측할 수 있었다. 본 연구에서는 각 사용자마다 측정된 휴지 상태의 뇌파로부터 앞으로 있을 BCI 성능을 예측할 수 있는 방법론 제시함으로써 일반인을 대상으로 좀 더 신뢰성 있고 응용 가능한 BCI 시스템 개발에 기여하고자 한다.

Keywords

References

  1. P. Stegman, C. S. Crawford, M. Andujar, A. Nijholt, and J. E. Gilbert, "Brain-Computer Interface Software: A Review and Discussion," IEEE Transactions on Human-Machine Systems, Vol.50, No.2, pp.101-115, Feb. 2020. https://doi.org/10.1109/thms.2020.2968411
  2. C. Vidaurre and B. Blankertz, "Towards a Cure for BCI Illiteracy," Brain Topography, Vol.23, No.2, pp.194-198, Nov. 2009. https://doi.org/10.1007/s10548-009-0121-6
  3. B. Blankertz, C. Sannelli, S. Halder, E. M. Hammer, A. Kubler, K.-R. Muller, G. Curio, and T. Dickhaus, "Neurophysiological Predictor of SMR-based BCI Performance," NeuroImage, Vol.51, No.4, pp.1303-1309, Jul. 2010. https://doi.org/10.1016/j.neuroimage.2010.03.022
  4. M. C. Thompson, "Critiquing the Concept of BCI Illiteracy," Science and Engineering Ethics, Vol.25, No.4, pp.1217-1233, Aug. 2018. https://doi.org/10.1007/s11948-018-0061-1
  5. C. Jeunet, E. Jahanpour and F. Lotte, "Why Standard Braincomputer Interface (BCI) Training Protocols Should be Changed: an Experimental Study," Journal of Neural Engineering, Vol. 13, No.3, pp.036024, Jun. 2016. https://doi.org/10.1088/1741-2552/13/3/036024
  6. A. Bamdadian, C. Guan, K. K. Ang and J. Xu, "The Predictive Role of Pre-cue EEG Rhythms on MI-based BCI Classification Performance," Journal of Neuroscience Methods, Vol.235, pp.138-144, Sep. 2014. https://doi.org/10.1016/j.jneumeth.2014.06.011
  7. E. M. Hammer, S. Halder, B. Blankertz, C. Sannelli, T. Dickhaus, S. Kleih, K.-R. Muller, and A. Kubler, "Psychological Predictors of SMR-BCI Performance," Biological Psychology, Vol.89, No.1, pp.80-86, Jan. 2012. https://doi.org/10.1016/j.biopsycho.2011.09.006
  8. M. Ahn, H. Cho, S. Ahn, and S. C. Jun, "High Theta and Low Alpha Powers May Be Indicative of BCI-Illiteracy in Motor Imagery," PLoS ONE, Vol.8, No.11, pp.e80886-11, Nov. 2013. https://doi.org/10.1371/journal.pone.0080886
  9. M. Kwon, H. Cho, K. Won, M. Ahn, and S. C. Jun, "Use of Both Eyes-Open and Eyes-Closed Resting States May Yield a More Robust Predictor of Motor Imagery BCI Performance," Electronics, Vol.9, No.4, pp.690-14, Apr. 2020. https://doi.org/10.3390/electronics9040690
  10. R. Zhang, P. Xu, R. Chen, F. Li, L. Guo, P. Li, T. Zhang, and D. Yao, "Predicting Inter-session Performance of SMR-Based Brain- Computer Interface Using the Spectral Entropy of Resting-State EEG," Brain Topography, Vol.28, No.5, pp.1-11, Apr. 2015. https://doi.org/10.1007/s10548-014-0421-3
  11. G. Schalk, D. J. McFarland, T. Hinterberger, N. Birbaumer, and J. R. Wolpaw, "BCI2000: A General-Purpose BrainComputer Interface (BCI) System," IEEE Transactions on Biomedical Engineering, Vol.51, No.6, pp.1034-1043, Jun. 2004. https://doi.org/10.1109/tbme.2004.827072
  12. V. J. Lawhern, A. J. Solon, N. R. Waytowich, S. M. Gordon, C. P. Hung, and B. J. Lance, "EEGNet: A Compact Convolutional Neural Network for EEG-based Brain-computer Interfaces," Journal of Neural Engineering, Vol.15, No.5, pp.056013, Oct. 2018. https://doi.org/10.1088/1741-2552/aace8c
  13. G. Muller-Putz, R. Scherer, and C. B. I. Journal, 2008, "Better than Random: A Closer Look on BCI Results," International Journal of Bioelectromagnetism, Vol.10, No.1, pp.52-55, Jan. 2008.
  14. J. L. Reichert, S. E. Kober, C. Neuper, and G. Wood, "Resting-state Sensorimotor Rhythm (SMR) Power Predicts the Ability to Up-regulate SMR in an EEG-instrumental Conditioning Paradigm," Clinical Neurophysiology, Vol. 126, No.11, pp.2068-2077, Nov. 2015 https://doi.org/10.1016/j.clinph.2014.09.032