Journal of the Korea Academia-Industrial cooperation Society (한국산학기술학회논문지)

The Korea Academia-Industrial cooperation Society (한국산학기술학회)
권호 표지
DOI QR코드

DOI QR Code

Classification of Respiratory States based on Visual Information using Deep Learning

심층학습을 이용한 영상정보 기반 호흡신호 분류

  • Song, Joohyun (Department of Computer Engineering, Keimyung University) ;
  • Lee, Deokwoo (Department of Computer Engineering, Keimyung University)
  • 송주현 (계명대학교 공과대학 컴퓨터공학전공) ;
  • 이덕우 (계명대학교 공과대학 컴퓨터공학전공)
  • Received : 2021.02.03
  • Accepted : 2021.05.07
  • Published : 2021.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes an approach to the classification of respiratory states of humans based on visual information. An ultra-wide-band radar sensor acquired respiration signals, and the respiratory states were classified based on two-dimensional (2D) images instead of one-dimensional (1D) vectors. The 1D vector-based classification of respiratory states has limitations in cases of various types of normal respiration. The deep neural network model was employed for the classification, and the model learned the 2D images of respiration signals. Conventional classification methods use the value of the quantified respiration values or a variation of them based on regression or deep learning techniques. This paper used 2D images of the respiration signals, and the accuracy of the classification showed a 10% improvement compared to the method based on a 1D vector representation of the respiration signals. In the classification experiment, the respiration states were categorized into three classes, normal-1, normal-2, and abnormal respiration.

본 논문에서는 영상정보에 기반한 호흡상태 분류 방법을 제안한다. 호흡신호는 초광대역 레이더 센서를 이용하여 획득하고 호흡신호의 값으로 이루어진 1차원 그래프 대신 그래프의 영상 정보가 담긴 2차원 정보 기반으로 호흡상태를 분류한다. 호흡상태의 분류는 심층신경망 모델을 사용하고, 심층신경망 모델은 호흡신호 그래프가 포함된 2차원 영상의 특징들을 학습하여 영상기반의 호흡상태 분류의 결과를 제공한다. 기존의 레이더 센서 기반 호흡신호의 상태 분류는 1차원 벡터의 구성요소 값 및 그 값들의 변화량을 이용하여 회귀, 심층학습 방법을 적용하였다. 그러나 1차원 그래프 기반의 호흡상태 분류는 다양한 형태의 정상호흡 상태에 대한 분류 성능에서 한계를 보였다. 본 논문에서는 호흡 신호로부터 얻은 그래프의 이미지 자체를 2차원 입력 신호로 사용하여 심층 신경망 모델을 적용하여 분류를 수행하였다. 본 논문에서 제안하는 영상정보 기반의 호흡상태 분류는 기존의 1차원 벡터 기반 호흡상태 분류 대비 호흡상태 분류의 정확도를 약 10% 향상 시켰다. 또한 기존의 두 가지 호흡상태 (정상 및 비정상) 분류에서 확장하여 세 가지 호흡상태 (정상1, 정상2, 비정상) 분류를 수행하였다.

Keywords

Acknowledgement

본 연구는 2021년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구 (No. 2019R1G1A1100172)임.

References

  1. C. Hwnag, S. Kim, D. Lee, "Detection of Apnea Signal using UWB Radar based on Short-Time-Fourier-Transform", Korea Academy Industrial Cooperation Society, Vol.20, No.7, pp.151-157, Jul. 2019. DOI : https://doi.org/10.5762/KAIS.2019.20.7.151
  2. J. Tu, T. Hwang, J. Lin, "Respiration Rate Measurement Under 1-D Body Motion Using Single Continuous-Wave Doppler Radar Vital Sign Detection System", IEEE Transactions on Microwave Theory and Techniques, Vol.64, No.6, pp.1937-1946, Jun. 2016. DOI : https://doi.org/10.1109/TMTT.2016.2560159
  3. J-Y. Sim, H-G. Seo, "Remote medical Smart healthcare system for IoT-based multi-biometric information measurement", Journal of the Korea Convergence Society, Vol.11, No.10, pp.53-61, 2020. DOI : https://doi.org/10.15207/JKCS.2020.11.10.053
  4. C. Massaroni, A. Nicolo, D. Presti, M. Sacchetti, S. Silvestri, E. Schena, "Contact-Based Methods for Measuring Respiratory Rate", Sensors, Vol.19, No.4, pp.1-47, 2019. DOI : http://dx.doi.org/10.3390/s19040908
  5. P. Muthusamy, K. Sundaraj, N. Manap, "Computerized acoustical techniques for respiratory flow-sound analysis: a systematic review", Artificial Intelligence Review, Vol.53, pp. 3501-3574, Nov. 2019. DOI : https://doi.org/10.1007/s10462-019-09769-6
  6. A. Basra, B. Mukhopadhayay, S. Kar, "Temperature sensor based ultra low cost respiration monitoring system", 2017 9th International Conference on Communication Systems and Networks (COMSNETS), IEEE, Bangalore, India, pp. 530-535, Jan. 2017. DOI : https://doi.org/10.1109/COMSNETS.2017.7945448
  7. T. Kiuru, M. Metso, S. Jardak, P. Pursula, J. Hakli, M. Hirvonen, R. Sepponen, "Movement and respiration detection using statistical properties of the FMCW radar signal" 2016 Global Symposium on Millimeter Waves (GSMM) & ESA Workshop on Millimetre-Wave Technology and Applications, IEEE, Espoo, Finland, pp.1-4, Jun. 2016. DOI : https://doi.org/10.1109/GSMM.2016.7500331
  8. I. Ko, H. Park, "Apnea Detection and Respiration Rate Estimation Using IR-UWB Radar Signals", The Journal of Korean Institute of Electromagnetic Engineering and Science, Vol. 28, No.10, pp.802-809, Oct. 2017. DOI : https://doi.org/10.5515/KJKIEES.2017.28.10.802
  9. K-Y. Lin, D-Y. Chen, W-J. Tsai, "Image-Based Motion-Tolerant Remote Respiratory Rate Evaluation", IEEE Sensors Journal, Vol.16, No.9, pp.3263-3271, Feb. 2016. DOI : https://doi.org/10.1109/JSEN.2016.2526627