DOI QR코드

DOI QR Code

EF Sensor-Based Hand Motion Detection and Automatic Frame Extraction

EF 센서기반 손동작 신호 감지 및 자동 프레임 추출

  • 이훈민 (전남대학교 컴퓨터정보통신공학과 대학원) ;
  • 정선일 (전남대학교 컴퓨터정보통신공학과 대학원) ;
  • 김영철 (전남대학교 컴퓨터정보통신공학과)
  • Received : 2020.12.07
  • Accepted : 2020.12.18
  • Published : 2020.12.31

Abstract

In this paper, we propose a real-time method of detecting hand motions and extracting the signal frame induced by EF(Electric Field) sensors. The signal induced by hand motion includes not only noises caused by various environmental sources as well as sensor's physical placement, but also different initial off-set conditions. Thus, it has been considered as a challenging problem to detect the motion signal and extract the motion frame automatically in real-time. In this study, we remove the PLN(Power Line Noise) using LPF with 10Hz cut-off and successively apply MA(Moving Average) filter to obtain clean and smooth input motion signals. To sense a hand motion, we use two thresholds(positive and negative thresholds) with offset value to detect a starting as well as an ending moment of the motion. Using this approach, we can achieve the correct motion detection rate over 98%. Once the final motion frame is determined, the motion signals are normalized to be used in next process of classification or recognition stage such as LSTN deep neural networks. Our experiment and analysis show that our proposed methods produce better than 98% performance in correct motion detection rate as well as in frame-matching rate.

본 논문에서는 사람의 손동작에 의해 모바일장치상의 전기장센서를 통해 감지되는 동작신호의 실시간 검출 및 프레임 추출 알고리즘을 제안한다. 동작인식에 사용되는 전기장센서는 주변 환경 및 시점에 따라 랜덤잡음 및 센서 표면의 초기 대전상태의 가변적인 특성으로 인해 안정적으로 동작신호를 검출하는데 어려움이 있다. 본 논문에서는 이와 같은 환경에서도 안정적이고 강건하게 동작신호를 감지하여 검출할 수 있는 동적문턱치 방법(dynamic thresholding method)을 제안한다. 동작발생감지여부는 10Hz low-pass 필터와 MA(Motion Average) 필터를 통한 입력신호가 특정 문턱 전압값을 넘을 경우 감지되는데 감지 시점 센서상의 정전하상태가 가변적이므로 주기적으로 offset 값을 계산하여 새로운 문턱치를 동적으로 적용하는 방법이다. 이러한 방법으로 동작신호 감지율을 98% 이상으로 향상 시킬 수 있었다. 또한 일단 동작이 감지되면 정문턱치(positive thresold)와 부문턱치(negative threshold)의 통과시점, 횟수와 평균 동작주기를 고려한 동작신호프레임 알고리즘을 제안하였으며 이의 프레임추출 성공률도 98% 이상의 성능을 보였다. 본 논문에서 제안한 알고리즘으로 추출된 동작신호는 이후 신호정규화를 거쳐 LSTN 심층신경망 인식부를 거쳐 높은 손동작 인식률을 보임으로서 제안된 알고리즘의 우수함을 입증하였다.

Keywords

References

  1. Plessey Semiconductors Ltd, EPIC Sensor Applications Guide Book, Document:292462(20, http://www.advante.ru/components/Plessey.pdf, (accessed Oct., 21, 2020).
  2. 이유라, "EPS Gesture Signal Pattern Recognition Using Multi-Convolutional Neural Networks", 전남대학교 석사학위 논문, 2017년 2월
  3. 정선일, 김영철, "Hand Gesture Signal Extraction and Application to Light Controller Using Passive Electric Sensor," Proc. of ICNGC2019 Int'l Conference, pp. 130-132, ChiangMai, Thailand, Dec, 2019.
  4. X. Tand, S. Mandal, "Indoor Occupancy Awareness and Localization Using Passive Electric Field Sensing," IEEE Trans. on Instrumentation and Measurement, vol. 68, no. 11, pp. 4535-4549, 2019. https://doi.org/10.1109/tim.2018.2890319
  5. F. Aezinia, Y. Wang, B. Bahreyni, "Three Dimensional Touchless Tracking of Objects Using Intergrated Capacitive Sensors," IEEE Trans. on Consumer Elecronics, vol. 58, no. 3, pp. 886-890, 2012. https://doi.org/10.1109/TCE.2012.6311332
  6. G. Singh, A. Nelson, R. Robucci, C. Patel, N. Banerjee, "Inviz: Low-power Personalized Gesture Recognition Using Wearable Textile Capacitive Sensor Arrays," Proc. of 2015 IEEE Int'l Conf. on Pervasive Computing and Communications, pp. 198-206, St. Louis, MO, March, 2015.
  7. 조정재, 김영철, "전기장 왜란을 이용한 비접촉 스마트 TV 제스처 인식 알고리즘," 멀티미디어학회논문지, 제17권, 제2호, 124-131쪽, 2014년 2월
  8. 오강한, 김수형, 문창협, 김영철, "스마트장치에서 비접촉식 전위계차 센서신호를 이용한 동작인식기법," 스마트미디어저널, 제3권, 제2호, 14-19쪽, 2014년 6월
  9. 장진수, 김영철, "전위계차센서 기반 스마트TV 제어를 위한 극저주파 전자기간섭 제거 연구," 멀티미디어학회 논문지, 제18권, 제3호, 401-407쪽, 2015년 3월
  10. 장진수, 김영철, "전위계차 센서를 이용한 원격센싱을 위한 ELF 대역 EMI 제거 및 PLN 응용 연구," 스마트미디어저널, 제4권, 제1호, 2015년 3월
  11. 천우영, 이석현, 김영철, "Labview 기반 EPS 동작 신호 검출 및 분석시스템 구현," 스마트미디어저널, 제5권, 제3호, 25-29쪽, 2016년 9월
  12. 천우영, 이석현, 김영철, "인체전자기장 신호를 응용하여 손동작 인식을 위한 하드웨어구현에 대한 연구," 스마트미디어저널, 제5권, 제3호, 49-53쪽, 2016년 9월
  13. 이유라, 나인섭, 김수형, 김영철, "심층학습모델을 이용한 EPS 동작신호의 인식," 스마트미디어저널, 제5권, 제3호, 35-41쪽, 2016년 9월
  14. 천우영, 김영철, "주변전기장 측정센서를 이용한 손동작 신호검출을 위한 신호처리시스템 연구," 스마트미디어저널, 제6권, 제2호, 26-32쪽, 2017년 6월