Design and Implementation of BNN-based Gait Pattern Analysis System Using IMU Sensor

관성 측정 센서를 활용한 이진 신경망 기반 걸음걸이 패턴 분석 시스템 설계 및 구현

Abstract

Compared to sensors mainly used in human activity recognition (HAR) systems, inertial measurement unit (IMU) sensors are small and light, so can achieve lightweight system at low cost. Therefore, in this paper, we propose a binary neural network (BNN) based gait pattern analysis system using IMU sensor, and present the design and implementation results of an FPGA-based accelerator for computational acceleration. Six signals for gait are measured through IMU sensor, and a spectrogram is extracted using a short-time Fourier transform. In order to have a lightweight system with high accuracy, a BNN-based structure was used for gait pattern classification. It is designed as a hardware accelerator structure using FPGA for computation acceleration of binary neural network. The proposed gait pattern analysis system was implemented using 24,158 logics, 14,669 registers, and 13.687 KB of block memory, and it was confirmed that the operation was completed within 1.5 ms at the maximum operating frequency of 62.35 MHz and real-time operation was possible.

관성 측정 센서는 사람 행동 인식 시스템에 주로 사용되는 센서들에 비해 크기가 작고 가벼우며 낮은 비용으로 시스템의 경량화를 달성할 수 있다. 따라서, 본 논문에서는 관성 측정 센서를 이용한 이진 신경망 기반 걸음걸이 패턴 분석 시스템을 제안하고, 연산 가속을 위한 FPGA 기반 가속기 설계 및 구현 결과를 제시한다. 관성 측정 센서를 통해 걸음걸이에 대한 6가지 신호를 측정하고, 단시간 푸리에 변환을 이용하여 스펙트로그램을 추출한다. 높은 정확도를 가지는 경량화 시스템을 갖추기 위해 걸음걸이 패턴 분류에 BNN (binarized neural network) 기반 구조를 사용하였고, 검증 결과 97.5%의 높은 정확도와 메모리 사용량이 합성곱 신경망에 비해 96.7% 감소한 것을 확인하였다. 이진 신경망의 연산 가속을 위해 FPGA를 이용한 하드웨어 가속기 구조로 설계하였다. 제안된 걸음걸이 패턴 분석 시스템은 24,158개의 logic, 14,669개의 register, 13.687 KB의 block memory를 사용하여 구현되어 62.35 MHz의 최대 동작 주파수에서 1.5ms 내에 연산이 완료되어 실시간 동작이 가능함을 확인하였다.

Ⅰ. 서론

최근 들어서 혈압, 맥박, 혈중 산소 포화도 등 건강 상태를 실시간으로 간편하게 측정할 수 있는 스마트 워치 등의 헬스케어 기기에 대한 수요가 증가하고 있다. 이러한 추세에 따라 다양한 센서로부터 수집된 원시 데이터에서 인공지능 (AI; artificial intelligence)을 사용하여 활동을 식별하는 HAR (human activity recognition) 시스템 연구가 활발히 진행되고 있다 [1] - [5].

HAR 시스템에서 주로 사용되는 센서는 레이다, 라이다, 와이파이, 카메라 등이 있다 [6] - [9]. 하지만 이러한 센서들은 측정 대상과 분리되어 있으므로 걸음걸이의 측정 범위에 큰 제약이 있다. 반면에 관성 측정 센서 (IMU; inertial measurement unit)는 다른 센서에 비해 크기가 작고, 저비용 및 저전력으로 시스템의 경량화를 꾀할 수 있는 특성을 가졌기 때문에 [10] 인간의 걸음걸이 구분을 위한 WID (wearable intelligence device) 연구에 많이 사용되었다 [11].

기존 연구에서 인간의 걸음걸이 패턴 구분을 위해 PCA(principal component analysis), SVM (support vector machine)과 같은 기계 학습을 이용한 시스템이 연구되었으나 약 80%의 낮은 정확도를 나타냈다. 데스크탑을 이용한 딥러닝 프레임워크 기반의 HAR 시스템과 어느 정도 경량화된 딥러닝 모델을 이용한 HAR 시스템도 연구되었으나 경량화된 시스템으로 만들기에는 높은 연산 복잡도를 가지며 메모리 크기나 전력 효율 면에서 단점이 존재한다 [10] - [12].

이에, 본 논문에서는 높은 정확도와 경량화된 시스템을 갖추기 위해 이진 신경망 (BNN; binarized neural network) 및 BWN(binary weight network) 구조를 가지는 관성 측정 센서 기반의 걸음걸이 패턴 실시간 분류 시스템을 제안한다. 분류하고자 하는 걸음걸이는 정상걸음, 큰 팔자걸음, 작은 팔자걸음, 큰 안짱걸음, 작은 안짱걸음 5가지로 팔자걸음과 안짱걸음의 경우 발이 벌어지거나 좁아진 정도에 따라 2단계로 세분화하여 분류하고자 한다. 제안된 시스템은 관성 측정 센서로부터 얻은 데이터의 처리를 위해 STFT (short time Fourier transform)를 사용하여 시간 영역을 주파수 영역으로 변환 후 스펙트로그램(spectrogram)을 얻고, 특징을 추출하여 패턴을 분류할 수 있는 이진 신경망을 이용하여 분류한다. 고속 연산을 위해 이진 신경망은 FPGA (field programmable gate array)를 사용해 하드웨어로 설계하며, Raspberry Pi 컴퓨터를 사용하여 데이터의 신호 처리 및 이진 신경망 연산 가속기와의 데이터 교환을 담당할 소프트웨어를 설계한다.

본 논문의 II장에서는 시스템을 이루는 관성 측정 센서, STFT, 합성곱 신경망 및 이진 신경망에 대해 설명한다. III장에서는 제안된 시스템의 전반적인 구조와 데이터의 흐름을 제시하고, IV장에서는 제안된 시스템의 성능 평가 결과를 제시한다. V장에서 시스템의 설계 및 구현에 대해 설명하고 마지막으로 VI장에서 논문의 결론을 맺는다.

Ⅱ. Backgrounds

2-1 관성 측정 센서

관성 측정 센서는 가속도계와 자이로스코프 센서가 결합하여 힘의 방향 및 각속도 등을 알려주는 센서이다. IMU 센서에 내장된 가속도계와 자이로스코프 센서는 샘플링 주기마다 데이터를 갱신하며, 데이터는 아날로그-디지털 변환기를 통해 16 bit 정수로 환산되어 외부로 전송된다.

2-2 Spectrogram

FFT (fast Fourier transform) 연산은 시간 차원의 이산 신호를 주파수 차원의 이산 신호로 변환하는 연산이다. 식 (1)의 FFT를 통해 전체 신호의 진폭과 주파수를 얻을 수 있으나 시간의 변화에 따른 주파수의 변화를 관찰할 수 없다.

\(\begin{aligned}f_{j}=\sum_{k=0}^{n-1} x_{k} e^{-\frac{2 \pi i}{n} j k} j=0, \ldots, n-1\end{aligned}\)       (1)

식 (2)의 STFT 연산은 시간 차원에서 일정한 구간 단위로 FFT 연산을 수행함으로써 시간에 따라 달라지는 주파수의 변화를 관찰할 수 있다.

\(\begin{aligned}\begin{array}{l}\operatorname{STFT}\{x[n]\}(m, w) \equiv X(m, w) \\ \quad=\sum_{n=-\infty}^{\infty} x[n] w[n-m] e^{-j w n}\end{array}\end{aligned}\)       (2)

사람의 걸음걸이가 다르면 보행 중 주파수 성분의 변화도 다르게 나타나므로, STFT를 통해 얻은 데이터를 걸음걸이 패턴 인식에 사용할 수 있다. 그러므로 본 논문에서는 STFT 데이터를 가로축을 시간, 세로축을 주파수로 둔 스펙트로그램으로 생성하여 분류 대상 데이터로 활용하였다.

2-3 합성곱 신경망

합성곱 신경망은 크게 특징 추출을 위한 합성곱 연산층(convolution layer) 과 분류 작업을 위한 완전 연결 계층 (fully connected layer) 로 구성된다. 합성곱 연산층에서 필터와의 합성곱 연산을 통해 특징을 추출하고 이후 연결된 완전 연결 계층에서 추출된 특징을 기반으로 분류 연산이 행해진다. 합성곱 신경망은 기존 인공 신경망에 비해 적은 parameter를 가지면서도 특징 추출을 통한 분류 작업 등에서 좋은 성능을 낼 수 있다.

2-4 이진 신경망

이진 신경망은 일반적인 인공 신경망과 다르게 입력 및 가중치가 모두 이진화된 인공 신경망이다. 기존 합성곱 계층에서 이루어지는 부동소수점 사칙연산을 전부 XNOR 연산과 popcount 연산으로 대체하여 연산량을 대폭 줄일 수 있다. 그리고 합성곱 신경망에 연속적으로 배치된 배치 정규화와 활성화 함수, 다음 합성곱 계층의 입력 데이터 이진화 연산을 전부 하나의 비교기 연산으로 대체할 수 있어 연산량의 추가적인 감소를 꾀할 수 있다 [13].

BWN 계층은 이진 신경망에서 입력을 제외한 가중치만 이진화된 값을 쓰는 인공 신경망의 형태이다. 합성곱 계층에서의 곱셈 후 누적 (MAC; multiply-accumulate) 연산에서 곱셈 부분의 연산만이 감소한다. 그러나 출력 데이터의 precision이 이진 신경망보다 높아 정확도 면에서 좋은 특성을 가진다.

Ⅲ. 제안된 시스템의 개요

3-1 시스템 구조

제안된 시스템의 구조는 그림 1과 같다. 관성 측정 센서에서 얻은 데이터를 블루투스 (bluetooth) 통신을 이용하여 Raspberry Pi로 전달한다. Raspberry Pi로 전달 받은 데이터는 STFT를 이용한 신호처리 과정을 통해 스펙트로그램을 추출하고 데이터 정규화 과정을 진행한 후 SPI (serial peripheral interface) 통신을 이용하여 FPGA로 전달한다. FPGA에서는 전달받은 데이터에 대해 미리 학습된 이진 신경망 모델의 파라미터를 이용하여 분류 연산이 수행되고 5가지 클래스에 대한 예측 결과를 SPI 통신을 이용하여 Raspberry Pi로 전달한다. Raspberry Pi에서는 전달받은 예측 결과를 softmax 함수를 이용하여 현재 걸음걸이 패턴이 속한 클래스를 분류하고 분류 결과와 스펙트로그램을 모니터에 출력한다.

그림 1. 제안된 걸음걸이 패턴 분석 시스템 구조도

Fig. 1. Structure of the proposed gait pattern classification system.

3-2 Dataset 정의

제안된 시스템에서 사용한 관성 측정 센서는 가속도계 3축, 자이로스코프 3축, 지자계 3축이 내장된 InvenSense 사의 MPU9250 이다. 제안된 시스템에서는 지자계 3축을 제외한 가속도계 3축과 자이로스코프 3축만 이용한다. 가속도 센서는 –4 ~ +4 (g), 자이로스코프는 –250 ~ +250 (deg/s) 범위로 설정하여 333 Hz의 샘플링 주파수로 데이터를 추출하였다.

20대 성인 남성 4명을 대상으로 측정했으며 4 km/h의 일정한 속도로 일직선으로 걸으면서 데이터를 추출하였다. 걸음걸이 패턴은 정상걸음 (Normal), 작은 팔자걸음(Toe out-S), 큰 팔자걸음 (Toe out-B), 작은 안짱걸음(Toe in-S), 큰 안짱걸음(Toe in-B) 5가지로 걸음걸이 진행 방향과 발 간의 각도에 따라 세분화하여 걸음걸이 패턴을 선정하였다. 그림 2는 각 걸음걸이 패턴별 진행 예시이고, 그림 3은 각 걸음걸이 패턴별 스펙트로그램이다.

그림 2. 5가지 걸음걸이 패턴 예시

Fig. 2. Examples of 5 gait pattern.

그림 3. 걸음걸이 패턴별 스펙트로그램

Fig. 3. Spectrogram by gait pattern.

3-3 데이터 선 처리 과정

관성 측정 센서로부터 333 Hz로 샘플링된 데이터를 블루투스 통신을 통해 Raspberry Pi가 수신한다. 수신된 데이터의 DC 성분을 제거한 후 시간 영역의 데이터를 주파수 영역의 스펙트로그램으로 만들기 위해 64 Hop size를 갖는 Hamming window를 이용하여 128 point STFT를 수행한다. 이를 통해 만들어진 128 point * 15 point 스펙트로그램에서 특징이 잘 나타나는 최적의 해상도인 12 point * 15 point로 스펙트로그램을 추출한다.

이진 신경망 모델의 성능을 높이기 위해 추출한 스펙트로그램을 정규분포를 이용한 standard scalar 방식으로 정규화를 진행한다. standard scalar는 식 (3)과 같이 입력 데이터의 평균을 제거하고 분산을 1로 만드는 z-score에 대응시킨다. 식 (3)에서 μ는 데이터의 평균이며, σ는 데이터의 표준편차이다.

\(\begin{aligned}z=\frac{x-\mu}{\sigma}\end{aligned}\)       (3)

정규화된 스펙트로그램을 이진 신경망의 입력 데이터로 사용하기 위해 부동 소수점의 표현 방식을 고정 소수점으로 변환한다. 1 bit의 부호부, 3 bit의 정수부, 4 bit의 소수부로 구성된 8 bit 형태로 변환한다.

3-4 데이터 후처리 과정

Raspberry Pi로 전달받은 이진 신경망 기반 분류기의 5가지 클래스에 대한 예측 결과를 식 (4)와 같은 softmax 함수를 적용하여 총 합이 1인 0 ~ 1 사이의 값으로 모두 정규화하여 스펙트로그램이 속한 클래스를 확률값의 형태로 변환한다.

\(\begin{aligned}P_{j}=\frac{e^{z_{j}}}{\sum_{j=1}^{K} e^{z_{j}}} \quad(j=1,2,3, \ldots, K)\end{aligned}\)       (4)

최종적으로 가속도계 3축, 자이로스코프 3축에 대한 스펙트로그램과 5가지 걸음걸이 패턴에 대한 확률을 모니터에 출력한다.

Ⅳ. 제안된 시스템의 성능 평가

4-1 이진 신경망 분류 성능 평가

높은 정확도와 낮은 연산 복잡도, 적은 메모리 사용 등 경량화 목적에 달성할 수 있는 최적의 이진 신경망 구조의 분류기를 찾기 위해 이진 신경망 모델과 합성곱 신경망 모델을 다양하게 구성하고 학습하였다. 신경망 모델의 성능 평가를 위해 하나의 걸음걸이 패턴당 약 4,200개의 스펙트로그램 데이터를 측정하여 총 21,082개의 데이터를 구축하였다. 이 중에서 70%인 16,883개는 학습을 위한 데이터로, 30%인 4,199개는 검증을 위한 데이터로 사용하였다. Pytorch 딥러닝 프레임워크를 기반으로 Adam optimizer와 cross entropy loss function을 이용하였고, batch size는 128, epoch는 200, learning-rate는 0, 50, 100, 150 epoch마다 0.01, 0.005, 0.001, 0.0005로 변경하여 학습을 진행하였다.

이진 신경망 모델의 경량화를 위해 메모리 사용량에 많은 영향을 미치는 완전 연결 계층 (fully-connected layer)은 1개로 고정하였으며, 다양한 이진 신경망과 합성곱 신경망 구조에 대해 표 1과 같이 합성곱 계층 (convolution layer) 개수에 따른 정확도를 비교하였다. 또한, BWN이 포함된 이진 신경망 분류기를 실제 FPGA에서 고정 소수점 연산을 하기 위해 Q-format을 이용하였고, 표 2와 같이 Q-format 유형별 실험을 진행하였다. Q(4,2)는 모든 경우에서 성능 저하를 나타내고 있으며 Q(16,6)과 Q(8,4)는 성능이 비슷하게 나타나고 있다.

표 1. 합성곱 신경망과 이진 신경망 기반 구조별 분류 성능 비교

Table 1. Comparison for the classification performance of CNN and BNN-based models.

표 2. 이진 신경망 기반 모델의 Q-format 별 성능 평가 비교

Table 2. Comparison for the performance evaluation by Q-format of BNN-based model.

따라서, 그림 4와 같이 전체적인 parameter 개수와 FPGA에서의 연산 처리에 적절한지 고려했을 때 3개의 합성곱 계층과 1개의 완전 연결 계층 구조의 BWN이 포함된 이진 신경망 구조와 더 적은 메모리로 설계하여 경량화 목적을 달성할 수 있는 Q(8,4)를 이용한 구조를 선택하였다. 또한, 4,199개의 검증 데이터를 대상으로 성능을 평가했을 때 혼동 행렬 (confusion matrix)는 그림 5와 같다. 정상걸음, 팔자걸음, 안짱걸음 3가지 유형 간의 오분류는 7가지로 거의 정확한 분류가 나타나며, 발이 벌어진 정도에 따른 오분류가 가장 큰 영향을 나타내고 있다.

그림 4. 제안된 이진 신경망 기반 분류기의 구조

Fig. 4. Structure of proposed BNN-based classifier.

그림 5. 제안된 이진 신경망 기반 모델의 혼동 행렬

Fig. 5. Confusion matrix of the proposed BNN-based model.

Ⅴ. 제안된 시스템의 구조 설계 및 구현

5-1 Software 설계 및 구현

제안된 시스템의 소프트웨어는 Raspberry Pi Foundation의 Raspberry Pi 4 Model B 컴퓨터를 통해 구현되었다. 소프트웨어의 기능은 관성 측정 센서로부터 원시 데이터를 받기 위한 블루투스 통신 모듈, 해당 데이터를 STFT 연산하고 스펙트로그램 형태로 변환하는 모듈, 이진 신경망 가속기로 스펙트로그램을 전송 및 걸음걸이 별 예측 결과를 수신하는 SPI (serial peripheral interface) 통신 모듈, 예측 결과 및 스펙트로그램을 모니터에 출력하는 모듈로 구성하였다.

5-2 Hardware 설계 및 구현

본 논문에서 제안하는 걸음걸이 패턴 분류 시스템의 이진 신경망 가속을 위한 FPGA 하드웨어 구조는 그림 6과 같다. Raspberry Pi와 데이터 교환을 목적으로 설계된 SPI block과 이진 신경망 연산을 처리하는 BNN block으로 구분된다. 두 가지 block은 one-port RAM (random access memory)를 기반으로 데이터가 전달되며 각각의 controller를 설계하여 동시에 RAM에 접근하지 못하도록 설계하였다.

그림 6. 제안된 이진 신경망 기반 분류기의 블록도

Fig. 6. Block diagram of the proposed BNN-based classifier.​​​​​​​

SPI block은 Raspberry Pi와 FPGA의 SPI 통신을 이용한 데이터 교환을 담당하는 SPI protocol 모듈, 데이터를 가공하기 위한 zero-padding 모듈로 구성된다.

BNN block은 3개의 합성곱 계층과 1개의 완전 연결 계층으로 구성되며, 첫 번째 합성곱 계층은 BWN 연산, 나머지 합성곱계층과 완전 연결 계층은 BNN 연산을 기반으로 설계하였다. 완전 연결 계층의 출력은 RAM을 사용하지 않고 SPI block과 연결하여 구현했으며, controller를 통해 RAM에 읽고 쓰는 주소의 생성과 전체적인 모듈의 제어를 담당하도록 설계하였다.

설계한 하드웨어는 Verilog HDL (hardware description language)를 이용하여 작성하였으며, Intel MAX 1010M50DAF484C7G FPGA를 사용하여 검증 및 구현하였다. FPGA 구현 결과, 표 3과 같이 24,158개의 logic과 14,669개의 register, 13.687 KB의 메모리를 사용하여 구현되었다. 또한, 62.35 MHz의 최대 동작 주파수에서 1.5 ms 내에 연산이 완료되어 실시간 동작이 가능한 것을 확인하였으며, Pytorch 딥러닝 프레임워크를 이용한 분류기의 연산 처리 속도인 평균 62 ms에 비해 97.58% 감소한 것을 확인하였다.

그림 7. BWN 구조를 이용한 첫 번째 Convolution layer 블록도

Fig. 7. Block diagram of the first convolution layer using BWN structure.

그림 8. BNN 구조를 이용한 Convolution layer 블록도

Fig. 8. Block diagram of the convolution layer using BNN structure.

그림 9. 제안된 걸음걸이 패턴 분석 시스템의 검증 환경

Fig. 9. Block diagram of the BNN-based convolution layer.​​​​​​​

표 3. 제안된 이진 신경망 기반 분류기의 FPGA 구현 결과

Table 3. FPGA Implementation results of the proposed BNN-based classifier.​​​​​​​

Ⅵ. 결론

본 논문에서는 관성 측정 센서와 이진 신경망을 기반으로 걸음걸이 패턴 분석 시스템을 제안하였다. 5가지 걸음걸이 패턴을 정의하였고, 정확도와 연산 복잡도, 메모리 요구량 측면에서 최적화된 딥러닝 모델을 포함한 시스템을 설계하였다. 그 결과, 걸음걸이 패턴 분류 정확도는 97.5%를 확인하였으며, 같은 층으로 구성된 합성곱 신경망에 비해 메모리의 사용량이 96.7% 가량 감소한 것을 확인하였다. 또한, 이진 신경망 분류기를 하드웨어 가속기 구조로 설계하여 62.35 MHz의 최대 동작 주파수에서 1.5 ms 내에 연산이 완료되어 실시간 동작이 가능함을 확인하였고, software 대비 연산 속도가 97.58% 향상된 것을 확인하였다.