Design and Implementation of BNN based Human Identification and Motion Classification System Using CW Radar

연속파 레이다를 활용한 이진 신경망 기반 사람 식별 및 동작 분류 시스템 설계 및 구현

Abstract

Continuous wave (CW) radar has the advantage of reliability and accuracy compared to other sensors such as camera and lidar. In addition, binarized neural network (BNN) has a characteristic that dramatically reduces memory usage and complexity compared to other deep learning networks. Therefore, this paper proposes binarized neural network based human identification and motion classification system using CW radar. After receiving a signal from CW radar, a spectrogram is generated through a short-time Fourier transform (STFT). Based on this spectrogram, we propose an algorithm that detects whether a person approaches a radar. Also, we designed an optimized BNN model that can support the accuracy of 90.0% for human identification and 98.3% for motion classification. In order to accelerate BNN operation, we designed BNN hardware accelerator on field programmable gate array (FPGA). The accelerator was implemented with 1,030 logics, 836 registers, and 334.904 Kbit block memory, and it was confirmed that the real-time operation was possible with a total calculation time of 6 ms from inference to transferring result.

연속파 레이다는 카메라나 라이다와 같은 센서에 비해서 안정성과 정확성이 보장된다는 장점이 있다. 또한 이진 신경망은 다른 딥러닝 기술에 비해서 메모리 사용량과 연산 복잡도를 크게 줄일 수 있는 특징이 있다. 따라서 본 논문에서는 연속파 레이다와 이진 신경망 기반 사람 식별 및 동작 분류 시스템을 제안한다. 연속파 레이다 센서를 통해 수신된 신호를 단시간 푸리에 변환함으로써 스펙트로그램을 생성한다. 이 스펙트로그램을 기반으로 레이다를 향해 사람이 다가오는지 감지하는 알고리즘을 제안한다. 더불어, 최적화된 이진 신경망 모델을 설계하여 사람 식별 90.0%, 동작 분류 98.3%의 우수한 정확도를 지원할 수 있음을 확인하였다. 이진 신경망 연산을 가속하기 위해 FPGA (field programmable gate array)를 이용하여 이진 신경망 연산에 대한 하드웨어 가속기를 설계하였다. 해당 가속기는 1,030개의 로직, 836개의 레지스터, 334.906 Kbit의 블록 메모리를 사용하여 구현되었고, 추론에서 결과 전송까지 총 연산 시간이 6 ms로 실시간 동작이 가능함을 확인하였다.

Ⅰ. 서론

걸음걸이를 기반으로 사람을 식별하거나 동작을 분류하는 기술은 최근 주목받는 기술 중 하나이다. 현재도 의료 분야에서 활용하고 있으며 [1], [2], 특히 미래에는 보안의 목적으로 스마트 홈과 같이 실내에서의 식별 및 분류 시스템을 구축하는 데에도 활용할 수 있기에 지속해서 연구가 진행되고 있다 [3], [4]. 실내에서 사람을 식별하고 동작을 분류하는 시스템으로 구축하는 데 활용하기 위해서는 임베디드 소프트웨어와 가속 하드웨어를 통한 소형화 및 경량화가 요구될 것이다 [5].

전방의 물체를 감지하거나 인식하는 데 있어 많이 사용하는 센서로 레이다, 라이다, 카메라가 있다. 라이다는 펄스로 사용되는 광파가 물체에 닿았을 때 흡수되는 정도가 외부 환경에 영향을 많이 받는다는 단점이 있다. 카메라 역시 조명과 날씨 등에 영향을 많이 받으며, 사생활 침해의 이슈까지 대두되고 있다. 반면, 레이다는 타 센서에 비해 안정성을 보장한다는 장점이 있다. 레이다는 크게 PD (pulse Doppler) 레이다와 연속파 (CW; continuous wave) 레이다로 구분된다. PD 레이다는 시간 축에서 짧은 펄스에 에너지를 모아 송신하는 형태로 중장거리에 적합하며 주로 군사용으로 사용된다. 연속파 레이다는 전파를 연속적으로 방사하는 형태로 도플러 성분을 통해 표적의 속도를 추출할 수 있다. 여기에 주파수 성분을 변조해서 전파를 연속적으로 방사하는 주파수 변조 연속파 (FMCW; frequency modulation continuous wave) 레이다도 있으나 이는 주로 거리 정보가 중요한 전장 시스템에 사용된다. 연속파 레이다에 경우 주파수 자원의 사용이 효율적이며, 시스템의 구성이 간단하면서도 우수한 성능을 낼 수 있고 [6], 성능, 비용, 사생활 보호 측면에서 연속파 레이다를 선택하여 시스템에 적용하였다.

레이다를 사용하여 측정한 신호에 신호처리 과정을 통해 만든 스펙트로그램 (spectrogram)을 사용하여 사람을 식별하거나 동작을 분류하는 기술에는 SVM (support vector machine)과 같은 기계 학습 기술을 사용한 연구도 있지만 [7], [8], 보다 높은 정확도를 위해 합성곱 신경망 (CNN; convolutional neural network)과 같은 딥러닝 기술을 적용하고 있다 [9]-[12]. 그러나 합성곱 신경망은 연산을 위해 사용하는 메모리의 양도 많으며 복잡도 역시 높기에 그만큼 연산 시간도 길어진다는 단점이 있다. 따라서 이를 대체하기 위해 이진 신경망 (BNN; binarized neural network)을 시스템에 적용하였다. 이진 신경망은 합성곱 신경망과 유사한 방식으로 연산을 수행하나, 연산에 사용되는 이미지와 가중치 등이 이진화 되어 메모리 사용량과 복잡도를 감소시킬 수 있다는 장점이 있으며 하드웨어 가속기를 통해 구현하기에도 적합하다는 특징이 있다.

본 논문에서는 사람마다 다른 걸음걸이, 걸음 속도, 팔과 다리의 움직임 등에 의해 각기 다른 마이크로 도플러 특성을 추출할 수 있는 것을 활용한다. 시스템의 경량화를 위해 라즈베리 파이 (Raspberry Pi)를 사용하여 연속파 레이다를 향해 걸어오는 표적으로부터 신호를 수신하고 신호처리 하는 과정을 소프트웨어로 설계하고, 빠른 연산 속도를 확보하기 위해 FPGA (field programmable gate array)를 사용하여 최적화된 이진 신경망 연산 가속기를 하드웨어로 설계함으로써 사람 식별 및 동작 분류 시스템을 구현한다.

본 논문의 Ⅱ장에서는 시스템을 구성하는 연속파 레이다, 신호처리에 사용되는 STFT (short time Fourier transform) 및 합성곱 신경망과 이진 신경망에 대해 설명한다. Ⅲ장에서는 제안된 시스템의 전반적인 개요와 확보한 데이터셋, 데이터의 선 처리 과정, 제안된 시스템의 성능 평가에 대한 실험 결과를 제시한다. Ⅳ장에서는 제안된 시스템의 설계와 구현에 관해 설명하고, 끝으로 Ⅴ장에서 본 논문의 결론을 맺는다.

Ⅱ. 배경

2-1 연속파 레이다

연속파 레이다는 연속적인 펄스의 송신 신호를 방사하고 표적에 의해 반사된 수신 신호로부터 도플러 주파수 성분을 추출하는 센서로, 도플러 레이다라고도 한다. 송신 신호와 수신 신호를 mixer를 통해 신호처리를 하는 과정을 거친 뒤, 도플러 성분만 남은 신호를 활용하여 전방에 탐지된 물체에 대한 속도 정보를 추출한다.

2-2 STFT

신호처리 분야에서 널리 사용되는 FFT (fast Fourier transform)연산은 식 (1)과 같이 신호를 시간 차원에서 주파수 차원으로 변환하는 연산을 수행하여 신호의 진폭과 주파수 정보를 얻을 수 있지만, 해당 주파수가 어느 시점에 존재하는지는 확인할 수 없다.

\(\begin{aligned}f_{j}=\sum_{k=0}^{n-1} x_{k} e^{-\frac{2 \pi i}{n} j k} j=0, \ldots, n-1\end{aligned}\)       (1)

STFT 연산은 식 (2)와 같이 신호를 시간 축에서 윈도우 단위로 FFT 연산을 수행하여 시간의 변화에 대한 주파수 정보를 획득할 수 있다.

\(\begin{aligned} \operatorname{STFT}\{x[n]\} & (m, w) \equiv X(m, w) \\ = & \sum_{n=-\infty}^{\infty} x[n] w[n-m] e^{-j w n}\end{aligned}\)      (2)

표적이 레이다를 향해 다가오며 속도가 변하는 경우, 시간 축에서 변화하는 도플러 주파수를 관측하기 위해 시간과 주파수 축을 동시에 측정해야 할 필요가 있으며, 이를 위해 윈도우 함수를 이용한 STFT를 활용하여 표적의 속도를 측정한다. 본 논문에서는 STFT를 활용하여 스펙트로그램을 생성하여 표적의 사람 식별 및 동작 분류에 사용한다.

2-3 합성곱 신경망

합성곱 신경망은 크게 합성곱 계층 (convolutional layer), 풀링 계층 (pooling layer), 완전 연결 계층 (fully connected layer)으로 구성된다. 합성곱 계층에서 합성곱 연산을 통해 입력으로 받은 이미지로부터 특징을 추출하고, 풀링 계층에서 특징 강화한 후, 완전 연결 계층에서 뉴런과의 연산을 통해 출력단에서 최종적으로 분류를 수행한다. 특히, 합성곱 연산을 수행할 때 입력 이미지 전체에 대해 동일한 가중치를 가지고 연산을 수행하므로 특징을 추출하는 데 효과적이다. 그러므로 이미지 인식 및 분류, 영상 내 객체 분류, 객체 탐지 등 다양한 방면으로 활용되고 있다.

2-4 이진 신경망

이진 신경망은 일반적인 인공 신경망과 다르게 가중치와 활성화 함수를 1 bit로 표현한다는 특징이 있기에, 합성곱 계층에서 부동소수점으로 연산하는 데 필요했던 곱하기-누적(MAC; multiply and accumulate) 연산을 XNOR 연산과 popcount 연산으로 간단하게 대체할 수 있다. 그러므로 연산량이 감소하며 메모리 접근 횟수도 감소해 full precision에 비해 빠른 추론이 가능하다. 따라서 자원이 한정적인 장비에서 DNN (deep neural network) 구현을 가능하게 해주며, 이러한 장점을 극대화하기 위해 효율적인 구조에 대해 지속해서 연구되고 있다 [13], [14].

Ⅲ. 제안된 시스템의 개요

3-1 시스템 구조

제안된 시스템의 구조를 도식화한 것은 그림 1과 같다. 연속파 레이다에서 측정한 데이터를 시리얼 통신 중 UART 인터페이스를 통해 전송하고, 라즈베리 파이에서 USB 연결을 통해 수신한다. 수신된 데이터는 원형 큐에 저장되며, 원형 큐에 저장된 데이터를 STFT를 통해 신호처리를 하여 스펙트로그램을 생성한다. 스펙트로그램은 감지 알고리즘에 활용되어 사람이 레이다를 향해 접근하고 있는지 판단하고, 사람이 다가오고 있다는 것이 감지되면 정규분포를 활용한 이진화 과정을 진행한다. 시리얼 통신 중 SPI를 통해 이진화된 스펙트로그램을 FPGA로 전송하고, FPGA에서는 SPI로 수신한 데이터를 미리 학습된 이진 신경망 모델의 분류 연산에 사용하여 최종 예측 클래스를 얻은 후, SPI 인터페이스를 통해 라즈베리 파이에 전송한다. 라즈베리 파이에서는 전달받은 예측 결과와 스펙트로그램을 모니터에 출력한다.

그림 1. 제안된 사람 식별 및 동작 분류 시스템의 구조도

Fig. 1. Structure of the proposed human identification and motion classification system.

3-2 데이터셋 정의 및 확보

본 시스템에서는 Infineon Tech사의 Sense2Go 연속파 레이다를 사용했다. 해당 레이다의 중심 주파수는 24 GHz이고, 인식 범위는 수평 29 °, 수직 80 °다. 그림 2와 같이 장애물이 없는 실내에서 지면으로부터 1 m 높이에 연속파 레이다를 위치시키고, 측정 시간은 3초로 설정하였다. 실험 인원으로는 남성1 (177 cm), 남성2 (178 cm), 여성1 (165 cm), 여성2 (158 cm) 4명을 측정하였고, 실험 동작으로는 일반적인 걷기 (walk), 성큼성큼 걷기 (stride), 살금살금 걷기 (creep) 3가지의 동작을 측정하였다. 동작 별로 속도가 다른 것을 고려하여 일반적인 걷기는 4 m, 성큼성큼 걷기는 5 m, 살금살금 걷기는 3 m로 측정 거리를 설정하였다. 실험 인원 4명의 3가지 동작을 측정했으므로 총 12개 클래스에 대한 분류를 수행한다.

그림 2. 실험 환경

Fig. 2. Experiment environment.

3-3 데이터 선 처리 과정

UART를 통해 들어오는 연속파 레이다 데이터는 650 Hz로 샘플링 되었으며, 실수부와 허수부로 분리되어 있다. 실수부와 허수부로 구분된 데이터의 크기는 각각 16 bit으로, 128개의 데이터가 하나의 패킷으로 묶여서 전송되며, UART baud rate는 128,000 bps이다. 실수 데이터와 허수 데이터를 복소수 형태로 합치고 DC 성분을 제거하는 과정을 거친 뒤, Hamming window를 사용한 128 point STFT를 진행한다. 이를 통해 얻어낸 128 point * 28 point 크기의 스펙트로그램에서 DC 주파수를 기준으로 상하 18 point씩, 총 36 point를 사용하여 36 point * 28 point 크기의 스펙트로그램을 추출한다.

레이다 앞으로 누군가 걸어오고 있다는 것을 판단하기 위한 감지 알고리즘을 구현하기 위해 다음의 조건을 사용했다. 첫째로 누군가가 레이다에 가까이 접근하기에 그만큼 스펙트로그램의 파워 값도 커지게 된다. 따라서 스펙트로그램의 전체 파워 합을 문턱 값과 비교하도록 하였다. 둘째로 레이다에 가까이 다가온 시점에 도플러 주파수는 DC 주파수를 기준으로 하여 상하 3 point, 총 6 point 내에 강하게 나타나는 것을 활용하여, 특정 시점에서 각 시간 축에 대해 도플러 주파수가 문턱 값을 초과하는지 비교하였다. 마지막으로 특정 주파수 영역에서 최대 파워를 가지는 값을 시간 축에서 확인했을 때 레이다에 가까워지는 시점인 측정 후반부에 위치하는 것을 활용하여, 문턱 값과 비교하였다. 위 세 가지 조건에 부합한다면, 해당 스펙트로그램을 정규분포로 변환한 후 이진화하여 FPGA의 입력 데이터로 사용한다. 그림 3을 보면, 같은 동작을 수행하므로 4명의 스펙트로그램이 유사한 모양으로 나타나는 것을 확인할 수 있다. 또한, 그림 3과 그림 4를 비교해보면 동작 별로 스펙트로그램이 구분됨을 확인할 수 있다.

그림 3. 일반적인 걷기 동작에서 사람별 스펙트로그램

Fig. 3. Spectrogram by person in walk motion.

그림 4. 성큼성큼 걷기 동작에서 사람별 스펙트로그램

Fig. 4. Spectrogram by person in stride motion.

3-4 이진 신경망 성능 평가

먼저, 여러 합성곱 신경망 모델을 실험하여 정확도와 메모리 사용량을 비교하였으며, 궁극적으로 사람 식별 및 동작 분류 시스템을 라즈베리 파이와 FPGA에 구현하기 위해 모델을 경량화 할 필요가 있으므로 앞서 실험했던 모델을 이진 신경망으로 변환한 모델 또한 비교하여 최종 모델을 선정하였다. 앞선 두 종류의 신경망 모델의 성능 평가를 위해 하나의 클래스당 100개씩 측정하여 총 1,200개의 데이터를 활용했다. 이 중에서 70%인 840개를 기반으로 데이터 증강을 통해 추가로 데이터를 생성하여 총 8,400개를 학습에 사용하였고, 나머지 30%인 360개를 평가에 사용하였다. 학습을 위해 파이토치를 기반으로 크로스 엔트로피 손실 함수와 Adam optimizer를 사용하였으며 학습률은 0.0001, 배치 크기는 32 그리고 epoch은 200으로 진행하였다.

자세한 성능 평가를 위해 그림 5와 같이 confusion matrix를 활용하여 사람 식별과 동작 구분에 대한 정확도로 구분하였다. 그림 5에서 M1은 남성1, M2는 남성2, W1은 여성1, W2는 여성2를 의미하며, W는 걷기, S는 성큼성큼 걷기, C는 살금살금 걷기를 의미한다. 예를 들어, 남성2의 걷기에 해당하는 결과를 확인하기 위해 세로축에서 M2_W를 찾고 해당 행에서 가로축을 참고하여 자세한 분류 결과를 확인할 수 있고 남성1의 걷기로 잘못 분류한 경우가 1회 발생한 것을 확인할 수 있다. 빨간색 칸의 숫자들의 합과 초록색 칸의 숫자들의 합으로 각각 동작 구분, 사람 식별의 정확도를 계산하였고, 이러한 방식을 통해 여러 모델에 대한 사람 식별 및 동작 분류 성능을 확인한 결과는 표 1과 같다. 합성곱 계층이 3개이며 완전 연결 계층의 노드 수가 112개인 모델이 성능도 다른 모델에 비해 높을 뿐만 아니라 메모리 사용량 또한 적정하여 최종 모델로 선정하였으며, 이를 도식화한 것은 그림 6과 같다.

표 1. 합성곱 신경망과 이진 신경망 구조별 정확도와 메모리 사용량

Table 1. Accuracy and memory usage by CNN and BNN architectures.​​​​​​​

그림 5. 선정된 이진 신경망 모델의 혼동 행렬

Fig. 5. Confusion matrix of selected BNN model.

그림 6. 제안된 이진 신경망 분류기의 구조

Fig. 6. Structure of the proposed BNN classifier.

Ⅳ. 제안된 시스템의 구조 설계 및 구현

4-1 소프트웨어 설계 및 구현

본 논문에서 제안하는 시스템의 소프트웨어는 Raspberry Pi 4 Model B에 Python을 사용하여 구현하였다. 소프트웨어를 기능별로 나눠 나타내면, 레이다로부터 데이터를 받기 위한 UART 인터페이스 모듈, 감지 알고리즘을 사용하여 사람이 접근하는 것을 판별하는 모듈, STFT와 정규분포를 사용한 데이터 선 처리 모듈, FPGA와 데이터를 주고받기 위한 SPI 통신 모듈, 예측 결과를 모니터에 출력하는 모듈로 구성된다.

4-2 하드웨어 설계 및 구현

본 논문에서 제안하는 시스템의 하드웨어는 Intel MAX 10 FPGA에 Verilog HDL (hardware description language)을 사용하여 구현하였다. 제안된 시스템의 이진 신경망 하드웨어 가속기의 구조는 그림 7과 같다. 크게 라즈베리 파이와 데이터를 통신하기 위한 SPI 블록과 이진 신경망 연산을 담당하는 BNN 블록으로 구성되어 있다.

그림 7. 제안된 이진 신경망 하드웨어 가속기의 구조

Fig. 7. Structure of the proposed BNN hardware accelerator.

SPI 블록에는 SPI 통신을 담당하는 SPI 프로토콜 모듈, dual-port RAM (random access memory)에 데이터를 읽고 쓰는 것을 담당하는 RAM 컨트롤러 모듈, 이진 신경망 연산의 start/done 신호를 송수신하는 start/done 플래그 모듈로 구성되어 있다.

BNN 블록에는 BNN 블록 내부 연산 결과를 읽고 쓰는 RAM, 학습된 파라미터를 저장한 가중치/문턱 값 ROM (read only memory), 이진 신경망 연산과 데이터 입출력을 제어하는 컨트롤러 모듈, 이진 신경망 연산 모듈로 구성되어 있다. 이진 신경망 연산 모듈은 그림 8과 같이 XNOR, popcount, 누산기등으로 구성되어 연산 순서에 맞게 배치 및 연결하였고, 선정된 이진 신경망 모델의 3개의 합성곱 계층과 2개의 완전 연결 계층은 그림 8에서 도식한 하나의 회로 위에서 동작한다.

그림 8. 제안된 이진 신경망 연산 모듈 구조

Fig. 8. Structure of the proposed BNN computation module.

설계한 하드웨어를 FPGA로 구현한 후 그림 9와 같은 환경에서 검증한 결과, 표 2와 같이 1,030개의 로직과 836개의 레지스터, 334.906 Kbit의 메모리를 사용하여 구현되었으며, 최대 동작 주파수 102.35 MHz에서 6 ms의 실행 시간을 확인하였다.

그림 9. 제안된 사람 식별 및 동작 분류 시스템의 검증 환경

Fig. 9. Verification environment of the proposed human identification and motion classification system.

표 2. 제안된 사람 식별 및 동작 분류 시스템의 구현 결과

Table 2. Implementation results of the proposed human identification and motion classification system.

Ⅴ. 결론

본 논문에서는 연속파 레이다와 이진 신경망을 기반으로 걷는 모습을 통한 사람 식별 및 동작 분류 시스템을 제안하였다. 4명의 사람과 3개의 동작으로 총 12개의 클래스를 정의하였고, 레이다를 향해 다가오는 표적을 감지하는 감지 알고리즘과 최적화된 딥러닝 모델이 포함된 시스템을 설계하였다. 그 결과 사람의 구분 정확도는 90.0%, 동작의 구분 정확도는 98.3%를 확인하였으며, 이진 신경망으로 구현한 결과 합성곱 신경망과 비교하여 메모리 사용량이 약 96.9% 감소한 것을 확인하였다. 또한 하드웨어 가속기를 통해 이진 신경망 연산을 진행한 결과, 감지된 스펙트로그램을 FPGA로 전송하고 FPGA에서 이진 합성곱 연산을 수행한 후 다시 라즈베리 파이로 전송하기까지 총 6 ms가 소요되는 것을 확인함으로써 실시간 동작이 가능함을 확인하였다.