Addressing Inter-floor Noise Issues in Apartment Buildings using On-Sensor AI Embedded with TinyML on Ultra-Low-Power Systems

Abstract

In this paper, we proposes a method for real-time processing of inter-floor noise problems by embedding TinyML, which includes a deep learning model, into ultra-low-power systems. The reason this method is feasible is because of lightweight deep learning model technology, which allows even systems with small computing resources to perform inference autonomously. The conventional method proposed to solve inter-floor noise problems was to send data collected from sensors to a server for analysis and processing. However, this centralized processing method has issues with high costs, complexity, and difficulty in real-time processing. In this paper, we address these limitations by employing On-Sensor AI using TinyML. The method presented in this paper is simple to install, cost-effective, and capable of processing problems in real-time.

본 논문은 딥러닝 모델이 포함된 TinyML(Tiny Machine Learning)를 초저전력 시스템에 탑재하여, 층간소음 문제를 실시간으로 처리하는 방법을 제시한다. 이 방법이 가능한 이유는 딥러닝 모델 경량화 기술로 인해 컴퓨팅 리소스가 작은 시스템도 자체적으로 추론을 수행 할 수 있기 때문이다. 기존에 층간소음 문제를 해결하기 위해 제시됐던 방법은 센서에서 수집한 데이터를 서버로 보내어 데이터를 분석한 후에 처리하는 방법 이었다. 하지만 이러한 중앙 처리 방법은 구축 비용이 비싸고 복잡하며, 실시간 처리가 어려운 문제가 있다. 이러한 한계점을 본 논문에서는 TinyML을 사용한 On-Sensor AI(Artificial Intelligent) 로 해결하였다. 본 논문에서 제시한 방법은 시스템 설치가 간단하고 저비용 이면서 문제를 실시간적으로 처리할 수 있다.

I. Introduction

대한민국의 인구밀도는 인구 1,000만 이상인 국가 중에서는 4위이고, OECD에서는 1위이다. 영토중 산의 비율은 70% 이상으로 산이 없는 지역에 인구가 몰려 사는데, 그 중의 90% 이상이 도시 지역에 살고 있다. 이러한 도시로의 인구밀집으로 인하여 공동주택 비율이 증가하였다. 2021년 통계청 자료[1]를 보면, 전체 주택 중 공동주택의 비율은 78.3%이다. [2]공동주택은 좁은 공간에 많은 사람들이 모여 삶으로 인해 갈등이 발생하는데, 갈등의 가장 큰 이유 중 하나는 층간소음이다. 층간소음 문제로 인하여 이웃 간에 극단적 사고가 발생하여 심각한 사회적 문제로 대두 되곤 하였다. 이러한 문제를 해결하기 위해 여러가지 해결책이 제시되었다. [3][4] 법과 제도를 가지고 해결하려는 방법, [5] 소음을 차단하는 바닥재 연구 및 바닥충격음 저감설계를 연구하여 층간 소음을 해결하는 방법, [6] IoT(Internet of Things) 기술을 통한 층간소음 모니터링 및 소음 진원지를 파악하여 해결하고자 하는 방법 등등이다.

하지만 층간소음 문제는 [7] 건축 구조, 음향공학, 바닥 재료, 설계 결함, 환경 소음 및 진동 분야와 관련된 복잡한 문제로 층간소음을 일으키는 원인은 다양하다. 그리고 [8] 기술적으로도 정확하게 층간소음을 정의하기가 어렵다. 무엇보다도 층간 소음의 문제점은 [9] 산발적으로 발생하며, 지속성이 상대적으로 짧은 실시간적인 특징이 있다. 이러한 특징으로 인해 층간소음 유발자는 자신이 남에게 피해를 주는지 조차 알지 못한다. 반면, 층간소음 피해자는 간헐적이면서 지속적으로 발생하는 [2]층간소음에 대해서 불만이 쌓이게 된다. 이러한 상태에서 층간소음 피해자는 층간소음 유발자에게 충동적인 범죄를 저지르는 특징이 있다.

그러므로 충동적인 범죄를 방지하기 위해서는 [10] 층간소음을 실시간적으로 파악해야 한다. 층간소음 발생을 윗충 거주자에게 실시간적으로 알려 주어야 윗층 거주자는 즉각 층간소음을 유발하는 행위를 멈출 수 있고, 아래층 거주자는 층간소음으로 인한 불만이 누적되지 않게 된다.

또한, 층간소음 해결 시에 고려해야 하는 문제점 중에 하나는 경제성 이다. 공동주택 안에서 모두가 층간소음을 겪는 것은 아니다. 같은 건물이라도 윗층의 거주자에 따라서 층간소음이 문제로 인식되지 않는 경우도 많다. 예를 들어, 윗층에 노인분만 살거나 또는 혼자 사는 경우가 그러한 경우이다. 그러한 경우에 해당하는 아래층 거주자에게는 층간소음을 해결하기 위해 비용을 지불해야 할 이유가 없다. 그러므로 그들에게 공동으로 시스템을 구축하자고 제안할 수 없다. 이러한 이유로 층간소음 문제를 겪고 있는 일부 거주자들만이 시스템 구축 비용을 지불 해야 한다. 하지만 여러 논문[12][13][14][15]에서 공통적으로 제시한 것처럼 서버를 구축하고, 시스템을 구축하는 것은 공동주택의 일부 거주자들만이 분담하기에는 지출할 비용이 크고, 시스템 구축도 복잡하다. 층간소음을 해결하기 위해 시스템 구축이 복잡하고 고비용이면, 대부분의 경우 시스템을 구축하고자 하지 않을 것이다. 그러므로 실제적으로 층간소음 문제를 해결하기 위해서는 시스템이 층간소음을 실시간 적으로 처리 가능하면서, 시스템 구축이 단순하고, 비용이 적게 들어야 현실적인 방안이 될 수 있다.

Kim[11]에 따르면, 층간소음의 현장진단 측정 접수 건수 중에 아파트 거주자 비중이 77.4%이다. 그리고 1999년 이전에 준공된 공동주택 거주자 비중이 27.5%로 그 비율이 가장 높다. 거주 위치별로는 아래층 거주자가 79.5%이고, 층간소음 원인으로는 바닥 충격음이 82.6%로 가장 높게 분석됐다. 이에 따라 본 논문에서 해결하고자 하는 층간소음은 아래층 거주자에게 들리는 바닥 충격음으로 한정한다.

이웃간의 극단적인 사고는 층간소음으로 인하여 충동적이고 우발적으로 발생한다. 그런데 데이터를 서버로 보낸 후에 서버에서 데이터를 분석 한 후에 조치를 취하는 방법은 문제를 실시간적으로 처리하기에는 한계가 있다. 본 논문은 층간소음으로 인한 극단적인 갈등을 실시간적으로 처리하는 방법을 제시한다. 그리고 제시한 방법이 저비용이면서도 시스템 구축이 단순하다. 아무리 좋은 솔루션 이라고 해도 시스템 구축이 복잡하고, 고비용 이라면 현실적으로 도입하기 어렵기 때문이다.

층간소음 문제를 실시간적인 문제로 접근하여 On-Sensor AI를 도입하여 해결점을 제시하면서, 경제성과 구축의 용이성을 제공하는 점이 기존에 제시된 방법들이 제시하지 못한 이 논문의 차별성이다.

II. Preliminaries

2.1 Related works

층간소음을 해결하기 위한 여러 가지 관련연구가 진행되었다. 제안된 대표적인 케이스를 유형별로 정리해 보면 다음과 같다.

Lim[12]은 진동센서, 소리감지 센서를 이용하여 층간소음 발생시 소음을 상쇄할 수 있는 저주파를 발생하는 시스템을 제시하였다. 이 논문에서는 사물인터넷(IoT) 기술을 활용하여 소음 진동값을 서버에 전송한다. 서버에서는 소음 진동값에 대하여 주파수 파형을 분석 후 그에 반대되는 저주파를 발생시키도록 구성한다. 이 시스템을 통해 인체가 감지할 수 없는 dB(decibel)로 낮추는 서비스를 제공하여 층간소음에 대한 피해를 최소화 할 수 있는 방법을 제안하였다.

Jung[13]은 아두이노와 개방형 IoT 플랫폼을 이용하여 층간소음 유발 가구 판별 시스템을 제안했다. 이 시스템은 전체 가구의 측정된 데이터를 비교 분석하여, 정확한 소음 유발 근원지를 찾아낸다. 소음 측정은 사운드센서와 진동 감지센서를 이용하여 상시로 측정을 하고, 와이파이를 통해 전체 가구의 정보를 서버로 전송한다. 이후 Matlab을 이용하여, 데이터 비교 및 분석을 통해 소음 유발 가구를 판별하는 방식이다. 추후에 층간소음으로 인한 분쟁 발생시 근거 자료로써 활용하는데 목적이 있다.

Kim[14]은 아두이노의 소리센서와 진동센서를 사용하여 IoT 기반의 소음측정기를 설치하여 층간소음 데이터를 수집한다. 수집한 데이터가 기준치가 넘는 경우 IoT 서버로 데이터를 전송한다. 측정값을 저장해 그래프로 나타내고, 기준치 이상의 값을 측정했을 경우 푸시 메시지를 보내 알림을 보낸다.

Ko[15]가 제안한 것은 층간소음을 발생하는 진원지를 식별하는 것이다. 이를 위해 층간소음 데이터를 수집하여 학습 데이터를 생성하고, SVM(Support Vector Machine) 모델을 통해 진원지를 식별하는 시스템을 제안 하였다.

지금까지 층간소음 문제를 해결하기 위해 제시된 논문에서 공통적으로 간과한 한계점이 있다. 첫째는 층간소음 문제는 실시간 적으로 처리해야 문제이고, 두 번째는 시스템 구축시에 소요 비용과 설치의 단순성과 같은 실용성이다. 기존에 제시한 솔루션들은 문제를 실시간적으로 처리하지 못하고, 시스템 구축의 용이성과 경제성을 간과한 한계점이 있다.

III. The Proposed Scheme

실시간 처리가 가능하면서, 저비용, 간단한 구축을 제공할 수 있는 합당한 방법이 TinyML 을 초저전력 시스템에 탑재하는 On-Sensor AI 이다. 층간소음을 판별하는 딥러닝 모델이 포함된 TinyML을 초저전력 시스템에 탑재하여, 시스템이 바닥의 진동데이터를 서버에 전송할 필요 없이 자체적으로 층간소음을 판단할 수 있다. 초저전력 시스템은 MCU(Micro Controller Unit)가 포함된 보드이므로, 저비용이면서도 간단하게 시스템을 구축할 수 있다.

3.1 Collection of floor vibration data

층간소음을 판별하는 딥러닝 모델을 만들기 위해 필요한 것은 바닥 진동 데이터이다. 바닥 진동 데이터를 모으기 위해 [16] Arduino nano 33 BLE 보드를 사용하였다. 이 보드에는 64MHz 클럭 속도의 CPU(Central Processing Unit), 256KB SRAM(Static Random Access Memory)과 1MB flash memory로 구성된 MCU와 3축 자이로스코프 센스가 장착 되어있다.

본격적인 바닥 진동 데이터를 수집하기 전에 자이로스코프 센서로 샘플 진동 데이터를 수집하였다. Fig.1 은 수집된 진동 데이터를 가지고 x, y, z 축의 데이터의 변화를 그래프로 표현한 것이다. 이를 통해 바닥 진동시에 자이로스코프 센서의 z축이 가장 많이 변화되는 특성을 파악하게 되었다. 이 특성을 이용하여, 딥러닝 모델 구현 시에 신경망을 최적화 할 수 있었다.

Fig. 1. A graph representing floor vibrations in the x, y, and z axes of a gyroscope

바닥 진동 데이터를 수집하기 위해 Fig.2 와 같이 노트북과 연결된 Arduino nano 33 BLE 보드를 아래층 천장 5곳에 부착하였다. 이 방법은 평면 형태에 따른 바닥 진동 특성 측정 방법[17]을 따른 것이다. 위층에서 정의된 6가지 유형의 행위를 각각 수행할 때, 아래층에서는 천장에 부착된 보드의 자이로스코프 센서로 바닥의 진동 데이터를 수집하였다.

Fig. 2. Attach five boards to the ceiling

층간소음 상담의 주요 원인으로는 [7]아이들의 뛰는소리나 발걸음이 73.1%로 분석되었다. 이 분석에 따라 윗층의 바닥에서 일상적으로 행해질 수 있는 행위를 6가지 유형으로 정의 하였다. 6가지 유형을 걷기(Walking), 무작위 속도로 걷기(Random Walking 로 명명), 뛰기(Running), 망치로 벽을 치는 행위(Hammer blow 로 명명), 아령을 바닥에 굴리는 행위(Rolling dumbbell 로 명명), 탁자를 바닥에서 끄는 행위(Desk drag 로 명명)로 정의 하고, 테스트를 진행 하였다.

6가지 유형의 행위를 자이로스코프 센서를 가지고 수집한 데이터의 z축의 변화는 Fig.3과 같다.

Fig. 3. Gyroscope Z-axis graph for six actions

6가지 유형별로 층간소음 데이터를 ‘Noise’와 ‘Silence’로 각각 9,588 개를 만들었다.

3.2 Developing a CNN model for noise discrimination

각 행위별로 수집한 바닥 진동 데이터를 [18] Tensorflow Lite for Microcontrollers 딥러닝 프레임워크를 가지고, 소음을 판별하는 CNN(Convolution Neural Network) 모델을 Fig.4와 같이 만들었다.

Fig. 4. Architecture of CNN model for noise discrimination

수집한 바닥 진동 데이터 (x, y, z축 자이로스코프 센서 데이터)를 소음판별 CNN 모델을 통해 'Noise'와 ‘Silence’로 판별하게 된다. 소음판별 CNN 모델은 바닥 진동데이터 128개를 사용하여, 입력이 128 x 3 이 된다. 모델은 1개의 2D 컨볼루션 계층(Layer)과 2개의 FC (Fully Connected) 계층으로 구성된다. 첫 번째 2D 컨볼루션 계층에는 3 x 3 필터 크기로, 16개의 채널이 있으며, 두 번째 2D 컨볼루션 계층에는 2 x 2 필터 크기로, 8개의 채널이 있다. 패딩을 사용하여 2D 컨볼루션 계층에서 데이터의 크기 감소를 수행하지 않도록 하였으며, 보폭은 1로 설정된다. 각각 2D 컨볼루션 계층 이후에 풀링 계층을 두며, 각각 3 x 3 최대 풀링과 2 x 2 최대 풀링을 사용한다. 첫 번째 FC 계층에는 16개의 뉴런이 있으며 두 번째 FC 계층인 출력 계층에는 ‘Silence’ 와 ‘Noise’를 예측한다.

전체 9,588개의 데이터를 훈련, 검증, 테스트로 각각 7:2:1 로 분할하였다. 훈련을 위해 총 6,711개의 데이터를 사용하였다. CNN 모델 훈련시에 층간소음 데이터 3,355개와 ‘Silence’ 데이터 3,356개를 사용하여, 훈련된 CNN 모델의 정확도를 측정했다. 자이로스코프의 Sample_rate 주파수는 104Hz 로 설정했다. 모델 사이즈를 줄이기 위해 양자화(Quantize)를 설정하였다. 최적화를 위해 GradientDescent Optimizer 를 사용하였고, 손실 함수는 Binary_cross_entropy를 사용하여, 이진분류 할 수 있는 모델을 만들었다. 훈련은 20번 수행 시에 손실이 0.0248일 때, 99%의 정확도에 도달하였다. 테스트 데이터의 정확도는 99%, f1-score는 0.98 이다. 생성된 소음판별 CNN 모델의 크기는 25,188 바이트이다.

Fig. 5. Accuracy graph during model training and validation

Fig. 6. Loss graph during model training and validation

3.3 Developing logic for discriminating inter-floor noise

PC에서 훈련된 소음판별 CNN 모델을 Arduino nano 33 BLE 보드에 탑재하기 위해서는 소음판별 CNN 모델을 [19] Tenforflow Lite 모델인 tflite 파일에서 C 파일로 변환하여야 한다. tflite 파일은 리눅스에서 제공하는 xxd를 이용하여, C언어의 배열로 변환된다. 배열로 변환된 소음판별 CNN 모델은 TinyML application에 포함되어 최종 층간소음 판별 로직에 사용되게 된다.

Fig. 7. Flowchart for Inter-floor noise discrimination Logic

층간소음 판별 로직은 다음과 같다. 소음판별 CNN 모델이 소음을 판별하기 위해서는 자이로스코프 센서 x, y, z 값 128개가 입력되어야 한다. 자이로스코프 센서에서 부터 TinyML application의 버퍼에 128개의 데이터가 쌓이고, 이 데이터를 [20]TensorFlow Lite의 인터프리터를 통하여 CNN 모델을 판별한다. 이를 처리하는 총 시간은 1.28초가 걸린다. 자이로스코프 Sample_rate 주파수가 빠르지 않으므로 x, y, z 축 센서 데이터 1개를 TinyML application의 버퍼에 쌓는 시간이 대략 10ms가 걸리는 셈이다. 이 시간은 Arduino nano 33 BLE 보드에서 지원하는 최적값으로 여러 실험을 통해서 얻었다. 더 성능을 높이기 위해 Sample_rate 주파수를 높이면, 시스템이 멈추는 문제가 발생했다. x, y, z 데이터 값 128개를 가지고, 소음판별 CNN 모델은 소음여부를 판별한다. 그러나, 소음판별 CNN 모델을 통해서 'Noise'로 판별이 되었다고 해서 바로 '층간소음'으로 판별되지 않는다.

‘층간소음'으로 판별되기 위해서는 2가지 단계를 거친다. 첫째, Fine Vibration Value가 설정한 임계값(Threshold)을 넘어야 한다. 실험 시 천장에서 발생되는 미세한 진동을 바닥 노이즈로 오인식하는 경우가 10% 정도 발생했다. 그래서 테스트 결과를 바탕으로 Fine Vibration Value 의 임계값을 설정하였다. 그리고 설정된 임계값을 넘은 ’Noise‘ 만이 ’층간소음‘ 으로 판별하기 위해 카운팅 되도록 하였다. 둘째, 층간소음은 10번 체크시간 12.8초(1번 체크시 1.28초) 안에 ’Noise’가 3번 이상이 카운팅 되어야 최종적으로 ‘층간소음‘으로 판별된다. 이렇게 한 이유는 일시적으로 짧게 발생한 소음을 층간소음으로 분류하지 않기 위해서이다. ’층간소음‘으로 판별이 되면, BLE(Bluetooth Low Energy)를 통해서 위층에 있는 Arduino nano 33 BLE 보드에 ’층간소음‘ 메시지가 전송된다. ’층간소음‘ 메시지를 전달받은 위층의 Arduino nano 33 BLE 보드는 알림을 통해 아래층에 층간소음이 발생하고 있음을 위층의 거주자에게 알려준다.

IV. Experimental Results

Arduino IDE[21] 툴을 이용하여 층간소음 판별 로직이 포함된 TinyML application을 Arduino nano 33 BLE 보드에 탑재한다. 그리고 TinyML이 탑재된 Arduino nano 33 BLE 보드에 Fig.8과 같이 배터리를 연결한 후에 천장의 다섯 부분에 부착 하였다. 그런 후에 윗층에서 6가지 유형 행위를 수행하였고, 아랫층에서는 수행 결과를 기록하였다.

Fig. 8. Attach the board with TinyML to the ceiling

6가지 유형에 대해서 실험한 테스트 결과는 아래와 같다.

Table 1. The results of inter-floor noise testing

소음판별 CNN 모델이 포함된 TinyML application을 Arduino nano 33 BLE 보드에 탑재한 후에 6가지 유형을 테스트한 결과 96%의 정확도가 나온 것을 확인할 수 있다. 테스트 결과를 통해 TinyML을 탑재한 보드가 바닥 진동 데이터를 서버에 보내지 않고, 자체적으로 층간소음을 판별한 후에 실시간적으로 처리할 수 있음을 보였다.

V. Conclusions

층간소음 문제는 공동주택에서 여전히 진행되고 있는 문제이다. 본 논문에서는 소음판별 CNN 모델이 포함된 TinyML application을 Arduino nano 33 BLE 보드에 탑재하여 서버에 바닥 진동 데이터를 보내지 않고, 보드 자체적으로 층간소음을 판별하여 실시간적으로 층간소음을 처리할 수 있음을 보였다.

On-Sensor AI 기술은 컴퓨팅 리소스가 매우 적은 MCU가 장착된 시스템도 서버 도움 없이 탑재된 AI를 이용해 스스로 판단할 수 있는 기술이다. 기존 논문들이 층간소음을 서버를 통해 해결하고자 함으로 실시간적으로 처리하지 못할 뿐만 아니라 시스템 구축이 복잡하고 고비용임으로 도입하기에 실용적이지 못하였다. 이 논문의 공헌은 이러한 기존에 제시된 문제점을 TinyML을 이용한 On-Sensor AI 기술을 적용하여 해결한 것이다.

결론적으로 논문에서 제시한 방법은 높은 정확도를 가지고 층간소음 문제를 실시간 적으로 처리하는 방법임을 증명하였다. 그리고 시스템 구축이 단순하고, 비용이 적게 드는 실용적인 방법임을 보였다.