Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Time-domain Sound Event Detection Algorithm Using Deep Neural Network

심층신경망을 이용한 시간 영역 음향 이벤트 검출 알고리즘

  • Received : 2018.12.04
  • Accepted : 2019.04.22
  • Published : 2019.05.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a time-domain sound event detection algorithm using DNN (Deep Neural Network). In this system, time domain sound waveform data which is not converted into the frequency domain is used as input to the DNN. The overall structure uses CRNN structure, and GLU, ResNet, and Squeeze-and-excitation blocks are applied. And proposed structure uses structure that considers features extracted from several layers together. In addition, under the assumption that it is practically difficult to obtain training data with strong labels, this study conducted training using a small number of weakly labeled training data and a large number of unlabeled training data. To efficiently use a small number of training data, the training data applied data augmentation methods such as time stretching, pitch change, DRC (dynamic range compression), and block mixing. Unlabeled data was supplemented with insufficient training data by attaching a pseudo-label. In the case of using the neural network and the data augmentation method proposed in this paper, the sound event detection performance is improved by about 6 %(based on the f-score), compared with the case where the neural network of the CRNN structure is used by training in the conventional method.

본 논문에서는 심층신경망을 이용한 시간 영역 음향 이벤트 검출 알고리즘을 제시한다. 본 시스템에서는 주파수 영역으로 변환되지 않은 시간 영역의 음향 데이터를 심층신경망의 입력으로 사용한다. 전반적인 구조는 CRNN 구조를 사용하였으며, GLU, ResNet, Squeeze-and-excitation 블럭을 적용하였다. 그리고 여러 계층에서 추출된 특징을 함께 고려하는 구조를 제안하였다. 또한 본 연구에서는 강한 라벨이 있는 훈련 데이터를 확보하는 것이 현실적으로 어렵다는 전제 아래에서 약한 라벨이 있는 훈련 데이터 약간 그리고 다수의 라벨이 없는 훈련 데이터를 활용하여 훈련을 수행하였다. 적은 수의 훈련 데이터를 효과적으로 사용하기 위해 타임 스트레칭, 피치 변화, 동적 영역 압축, 블럭 혼합 등의 데이터 증강 방법을 적용하였다. 라벨이 없는 데이터에는 의사 라벨을 붙여 부족한 훈련 데이터를 보완하였다. 본 논문에서 제안한 신경망과 데이터 증강 방법을 사용하는 경우, 종래의 방식으로 CRNN 구조의 신경망을 훈련하여 사용하는 경우보다, 음향 이벤트 검출 성능이 약 6 % (f-score 기준)가 개선되었다.

Keywords

BSGHC3_2019_v24n3_472_f0001.png 이미지

그림 1. 제안된 DNN 구조의 블럭 다이어그램, (a) 의사 라벨 DNN 구조, (b) SED DNN 구조 Fig. 1. Block diagram of the proposed DNN structure, (a) DNN structure for pseudo label, (b) DNN structure for SED

BSGHC3_2019_v24n3_472_f0002.png 이미지

그림 2 . N 스트라이드 1차원 합성곱 계층의 블럭 다이어그램 Fig. 2. Block diagram of the 1D convolution layer with stride N

BSGHC3_2019_v24n3_472_f0003.png 이미지

그림 3. ResGLU-SE 블럭의 블럭 다이어그램 Fig. 3. Block diagram of the ResGLU-SE block

BSGHC3_2019_v24n3_472_f0004.png 이미지

그림 4. DRC 커브 예제(위), 사용된 DRC 커브(아래) Fig. 4. A DRC curve example (above) and the DRC curves used (below)

BSGHC3_2019_v24n3_472_f0005.png 이미지

그림 5. 의사 라벨이 적용된 훈련 블럭 다이어그램 Fig. 5. Block diagram of pseudo label applied training

BSGHC3_2019_v24n3_472_f0006.png 이미지

그림 6. 전반적인 구조의 블럭 다이어그램 Fig. 6. Block diagram for overall structure

BSGHC3_2019_v24n3_472_f0007.png 이미지

그림 7. 스트라이드된 1차 합성곱 계층의 크기 스펙트럼, (a) GLUs 블럭, (b) ResGLU-SE 블럭 Fig. 7. Magnitude spectrum of the strided 1D convolutional layers, (a) Using GLUs block, (b) Using ResGLU-SE block

BSGHC3_2019_v24n3_472_f0008.png 이미지

그림 8. 제안된 알고리즘의 이벤트 별 성능 Fig. 8. Performance of the proposed algorithm per event

BSGHC3_2019_v24n3_472_f0009.png 이미지

그림 9. 훈련 데이터의 스펙트럼 Fig. 9. Spectrum of training data

BSGHC3_2019_v24n3_472_f0010.png 이미지

그림 10. 정답과 추정 결과 Fig. 10. Ground truth and prediction results

표 1. 이벤트 별 수 (약한 라벨) Table 1. Number of clips per event (weak label)

BSGHC3_2019_v24n3_472_t0001.png 이미지

표 2. 데이터 증강 비율과 증강된 클립의 수 Table 2. Ratio of data augmentation and resultant number of augmented clips

BSGHC3_2019_v24n3_472_t0002.png 이미지

표 3. 음향 이벤트 검출 성능 Table 3. Performance of sound event detection

BSGHC3_2019_v24n3_472_t0003.png 이미지

References

  1. Mesaros, A., Heittola, T, and Virtanen, T, "TUT database for acoustic scene classification and sound event detection," 2016 24th EUSIPCO, Hungary, Budapest, pp.1128-1132, August 2016.
  2. E. Wold, T. Blum, D. Keislar, and J. Wheaten, "Content-based classification, search, and retrieval of audio," IEEE Multimedia, Vol.3, No.3, pp.27-36, 1996. https://doi.org/10.1109/93.556537
  3. DENG, Ltsc, et al. "Recent advances in deep learning for speech research at Microsoft," In ICASSP, Vol. 26, pp. 64, May 2013.
  4. Mun, Seongkyu, et al. "Generative adversarial network based acoustic scene training set augmentation and selection using SVM hyper-plane," Proceeding of DCASE, pp.93-97, 2017.
  5. Y. N. Dauphin, A. Fan, M. Auli, and D. Grangier, "Language modeling with gated convolutional networks," arXiv preprint arXiv preprint arXiv:1612.08083, 2016.
  6. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, "Identity mappings in deep residual networks," In European Conference on Computer Vision (ECCV). Springer, pp.630-645, 2016.
  7. J. Hu, L. Shen, and G. Sun, "Squeeze-and-excitation networks," arXiv preprint arXiv:1709.01507, 2017.
  8. Hyeongi Moon, Joon Byun, Bum-Jun Kim, Shin-hyuk Jeon, Youngho Jeong, Young-cheol Park and Sung-wook Park, "End-to-end CRNN Architectures for Weakly Supervised Sound Event Detection," DCASE 2018 Challenge, Sep. 2018.
  9. Tara N. Sainath, Ron J. Weiss, Andrew Senior, Kevin W. Wilson, Oriol Vinyals, "Learning the speech front-end with raw waveform CLDNNs," Procedding of INTERSPEECH, Germany, Dresden, September 2015.
  10. Yong Xu, Qiuqiang Kong, Wenwu Wang and Mark D. Plumbley, "Large-scale weakly supervised audio classification using gated convolutional neural network," Proceeding of ICASSP, Canada, Calgary, pp.121-125, April 2018.
  11. Justin Salamon and Juhan Pablo Bello, "Deep Convolutional Neural Networks and Data Augmentation for Environmental Sound Classification," IEEE Signal Processing Letters, pp.279-283, 2017
  12. J. F. Gemmeke, D. P. W. Ellis, D. Freedman, A. Jansen, W. Lawrence, R. C. Moore, M. Plakal, and M. Ritter, "Audio set: An ontology and human-labeled dataset for audio events," Proceeding of ICASSP, USA, New Orleans, pp.776-780, March 2017.
  13. Mesaros, Annamaria, Toni Heittola, and Tuomas Virtanen, "Metrics for polyphonic sound event detection," Applied Sciences, 6.6: 162, 2016. https://doi.org/10.3390/app6060162
  14. Romain Serizel, Nicolas Turpault, Hamid Eghbal-Zadeh, Ankit Parag Shah, "Large-Scale Weakly Labeled Semi-Supervised Sound Event Detection in Domestic Environments," arXiv preprint arXiv:1807.10501, 2018.