The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지
DOI QR코드

DOI QR Code

A study on the weakly-supervised deep learning algorithm for active sonar target recognition based on pseudo labeling using convolutional recurrent neural network model

합성곱 순환 신경망 모델을 이용한 의사 레이블링 기법 기반 능동소나 표적 식별 약지도 딥러닝 알고리즘 연구

  • Yena You ;
  • Wonnyoung Lee ;
  • Seokjin Lee (School of Electronics Engineering, Kyungpook National University)
  • 유예나 (경북대학교 전자전기공학부) ;
  • 이원녕 (경북대학교 전자전기공학부) ;
  • 이석진 (경북대학교 전자전기공학부)
  • Received : 2024.05.17
  • Accepted : 2024.07.25
  • Published : 2024.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we proposed the weakly-supervised deep learning algorithm for active sonar target recognition based on pseudo labeling using Conventional Recurrent Neural Network (CRNN) model widely used for acoustic signal processing because it can effectively utilize small and unbalanced active sonar data. Active sonar simulation data assuming two different SNRs and clutter environments were used in the training and testing process, and spectrogram obtained by applying Short Time Fourier Transform (STFT) to the simulation data was used as a feature factor for algorithm training. The algorithm proposed in this paper was evaluated based on the target and nontarget F1-score using test data independent of training data. As a result, it was confirmed that the CRNN model showed significant performance not only in typical acoustic signal processing but also active sonar target recognition. Also, pseudo-labeling helps to improve the performance of the active sonar target recognition algorithm used the CRNN model.

본 논문은 음향 신호처리에 널리 사용되는 합성곱 순환 신경망(Convolutional Recurrent Neural Network, CRNN) 모델을 기반으로 의사 레이블링 기법을 적용하여 소량 및 불균형 능동소나 데이터를 효과적으로 활용할 수 있는 능동소나 표적 식별을 위한 약지도 딥러닝 알고리즘을 제안한다. 두 가지의 서로 다른 신호대잡음비와 클러터 환경을 가정하여 생성한 능동소나 시뮬레이션 데이터를 학습 및 테스트 과정에 사용하였으며, 시뮬레이션 데이터에 단시간 푸리에 변환(Short Time Fourier Transform, STFT)을 적용하여 얻은 스펙트로그램을 알고리즘 학습을 위한 특징 인자로 사용하였다. 본 논문에서 제안하는 알고리즘은 학습 데이터와 무관한 테스트 데이터를 사용하여 표적과 비표적 F1 점수를 지표로 성능을 평가하였으며, 그 결과 합성곱 순환 신경망 모델이 일반적인 음향 신호 처리뿐만 아니라 능동소나 표적 식별에서도 유의미한 성능을 보이는 것을 확인하였다. 또한 의사 레이블링 기법이 합성곱 순환 신경망 모델을 이용한 능동소나 표적 식별 알고리즘의 성능 개선에 도움을 주는 것을 확인할 수 있었다.

Keywords

Acknowledgement

이 논문은 2024년 정부(방위사업청)의 재원으로 국방기술진흥연구소의 지원을 받아 수행된 물리데이터 기반 지능형 소나 신호 탐지 기술 연구임(No. KRIT-CT-22-052, 물리데이터 기반 지능형 소나 신호탐지 기술 연구).

References

  1. A. D. Waite, SONAR for Practicing Engineers, 3rd ed. (Wiley, Hoboken, 2001), introduction.
  2. G. De Magistris, P. Stinco, J. R. Bates, J. M. Topple, G. Canepa, G. Ferri, A. Tesei, and K. L. Page, "Automatic object classification for low-frequency active sonar using convolutional neural networks," Proc. OCEANS, 1-6 (2019).
  3. D. P. Williams, "Underwater target classification in synthetic aperture sonar imagery using deep convolutional neural networks," Proc. 23rd ICPR, 2497-2502 (2016).
  4. F. Liu, T. Shen, Z. Luo, D. Zhao, and S. Guo, "Underwater target recognition using convolutional recurrent neural networks with 3-D Mel-spectrogram and data augmentation," Appl. Acoust. 178, 107989 (2021).
  5. B. Shi, X. Bai, and C. Yao, "An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition," IEEE Trans. Pattern Anal. Mach. Intell. 2298-2304 (2016).
  6. X. Zheng, H. Chen, and Y. Song, "Zheng ustc team's submission for dcase2021 task4-semi-supervised sound event detection," DCASE, Tech. Rep., 2021.
  7. J. Ebbers and R. Haeb-Umbach, "Pre-training and self-training for sound event detection in domestic environments," DCASE, Tech. Rep., 2022.
  8. S. Xiao, J. Shen, A. Hu, X. Zhang, P. Zhang, and Y. Yan, "Sound event detection with weak prediction for dcase 2023 challenge task4a," DCASE Tech. Rep., 2023.
  9. W. Zhang, B. Lin, Y. Yan, A. Zhou, Y. Ye, and X. Zhu, "Multi-features fusion for underwater acoustic target recognition based on convolution recurrent neural networks," Proc. IEEE BigDIA, 342-346 (2022).
  10. P. Qi, G. Yin, and L. Zhang, "Underwater acoustic target recognition using RCRNN and wavelet-auditory feature," Proc. Multimed. Tools and Appl. 47295-47317 (2024).
  11. D.-H. Lee, "Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks," Proc. ICML, 896 (2013).
  12. X. Dong, J. Shen, and L. Shao, "Rethinking clustering-based pseudo-labeling for unsupervised meta-learning," Proc. ECCV, 169-186 (2022).
  13. D. A. Abraham, Underwater Acoustic Signal Processing: Modeling, Detection, and Estimation (Springer, Cham, 2019), pp. 180-189.
  14. G. Kim and S. Lee, "Reverberation suppression method for active sonar systems using non-negative matrix factorization with pre-trained frequency basis matrix," IEEE Access, 9, 148060-148075 (2021).
  15. D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," Proc. 3rd ICLR, 1412.6980 (2015).
  16. A. Geron, Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd ed. (O'Reilly Media, Inc., California, 2022), pp. 93-98.