• 한국음향학회지
• /
• 제41권4호
• /
• pp.461-467
• /
• 2022

소노부이는 수중 음향 정보를 수집하는 일회용 장치로 특정지역에서 수집된 신호를 주변의 항공기 또는 함정으로 송신하는 역할을 수행하고 임무를 완수하면 해저로 가라앉도록 설계되어 있다. 이러한 소노부이 신호 송·수신 시스템의 경우 주파수 분할 다중화나 가우시안 주파수 편이와 같은 기법을 활용하여 신호를 변·복조하여 송·수신한다. 하지만 이러한 방법은 전송해야할 정보의 양이 많고 변조와 복조방법이 비교적 단순하여 보안성이 낮은 단점이 있다. 따라서, 본 논문에서는 오토인코더를 이용하여 송신 신호를 저차원의 잠재 벡터로 변조하여 잠재 벡터를 항공기 또는 함정으로 전송하고 수신한 잠재벡터를 복조하여 보안성을 향상시키고 전송정보량을 기존 전송방법 대비 약 100배 감소시킬 수 있는 방법을 제안하였다. 모의실험을 통해 제안한 방법으로 복원된 샘플 스펙트로그램을 확인한 결과 저차원의 잠재 벡터로부터 원본 신호 복원이 가능함을 확인할 수 있었다.

• 한국엔터테인먼트산업학회논문지
• /
• 제14권3호
• /
• pp.229-236
• /
• 2020

본 논문에서는 우리나라의 국악기중 대표적인 관악기인 대금의 음색을 분석하였다. 대금은 크게 정악대금과 산조대금으로 구분하여 사용되고 있는데, 정악대금은 궁중음악과 풍류음악에서 연주되고 있으며, 산조대금은 산조, 시나위, 민속음악에서 주로 연주된다. 이렇게 2개의 대금이 서로 다른 음악장르에서 연주되고 있는 이유는 악기의 개량에 따른 것인데, 관의 길이와 지공의 위치를 조정하여 산조대금이 정악대금에 비하여 빠른 연주가 가능하게 되었고, 다양한 연주기법을 적용할 수 있게 되었으며, 음색의 차이를 만들어 냄으로써 음악과 조화로운 악기의 선택을 가능하게 하였다. 이번 실험에서는 정악대금과 산조대금을 같은 음을 연주하여 녹음한 결과를 바탕으로 배음의 구조와 음색의 특징을 분석하였으며, 이를 통해 저음이 풍부한 정악대금이 궁중음악 등 장중한 분위기의 곡에 조화로우며, 상대적으로 고음이 맑은 산조대금이 독주 등 밝은 음악에 잘 어울린다는 것을 알 수 있었다.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.181-193
• /
• 2022

Data-driven structural health monitoring (SHM) of civil infrastructure can be used to continuously assess the state of a structure, allowing preemptive safety measures to be carried out. Long-term monitoring of large-scale civil infrastructure often involves data-collection using a network of numerous sensors of various types. Malfunctioning sensors in the network are common, which can disrupt the condition assessment and even lead to false-negative indications of damage. The overwhelming size of the data collected renders manual approaches to ensure data quality intractable. The task of detecting and classifying an anomaly in the raw data is non-trivial. We propose an approach to automate this task, improving upon the previously developed technique of image-based pre-processing on one-dimensional (1D) data by enriching the features of the neural network input data with multiple channels. In particular, feature engineering is employed to convert the measured time histories into a 3-channel image comprised of (i) the time history, (ii) the spectrogram, and (iii) the probability density function representation of the signal. To demonstrate this approach, a CNN model is designed and trained on a dataset consisting of acceleration records of sensors installed on a long-span bridge, with the goal of fault detection and classification. The effect of imbalance in anomaly patterns observed is studied to better account for unseen test cases. The proposed framework achieves high overall accuracy and recall even when tested on an unseen dataset that is much larger than the samples used for training, offering a viable solution for implementation on full-scale structures where limited labeled-training data is available.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.77-91
• /
• 2022

Various monitoring systems have been implemented in civil infrastructure to ensure structural safety and integrity. In long-term monitoring, these systems generate a large amount of data, where anomalies are not unusual and can pose unique challenges for structural health monitoring applications, such as system identification and damage detection. Therefore, developing efficient techniques is quite essential to recognize the anomalies in monitoring data. In this study, several machine learning techniques are explored and implemented to detect and classify various types of data anomalies. A field dataset, which consists of one month long acceleration data obtained from a long-span cable-stayed bridge in China, is employed to examine the machine learning techniques for automated data anomaly detection. These techniques include the statistic-based pattern recognition network, spectrogram-based convolutional neural network, image-based time history convolutional neural network, image-based time-frequency hybrid convolution neural network (GoogLeNet), and proposed ensemble neural network model. The ensemble model deliberately combines different machine learning models to enhance anomaly classification performance. The results show that all these techniques can successfully detect and classify six types of data anomalies (i.e., missing, minor, outlier, square, trend, drift). Moreover, both image-based time history convolutional neural network and GoogLeNet are further investigated for the capability of autonomous online anomaly classification and found to effectively classify anomalies with decent performance. As seen in comparison with accuracy, the proposed ensemble neural network model outperforms the other three machine learning techniques. This study also evaluates the proposed ensemble neural network model to a blind test dataset. As found in the results, this ensemble model is effective for data anomaly detection and applicable for the signal characteristics changing over time.

• International Journal of Computer Science & Network Security
• /
• 제22권9호
• /
• pp.175-182
• /
• 2022

In our daily life, we come across different types of information, for example in the format of multimedia and text. We all need different types of information for our common routines as watching/reading the news, listening to the radio, and watching different types of videos. However, sometimes we could run into problems when a certain type of information is required. For example, someone is listening to the radio and wants to listen to jazz, and unfortunately, all the radio channels play pop music mixed with advertisements. The listener gets stuck with pop music and gives up searching for jazz. So, the above example can be solved with an automatic audio classification system. Deep Learning (DL) models could make human life easy by using audio classifications, but it is expensive and difficult to deploy such models at edge devices like nano BLE sense raspberry pi, because these models require huge computational power like graphics processing unit (G.P.U), to solve the problem, we proposed DL model. In our proposed work, we had gone for a low complexity model for Audio Event Detection (AED), we extracted Mel-spectrograms of dimension 128×431×1 from audio signals and applied normalization. A total of 3 data augmentation methods were applied as follows: frequency masking, time masking, and mixup. In addition, we designed Convolutional Neural Network (CNN) with spatial dropout, batch normalization, and separable 2D inspired by VGGnet [1]. In addition, we reduced the model size by using model quantization of float16 to the trained model. Experiments were conducted on the updated dataset provided by the Detection and Classification of Acoustic Events and Scenes (DCASE) 2020 challenge. We confirm that our model achieved a val_loss of 0.33 and an accuracy of 90.34% within the 132.50KB model size.

• 대한의용생체공학회:의공학회지
• /
• 제44권2호
• /
• pp.147-156
• /
• 2023

Efforts to employ smart home sensors to monitor the indoor activities of elderly single residents have been made to assess the feasibility of a safe and healthy lifestyle. However, the bathroom remains an area of blind spot. In this study, we have developed and evaluated a new edge computer device that can automatically detect water usage activities in the bathroom and record the activity log on a cloud server. Three kinds of sound as flushing, showering, and washing using wash basin generated during water usage were recorded and cut into 1-second scenes. These sound clips were then converted into a 2-dimensional image using MEL-spectrogram. Sound data augmentation techniques were adopted to obtain better learning effect from smaller number of data sets. These techniques, some of which are applied in time domain and others in frequency domain, increased the number of training data set by 30 times. A deep learning model, called CRNN, combining Convolutional Neural Network and Recurrent Neural Network was employed. The edge device was implemented using Raspberry Pi 4 and was equipped with a condenser microphone and amplifier to run the pre-trained model in real-time. The detected activities were recorded as text-based activity logs on a Firebase server. Performance was evaluated in two bathrooms for the three water usage activities, resulting in an accuracy of 96.1% and 88.2%, and F1 Score of 96.1% and 87.8%, respectively. Most of the classification errors were observed in the water sound from washing. In conclusion, this system demonstrates the potential for use in recording the activities as a lifelog of elderly single residents to a cloud server over the long-term.

• 한국전산구조공학회논문집
• /
• 제36권1호
• /
• pp.57-65
• /
• 2023

본 연구는 딥러닝을 위한 비선형 변환 접근법을 사용하여 Single-lap joint의 접착 영역을 조사하기 위한 진동 응답 기반 탐지 시스템을 제시한다. 산업 혹은 공학 분야에서 분해가 쉽지 않은 구조 내에 보이지 않는 부분의 상태와 접착된 구조의 접착 부위 상태를 알기 어려운 문제가 있다. 이러한 문제를 해결하기 위해 본 연구는 비선형 변환을 이용하여 기준 시편의 진동 응답으로 다양한 시편의 접착 면적을 조사하는 탐지 방법을 제안한다. 이 연구에서는 CNN 기반 딥러닝으로 진동 특성을 파악하기 위해 비선형 변환을 적용한 주파수 응답 함수를 사용했고 분류를 위해 가상의 스펙트로그램을 사용했다. 또한, 제시된 방법을 검증하기 위해 알루미늄, 탄소섬유복합재 그리고 초고분자량 폴리에틸렌 시편에 대한 진동 실험, 분석적 해, 유한요소해석을 수행했다.

• 한국음향학회지
• /
• 제41권2호
• /
• pp.235-241
• /
• 2022

수동 음향 관측을 통해 수집된 방대한 양의 데이터에서 해양포유류의 소리를 탐지하고 식별하기 위해 합성곱 신경망(Convolutional Neural Network, CNN)을 활용한 연구가 많이 수행되고 있다. 본 연구는 2017년 8월부터 2018년 8월까지 동시베리아 해에서 수집된 수중음향 스펙트럼 이미지를 기반으로 CNN을 활용하여 턱수염물범 소리의 분류 자동화 가능성을 확인해 보았다. 학습 데이터로서 다른 소음이 거의 포함되지 않은 뚜렷한 턱수염물범 소리를 사용하였을 때, 암기로 인한 과적합이 발생하였다. 일부 데이터를 소음이 포함된 데이터로 교체하여 학습시켜 수집된 전체 데이터로 평가한 결과 정확도(0.9743), 정밀도(0.9783), 재현율(0.9520)으로 모델이 이전보다 일반화되어 과적합이 방지되는 것을 확인하였다. 본 연구를 통해 물범신호 분류는 학습 데이터에 소음이 포함되었을 때 성능이 증가하는 것으로 나타났다.

• 한국음향학회지
• /
• 제42권4호
• /
• pp.357-363
• /
• 2023

다양한 신호가 혼합된 수중 신호로부터 각각의 신호를 분리하는 기술은 오랫동안 연구되어왔지만, 낮은 품질의 수중 신호의 특성 상 쉽게 해결되지 않는 문제이다. 현재 주로 사용되는 방법은 Short-time Fourier transform을 사용하여 수신된 음향신호의 스펙트로그램을 얻은 뒤, 주파수의 특성을 분석하여 신호를 분리하는 기술이다. 하지만 매개변수의 최적화가 까다롭고, 스펙트로그램으로 변환하는 과정에서 위상 정보들이 손실되는 한계점이 지적되었다. 본 연구에서는 이러한 문제를 해결하기 위해 긴 시계열 신호 처리에서 좋은 성능을 보인 Dual-path Recurrent Neural Network을 기반으로, 다중 채널 센서로부터 생성된 입력신호인 3차원 텐서를 처리할 수 있도록 변형된 Tripple-path Recurrent Neural Network을 제안한다. 제안하는 기술은 먼저 다중 채널 입력 신호를 짧은 조각으로 분할하고 조각 내 신호 간, 구성된 조각간, 그리고 채널 신호 간의 각각의 관계를 고려한 3차원 텐서를 생성하여 로컬 및 글로벌 특성을 학습한다. 제안된 기법은, 기존 방법에 비해 개선된 Root Mean Square Error 값과 Scale Invariant Signal to Noise Ratio을 가짐을 확인하였다.

• 한국항행학회논문지
• /
• 제25권6호
• /
• pp.557-561
• /
• 2021

영상 콘텐츠를 사용자에게 추천하기 위해서는 메타데이터가 필수적인 요소로 자리 잡고 있다. 하지만 이러한 메타데이터는 영상 콘텐츠 제공자에 의해 수동적으로 생성되고 있다. 본 논문에서는 기존 수동으로 직접 메타데이터를 입력하는 방식에서 자동으로 메타데이터를 생성하는 방법을 연구하였다. 기존 연구에서 감정 태그를 추출하는 방법에 추가로 영화 오디오를 통한 장르와 제작국가에 대한 메타데이터 자동 생성 방법에 대해 연구를 진행하였다. 전이학습 모델인 ResNet34 인공 신경망 모델을 이용하여 오디오의 스펙트로그램으로부터 장르를 추출하고, 영화 속 화자의 음성을 음성인식을 통해 언어를 감지하였다. 이를 통해 메타데이터를 생성 인공지능을 통해 자동 생성 가능성을 확인할 수 있었다.