• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.343-345
• /
• 2020

본 논문에서는 선택적 노이즈 캔슬링을 위한 환경 인지 기술을 제안한다. 기존의 노이즈 캔슬링은 모든 소리를 구분 없이 차단하여 여러 가지 문제를 유발할 수 있으며 공통된 노이즈 캔슬링 동작으로 각 소음에 최적화된 성능을 보장할 수 없다. 이러한 문제를 해결하기 위해 제안하는 방법은 대표적 오디오 특성인 멜-스펙트로그램과 스펙트로그램 기반의 시간적 특성 벡터를 사용하여 환경 인지를 진행한다. 본 논문에서는 attack, rotation, sawing으로 구성된 3가지 소음과 speech, tonal로 구성된 2가지 비 소음으로 총 5가지 클래스를 분류한다. 제안하는 방법에서 특성 벡터로 멜-스펙트로그램만을 사용했을 때 87.5%의 분류 성능을 보였으며, 스펙트로그램 기반의 시간적 특성을 추가했을 때 분류 성능이 91.2%로 향상되었다.

• 말소리와 음성과학
• /
• 제13권3호
• /
• pp.71-78
• /
• 2021

인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스 환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.939-941
• /
• 2021

사람은 표정, 음성, 말 등을 통해 감정을 표출한다. 본 논문에서는 화자의 음성데이터만을 사용하여 감정을 분류하는 방법을 제안한다. 멜 스펙트로그램(Mel-Spectrogram)을 이용하여 음성데이터를 시간에 따른 주파수 영역으로 변화한다. 멜 스펙트로그램으로 변환된 데이터를 CNN을 이용하여 특징 벡터화한 후 Bi-Directional LSTM을 이용하여 화자의 발화 시간 동안 변화되는 감정을 분석한다. 마지막으로 완전 연결 네트워크를 통해 전체 감정을 분류한다. 감정은 Anger, Excitement, Fear, Happiness, Sadness, Neutral로, 총 6가지로 분류하였으며 데이터베이스로는 상명대 연구팀에서 구축한 한국어 음성 감정 데이터베이스를 사용하였다. 실험 결과 논문에서 제안한 CNN-LSTM 모델의 정확도는 88.89%로 측정되었다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.845-853
• /
• 2020

본 논문에서는 산업현장에서의 선택적 소음 제거를 위한 환경 사운드 분류 기술을 제안한다. 산업현장에서의 소음은 작업자의 청력 손실의 주요 원인이 되며, 소음 문제를 해결하기 위한 소음 제거 기술이 널리 연구되고 있다. 그러나 기존 소음 제거 기술은 모든 소리를 구분 없이 차단하는 문제를 가지며, 모든 소음에 공통된 제거 방법을 적용하여 각 소음에 최적화된 소음 제거 성능을 보장할 수 없다. 이러한 문제를 해결하기 위해 사운드 종류에 따라 선택적 동작을 하는 소음 제거가 필요하고, 본 논문에서는 이를 위해 딥 러닝 기반의 환경 사운드 분류 기술을 제안한다. 제안 방법은 기존 오디오 특성인 멜-스펙트로그램의 한계를 극복하기 위해 새로운 특성으로서 멜-스펙트로그램 기반의 시간 변화 특성과 통계적 주파수 특성을 사용하며, 합성곱 신경망을 이용하여 특성을 모델링 한다. 제안하는 분류기를 사용하여 3가지 소음과 2가지 비소음으로 구성된 총 5가지 클래스로 사운드를 분류하였고, 제안하는 오디오 특성을 사용하여 기존 멜-스펙트로그램 특성을 사용할 때에 비하여 분류 정확도가 6.6% 포인트 향상되는 것을 확인하였다.

• 한국음향학회지
• /
• 제39권3호
• /
• pp.143-149
• /
• 2020

본 논문에서는 딥러닝(deep learning)을 이용하여 환경음 분류 시 전처리 단계에서 사용하는 특징 추출 방법이 콘볼루션 신경망의 분류 성능에 미치는 영향에 대해서 다루었다. 이를 위해 환경음 분류 연구에서 많이 사용되는 UrbanSound8K 데이터셋에서 멜 스펙트로그램(mel spectrogram), 로그 멜 스펙트로그램(log mel spectrogram), Mel Frequency Cepstral Coefficient(MFCC), 그리고 delta MFCC를 추출하고 각각을 3가지 분포로 스케일링하였다. 이 데이터를 이용하여 4 종의 콘볼루션 신경망과 이미지넷에서 좋은 성능을 보였던 VGG16과 MobileNetV2 신경망을 학습시킨 다음 오디오 특징과 스케일링 방법에 따른 인식률을 구하였다. 그 결과 인식률은 스케일링하지 않은 로그 멜 스펙트럼을 사용했을 때 가장 우수한 것으로 나타났다. 도출된 결과를 모든 오디오 인식 문제로 일반화하기는 힘들지만, Urbansound8K의 환경음이 포함된 오디오를 분류할 때는 유용하게 적용될 수 있을 것이다.

• 한국음향학회지
• /
• 제41권6호
• /
• pp.629-636
• /
• 2022

본 논문은 합성곱 신경망 기반 수중 표적 분류기의 성능 향상을 위한 최적의 전처리 기법을 제시한다. 실제 선박 수중신호를 수집한 데이터 세트의 주파수 분석을 통해 강한 저주파 신호로 인한 특성 표현의 문제점을 확인하였다. 이를 해결하기 위해 다양한 스펙트로그램 기법과 특성 스케일링 기법을 조합한 전처리 기법들을 구현하였다. 최적의 전처리 기법을 확인하기 위해 실제 데이터를 기반으로 합성곱 신경망을 훈련하는 실험을 수행하였다. 실험 결과, 로그 멜 스펙트로그램과 표준화 및 로버스트정규화 스케일링 기법의 조합이 높은 인식 성능과 빠른 학습 속도를 보임을 확인하였다.

• 한국음향학회지
• /
• 제42권3호
• /
• pp.214-220
• /
• 2023

본 논문에서는 합성곱 신경망과 트랜스포머의 장점을 결합한 Conformer 모델을 이용하여 물체 표면의 질감특성을 나타내는 햅틱 가속도 신호로부터 질감 인식 성능을 향상시키는 방식을 제안한다. 제안한 방식에서는 사람이 스타일러스와 같은 도구를 이용하여 물체 표면과 접촉하는 동안 충격음과 진동에 의해 발생한 3축 가속도 신호를 1차원 가속도 데이터로 결합하고, 오디오 신호와 유사성을 갖는 햅틱 가속도 신호로부터 로그 멜-스펙트로그램을 추출한다. 그리고 추출된 로그 멜-스펙트로그램에 Conformer 모델을 적용하여 다양한 물체의 질감을 인식하는 데 있어 주요한 지역적 및 전역적인 주파수 특징을 학습한다. 제안된 모델의 성능 평가를 위해 60개의 재질로 구성된 Lehrstuhl für Medientechnik(LMT) 햅틱 질감 데이터세트를 실험한 결과 제안된 방식이 기존 방식들보다 물체 표면 재료의 질감을 효과적으로 잘 인식할 수 있음을 보였다.

• 한국음향학회지
• /
• 제38권6호
• /
• pp.687-696
• /
• 2019

기존의 지진파 분류 특징은 강진에 초점이 맞추어져 있어서 미소지진과 같은 지진파는 다소 적합하지 않다. 본 연구에서는 강진과 더불어 미소지진, 인공지진, 잡음 분류에 적합한 특징 추출을 위해 주파수-시간 공간 내에서 히스토그램과 주성분 기반 특징 추출방법을 제안한다. 제안된 방법은 지진파의 주파수 관련 정보와 시간 관련 정보를 결합하는 방법을 적용한 히스토그램 기반 특징 추출방법과 주성분 기반 특징 추출방법을 이용하여 지진(강진, 미소지진, 인공지진)과 잡음, 미소지진과 잡음, 미소지진과 인공지진을 이진 분류한다. 2017년~2018년 최근 국내지진 자료와 분류 성능을 토대로 제안한 특징 추출방식의 효용성을 비교 평가한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.666-668
• /
• 2018

최근 반려동물을 키우는 가구 수의 증가와 함께, 반려묘에 대한 관심도 상당히 증가하고 있다. 특히 반려인은 반려묘와의 원활한 의사소통과 교감을 바라지만 반려묘의 세세한 감정 상태를 24시간 내내 파악하는 것은 어려운 일이다. 본 논문에서는 반려묘의 울음소리에 많은 감정 및 상태 정보가 담겨있는 것에 착안하여, 반려묘의 울음소리를 기반으로 감정을 분류하는 시스템을 제안한다. 제안된 시스템은 먼저, 이미 수집된 소리 데이터를 데이터 증폭 방법론을 이용하여 데이터를 확장 한 후, 해당 소리들의 멜 스펙트로그램 정보를 추출한다. 이를 시계열 정보 처리에 효과적인 LSTM에 적용하여 반려묘의 감정 상황을 식별할 수 있도록 학습을 수행한다. 실험 결과, 반려묘의 감정 상태 분류의 가능성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1308-1310
• /
• 2022

소리 데이터 분류는 단순 소리를 통한 분류, 감정 인식등 다양한 연구가 진행중이다. 심층 신경망에서 데이터의 부족과 과적합 문제를 개선하는 방법으로 데이터 증강은 중요하다. 본 논문에서는 3가지의 소리데이터(UrbanSound8K, RAVDESS, IRMAS)를 사용하였으며, 소리데이터는 멜 스펙트로그램을 통한 변환과정을 거쳐 네트워크 망에 입력된다. 입력된 신호는 다양한 네크워크 신경망(Bidirection LSTM, Bidirection LSTM Attention, Multi-Head Attention, CNN)을 통해 학습되어지며, 각각의 네트워크 신경망에서 데이터 증강 전후의 분류 정확도를 확인 하였다. 다양한 데이터셋과 다양한 네트워크 망에서의 데이터 증강 방법의 결과 비교를 통한 통찰을 얻을수 있을 것이다.