• 디지털콘텐츠학회 논문지
• /
• 제16권2호
• /
• pp.219-225
• /
• 2015

본 연구는 최소짝을 이용하여 한국인 피 실험자들의 영어자모음과 반모음의 음소구별능력을 살펴본 실험적 연구이다. 음소구별능력을 알아보는 실험의 방법으로는 청해시험을 활용하였으며, 거기에서 얻어진 결과를 통해 다음의 세 가지를 확인할 수 있었다. 첫째, 피 실험자들이 영어자음음소의 구별에 비해 영어모음음소의 구별에 상대적인 어려움을 겪고 있다는 점이다. 둘째, 영어모음음소 중에서도/ə:/와 /ɔ:/의 구별에 심각한 어려움을 겪고 있음을 확인할 수 있었다. 셋째로, 반모음/w/음의 유무에 따른 구별능력에서는 피 실험자 전원이 어려움 없이 구별해내고 있었는데, 이는 반모음/w/의 유무를 단어의 발음에서 쉽게 구별하고 있음을 보여주는 증거이다. 이러한 실험의 데이터 분석을 시각화함으로써 실험결과를 영어교육현장에서 활용할 수 있도록 스펙트로그램의 그림분석을 병행하였다.

• 한국음향학회지
• /
• 제41권6호
• /
• pp.629-636
• /
• 2022

본 논문은 합성곱 신경망 기반 수중 표적 분류기의 성능 향상을 위한 최적의 전처리 기법을 제시한다. 실제 선박 수중신호를 수집한 데이터 세트의 주파수 분석을 통해 강한 저주파 신호로 인한 특성 표현의 문제점을 확인하였다. 이를 해결하기 위해 다양한 스펙트로그램 기법과 특성 스케일링 기법을 조합한 전처리 기법들을 구현하였다. 최적의 전처리 기법을 확인하기 위해 실제 데이터를 기반으로 합성곱 신경망을 훈련하는 실험을 수행하였다. 실험 결과, 로그 멜 스펙트로그램과 표준화 및 로버스트정규화 스케일링 기법의 조합이 높은 인식 성능과 빠른 학습 속도를 보임을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.964-966
• /
• 2020

전염성이 매우 강한 돼지 호흡기 질병을 빠른 시간 내에 정확하게 탐지하지 못한다면 해당 돈사는 물론 타지역으로 전파되어 심각한 경제적 손실이 발생한다. 본 논문은 이와 같은 돼지 호흡기 질병을 저가격의 임베디드 보드에서도 탐지가 가능한 시스템을 제안한다. 해당 시스템은 돈사에 설치한 소리센서로부터 돼지의 이상 소리를 자동으로 탐지한 후, 탐지한 소리 시그널을 스펙트로그램으로 변환한다. 마지막으로, 스펙트로그램은 딥러닝 알고리즘에 적용되어 돼지 호흡기 질병을 탐지 및 식별한다. 이 때, 일반 컴퓨터 환경에 비해 비용 부담이 적은 임베디드 환경에서 실행되기 위하여 경량 딥러닝 모델인 MnasNet 을 사용하였으며, 임베디드 보드인 NVIDIA TX-2 에서 해당 시스템의 호흡기 질병 식별 성능을 확인한 결과 높은 탐지 성능과 실시간 탐지가 가능함을 확인하였다.

• 한국음향학회지
• /
• 제43권2호
• /
• pp.234-242
• /
• 2024

본 논문에서는 그래프 신경망을 이용한 수동소나 신호 분류 알고리즘을 제안한다. 제안하는 알고리즘은 스펙트로그램을 영상 패치로 분할하고, 인접 거리의 영상 패치 간 연결을 통해 그래프를 표현한다. 이후, 표현된 그래프를 이용하여 그래프 합성곱 신경망을 학습하고 신호를 분류한다. 공개된 수중 음향 데이터를 이용한 실험에서 제안된 알고리즘은 스펙트로그램의 선 주파수 특징을 그래프 형태로 표현하며, 92.50 %의 우수한 분류 정확도를 갖는다. 이러한 결과는 기존의 합성곱 신경망과 비교하여 8.15 %의 높은 분류 정확도를 갖는다.

• 융합정보논문지
• /
• 제8권1호
• /
• pp.37-42
• /
• 2018

본 연구는 다섯 개의 문장을 선정하여 그 안에 들어있는 다섯 개의 단어와 그 단어 내에 들어있는 모음들을 대상으로 하여 한국인들의 모음발음 길이를 Praat 프로그램을 이용하여 측정한 후에 원어민의 실험결과와 비교분석한 연구이다. 20명의 한국인 피 실험자들이 실험을 위해 실험문장을 읽고 녹음하였으며, 음향적 특질들은 스펙트로그램 등을 활용한 Praat Software 프로그램을 이용하여 측정하여 그 결과를 얻었다. 이러한 과정을 통해 얻어진 결과들은 통계분석 하였다. 분석결과, 단어단위에서는 3개의 단어에서 두 집단 간 차이가 있었으며, 5개의 모음들은 모두 그 차이가 유의미하였다. 또한 두 실험집단 간 단어와 모음발음크기 비율에 관한 비교에서는 모든 단어와 모음들의 발음크기 비율이 두 집단 간 유의미한 차이를 보여주었다. 이러한 실험결과를 통해 영어전설저모음인 /${\ae}$/와 영어이중모음/ai/, 그리고 첫 번째 음절에 영어강세모음이 오는 경우에 그 발음 길이크기를 분석해보면 한국인 피 실험자집단에서는 외국인어투가 존재함을 다시 확인할 수 있었다.

• 한국음향학회지
• /
• 제38권6호
• /
• pp.687-696
• /
• 2019

기존의 지진파 분류 특징은 강진에 초점이 맞추어져 있어서 미소지진과 같은 지진파는 다소 적합하지 않다. 본 연구에서는 강진과 더불어 미소지진, 인공지진, 잡음 분류에 적합한 특징 추출을 위해 주파수-시간 공간 내에서 히스토그램과 주성분 기반 특징 추출방법을 제안한다. 제안된 방법은 지진파의 주파수 관련 정보와 시간 관련 정보를 결합하는 방법을 적용한 히스토그램 기반 특징 추출방법과 주성분 기반 특징 추출방법을 이용하여 지진(강진, 미소지진, 인공지진)과 잡음, 미소지진과 잡음, 미소지진과 인공지진을 이진 분류한다. 2017년~2018년 최근 국내지진 자료와 분류 성능을 토대로 제안한 특징 추출방식의 효용성을 비교 평가한다.

• 응용통계연구
• /
• 제36권2호
• /
• pp.101-114
• /
• 2023

데이터 증강 기법은 학습용 데이터셋을 다양한 관점에서 볼 수 있게 해주어 모형의 과적합 문제를 해결하는데 효과적으로 사용되고 있다. 이미지 데이터 증강기법으로 회전, 잘라내기, 좌우대칭, 상하대칭등의 증강 기법 외에도 occlusion 기반 데이터 증강 방법인 Cutmix, Cutout 등이 제안되었다. 음성 데이터에 기반한 모형들에 있어서도, 1D 음성 신호를 2D 스펙트로그램으로 변환한 후, occlusion 기반 데이터 기반 증강기법의 사용이 가능하다. 특히, SpecAugment는 음성 스펙트로그램을 위해 제안된 occlusion 기반 증강 기법이다. 본 연구에서는 위조 음성 탐지 문제에 있어서 사용될 수 있는 데이터 증강기법에 대해 비교 연구해보고자 한다. Fake audio를 탐지하기 위해 개최된 ASVspoof2017과 ASVspoof2019 데이터를 사용하여 음성을 2D 스펙트로그램으로 변경시켜 occlusion 기반 데이터 증강 방식인 Cutout, Cutmix, SpecAugment를 적용한 데이터셋을 훈련 데이터로 하여 CNN 모형을 경량화시킨 LCNN 모형을 훈련시켰다. Cutout, Cutmix, SpecAugment 세 증강 기법 모두 대체적으로 모형의 성능을 향상시켰으나 방법에 따라 오히려 성능을 저하시키거나 성능에 변화가 없을 수도 있었다. ASVspoof2017 에서는 Cutmix, ASVspoof2019 LA 에서는 Mixup, ASVspoof2019 PA 에서는 SpecAugment 가 가장 좋은 성능을 보였다. 또, SpecAugment는 mask의 개수를 늘리는 것이 성능 향상에 도움이 된다. 결론적으로, 상황과 데이터에 따라 적합한 augmentation 기법이 다른 것으로 파악된다.

• 정보처리학회 논문지
• /
• 제13권6호
• /
• pp.284-290
• /
• 2024

음성감정인식(Speech Emotion Recognition, SER)은 사용자의 목소리에서 나타나는 떨림, 어조, 크기 등의 음성 패턴 분석을 통하여 감정 상태를 판단하는 기술이다. 하지만, 기존의 음성 감정인식 연구는 구현된 시나리오를 이용하여 제한된 환경 내에서 숙련된 연기자를 대상으로 기록된 음성인 구현발화를 중심의 연구로 그 결과 또한 높은 성능을 얻을 수 있지만, 이에 반해 자유발화 감정인식은 일상생활에서 통제되지 않는 환경에서 이루어지기 때문에 기존 구현발화보다 현저히 낮은 성능을 보여주고 있다. 본 논문에서는 일상적 자유발화 음성을 활용하여 감정인식을 진행하고, 그 성능을 향상하고자 한다. 성능평가를 위하여 AI Hub에서 제공되는 한국인 자유발화 대화 음성데이터를 사용하였으며, 딥러닝 학습을 위하여 1차원의 음성신호를 시간-주파수가 포함된 2차원의 스펙트로그램(Spectrogram)로 이미지 변환을 진행하였다. 생성된 이미지는 CNN기반 전이학습 신경망 모델인 VGG (Visual Geometry Group) 로 학습하였고, 그 결과 7개 감정(기쁨, 사랑스러움, 화남, 두려움, 슬픔, 중립, 놀람)에 대해서 성인 83.5%, 청소년 73.0%의 감정인식 성능을 확인하였다. 본 연구를 통하여, 기존의 구현발화기반 감정인식 성능과 비교하면, 낮은 성능이지만, 자유발화 감정표현에 대한 정량화할 수 있는 음성적 특징을 규정하기 어려움에도 불구하고, 일상생활에서 이루어진 대화를 기반으로 감정인식을 진행한 점에서 의의를 두고자 한다.

• 중소기업융합학회논문지
• /
• 제6권4호
• /
• pp.51-57
• /
• 2016

본 연구는 강세음절이 있는 8개의 단어를 선정하여 원어민과 한국 대학생들 사이의 모음발음 길이를 스펙트로그램을 이용하여 측정한 후에 비교분석한 실험적 연구이다. 이 실험을 위하여 20명의 한국인 피 실험자들이 8개의 단어들이 들어있는 문장들을 발화하고 녹음하였으며, 음향적 특질들은 Praat 소프트웨어 프로그램을 이용하여 측정하였으며 그 결과를 통계분석 하였다. 분석결과, 8개의 강세모음에서 두 집단 간 차이가 있었으며, 7개의 강세모음에서는 그 차이가 유의미하였다. 두 실험집단 간 실험결과를 보면, 제1음절에 강세가 있는 모음들은 모두 집단 간 유의미한 차이를 보여주었다. 그 중에서 wonderful과 glasses의 강세음절에서는 유의미성이 크게 나타나고 있었는데, 특히 영어저모음 /${\ae}$/의 발음에서는 원어민이 한국인집단보다 훨씬 큰 길이로 발음하는 것을 알 수 있었다. 이러한 실험결과는 영어교육현장에서 외국인어투의 개선을 위한 수업자료로 활용할 수 있으리라 판단된다.

• 한국음향학회지
• /
• 제39권3호
• /
• pp.143-149
• /
• 2020

본 논문에서는 딥러닝(deep learning)을 이용하여 환경음 분류 시 전처리 단계에서 사용하는 특징 추출 방법이 콘볼루션 신경망의 분류 성능에 미치는 영향에 대해서 다루었다. 이를 위해 환경음 분류 연구에서 많이 사용되는 UrbanSound8K 데이터셋에서 멜 스펙트로그램(mel spectrogram), 로그 멜 스펙트로그램(log mel spectrogram), Mel Frequency Cepstral Coefficient(MFCC), 그리고 delta MFCC를 추출하고 각각을 3가지 분포로 스케일링하였다. 이 데이터를 이용하여 4 종의 콘볼루션 신경망과 이미지넷에서 좋은 성능을 보였던 VGG16과 MobileNetV2 신경망을 학습시킨 다음 오디오 특징과 스케일링 방법에 따른 인식률을 구하였다. 그 결과 인식률은 스케일링하지 않은 로그 멜 스펙트럼을 사용했을 때 가장 우수한 것으로 나타났다. 도출된 결과를 모든 오디오 인식 문제로 일반화하기는 힘들지만, Urbansound8K의 환경음이 포함된 오디오를 분류할 때는 유용하게 적용될 수 있을 것이다.