• Journal of information and communication convergence engineering
• /
• 제5권3호
• /
• pp.245-248
• /
• 2007

In this paper, we research the content-based analysis and classification according to the composition of the feature parameter data base for the audio data to implement the audio data index and searching system. Audio data is classified to the primitive various auditory types. We described the analysis and feature extraction method for the feature parameters available to the audio data classification. And we compose the feature parameters data base in the index group unit, then compare and analyze the audio data centering the including level around and index criterion into the audio categories. Based on this result, we compose feature vectors of audio data according to the classification categories, and simulate to classify using discrimination function.

• 한국컴퓨터정보학회논문지
• /
• 제12권6호
• /
• pp.97-104
• /
• 2007

본 논문에서는 오디오를 내용기반으로 분석, 분류, 검색하기 위하여 사용되어 온 특징 추출 기법의 문제점을 제시하며, 새로운 검색 방법을 위해 하나의 전처리 과정을 제안한다. 기존 오디오 데이터 분석은 샘플링을 어떻게 하느냐에 따라 특징 값이 달라지기 때문에 같은 음악이라도 다른 음악으로 인식될 수 있는 문제를 갖고 있다. 따라서 본 논문에서는 다양한 포맷의 오디오 데이터를 내용 기반으로 검색하기 위해 PCM 데이터의 파형 정보 추출 방법을 제안한다. 이 방법을 이용하여 다양한 포맷으로 샘플링 된 오디오 데이터들이 같은 데이터임을 발견 할 수 있으며, 이는 내용기반 음악검색에 적용 할 수 있을 것이다. 이 방법의 유효성을 증명하기 위해 STFT를 이용한 특징 추출과 PCM 데이터의 파형 정보를 이용한 추출 실험을 하였으며, 그 결과 PCM데이터의 파형 정보 추출 방법이 효과적임을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제10권5호
• /
• pp.353-362
• /
• 2005

최근 들어 바이모달 인식에 관한 연구가 활발히 진행되고 있다. 본 논문에서는 음성 정보와 얼굴정보를 이용하여 바이모달 시스템을 구현하였다. 얼굴인식은 얼굴 검출과 얼굴 인식 두 부분으로 나누어서 실험을 하였다. 얼굴 검출 단계에서는 AdaBoost를 이용하여 얼굴 후보 영역을 검출 한 뒤 PCA를 통해 특징 벡터 계수를 줄였다. PCA를 통해 추출된 특징 벡터를 객체 분류 기법인 SVM을 이용하여 얼굴을 검출 및 인식하였다. 음성인식은 MFCC를 이용하여 음성 특징 추출을 하였으며 HMM을 이용하여 음성인식을 하였다. 인식결과, 단일 인식을 사용하는 것보다 얼굴과 음성을 같이 사용하였을 때 인식률의 향상을 가져왔고, 잡음 환경에서는 더욱 높은 성능을 나타냈었다.

• The Journal of the Acoustical Society of Korea
• /
• 제23권3E호
• /
• pp.91-97
• /
• 2004

In this paper, we propose a classification system of TV program scenes based on audio information. The system classifies the video scene into six categories of commercials, basketball games, football games, news reports, weather forecasts and music videos. Two type of audio feature set are extracted from each audio frame-timbral features and coefficient domain features which result in 58-dimensional feature vector. In order to reduce the computational complexity of the system, 58-dimensional feature set is further optimized to yield l0-dimensional features through Sequential Forward Selection (SFS) method. This down-sized feature set is finally used to train and classify the given TV program scenes using κ -NN, Gaussian pattern matching algorithm. The classification result of 91.6% reported here shows the promising performance of the video scene classification based on the audio information. Finally, the system stability problem corresponding to different query length is investigated.

• 융합신호처리학회논문지
• /
• 제24권4호
• /
• pp.221-228
• /
• 2023

감정으로 인해 생기는 신체적 정신적인 변화는 운전이나 학습 행동 등 다양한 행동에 영향을 미칠 수 있다. 따라서 이러한 감정을 인식하는 것은 운전 중 위험한 감정 인식 및 제어 등 다양한 산업에서 이용될 수 있기 때문에 매우 중요한 과업이다. 본 논문에는 서로 도메인이 다른 음성과 영상 데이터를 모두 이용하여 감정을 인식하는 멀티모달 모델을 구현하여 감정 인식 연구를 진행했다. 본 연구에서는 RAVDESS 데이터를 이용하여 영상 데이터에 음성을 추출한 뒤 2D-CNN을 이용한 모델을 통해 음성 데이터 특징을 추출하였으며 영상 데이터는 Slowfast feature extractor를 통해 영상 데이터 특징을 추출하였다. 감정 인식을 위한 제안된 멀티모달 모델에서 음성 데이터와 영상 데이터의 특징 벡터를 통합하여 감정 인식을 시도하였다. 또한 멀티모달 모델을 구현할 때 많이 쓰인 방법론인 각 모델의 결과 스코어를 합치는 방법, 투표하는 방법을 이용하여 멀티모달 모델을 구현하고 본 논문에서 제안하는 방법과 비교하여 각 모델의 성능을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.6038-6053
• /
• 2017

In this study, we propose an automatic melody extraction algorithm using deep learning. In this algorithm, feature images, generated using the energy of frequency band, are extracted from polyphonic audio files and a deep learning technique, a convolutional neural network (CNN), is applied on the feature images. In the training data, a short frame of polyphonic music is labeled as a musical note and a classifier based on CNN is learned in order to determine a pitch value of a short frame of audio signal. We want to build a novel structure of melody extraction, thus the proposed algorithm has a simple structure and instead of using various signal processing techniques for melody extraction, we use only a CNN to find a melody from a polyphonic audio. Despite of simple structure, the promising results are obtained in the experiments. Compared with state-of-the-art algorithms, the proposed algorithm did not give the best result, but comparable results were obtained and we believe they could be improved with the appropriate training data. In this paper, melody extraction and the proposed algorithm are introduced first, and the proposed algorithm is then further explained in detail. Finally, we present our experiment and the comparison of results follows.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.390-395
• /
• 2009

The robustness of audio fingerprinting system in a noisy environment is a principal challenge in the area of content-based audio retrieval. The selected feature for the audio fingerprints must be robust in a noisy environment and the computational complexity of the searching algorithm must be low enough to be executed in real-time. The audio fingerprint proposed by Philips uses expanded hash table lookup to compensate errors introduced by noise. The expanded hash table lookup increases the searching complexity by a factor of 33 times the degree of expansion defined by the hamming distance. We propose a new method to improve noise robustness of audio fingerprinting in noise environment using predominant pitch which reduces the bit error of created hash values. The sub-fingerprint of our approach method is computed in each time frames of audio. The time frame is transformed into the frequency domain using FFT. The obtained audio spectrum is divided into 33 critical bands. Finally, the 32-bit hash value is computed by difference of each bands of energy. And only store bits near predominant pitch. Predominant pitches are extracted in each time frames of audio. The extraction process consists of harmonic enhancement, harmonic summation and selecting a band among critical bands.

• 한국컴퓨터정보학회논문지
• /
• 제14권8호
• /
• pp.51-58
• /
• 2009

본 논문에서는 오디오의 Low Peak Feature와 영상의 Color 값을 이용하여 유사한 동영상을 찾는 알고리즘을 제안한다. 동영상 검색 시 영상 데이터 전체를 이용하면 많은 시간과 저장 공간이 필요하다. 게다가 같은 영상임에도 해상도 또는 코덱이 다른 경우 전혀 다른 영상으로 인식된다. 따라서 해상도와 코덱이 달라져도 변화가 크지 않은 오디오의 파형으로부터 강인한 Peak 특징을 추출하고, 그 위치의 영상 Color 값을 비교하여 유사한 동영상을 검색하는 방법을 제안한다. 제안 방법의 성능을 확인하기 위해 2,000개의 동영상 데이터를 수집하여 실험하였으며, 그 결과 97.7%의 검색 성공률을 나타내었다.

• 대한음성학회지:말소리
• /
• 제61호
• /
• pp.63-74
• /
• 2007

Discrimination of music and speech from the multimedia signal is an important task in audio coding and broadcast monitoring systems. This paper deals with the problem of feature parameter extraction for discrimination of music and speech. The wavelet transform is a multi-resolution analysis method that is useful for analysis of temporal and spectral properties of non-stationary signals such as speech and audio signals. We propose new feature parameters extracted from the wavelet transformed signal for discrimination of music and speech. First, wavelet coefficients are obtained on the frame-by-frame basis. The analysis frame size is set to 20 ms. A parameter $E_{sum}$ is then defined by adding the difference of magnitude between adjacent wavelet coefficients in each scale. The maximum and minimum values of $E_{sum}$ for period of 2 seconds, which corresponds to the discrimination duration, are used as feature parameters for discrimination of music and speech. To evaluate the performance of the proposed feature parameters for music and speech discrimination, the accuracy of music and speech discrimination is measured for various types of music and speech signals. In the experiment every 2-second data is discriminated as music or speech, and about 93% of music and speech segments have been successfully detected.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2007년도 춘계종합학술대회
• /
• pp.201-204
• /
• 2007

본 논문은 오디오 색인 검색 시스템을 구현하기 위하여 오디오 신호에 대한 특징 파라미터 풀(pool)을 구성하고, 구성되어진 특징 파라미터 풀을 이용한 오디오 데이터의 내용분석 및 분류에 관한 연구이다. 오디오 데이터는 기본적으로 다양한 형태의 오디오 신호로서 분류되어진다. 본 논문에서는 오디오 데이터의 분류에 이용 가능한 특징 파라미터를 분석하고 추출하는 방법에 대하여 논한다. 그리고 특징 파라미터 풀을 색인 그룹 단위로 구성하여 오디오 카테고리에 대한, 설정된 특징들의 포함 정도와 색인기준을 오디오 데이터의 내용을 중심으로 비교, 분석한다. 그리고 마지막으로 위의 결과를 바탕으로 분류카테고리 별로 오디오 데이터의 특징 벡터를 구성한 뒤 이를 이용하여 식별함수 분류기를 통한 분류를 실험한다.