• Electronics and Telecommunications Trends
• /
• v.24 no.6
• /
• pp.121-132
• /
• 2009

음성을 비롯하여 음악, 음향 등을 포함하는 오디오 신호는 멀티미디어 콘텐츠를 구성하는 매우 중요한 미디어 타입이며, 미디어 기록 매체와 네트워크의 발전으로 인한 데이터 양의 급격한 증대는 수동적 관리의 어려움을 유발하게 되고, 이로 인해 오디오 신호를 자동으로 구분하는 기술은 매우 중요한 기술로 인식되고 있다. 다양한 오디오 신호를 분류하기 위한 오디오 신호의 특징을 추출하는 기술은 많은 연구들을 통해 발전하여 왔으며, 본 논문은 오디오 콘텐츠 자동 분류에서 높은 성능을 갖는 오디오 신호 특징 추출에 대해서 분석한다. 그리고 특징 분류기 중에서 안정적인 성능을 가지는 SVM을 사용한 오디오 신호 분류 방법을 알아본다.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.522-525
• /
• 2009

This paper proposed the content-based method of classifying filthy Phornographic video, which causes a big problem of modern society as the reverse function of internet. Audio data was used to extract the features from Phornographic video. There are frequency spectrum, autocorrelation, and MFCC as the feature of audio used in this paper. The sound that could be filthy contents was extracted, and the Phornographic was classified by measuring how much percentage of relevant sound was corresponding with the whole audio of video. For the experiment on the proposed method, The efficiency of classifying Phornographic was measured on each feature, and the measured result and comparison with using multi features were performed. I can obtain the better result than when only one feature of audio was extracted, and used.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.441-443
• /
• 2011

본 논문은 오디오 특징 분석을 기반으로 한 음악검색 방법에 대한 기술과 연구에 대한 내용이다. 본 연구에서는 크게 3가지의 주요 알고리즘을 이용하여 다 성음에서의 오디오 특징을 추출하고 3가지의 각자 다른 방식의 매칭 알고리즘을 기반으로 한 퓨전 매칭 방식을 제안한다. 오디오 특징으로는 메인 멜로디, 음악 구조를 분석한 세그먼테이션 정보를 이용한다. 본 연구에서 사용된 음악 DB는 음악 포털 서비스에서 제공하는 장르를 기반으로 한 8가지 장르에서 다양한 범위에서 2000곡을 선곡하였다. 오디오 특징 추출을 위한 알고리즘 개발과 매칭 알고리즘 개발을 위하여 음악 DB 2000곡 중 장르의 비율을 고려하여 100곡을 선정하고, 24명으로부터 1200개의 허밍을 녹음하였다. 24명중 3명은 대학에서 음악을 전공하고 나머지는 음악적 교육을 받은 경험이 없는 사람들이다. 1200개의 허밍을 분석한 결과 전체 허밍 중 60%정도가 노래의 시작 부분을 허밍하거나 노래를 불렀고, 30%정도는 하이라이트 부분을 허밍 하였다. 나머지 10%정도는 자신이 가장 자신 있는 부분을 불렀다. 이러한 분석 결과를 기반으로 가장 중요한 부분은 노래가 시작되는 부분에서의 멜로디를 정확하게 찾아내는 것이 무엇보다 중요하다는 것이다. 본 연구에서 검색결과의 평가는 MRR를 이용하여 측정하였다. MIDI DB를 사용한 경우가 다 성음에서 직접 멜로디를 추출한 경우보다 약간 성능이 우수하게 나왔으나 그 차이는 미미했다. 본 연구에서는 개발된 알고리즘을 이용하여 PC상에서 사용할 수 있는 클라이언트 프로그램과 Android app를 개발하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.202-203
• /
• 2011

본 논문에서는 인터액티브 스마트 TV 적용을 위한 사운드트랙 검색 시스템을 제안한다. 제안하는 시스템은 동영상을 오디오와 비디오특징을 구분한 후, 각 오디오와 비디오 신호를 분석한다. 비디오 신호의 분석은 MPEG-2 비디오 인코더로부터 영상의 장면전환과 시작과 끝 위치를 검출하고, 오디오 신호의 분석은 AC-3 오디오 인코더로부터 오디오 특징을 추출한 후, 오디오 정보의 비트 벡터를 추출하여 데이터베이스를 생성한다. 생성된 데이터베이스와 사용자가 북마크를 하여 요청한 쿼리와 비교를 통하여 오디오 특징정보가 유사한 부분의 장면을 검색하고, 검색된 장면을 사용자에게 제공한다. 제안된 시스템의 성능 측정을 위해서 뉴스, 패널토론, 음악방송, 광고, 드라마 등 50개 TV 방송 프로그램의 데이터베이스를 이용해서 정확성을 측정하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.12 no.6
• /
• pp.97-104
• /
• 2007

This paper presents the problem of the feature extraction techniques that has been used a content-based analysis, classification and retrieval in audio data and proposes a course of the preprocessing for a new contents-based retrieval methods. Because the feature vector according to sampling value changes, the existing audio data analysis is problem that same music is appraised by other music. Therefore, we propose waveform information extraction method of PCM data for retrieval audio data of various format to contents-based. If this method is used. we can find that audio datas that get into sampling in various format are same data. And it may be applied in contents-based music retrieval system. To verity the performance of the method, an experiment was done feature extraction using STFT and waveform information extraction using PCM data. As a result, we could know that the method to propose is effective more.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1182-1187
• /
• 2006

본 논문은 필립스의 오디오 핑거프린트 추출 방식을 기반으로 기존의 방식이 주파수 영역을 너무 조밀하게 분석하는 특징을 지적하고 개선 방안으로 양자화를 통해 필터 뱅크의 에너지 변화율을 오디오 핑거프린트 추출시 반영하는 방법을 제안하였다. 또한 제안된 알고리즘을 사용하여 PDA 로 실제 어플리케이션을 구현하는 것을 목적으로 하고 있다. 제안된 방식은 필립스 방식과 동일한 메모리 크기를 유지하기 위하여 필터 뱅크의 개수를 33 개에서 17 개로 줄이고 필터 뱅크의 변화량을 2 비트로 할당하는 방식을 사용하였다. 변화량을 비트에 할당하기 위하여 음악 데이터 베이스로부터 추출된 각 밴드의 pmf를 통해 음악의 고유성을 최대로 증진 시킬 수 있는 임계치를 찾아내고 이것을 바탕으로 필터 뱅크의 변화량을 2 비트로 할당하였다. 이 같이 추출된 오디오 핑거프린트를 기반으로 PDA 와 음악 검색기 서버와의 통신을 이용하여 사용자가 요청한 쿼리 음악에 관련된 정보를 제공하는 시스템을 구현했다. 제안된 방식은 다양한 주변 잡음 환경에서 평가되어 기존의 필립스 방식 보다 성능 향상 물론 검색 속도 또한 개선되는 특징을 확인할 수 있었다.

• The Journal of the Acoustical Society of Korea
• /
• v.21 no.2
• /
• pp.182-189
• /
• 2002

In this paper, we research the content-based analysis and classification according to the composition of the feature parameters pool for the auditory signals to implement the auditory indexing and searching system. Auditory data is classified to the primitive various auditory types. we described the analysis and feature extraction method for the feature parameters available to the auditory data classification. And we compose the feature parameters pool in the indexing group unit, then compare and analysis the auditory data centering around the including level and indexing criterion into the audio categories. Based on this result, we composed the classification procedure and simulate the auditory data classification.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.41 no.6
• /
• pp.271-278
• /
• 2004

In this paper, we propose a content-based audio genre classification algorithm that automatically classifies the query audio into five genres such as Classic, Hiphop, Jazz, Rock, Speech using digital sign processing approach. From the 20 seconds query audio file, the audio signal is segmented into 23ms frame with non-overlapped hamming window and 54 dimensional feature vectors, including Spectral Centroid, Rolloff, Flux, LPC, MFCC, is extracted from each query audio. For the classification algorithm, k-NN, Gaussian, GMM classifier is used. In order to choose optimum features from the 54 dimension feature vectors, SFS(Sequential Forward Selection) method is applied to draw 10 dimension optimum features and these are used for the genre classification algorithm. From the experimental result, we can verify the superior performance of the proposed method that provides near 90% success rate for the genre classification which means 10%∼20% improvements over the previous methods. For the case of actual user system environment, feature vector is extracted from the random interval of the query audio and it shows overall 80% success rate except extreme cases of beginning and ending portion of the query audio file.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.351-354
• /
• 2004

최근 MPEG-7 등에서 컨텐츠 내용 기반 검색에 대한 연구가 이루어지고 있다. 내용 기반 검색은 기존의 키워드기반 검색이 아닌 컨텐츠 내의 특징 벡터를 추출하여 이와 일치하는 것을 찾는 작업으로써 차세대 디지털 방송 등에 적응될 예정이다. 본 논문은 긴 오디오 stream에서 찾고자 하는 오디오의 위치를 빨리 찾을 수 있는 고속 검객 방법을 제시한다. 기존의 방법에서는 zero-crossing rate만을 이용하여 검색을 했었으나 본 논문에서는 오디오 신호의 특성을 표현할 수 있는 여러 가지 특징 벡터들을 이용한 고속 검색 방법을 고찰 한다. 본 논문의 가장 중요만 부분은 active search 알고리즘과 히스토그램, 그리고 적절하게 조합된 다중 특징 벡터들을 이용한 오디오 검색의 정확도와 속도를 향상시키는데 있다.