• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2004년도 춘계학술발표대회 논문집 제23권 1호
• /
• pp.351-354
• /
• 2004

최근 MPEG-7 등에서 컨텐츠 내용 기반 검색에 대한 연구가 이루어지고 있다. 내용 기반 검색은 기존의 키워드기반 검색이 아닌 컨텐츠 내의 특징 벡터를 추출하여 이와 일치하는 것을 찾는 작업으로써 차세대 디지털 방송 등에 적응될 예정이다. 본 논문은 긴 오디오 stream에서 찾고자 하는 오디오의 위치를 빨리 찾을 수 있는 고속 검객 방법을 제시한다. 기존의 방법에서는 zero-crossing rate만을 이용하여 검색을 했었으나 본 논문에서는 오디오 신호의 특성을 표현할 수 있는 여러 가지 특징 벡터들을 이용한 고속 검색 방법을 고찰 한다. 본 논문의 가장 중요만 부분은 active search 알고리즘과 히스토그램, 그리고 적절하게 조합된 다중 특징 벡터들을 이용한 오디오 검색의 정확도와 속도를 향상시키는데 있다.

• 대한전자공학회논문지SP
• /
• 제41권6호
• /
• pp.271-278
• /
• 2004

본 논문에서는 디지털 신호처리를 이용하여 Classic, Hiphop, Jazz, Rock, Speech 등 5개의 오디오 장르를 자동적으로 분류하는 내용기반 오디오 장르 분류기를 제안하였다. 20초 분량의 질의 오디오로부터 23ms 크기의 Hamming window를 이동시켜 가며 Spectral Centroid, Rolloff, Flux 등 STFT 기반의 특징 계수들과 MFCC, LPC 등의 계수들을 구하여 총 54차에 해당하는 특징 벡터 열을 추출하였으며 분류 알고리즘으로는 k-NN, Gaussian, GMM 분류기를 사용하였다. 최적의 특징 벡터를 선별하는 알고리즘으로 총 54차의 특징벡터 중 가장 성능이 좋은 특징 계수들을 찾아 순차적으로 재배치하는 SFS(Sequential Forward Selection)방법을 사용하였고, 이를 이용하여 최적화 된 10차의 특징 벡터만을 선정해서 오디오 장르 분류에 사용하였다. SFS를 적용한 실험 결과 약 90% 가까운 분류 성공률을 보이고 있어 기존 연구에 비하여 약 10%∼20% 정도의 성능 향상을 꾀 할 수 있었다. 한편 실제 사용자들이 오디오 자동 장르 분류 시스템을 사용할 때 일어날 수 있는 상황을 가정하여 임의 구간에서 질의 데이터를 추출하여 실험을 수행하였으며 실험 결과 오디오 파일의 맨 앞과 맨 뒤 등 worst-case 질의를 제외하고는 약 80%대의 분류 성공률을 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.202-203
• /
• 2011

본 논문에서는 인터액티브 스마트 TV 적용을 위한 사운드트랙 검색 시스템을 제안한다. 제안하는 시스템은 동영상을 오디오와 비디오특징을 구분한 후, 각 오디오와 비디오 신호를 분석한다. 비디오 신호의 분석은 MPEG-2 비디오 인코더로부터 영상의 장면전환과 시작과 끝 위치를 검출하고, 오디오 신호의 분석은 AC-3 오디오 인코더로부터 오디오 특징을 추출한 후, 오디오 정보의 비트 벡터를 추출하여 데이터베이스를 생성한다. 생성된 데이터베이스와 사용자가 북마크를 하여 요청한 쿼리와 비교를 통하여 오디오 특징정보가 유사한 부분의 장면을 검색하고, 검색된 장면을 사용자에게 제공한다. 제안된 시스템의 성능 측정을 위해서 뉴스, 패널토론, 음악방송, 광고, 드라마 등 50개 TV 방송 프로그램의 데이터베이스를 이용해서 정확성을 측정하였다.

• 정보처리학회논문지B
• /
• 제19B권1호
• /
• pp.19-26
• /
• 2012

최근 멀티미디어 정보가 급증함에 따라 콘텐츠 관리에 대한 요구도 함께 증가되고 있다. 이에 오디오 분할 및 분류는 멀티미디어 콘텐츠를 효과적으로 관리할 수 있는 대안이 될 수 있다. 따라서 본 논문에서는 동영상에서 취득한 오디오 신호를 분할하고, 분할된 오디오 신호를 음악, 음성, 배경 음악이 포함된 음성, 잡음이 포함된 음성, 묵음(silence)으로 분류하는 정확도가 높은 오디오 분할 및 분류 알고리즘을 제안한다. 제안하는 알고리즘은 오디오 분할을 위해 서포트 벡터 머신(support vector machine, SVM)을 이용하였다. 오디오 신호의 분류를 위해서는 분할된 오디오 신호의 특징을 추출하고 이를 퍼지 클러스터링 알고리즘(fuzzy c-means, FCM)의 입력으로 사용하여 각 계층으로 오디오 신호를 분류하였다. 제안하는 알고리즘의 평가는 분할과 분류에 대해 각각 그 성능을 평가하였으며, 분할 성능 평가는 정확도율(precesion rate)과 오차율(recall rate)을 이용하였으며, 분류 성능 평가는 정확성(classification accuracy)을 사용하였다. 또한 오디오 분할의 경우는 이진 분류기와 퍼지 클러스터링을 이용한 기존의 알고리즘과 그 성능을 비교하였다. 모의 실험 결과, 제안한 알고리즘의 분류 성능이 기존 알고리즘 보다 정확도율과 오차율 면에서 모두 우수하였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권1호
• /
• pp.183-190
• /
• 2017

본 논문에서는 깊은 신경망을 이용한 오디오 이벤트 검출 방법을 제안한다. 오디오 입력의 매 프레임에 대한 오디오 이벤트 확률을 feed-forward 신경망을 적용하여 생성한다. 매 프레임에 대하여 멜 스케일 필터 뱅크 특징을 추출한 후, 해당 프레임의 전후 프레임으로부터의 특징벡터들을 하나의 특징벡터로 결합하고 이를 feed-forward 신경망의 입력으로 사용한다. 깊은 신경망의 출력층은 입력 프레임 특징값에 대한 오디오 이벤트 확률값을 나타낸다. 연속된 5개 이상의 프레임에서의 이벤트 확률값이 임계값을 넘을 경우 해당 구간이 오디오 이벤트로 검출된다. 검출된 오디오 이벤트는 1초 이내에 동일 이벤트로 검출되는 동안 하나의 오디오 이벤트로 유지된다. 제안된 방법으로 구현된 오디오 이벤트 검출기는 UrbanSound8K와 BBC Sound FX자료에서의 20개 오디오 이벤트에 대하여 71.8%의 검출 정확도를 보였다.

• 한국통신학회논문지
• /
• 제32권10C호
• /
• pp.965-974
• /
• 2007

본 논문에서는 내용 기반 음악 범주 분류 시스템에서 다중 범주를 위한 특징벡터 선택 알고리즘을 제안한다. 제안된 특징벡터 선택 알고리즘은 분리 성능을 측정할 때 가우시안 혼합 모델(Gaussian Mixture Model: GMM)을 기반으로 GMM separation score을 측정함으로써 확률분포 및 분리 성능 추정의 정확도를 높였고, sequential forward selection 방법을 개선하여 이전까지 선택된 특징벡터들이 분리를 잘 하지 못하는 범주들을 기준으로 다음 특징벡터를 선택하는 알고리즘을 제안하여 다중 범주 분류의 성능을 높였다. 제안된 알고리즘의 성능 검증을 위해 음색, 리듬, 피치 등 오디오 신호의 특징을 나타내는 다양한 파라미터를 오디오 신호로부터 추출하여 제안된 특징벡터 선택 알고리즘과 기존의 알고리즘으로 특징벡터를 선택한 후 GMM classifier와 k-NN classifier를 이용하여 분류 성능을 평가하였다. 제안된 특징벡터 선택 알고리즘은 기존 알고리즘에 비하여 3%에서 8% 정도의 분류 성능이 향상된 것을 확인할 수 있었고 특히 낮은 차원의 특징벡터의 분류 실험에서는 분류 정확도 측면에서 5%에서 10% 향상된 좋은 성능을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제12권6호
• /
• pp.97-104
• /
• 2007

본 논문에서는 오디오를 내용기반으로 분석, 분류, 검색하기 위하여 사용되어 온 특징 추출 기법의 문제점을 제시하며, 새로운 검색 방법을 위해 하나의 전처리 과정을 제안한다. 기존 오디오 데이터 분석은 샘플링을 어떻게 하느냐에 따라 특징 값이 달라지기 때문에 같은 음악이라도 다른 음악으로 인식될 수 있는 문제를 갖고 있다. 따라서 본 논문에서는 다양한 포맷의 오디오 데이터를 내용 기반으로 검색하기 위해 PCM 데이터의 파형 정보 추출 방법을 제안한다. 이 방법을 이용하여 다양한 포맷으로 샘플링 된 오디오 데이터들이 같은 데이터임을 발견 할 수 있으며, 이는 내용기반 음악검색에 적용 할 수 있을 것이다. 이 방법의 유효성을 증명하기 위해 STFT를 이용한 특징 추출과 PCM 데이터의 파형 정보를 이용한 추출 실험을 하였으며, 그 결과 PCM데이터의 파형 정보 추출 방법이 효과적임을 보였다.

• 한국ITS학회 논문지
• /
• 제8권4호
• /
• pp.33-38
• /
• 2009

본 논문은 자동차 오디오 시스템에 내장된 라디오에서 실시간으로 재생되는 연속적인 오디오 신호로부터 음악 신호를 선별하고, 해당 음악에 대한 실시간 음악장르 분류를 통해 자동으로 이퀄라이저를 조절하는 방식을 제안한다. 제안된 방식에서는 음악분류 정확도를 높이고 실시간 신호처리를 실행하기 위해 연속적인 오디오 신호로부터 추출한 음색 특징 벡터와 리듬 특징 벡터를 GMM (Gaussian mixture model) 분류 방식에 적용하여 음악 분류를 수행한다. 제안된 방식은 카오디오 시스템의 라디오로부터 출력된 오디오 신호로부터 분할된 다양한 오디오 구간을 5가지 음악장르로 분류하여 음악 장르 분류 성능을 측정하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2007년도 춘계종합학술대회
• /
• pp.201-204
• /
• 2007

본 논문은 오디오 색인 검색 시스템을 구현하기 위하여 오디오 신호에 대한 특징 파라미터 풀(pool)을 구성하고, 구성되어진 특징 파라미터 풀을 이용한 오디오 데이터의 내용분석 및 분류에 관한 연구이다. 오디오 데이터는 기본적으로 다양한 형태의 오디오 신호로서 분류되어진다. 본 논문에서는 오디오 데이터의 분류에 이용 가능한 특징 파라미터를 분석하고 추출하는 방법에 대하여 논한다. 그리고 특징 파라미터 풀을 색인 그룹 단위로 구성하여 오디오 카테고리에 대한, 설정된 특징들의 포함 정도와 색인기준을 오디오 데이터의 내용을 중심으로 비교, 분석한다. 그리고 마지막으로 위의 결과를 바탕으로 분류카테고리 별로 오디오 데이터의 특징 벡터를 구성한 뒤 이를 이용하여 식별함수 분류기를 통한 분류를 실험한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.707-710
• /
• 2002

본 논문은 오디오와 비디오 정보의 융합을 통한 멀티 모달 음성 인식 시스템을 제안한다. 음성 특징 정보와 영상 정보 특징의 융합을 통하여 잡음이 많은 환경에서 효율적으로 사람의 음성을 인식하는 시스템을 제안한다. 음성 특징 정보는 멜 필터 캡스트럼 계수(Mel Frequency Cepstrum Coefficients: MFCC)를 사용하며, 영상 특징 정보는 주성분 분석을 통해 얻어진 특징 벡터를 사용한다. 또한, 영상 정보 자체의 인식률 향상을 위해 피부 색깔 모델과 얼굴의 형태 정보를 이용하여 얼굴 영역을 찾은 후 강력한 입술 영역 추출 방법을 통해 입술 영역을 검출한다. 음성-영상 융합은 변형된 시간 지연 신경 회로망을 사용하여 초기 융합을 통해 이루어진다. 실험을 통해 음성과 영상의 정보 융합이 음성 정보만을 사용한 것 보다 대략 5%-20%의 성능 향상을 보여주고 있다.