• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.6038-6053
• /
• 2017

In this study, we propose an automatic melody extraction algorithm using deep learning. In this algorithm, feature images, generated using the energy of frequency band, are extracted from polyphonic audio files and a deep learning technique, a convolutional neural network (CNN), is applied on the feature images. In the training data, a short frame of polyphonic music is labeled as a musical note and a classifier based on CNN is learned in order to determine a pitch value of a short frame of audio signal. We want to build a novel structure of melody extraction, thus the proposed algorithm has a simple structure and instead of using various signal processing techniques for melody extraction, we use only a CNN to find a melody from a polyphonic audio. Despite of simple structure, the promising results are obtained in the experiments. Compared with state-of-the-art algorithms, the proposed algorithm did not give the best result, but comparable results were obtained and we believe they could be improved with the appropriate training data. In this paper, melody extraction and the proposed algorithm are introduced first, and the proposed algorithm is then further explained in detail. Finally, we present our experiment and the comparison of results follows.

• 대한의용생체공학회:의공학회지
• /
• 제31권6호
• /
• pp.417-426
• /
• 2010

We present a speech processing strategy incorporating instantaneous frequency (IF) encoding for the enhancement of melody recognition performance of cochlear implants. For the IF extraction from incoming sound, we propose the use of a Teager energy operator (TEO), which is advantageous for its lower computational load. From time-frequency analysis, we verified that the TEO-based method provides proper IF encoding of input sound, which is crucial for melody recognition. Similar benefit could be obtained also from the use of a Hilbert transform (HT), but much higher computational cost was required. The melody recognition performance of the proposed speech processing strategy was compared with those of a conventional strategy using envelope extraction, and the HT-based IF encoding. Hearing tests on normal subjects were performed using acoustic simulation and a musical contour identification task. Insignificant difference in melody recognition performance was observed between the TEO-based and HT-based IF encodings, and both were superior to the conventional strategy. However, the TEO-based strategy was advantageous considering that it was approximately 35% faster than the HT-based strategy.

• 대한전자공학회논문지SP
• /
• 제47권5호
• /
• pp.109-116
• /
• 2010

본 논문에서는 하모닉 구조를 이용하여 다성 음악의 주요 멜로디를 검출하는 방법을 제안한다. 다성 음악은 다수의 음원을 동시에 포함하므로 주요 멜로디를 검출하기 위하여 다중 기본 주파수를 추출하고 각 기본 주파수의 성질을 기반으로 주요 멜로디를 구하는 과정으로 구성된다. 하모닉 구조는 기본 주파수의 배음관계를 나타내고 단일 음원 신호의 중요한 특성 파라미터이다. 따라서 제안하는 방법은 하모닉 구조의 정확도를 기준으로 다성 음악에 존재하는 모든 기본 주파수 후보를 추출하고, 추출된 기본 주파수 후보에 대하여 하모닉 성분을 조합하여 하모닉 평균 에너지를 구하여 기본 주파수 후보의 중요도 순위를 결정한다. 마지막으로 기본 주파수 후보의 순위와 기본 주파수의 연속성을 기반으로 피치 트래킹을 진행하여 최종 주요 멜로디에 해당하는 기본 주파수를 검출한다. 제안한 방법의 성능을 ADC 2004 DB와 가요 100곡에 대하여 MIREX 2005 측정 방법에 따라 측정하였으며, ADC 2004 DB에 대하여 90.42%의 검출 정확도를 가진다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.725-732
• /
• 2009

인터넷의 발달로 사람들이 많은 음악을 쉽게 접할 수 있게 된 만큼 음악 검색 서비스나 음악 추천 서비스와 같은 기능을 위한 응용 시스템이 주목 받고 있다. 이러한 시스템들이 서비스를 제공하기 위해서는 일반적인 음악의 형식인 다음(Polyphonic) 음악에서 멜로디를 추출하는 과정이 필수적이다. 본 논문에서는 다음 음악의 표현 능력이 매우 뛰어난 악기 중 하나인 피아노의 음악으로부터 멜로디를 추출하는 방법을 제안한다. 피아노 음악은 다음의 복잡도가 매우 크기 때문에 피아노 음악에서 멜로디를 추출하는 방법을 연구함으로써 여러 악기로 연주한 일반적인 다음 음악에서 멜로디를 추출하는 데 도움을 줄 수 있으리라 기대한다.

• 정보처리학회논문지D
• /
• 제11D권3호
• /
• pp.495-508
• /
• 2004

최근 내용 기반 음악 정보 검색 시스템에서는 사용자의 응답 시간을 단축시키기 위해 음악의 대표성을 갖는 선율을 추출하여 색인하고, 검색시 이를 이용한다 음악에서 대표성을 갖는 선율은 해당 음악을 대표하여 사용자가 기억하고 있으며, 사용자가 질의 선율로 사용할 가능성이 높아야 한다. 그러나, 기존의 내용 기반 음악 정보 검색 시스템에서는 음악 구성 형식을 고려하지 않기 때문에 음악 구성 형식에 따라 반복, 대조되는 선율들을 해당 음악을 대표하는 선율로 추출하지 못한다. 본 논문에서는 해당 음악을 대표하는 선율을 추출하기 위하여 한 음악에서 음악 구성 형식을 반영하여 일정한 유사도내에서 반복되는 선율들을 해당 음악의 반복 주제 선율로 추출한다. 또한, 사용자가 일반적으로 인지하는 첫 동기 선율과 절정 선율에 해당되는 선율들을 인식하여 대표 선율에 추가한다. 본 논문에서 제안된 시스템의 성능을 평가하기 위해 프로토타입을 구현하고, 다른 선을 색인과 비교 실험하였다. 실험 결과, 대표 선율 색인은 전체 동기를 색인한 경우에 비해 34％의 적은 저장 공간으로 색인을 구성하여 사용자의 응답 시간을 단축시켰다. 또한, 반복 주제 선율만으로 색인한 경우에 비해 사용자가 질의 가능성이 높은 첫 동기 선율, 절정 선율 등을 대표 선율로 색인하기 때문에 추가적으로 20의 색인 공간이 필요하였으나, 다양한 사용자의 질의 선율에 대해 검색의 정확성을 증진할 수 있음을 보였다.

• 전기전자학회논문지
• /
• 제24권1호
• /
• pp.254-259
• /
• 2020

본 논문은 사전에 학습된 기억으로 공감각 현상을 지각할 수 있는 의도적인 공감각으로 영상에서 음악으로 변환하는 시스템을 구현하였다. 영상에서 변환정보로 색상(Color), 질감(Texture), 모양(Shape)을 사용하여 음악의 멜로디(Melody), 하모니(Harmony), 리듬(Rhythm) 정보로 변환하였다. 정적인 영상에서 단조로운 음이 반복되는 것을 최소화하고 영상에 있는 정보를 표현하기 위해 색상의 분포도에 따라 확률적으로 멜로디를 선택하여 출력함으로써 자연스럽게 음을 구성할 수 있도록 하였고, 영상에서 질감은 통계적 질감 특징 추출방식인 GLCM(Gray-Level Co-occurrence Matrix)의 7가지 특징으로 하모니의 장조와 단조를 표현하였다. 마지막으로 모양은 영상의 외곽선을 추출한 후 주파수 성분 분석인 허프 변환(Hough Transform)을 이용해 선 성분을 검출하여 각도의 분포에 따라 리듬을 선택하는 방식으로 음악을 생성하였다.

• 한국컴퓨터정보학회논문지
• /
• 제11권4호
• /
• pp.137-145
• /
• 2006

사람은 음악에서의 선율을 악보의 기보법과 같이 음표의 높이와 음표의 길이가 조합된 형태로서 기억하는 것이 아니라, 전반적인 음표간의 높낮이의 흐름과 음표 사이의 상대적인 지속시간으로 구성된 음조 곡선 형태로 기억한다. 이와 같은 선율의 기억 방식으로 인해 기존 음악 검색 시스템과 같이 건반을 이용한 주선율 입력이나 악보에 기보된 형태로 음악 검색의 질의를 이용하는 방법을 그대로 적용하기 어려운 점이 있다. 이에 본 논문에서는 사용자의 허밍을 질의로 사용하는 음악 검색 시스템에서의 고려 대상들과 기존에 연구된 허밍 질의 기반의 음악 검색 시스템을 살펴본다. 또한 사람이 선율을 기억하는 방식인 상대적인 음표 간 높낮이와 음표 지속 시간을 이용하여 음악 내에 특징 정보를 추출하고 이를 기반으로 허밍 질의와 단음과의 유사도 계산 알고리즘을 제안한다. 제안된 유사도 계산 알고리즘은 선율내의 음높이 차만 가지고 선율의 유사도를 비교하는 경우 발생할 수 있는 문제를 연속된 음간에 길이 차이를 이용하여 해결하였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제30권5호
• /
• pp.507-520
• /
• 2003

본 연구에서는 내용 기반 음악 정보 검색 시스템의 검색 속도를 증진하기 위해 음악의 대표 선율인 주제 선율을 추출하여 주제 선율 색인을 구성하고 이를 이용한 효율적인 내용 기반 음악 정보 검색 기법을 제안하였다. 추출된 주제 선율을 다차원 공간 색인 기법인 M-tree를 이용하여 주제 선율 색인으로 구성하기 위해 주제 선율의 평균 음 높이 변화량과 평균 음 길이 변화량을 이용하였으며 검색의 정확도를 증진하기 위해 음 높이 변화 패턴을 요약한 높이 시그니처와 음 길이 변화 패턴을 요약한 길이 시그니처를 이용하였다. 또한 제안된 내용 기반 음악 정보 검색 기법에서는 사용자의 질의 선율로부터 질의 선율의 패턴 정보를 구성하고 M-tree의 k-근접 검색 및 범위 검색 기법을 이용하여 사용자의 질의 선율과 유사한 주제 선율을 포함하고 있는 음악 정보를 검색한다. 검색된 결과로부터 순위 부여한 후 사용자 피드백을 하여 사용자의 만족도를 증진하기 위한 특성을 포함하도록 하였다. 또한, 본 논문에서 제안된 주제 선율 색인 기법 및 내용 기반 검색 기법을 포함한 내용 기반 음악 정보 검색 시스템의 프로토타입을 구현하여 제안된 기법의 실효성을 입증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.164-166
• /
• 2012

In this paper, we proposed a method for extracting predominant melody of polyphonic music based on harmonic structure. Harmonic structure is an important feature parameter of monophonic signal that has spectral peaks at the integer multiples of its fundamental frequency. We extract all fundamental frequency candidates contained in the polyphonic signal by verifying the required condition of harmonic structure. Then, we combine those harmonic peaks corresponding to each extracted fundamental frequency and assign a rank to each after calculating its harmonic average energy. We run pitch tracking based on the rank of extracted fundamental frequency and continuity of fundamental frequency, and determine the predominant melody. For the query by singing/humming (QbSH) task, we proposed Dynamic Time Warping (DTW) based matching engine. Our system reduces false alarm by combining the distances of multiple DTW processes. To improve the performance, we introduced the asymmetric sense, pitch level compensation, and distance intransitiveness to DTW algorithm.

• 전기학회논문지
• /
• 제63권1호
• /
• pp.156-161
• /
• 2014

With the proliferation of digital music, public's interest in music and desire to sing well are increasing. This paper presents the implementation of a tone correction system through a visualization of comparison between music and humming data. For this we extract MIDI note from music and humming data and then design a matching engine using DTW algorithm which is for robust matching results against local timing variation and inaccurate tempo. This system is expected to correct the user's wrong tone by visualization and feedback from the result.