• The KIPS Transactions:PartA
• /
• v.10A no.6
• /
• pp.737-748
• /
• 2003

With the popularity of digital music contents, querying and retrieving music contents efficiently from database has become essential. In this paper, we propose a Fast Melody Finder (FMF) that can retrieve melodies fast and efficiently from music database using frequently queried tunes. This scheme is based on the observation that users have a tendency to memorize and query a small number of melody segments, and indexing such segments enables fast retrieval. To handle those tunes, FMF transcribes all the acoustic and common music notational inputs into a specific string such as UDR and LSR. We have implemented a prototype system and showed on its performance through various experiments.

• Journal of Internet Computing and Services
• /
• v.16 no.6
• /
• pp.133-141
• /
• 2015

Mass multimedia contents are shared through various social media servies including social network service. As social network reveals user's current situation and interest, highly satisfactory personalized recommendation can be made when such features are applied to the recommendation system. In addition, classifying the music by emotion and using analyzed information about user's recent emotion or current situation by analyzing user's social network, it will be useful upon recommending music to the user. In this paper, we propose a music recommendation method that makes an emotion model to classify the music, classifies the music according to the emotion model, and extracts user's current emotional state represented on the social network to recommend music, and evaluates the validity of our method through experiments.

• Journal of Korea Multimedia Society
• /
• v.12 no.11
• /
• pp.1581-1592
• /
• 2009

Recently, we can hear various kinds of music in everywhere and anytime. If a user wants to find the music which was heard before in a street or cafe, but he does not know the title of the music, it is difficult to find it. That is the limitation of previous retrieval system of music data. To overcome these problems, we research a method of content-based retrieval of music data based on the recorded humming, the part of recorded music and the played musical instrument. In this paper, we investigated previous content-based retrieval methods of papers, systems and patents. Based on that, we research a method of content-based retrieval of music data. That is, in case of using the recorded humming and music for query, we extract the frequency information from the recorded humming/music and the stored music data by using FFT. We use a MIDI file in case of query by the played musical instrument. And by using dynamic programming matching, the error caused by the disparity of length between the input source with the stored music data could be reduced.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.353-360
• /
• 2021

음성 대화 시스템에서는 사용자가 잘못된 슬롯명을 말하거나 음성인식 오류가 발생해 사용자의 의도에 맞지 않는 응답을 하는 경우가 있다. 이러한 문제를 해결하고자 말뭉치나 사전 데이터를 활용한 질의 교정 방법들이 제안되지만, 이는 지속적으로 사람이 개입하여 데이터를 주입해야하는 한계가 있다. 본 논문에서는 축적된 로그 데이터를 활용하여 사람의 개입 없이 음악 재생에 필요한 슬롯을 교정하는 자기 학습(Self-learning) 기반의 모델을 제안한다. 이 모델은 사용자가 특정 음악을 재생하고자 유사한 질의를 반복하는 상황을 이용하여 비지도 학습 기반으로 학습하고 음악 재생에 실패한 슬롯을 교정한다. 그리고, 학습한 모델 결과의 정확도에 대한 불확실성을 해소하기 위해 질의 슬롯 관계 유사도 모델을 이용하여 교정 결과에 대한 검증을 하고 슬롯 교정 결과에 대한 안정성을 보장한다. 모델 학습을 위한 데이터셋은 사용자가 연속으로 질의한 세션 데이터로부터 추출하며, 음악 재생 슬롯 세션 데이터와 질의 슬롯 관계 유사도 데이터를 각각 구축하여 슬롯 교정 모델과 질의 슬롯 관계 유사도 모델을 학습한다. 교정된 슬롯을 분석한 결과 발음 정보가 유사한 슬롯 뿐만 아니라 의미적인 관계가 있는 슬롯으로도 교정하여 사전 기반 방식보다 다양한 유형의 교정이 가능한 것을 보였다. 3 개월 간 수집된 로그 데이터로 학습한 음악 재생 슬롯 교정 모델은 일주일 동안 반복한 고유 질의 기준, 음악 재생 실패의 12%를 개선하는 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.280-282
• /
• 1999

현존하는 클래식 음악에는 음악적, 심리적 작곡약속이 있다. 작곡약속을 악식(樂式) 혹은 음악형식(音樂形式)이라고 한다. 즉, 모든 악곡은 일정한 형식에 의하여 작곡된다. 이러한 이유로 악곡에서는 어떤 특징적인 note관계가 규칙적으로 반복해서 나타난다. 이러한 특성은 note간의 관계가 어떻게 변화하는가에 따라서, 악곡 전체에서 segment의 시작과 끝으로 인식되어진다. 본 논문에서는 악곡의 분석을 위해 실제 악보를 컴퓨터 데이터 형식으로 표현하기 위한 SFCM(Score Format for Computer Music)을 정의하여, 악곡의 note를 분석해서 각 소절(measure)별로 대표음 집합을 추출할 수 있도록 하였다. 각 소절의 대표음 집합을 이용해서, note의 변화에 따른 schematic을 생성한다 schematic 생성과 분석을 위해 note-schema의 규칙과 형식을 정의해 놓은 CNSDB(Changing-Note Schema DataBase)를 제안한다. 이러한 데이터 베이스를 이용하여 특징적인 규칙을 찾아내고, 적용해 악곡에서 segment를 나눌수 있다. 본 논문에서는 1700년대의 클래식 음악에서 특히 잘 나타나는 규칙을 적용해서 분석하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.711-713
• /
• 2000

본 논문은 멀티미디어의 특성을 활용하여 초등학교 5학년의 음악과 전 영역을 멀티미디어 CAI로 설계하고 구현함으로써 음악에 대한 기초개념과 악곡에 대한 이해와 관심을높이고 학습자에 대한 개별학습과 교수-학습의 효율성을 높이고자 하였다. 이에 따라서 멀티미디어 CAI에 관한 이론을 탐색하고 CAI의 설계원리 및 교과의 특성을 고려하여 Hannafin와 Peck이 제안한 코스웨어 설계모형을 모델로 하였다. 설계모델에 따라 교육과정을 분석하여 멀티미디어 적용요소를 추출하였으며 저작환경에 적합한 스토리보드 형식을 작성하였다. CAI 코스웨어 설계모형에 준거하여 객체지향적이고 상호대화적인 접근을 가능하도록 멀티미디어 디렉터를 도구로 사용하였다. 본 CAI 프로그램은 멀티미디어(Text, Image, Graphic, animation, sound)를 활용하여 주의집중과 동기유발을 높혔고 특히 가창, 기악, 창작, 감상, 이론적 내용, 형성평가의 모든 음악적 영역을 교육과정의 내용에 일치시켜 충실한 교수-학습이 이루어지게 하여 모든 교사의 현장수업에 대한 부담감을 감소시켰다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06c
• /
• pp.288-291
• /
• 2011

기존 음악 장르 분류의 경우 음악의 특징 추출 또는 기계학습을 중점적으로 연구되어왔다. 하지만 자동 분류에 필요한 장르 데이터는 음악을 제공하는 웹 사이트마다 다르고, 각 웹 사이트의 장르 분류는 해당 음악이 아닌 앨범의 장르를 표시한다. 보다 나은 자동 분류를 위해서는 일관된 장르 데이터의 제공이 필요한데, 본 논문에서는 이러한 연구의 일환으로 여러 웹사이트에서 수집한 장르 데이터에 따른 판별 성능을 분석하였다. 분석 결과 장르 분류 방법에 따라 신경망 학습 및 판별성능이 큰 차이가 발생하였다.

• Science of Emotion and Sensibility
• /
• v.16 no.2
• /
• pp.187-194
• /
• 2013

The final aim of the present study is to build a system of converting a color image into musical elements based on a synesthetic perception, emulating human synesthetic skills, which make it possible to associate a color image with a specific sound. This can be done on the basis of the similarities between physical frequency information of both light and sound. As a first step, an input true color image is converted into hue, saturation, and intensity domains based on a color model conversion theory. In the next step, musical elements including note, octave, loudness, and duration are extracted from each domain of the HSI color model. A fundamental frequency (F0) is then extracted from both hue and intensity histograms. The loudness and duration are extracted from both intensity and saturation histograms, respectively. In experiments, the proposed system on the conversion of a color image into musical elements was implemented using standard C and Microsoft Visual C++(ver. 6.0). Through the proposed system, the extracted musical elements were synthesized to finally generate a sound source in a WAV file format. The simulation results revealed that the musical elements, which were extracted from an input RGB color image, reflected in its output sound signals.

• Journal of Korea Game Society
• /
• v.17 no.3
• /
• pp.45-52
• /
• 2017

This paper proposes a new strategy of emotion-based music visualization. Emotional LED lighting control system is suggested to help audiences enhance the musical experience. In the system, emotion in music is recognized by a proposed algorithm using a dimensional approach. The algorithm used a method of music emotion variation detection to overcome some weaknesses of Thayer's model in detecting emotion in a one-second music segment. In addition, IRI color model is combined with Thayer's model to determine LED light colors corresponding to 36 different music emotions. They are represented on LED lighting control system through colors and animations. The accuracy of music emotion visualization achieved to over 60%.

• Journal of KIISE:Databases
• /
• v.34 no.4
• /
• pp.283-303
• /
• 2007

Recently, the study of efficient way to store and retrieve enormous music data is becoming the one of important issues in the multimedia database. Most general method of MIR (Music Information Retrieval) includes a text-based approach using text information to search a desired music. However, if users did not remember the keyword about the music, it can not give them correct answers. Moreover, since these types of systems are implemented only for exact matching between the query and music data, it can not mine any information on similar music data. Thus, these systems are inappropriate to achieve similarity matching of music data. In order to solve the problem, we propose an Efficient Query-By-Humming System (EQBHS) with a content-based indexing method that efficiently retrieve and store music when a user inquires with his incorrect humming. For the purpose of accelerating query processing in EQBHS, we design indices for significant melodies, which are 1) frequent melodies occurring many times in a single music, on the assumption that users are to hum what they can easily remember and 2) melodies partitioned by rests. In addition, we propose an error tolerated mapping method from a note to a character to make searching efficient, and the frequent melody extraction algorithm. We verified the assumption for frequent melodies by making up questions and compared the performance of the proposed EQBHS with N-gram by executing various experiments with a number of music data.