• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.530-531
• /
• 2020

최근 인공지능을 활용하여 예술 작품에 몰입할 수 있도록 무대 효과를 디자인하는 연구가 진행되고 있다. 무대 효과 중에서 무대 배경은 공연의 분위기를 형성한다. 춤의 장르별로 무대 배경에 사용되는 이미지를 생성하기 위해 소셜 미디어 기반 무대 배경 생성 시스템이 있다. 하지만 같은 장르 춤은 동일한 무대 배경 이미지가 제공되는 문제가 있다. 같은 장르의 춤이지만 노래의 분위기를 반영하여 차별된 무대 배경 이미지를 제공하는 것이 필요하다. 본 논문은 노래 가사의 감정을 활용하여 Generative Adversarial Network(GAN)을 통해 각 노래의 분위기를 고려한 무대 배경 이미지를 생성하는 방법을 제안한다. GAN은 노래에 포함된 단락별 감정 단어를 추출하여 스타일을 생성하도록 학습된다. 학습된 GAN은 노래 가사에 포함된 감정 단어를 활용하여 곡의 분위기를 반영한 무대 배경 이미지를 생성한다. 노래 가사를 고려하여 무대 배경 이미지를 생성함으로써 곡의 분위기가 고려된 무대 배경 이미지 생성이 가능하다.

• Journal of the Korea Society of Computer and Information
• /
• v.20 no.5
• /
• pp.53-63
• /
• 2015

Singing voice synthesis is the generation of a song using a computer given its lyrics and musical notes. Hidden Markov models (HMM) have been proved to be the models of choice for text to speech synthesis. HMMs have also been used for singing voice synthesis research, however, a huge database is needed for the training of HMMs for singing voice synthesis. And commercially available singing voice synthesis systems which use the piano roll music notation, needs to adopt the easy to read standard music notation which make it suitable for singing learning applications. To overcome this problem, we use a speech database for training context dependent HMMs, to be used for singing voice synthesis. Pitch and duration control methods have been devised to modify the parameters of the HMMs trained on speech, to be used as the synthesis units for the singing voice. This work describes a singing voice synthesis system which uses a MusicXML based music score editor as the front-end interface for entry of the notes and lyrics to be synthesized and a hidden Markov model based text to speech synthesis system as the back-end synthesizer. A perceptual test shows the feasibility of our proposed system.

• Journal of Music and Human Behavior
• /
• v.17 no.1
• /
• pp.25-50
• /
• 2020

This case study explored changes in resilience of North Korean defector adolescents who underwent supportive music psychotherapy that included song discussion and song writing. Participants were three adolescents who escaped from North Korea. Sixty-minute sessions were conducted twice a week over four weeks for a total of seven sessions. The sessions were constructed to enhance hardiness and goal-directedness and used the process of discussing song lyrics, writing original lyrics, and composing music to help the participants strengthen their inner resources and identify healthier and more adaptive strategies for living in South Korea. The resilience scale measured at pre- and post-intervention showed that all participants increased their total scores and subscores related to hardiness and goal-directedness. Also, observation and analysis of their behavior, verbal responses, and lyric writing during the sessions revealed that the participants engaged more in the song-based music therapy process as the sessions went on and also expressed more positive perceptions of their ability to manage challenges and stress. These results indicate that active engagement in decision-making related to creating lyrics and composing music helped the North Korean defector adolescents to perceive themselves as capable of coping with stressful situations and independently solving problems, which are important for enhancing resilience.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.04a
• /
• pp.415-418
• /
• 2005

가정용 흑은 업소용 노래 반주 시스템에서 곡명을 선택하는 데에는 목록 책자를 찾거나 키보드를 이용하여 DB를 검색하는 방법이 일반적이다. 이 방법들은 책을 찾거나 키보드로 입력하는 불편함과 함께 곡명의 첫 글자부터 알고 있지 않으면 찾을 수 없는 문제점이 있다. 본 논문에서는 음성인식기술과 정보검색기술을 결합하여 이러한 문제점들을 동시에 보완하는 기술을 제안하고, 가정용 노래방 기기와 연동하여 기존 검색 방식을 대체하는 음성인식 노래반주시스템을 구성한다. 제안하는 시스템은 노래 곡명에 나오는 최다 빈도 단어를 이용하여 키보드 입력 없이 음성 인식으로 간단하게 원하는 곡명을 찾도록 한다. 또한, 인터넷 인기순위에 기반하여 곡명을 색인함으로써 검색 만족도를 향상시킨다.

• 한국정보통신설비학회:학술대회논문집
• /
• 2004.08a
• /
• pp.81-85
• /
• 2004

내용기반 질의법 (Content-based Query Method)은 멀티미디어 데이터가 가지고 있는 고유의 특성을 검색의 단서로 하여 질의하는 방법이다. 따라서 이러한 내용 기반의 디지털 오디오 콘텐츠 시스템은 유저가 데이터베이스 내에서 찾고자 하는 오디오 관련 정보의 질의 방법으로써 그 노래의 멜로디 정보를 입력함으로써 이루어지게 된다. 본 논문에서는 가수명이나 노래 제목, 혹은 가사의 일부 등 기존의 음악 검색에 필수적인 텍스트 정보인 키워드를 전혀 모르는 상태에서, 휴대폰이나 컴퓨터의 마이크를 통해 자신이 기억하고 있는 노래의 일부분을 흥얼거리는 것만으로, 각종 오디오 정보를 손쉽게 찾아주는 내용기반 질의법을 이용한 디지털오디오 검색시스템 (MuseFinder)을 소개한다. 또한 실제 유저의 편이성을 고려한 GUI에 기초한 고성능의 검색시스템을 구현하는데 있어 주요 이슈와 고려사항에 대해서 살펴보고 그 해결 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.258-260
• /
• 2011

이 논문에서는 쿼리-바이-싱잉/허밍 (Query-by-singing/humming, QbSH) 시스템 또는 커버 노래 인식 (cover song identification) 시스템에서 사용 가능한 멜로디 유사도를 제안한다. QbSH 또는 커버 노래 인식은 디지털 음악의 사용이 보편화되면서 음악 검색의 방법으로 많은 연구가 진행되어 오고 있다. 멜로디 유사도는 이런 시스템을 구현하는데 필수적인 요소이며, 두 개의 음악에서 멜로디가 추출되었다고 가정하고, 추출된 멜로디 사이의 유사한 정도를 수치로 표현한다. QbSh 시스템이나 커버 노래 인식 시스템은 멜로디 유사도에 기반하여 입력 노래와 유사한 노래를 데이터베이스에서 검색하는 작업을 수행한다. 이 논문에서 제안하는 멜로디 유사도 방식은 기존의 많이 연구되던 동적 시간 왜곡 (dynamic time warping, DTW) 방법과 크로마 표현 방법 (chroma representation)을 사용하였다. DTW방법은 비대칭적으로 사용하고 미디 노트 영역에서 표현된 멜로디 특징은 0이상 12 미만의 크로마 레벨로 표현하였다. 기존의 방법에서는 정수값을 많이 사용하였으나 이 논문에서는 실수값을 사용한다. DTW 에 사용하는 거리 함수를 기존에 사용하던 차이의 절대값 대신 꺾인 함수 형태를 사용함으로써 성능을 높였다. QbSH 시스템에서의 실험을 통해서 성능을 검증하였다. 본 논문에서는 10-12초 길이의 1000번의 쿼리(Query)에 대해서 28시간 정도의 데이터베이스에서 실험한 결과, 순위 역의 평균 (Mean reciprocal rank, MRR) 값이 0.713을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.441-443
• /
• 2011

본 논문은 오디오 특징 분석을 기반으로 한 음악검색 방법에 대한 기술과 연구에 대한 내용이다. 본 연구에서는 크게 3가지의 주요 알고리즘을 이용하여 다 성음에서의 오디오 특징을 추출하고 3가지의 각자 다른 방식의 매칭 알고리즘을 기반으로 한 퓨전 매칭 방식을 제안한다. 오디오 특징으로는 메인 멜로디, 음악 구조를 분석한 세그먼테이션 정보를 이용한다. 본 연구에서 사용된 음악 DB는 음악 포털 서비스에서 제공하는 장르를 기반으로 한 8가지 장르에서 다양한 범위에서 2000곡을 선곡하였다. 오디오 특징 추출을 위한 알고리즘 개발과 매칭 알고리즘 개발을 위하여 음악 DB 2000곡 중 장르의 비율을 고려하여 100곡을 선정하고, 24명으로부터 1200개의 허밍을 녹음하였다. 24명중 3명은 대학에서 음악을 전공하고 나머지는 음악적 교육을 받은 경험이 없는 사람들이다. 1200개의 허밍을 분석한 결과 전체 허밍 중 60%정도가 노래의 시작 부분을 허밍하거나 노래를 불렀고, 30%정도는 하이라이트 부분을 허밍 하였다. 나머지 10%정도는 자신이 가장 자신 있는 부분을 불렀다. 이러한 분석 결과를 기반으로 가장 중요한 부분은 노래가 시작되는 부분에서의 멜로디를 정확하게 찾아내는 것이 무엇보다 중요하다는 것이다. 본 연구에서 검색결과의 평가는 MRR를 이용하여 측정하였다. MIDI DB를 사용한 경우가 다 성음에서 직접 멜로디를 추출한 경우보다 약간 성능이 우수하게 나왔으나 그 차이는 미미했다. 본 연구에서는 개발된 알고리즘을 이용하여 PC상에서 사용할 수 있는 클라이언트 프로그램과 Android app를 개발하였다.

• Proceedings of the IEEK Conference
• /
• 2003.07e
• /
• pp.2136-2139
• /
• 2003

본 논문은 FM 라디오 방송중의 오디오 신호를 블록단위로 음악 및 음성을 검출하는 알고리즘에 대한 것으로, 이를 기반으로 방송중의 노래(가요, 팝, 클래식‥‥)만을 자동으로 인식하여 녹음하는 알고리즘을 개발한다. 본 논문에서는 기존에 제안되었던 것[1-4]과 같이 단지 음악과 음성을 구분함과 동시에 음악구간의 논리적 조합으로 이루어진 노래를 자동으로 인식하여 녹음하는 것을 알고리즘의 최종 목표로 한다. 알고리즘의 접근 역시 기존의 음소단위의 모델링을 거치는 GMM 기반의 접근이 아니기 때문에 모델링에 대한 훈련과정이 필요 없고, 시간영역에서의 오디오신호가 가지고 있는 직관적인 특징을 분석함으로써 비교적 적은 연산으로 실시간 구현이 가능하다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.26 no.4
• /
• pp.301-307
• /
• 2016

This paper proposes a lyric search method to consider the characteristics of the user query. According to the fact that queries for the lyric search are derived from highlight parts of the music, this paper uses the hierarchical agglomerative clustering to find the highlight and proposes a Gaussian weighting to consider the neighbor of the highlight as well as highlight. By setting the mean of a Gaussian weighting at the highlight, this weighting function has higher weights near the highlight and the lower weights far from the highlight. Then, this paper constructs a index of lyrics with the gaussian weighting. According to the experimental results on a data set obtained from 5 real users, the proposed method is proved to be effective.

• KIISE Transactions on Computing Practices
• /
• v.22 no.10
• /
• pp.479-487
• /
• 2016

People can listen to almost every type of music by music streaming services without possessing music. Ironically it is difficult to choose what to listen to. A music recommendation system helps people in making a choice. However, existing recommendation systems have high computation complexity and do not consider context information. Emotion is one of the most important context information of music. Lyrics can be easily computed with various language processing techniques and can even be used to extract emotion of music from itself. We suggest a music-level similarity evaluation method using emotion and structure. Our result shows that it is important to consider semantic information when we evaluate similarity of music.