• Journal of the Korea Society of Computer and Information
• /
• v.22 no.8
• /
• pp.85-91
• /
• 2017

Although various music composition programs for PCs have become commonplace, the reasons why people think it is hard to make music are the lack of experience with musical instruments, the lack of knowledge of music or composition, and the fear of learning MIDI software. In this paper, we propose an effective method to solve this problem by using plain text based method which makes it easy for the general people who do not know MIDI, have little experience of musical instruments, and cannot even read music to make their own music. As a result, many people who like music but have not been able to produce their own music may produce and distribute music, and collaborate with others to produce better quality music.

• 한국HCI학회:학술대회논문집
• /
• 2007.02c
• /
• pp.176-182
• /
• 2007

본 연구에서는 사용자가 즉석에서 연주한 곡에 대응하는 춤 동작을 자동으로 생성하는 기술을 제안한다. 본 기법은 먼저 댄서로부터 모션 캡쳐 받은 춤 시퀀스를 분절화한 후 사용자가 신디사이저를 통해 직접 연주하여 얻은 MIDI 데이터를 분석해 음악에서의 특징점을 추출한다. 그리고 분절화 한 모션의 세그먼트들을 음악에 맞춰 다시 배열하여 새로운 춤 시퀀스를 생성함으로써 사용자가 연주한 음악과 어울리는 춤 동작을 자동으로 생성한다. 이를 위해 세 단계의 작업을 수행하게 되는데, 첫 번째 단계에서 모션 캡쳐를 통해 얻게 된 데이터에서 캐릭터의 위치와 자세를 기준으로 하여 긴 시퀀스를 의미 있는 작은 춤 동작으로 분절화한다. 두 번째 단계에서는 사용자의 연주를 통해 획득한 MIDI를 분석하여 특징점을 추출하고, 마지막 단계에서는 이를 바탕으로 음악에 기반한 음악과 동작을 합성한다. 본 연구는 음악과 댄스의 리듬감이 파괴되지 않도록 합성함으로써 우리의 연구는 기존 연구에 비해서 훨씬 자연스러운 춤 시퀀스를 결과물로 만들어 낸다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.115-116
• /
• 2016

PC용 작곡 프로그램의 보편화에도 일반인들이 음악제작을 어려워하는 이유는 악기를 다룬 경험의 부족, 음악 또는 작곡의 지식부족, MIDI 소프트웨어 학습에 대한 두려움 등이다. 본 논문에서는 이러한 문제를 해결하기 위한 기술로 MIDI를 전혀 모르고, 악기를 다룬 경험이 부족하고 또한 악보조차 읽지 못하더라도 음악의 제작 및 작곡, 편곡이 가능한 효과적인 일반 텍스트 기반 음악 표기법을 제안한다. 이를 통해 음악을 좋아하지만 자신의 음악을 제작하지 못했던 많은 일반인들에게 음악을 제작, 보급하는데 큰 도움이 될 뿐 아니라 타인과의 협업을 통해 우수한 품질의 음악을 제작할 수 있다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2008.08a
• /
• pp.165-168
• /
• 2008

이 논문에서는 멀티미디어 컴퓨터에 연결된 미디키보드를 사용하여 피아노 연주를 혼자서 배우고 연습할 수 있도록 하기 위한 지능형 교습 시스템을 개발하기 위하여, 시스템 구조 및 모듈별 기능과 기본적인 사용자 인터페이스를 설계하였다. 시스템의 구조는 미디 키보드의 실시간 연주 샘플링 모듈, 미디 데이타의 시퀀싱 모듈, 사운드 합성 모듈과 연결된 지능형 교습 시스템이 된다. 세분화된 모듈별 기능에서는 학습 콘텐츠, 학습자 모델, 진단 평가 모듈, 진도 관리 모듈, 등의 세부적인 기능 설계가 필요하다. 학습자 모델을 기반으로 진단 편가 및 진도 관리를 지능적으로 처리하기 위해서 CLIPS를 사용한 전문가시스템 접근을 사용한다. 컴퓨터 화면상의 악보 디스플레이, 실시간 연주 화면, 진단 평가 디스플레이를 위한 GUI 설계가 필요하다. 그리고, 향후 콘텐츠 구축 및 시스템 구현 시에 예상되는 문제점과 해결 방안을 논의한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.602-604
• /
• 2019

근래 각광받는 VR, AR 연구의 일환으로 증강현실에서 작곡과 협주가 가능한 사운드 소프트웨어를 연구하고 개발하려 한다. 직관적인 UI 를 통해 초보자도 쉽게 익힐 수 있고, 기본적인 작곡과 모바일 디바이스를 이용하는 사용자와의 합주가 가능하다. 스피커의 위치에 따른 공간음향을 느낄 수 있으며, 스피커에서 나오는 소리를 시각화한다. 공간음향과 소리의 시각화는 사용자에게 몰입감을 제공하며, 일반 사용자도 쉽게 MIDI 편집을 다룰 수 있을 것이라 기대한다.

• Proceedings of the Microbiological Society of Korea Conference
• /
• 2005.05a
• /
• pp.185.2-185
• /
• 2005

• The Journal of the Korea Contents Association
• /
• v.16 no.8
• /
• pp.427-434
• /
• 2016

This paper focuses on a real-time hardware processing by implementing the ARM Cortex-M4 based embedded system, using a conversion algorithm from a muscular sense to both visual and auditory elements, which recognizes rotations of a human body, directional changes and motion amounts out of human senses. As an input method of muscular sense, AHRS(Attitude Heading Reference System) was used to acquire roll, pitch and yaw values in real time. These three input values were converted into three elements of HSI color model such as intensity, hue and saturation, respectively. Final color signals were acquired by converting HSI into RGB color model. In addition, Three input values of muscular sense were converted into three elements of sound such as octave, scale and velocity, which were synthesized to give an output sound using MIDI(Musical Instrument Digital Interface). The analysis results of both output color and sound signals revealed that input signals of muscular sense were correctly converted into both color and sound in real time by the proposed conversion method.

• Journal of KIISE:Software and Applications
• /
• v.34 no.12
• /
• pp.1037-1044
• /
• 2007

Recently, we extract the representative melody of the music and index the music to reduce searching time at the content-based music retrieval system. The existing study has used MIDI data to extract a representative melody but it has a weak point that can use only MIDI data. Therefore, this paper proposes a representative melody retrieval method that can be use at all audio file format and uses digital signal processing. First, we use Fast Fourier Transform (FFT) and find the tempo and node for the representative melody retrieval. And we measure the frequency of high value that appears from PCM Data of each node. The point which the high value is gathering most is the starting point of a representative melody and an eight node from the starting point is a representative melody section of the audio data. To verity the performance of the method, we chose a thousand of the song and did the experiment to extract a representative melody from the song. In result, the accuracy of the extractive representative melody was 79.5% among the 737 songs which was found tempo.

• Journal of IKEEE
• /
• v.22 no.2
• /
• pp.362-368
• /
• 2018

This paper has implemented a mutual conversion system that mutually converts between body motion signals and both visual and auditory signals. The present study is based on intentional synesthesia that can be perceived by learning. The Euler's angle was used in body movements as the output of a wearable armband(Myo). As a muscle sense, roll, pitch and yaw signals were used in this study. As visual and auditory signals, MIDI(Musical Instrument Digital Interface) signals and HSI(Hue, Saturation, Intensity) color model were used respectively. The method of mutual conversion between body motion signals and both visual and auditory signals made it easy to infer by applying one-to-one correspondence. Simulation results showed that input motion signals were compared with output simulation ones using ROS(Root Operation System) and Gazebo which is a 3D simulation tool, to enable the mutual conversion between body motion information and both visual and auditory information.

• The Journal of the Korea Contents Association
• /
• v.10 no.4
• /
• pp.91-97
• /
• 2010

Recently, Internet users have an interest about Social Media Service in Web2.0 environment. We suggest the orchestra service as social media service to meet user satisfactions in changed web environment. We accept a concept of the MMMD (Multiple Media Multiple Devices). In other words, Internet users listen to the music not only one device but multiple devices. Each one of multiple devices can play a sound source under earmark instruments for providing users with actual feeling like an orchestra. To meet the purpose, we define 3 steps. First, we separate the sound source based on instrument information. Second, we exact the suitable sound source for play orchestra. In final step, the sound source transmits to each suitable playing device. We named the 3 step for AET process. Beside we suggest synchronization method using rest point in the MIDI file for control sound sources. Using the AET process and synchronization method we provide the orchestra service for meet user's satisfactions to users.