A Realtime Music Editing and Playback System in An Augmented Reality Environments

In this paper, We propose real-time sound editing and playback systems which is based on Augmented Reality. The proposed system are composed with music maker which is based on AR maker and music board. By using music marker's contents, the proposed system selects the kinds of musical instruments and pre-defined midi track and by calculating the relative location of music marker on 2-dimensional plane, we set the spatial relative parameter in midi track. For performance evaluation, we check the jitter value of in various resolutions by using CAM which supports $1600{\pm}1200$ as the maximum resolution. As a result, when we set the configuration value of CAM as $860{\pm}600$ pixels and process two frames per minute, the success ratio of recognizing music markers and jitter values are accegnable. It can be utilized in the fields of alternative cmacine which is based on music and also be utilized in the educational aspects because child or elderly who don't know enough musical theory can easily handle it.

증강 현실 기반의 실시간 음악 편집 및 재생 시스템

본 논문에서는 증강 현실에서 객체 구분을 위하여 사용되는 다양한 마커를 기반으로 실시간으로 음악을 편집하고 이를 재생할 수 있는 시스템을 설계 및 구현한다. 제안 시스템은 증강 현실 마커 기반의 뮤직 마커와 뮤직 보드로 구성된다. 뮤직 보드상에 배치된 뮤직 마커의 내용을 악기의 종류와 미리 정의된 재생 트랙과 매핑하고 2차원 평면상에서 상대적인 뮤직 마커의 위치 값을 측정하여 이를 미디 트랙에서 공간 효과와 관련있는 파라메터 값으로 설정한다. 제안된 시스템은 최대 $1600{\pm}1200$ 픽셀을 지원하는 캠을 기반으로 다양한 해상도에서 마커의 움직임이나 추가에 따른 재생 지터 시간을 측정하여 성능을 평가하였으며, 실험 결과 $860{\pm}600$ 픽셀에서 초당 두 개의 프레임을 처리하는 경우, 마커의 인식률이 높았고 허용 가능한 지터 내에서 안정적인 결과를 도출하였다. 제안 시스템은 오늘날 대체 의학으로 제시되고 있는 음악을 기반으로 한 감성 치료법이나 음악적 배경이 없는 어린이나 노약자도 손쉽게 사용할 수 있어서 교육적인 측면에서도 활용될 수 있다.