• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.357-360
• /
• 2023

본 논문에서는 거품 입자의 물리적 속성을 활용하여 가상 시뮬레이션 장면에 맞는 거품 사운드를 합성하고 사운드의 물리적 현상을 기반으로 사운드의 크기를 효율적으로 제어할 수 있는 기법을 제안한다. 현실에서는 사운드의 근원지와 청중의 위치 관계에 따라 사운드 크기의 차이가 나타타는 것을 쉽게 관찰할 수 있다. 본 논문에서는 이 문제를 효율적으로 풀어내기 위해 복잡한 3차원 유체의 움직임을 분석하는 게 아닌, 2차원으로 투영된 입자의 유동을 분석하여 사운드를 합성하고 제어하는 방식을 소개한다. 우리의 방법은 거품 사운드의 크기를 효율적으로 조절할 수 있도록 스크린 공간에서 계산된 거품 입자의 속도와 위치를 활용하여 청중의 위치 관계 및 사운드의 방향성을 확인하고, 이를 통해 거품 사운드를 사실적으로 합성하였다.

• 한국융합학회논문지
• /
• 제11권11호
• /
• pp.175-182
• /
• 2020

본 연구에서는 회화 감상에 도움이 되는 사운드스케이프를 구성하기 위해 딥러닝 기술을 활용하여 클래식 음악을 매칭하는 기술을 소개하고 회화와 음악 매칭이 얼마나 잘 되었는지에 대해 평가할 수 있는 평가 지표를 제안한다. 평가 지표는 리커드 5점 척도를 통한 적합도 평가와 멀티모달 측면의 평가로 진행하였다. 회화와 음악 매칭에 대해 13명의 실험 참가자의 적합도 평가의 점수는 3.74/5.0 이었고, 또한 13명의 실험 참가자의 멀티모달 평가에서 회화와 음악 매칭의 코사인 유사도의 평균은 0.79였다. 멀티모달적 평가는 새로운 사용자 경험을 측정할 수 있는 평가 지표가 될 것으로 기대된다. 또한 본 연구를 통해 시각과 청각의 인터랙션을 제안함으로써 다중감각 예술작품 경험을 향상시키고자 하였다. 본 연구에서 제안된 회화와 음악 매칭이 다중감각 예술작품 전시에서 활용되며 더 나아가 이는 시각 장애인들의 예술작품 감상에 대한 접근성을 높일 수 있을 것이라 기대한다.

• 정보처리학회논문지B
• /
• 제17B권1호
• /
• pp.69-78
• /
• 2010

스펙트럴 모델링 합성 (Spectral Modeling Synthesis, SMS)은 뮤지컬 사운드 모델링을 위한 강력한 툴로써 사용되어 왔다. 이 기술은 사운드를 결정적 (deterministic) 성분과 통계적 (stochastic) 성분의 조합으로 간주한다. Deterministic 성분은 크기 (amplitude), 주파수 (frequency), 위상 (phase) 함수에 따른 사인파의 연속으로 표현되는 반면, stochastic 성분은 백색 잡음 (white noise)으로 자극된 시간 변화 필터로서 동작하는 크기 스펙트럼 엔블로프 (spectrum envelop)의 연속으로 표현된다. 이러한 표현들은 원음의 모든 지각적인 특징들을 활용해 합성된 사운드를 구현 가능케 한다. 하지만, 고래 소리와 같은 복잡한 사운드에 대해 기존의 SMS를 사용할 때 연속적인 프로임에 있는 부분 주파수가 다른 경우 결정적 성분에서 상당한 위상 변화가 발생한다. 왜냐하면 기존의 SMS는 사운드의 결정적 성분을 합성하기 위해서 계산된 위상을 이용하기 때문이다. 그 결과 기존의 SMS는 높은 주파수 영역에서 원래 스펙트럼과 합성된 스펙트럼 사이에서 좋은 스펙트럼 매칭을 제공하지 못한다. 이러한 문제를 해결하기 위해 본 논문은 수정된 SMS를 제안한다. 제안하는 SMS는 결정적 성분을 합성하기 위해 원래 주파수 정보를 이용할 뿐만 아니라 주파수 영역에서 복잡한 잔재 (residual) 스펙트럼을 계산함으로써 원음과 합성음 사이에서 좋은 스펙트럼 매칭을 제공한다. 다양한 고래 소리 합성을 모의 실험한 결과, 제안된 방법은 시간 및 주파수 영역에서 기존의 SMS와 유사한 성능을 보였다. 하지만, 제안된 방법은 기존의 SMS보다 스펙트럼 매칭에서 더 좋은 성능을 보였다.

• 한국과학예술포럼
• /
• 제24권
• /
• pp.375-388
• /
• 2016

본 연구는 애니메이션 '알라딘' 'A Whole New World'의 OST와 VST의 융합분석을 수행한 것이다. OST는 도입단계, 경과단계, 클라이막스단계, 엔딩단계의 4단계로 분류되고 각 단계마다 OST와 VST의 특징이 발견되었다. 특히, 클라이막스단계에서는 OST요소(사운드, 조성, 템포, 주요 음역, 셈여림, 악기편성)와 VST요소(영상구도, 카메라 샷, 카메라 움직임)의 높은 다이나믹 특성이 발견되었다. FS는 47.9% 사용되었는데, 이는 사랑의 완성단계에 두 캐릭터가 하나가 되는 것을 보여 주는데 도움을 준다. 이것은 이전 연구인 '미녀와 야수' OST의 공통점이기도 하다. '미녀와 야수'에서는 악기가 캐릭터와 매칭되고 '알라딘'에서는 화면 내 물체의 고저위치와 상승하강에 악기를 매칭하는 특징을 가진다.

• 한국음향학회지
• /
• 제28권3호
• /
• pp.229-238
• /
• 2009

본 논문에서는 TMS3320F2812 신호처리기를 이용하여 가야금과 태평소의 사운드 엔진을 구현하였다. Commuted Waveguide Synthesis (CWS) 기반의 가야금과 태평소 모델을 신호처리기에 탑재하고 악기 선택 버튼을 두어 해당 악기의 사운드 샘플을 매 일정 시간마다 합성하도록 하였다. 합성음은 SPI 통신을 이용하여 DAC로 전송되며 오디오 인터페이스를 거쳐 스피커를 통해 재생된다. 합성 모델의 지연 라인은 합성음의 피치를 조절하는데, 이 지연라인의 길이를 결정하기 위해 GPIO를 이용하여 한 샘플을 합성하는데 필요한 시간을 측정하였다. 가야금은 $28.6{\mu}s$, 태평소는 $21{\mu}s$가 소요되었다. 태평소와 가야금의 동시 발음수를 고려하였을 때 태평소는 동시 발음수 1을 가지므로 $21{\mu}s$, 가야금은 일반적으로 동시 발음수가 2이므로 $57.2{\mu}s$의 연산시간이 필요하다. 이는 실시간 연주가 충분히 가능한시간이다. 제안한 사운드 엔진의 경우, 인터럽트 서비스 루틴에서 각 사운드 샘플의 합성과 DAC로의 전송이 일어난다. 인터럽트 서비스 루틴은 시스템의 안정성을 보장하기 위해 타이머의 주기 매칭 이벤트를 이용하여 $60{\mu}s$마다 주기적으로 호출된다. 이와 같이 합성된 음을 녹음하여 원음과 스펙트럼으로 비교한 결과, 가야금은 원음과 매우 유사한 음을 합성할 수 있었고, 태평소는 '무(無), 황(黃), 태(太), 중(仲)' 음을 제외한 나머지 음에 대해서 태평소의 음색을 잘 표현하는 음을 합성 할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제21권6호
• /
• pp.104-112
• /
• 2021

본 연구에서는 음악의 속성인 구성 요소 데이터들과 심리학의 감정 차원 모델을 기반으로 감정분석을 하였고 그 결과를 조형예술에서의 시각화 규칙에 적용하였다. 음악 속성 데이터를 활용한 기존의 연구들에서는 사람들이 원하는 음악을 분류, 검색, 추천할 수 있도록 하는 보다 실용적인 목적을 가진 사례들이 많았다. 본 연구에서는 특히 음원 분석에 따른 음악의 감정분석을 기반으로 사운드 데이터가 예술작품 창작의 재료가 되어 심미적 표현에 활용될 수 있도록 하는 것에 집중하였다. 음악의 시각화 연구를 위해서는 예술이 가지는 중요한 속성인 감정표현을 가능하게 하는 방법이 필요하였고 이를 위해 잘 구조화된 음악의 기본 속성 분류 및 감정 정보의 분류 체계를 마련하였다. 그리고 조형요소의 형태, 색상, 애니메이션을 통해 음악 요소들에 대해 감정을 기반으로 세분화 된 입력 매개 변수들을 반영하여 시각화하는 작업을 수행하였다. 본 연구는 음악 시각화를 활용하는 작가들에게 기초 자료로 활용될 수 있을 것이다. 또한 감정분석에 기반 한 음악 구성요소와 시각화 매칭을 위한 분석 방법 및 작품 결과는 향후 인공지능 기반의 자동화 된 시각화 연구의 기반이 될 수 있을 것이다.