• 한국컴퓨터그래픽스학회논문지
• /
• 제29권4호
• /
• pp.1-6
• /
• 2023

메타버스 환경에서의 배경음악은 사용자의 몰입감을 증진시키기 위해 사용된다. 하지만 현재 대부분의 메타버스 환경에서는 사전에 매칭시킨 음원을 반복 재생하며, 이는 빠르게 변화하는 사용자의 상호작용 맥락에 어울리지 못해 사용자의 몰입감을 저해시키는 경향이 있다. 본 논문에서는 보다 몰입감 있는 메타버스 대화 경험을 구현하기 위해 1) 한국어 멀티모달 감정 데이터셋인 KEMDy20을 이용하여 발화로부터 감정을 추출하는 회귀 신경망을 구현하고 2) 음원에 arousal-valence 레벨이 태깅되어 있는 DEAM 데이터셋을 이용하여 발화 감정에 대응되는 음원을 선택하여 재생한 후 3) 아바타를 이용한 실시간 대화가 가능한 가상공간과 결합하여 몰입형 메타버스 환경에서 발화의 감정에 어울리는 배경음악을 실시간으로 재생하는 시스템을 구현하였다.

• 복식
• /
• 제51권5호
• /
• pp.61-75
• /
• 2001

This study was intended to observe strategic fashion-presentation in Music stars according to the change of the star system in the Korean popular musics. The Korean Music stars since 1990s have been made, fabricated and have excessively depended on the demand of the teenagers. Therefore their distinctive fashion-presentation is considered as more important element than those of the past. Consequently. the characteristics of the fashion-presentation in the Korean Music star these days are as follows : First. Music stars shows fashion-presentation that has a consistent fashion theme. That is one of the key success factor to raise the recognition of star singer. Second. Music star produces fashion images which reflects identity and of subculture. Those appearance have won wild popularity of the Peeps 1990's new generation. Third. although there is no change music genre and emotion. through merely renovation of their fashion image, Music star got diversity and originality of the characteristics of contemporary cultural goods. Fourth. In case of famous dance groups, in the past they maintained a singular atmosphere as a group, but in 1990'Music star group each members of the group have individually fashion-presentation. So, they can get more fans. Fifth, Music singers borrow or duplicate fashion-presentation from each others. Such as similar fashion-presentation guarantees support of the same fans.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
• /
• pp.243-246
• /
• 2019

본 논문에서는 감성과 힐링, 머신러닝이라는 주제를 바탕으로 딥러닝을 통한 사용자의 얼굴표정을 인식하고 그 얼굴표정을 기반으로 음악을 재생해주는 얼굴표정 기반의 음악재생 프로그램을 제안한다. 얼굴표정 기반 음악재생 프로그램은 딥러닝 기반의 음악 프로그램으로써, 이미지 인식 분야에서 뛰어난 성능을 보여주고 있는 CNN 모델을 기반으로 얼굴의 표정을 인식할 수 있도록 데이터 학습을 진행하였고, 학습된 모델을 이용하여 웹캠으로부터 사용자의 얼굴표정을 인식하는 것을 통해 사용자의 감정을 추측해낸다. 그 후, 해당 감정에 맞게 감정을 더 증폭시켜줄 수 있도록, 감정과 매칭되는 노래를 재생해주고, 이를 통해, 사용자의 감정이 힐링 및 완화될 수 있도록 도움을 준다.

• 인간행동과 음악연구
• /
• 제5권1호
• /
• pp.67-90
• /
• 2008

MI란 Music and Imagery의 약자로 심리치료의 한 방법인 GIM(Guided Imagery and Music)을 현실에 맞게 축약적으로 접목시킨 방법이다. 이는 치료목표에 적합한 음악감상을 통해 다양한 심상을 경험함으로 인간의 내면세계를 탐색, 직면, 통찰, 해결하게 한다. 본 치료사례는 MI기법을 활용하여 우울한 내담자의 긍정적 내적자원에 따른 심상을 체험하고, 그 체험을 언어적으로 표현한다. 또한 그 이미지들을 일상생활에 긍정적인 변화를 적용할 수 있도록 유도하는 지지적 수준의 개인 치료사례이다. 지지적인 수준(Supportive Level)에서의 MI는 음악 안에서 안전하게 서로 지지하는 수준에서만 사용한다. 개인세션 도입은 특정 느낌이나 주제, 단어 혹은 시각적 이미지를 연상하고, 이러한 이미지는 갈등적인 내용이 아닌 긍정적인 경험을 유도한다. MI의 한 회기 별 첫 번째 단계는 초기면담(Prelude)으로 상담의 초기면담과 같이 구체적인 목표를 정한다. 두 번째 단계는 전환(Transition)으로 여러 가지 내담자의 이야기 중에 가장 지지적인 주제를 좀 더 초점화하여 구체적으로 느끼고 표현 할 수 있도록 한다. 세 번째 단계는 긴장완화 및 음악 감상(Music Listening)으로 여러 긴장이완법 등을 사용하여 음악 감상하는 동안 심상이 잘 떠오를 수 있도록 이완 시킨다. 그리고 음악 감상 동안 음악이 가져다주는 여러 가지 심상들을 탐색하고 연상 할 수 있도록 한다. 마지막 단계는 마무리(Process)시간으로 음악 감상 동안 경험되어진 심상을 그림으로 표현하고, 개인적인 심상경험을 언어적인 과정을 통해 치료사와 공유함으로써 긍정적인 경험을 확장시켜 내적인 힘을 키운다. A 내담자의 경우 내담자와의 라포 형성하기(공감, 이해, 지지), 내담자의 긍정적인 자원탐색(어린시절, 가족), 내담자의 감정표현 및 긍정적 지지(현재의 나)의 구체적인 목표를 설정하였다. 음악은 내담자가 선호하는 음악과 치료사가 선정한 음악 중에서 음의 전개가 단순하고, 멜로디가 반복적이며, 리듬이 규칙적이며, 협화음으로 구성된 안정적이고 구조화된 음악을 사용하였다. 그 결과 A는 1, 2회기에는 방어기제를 많이 사용하고 우울로 인한 감정조절의 어려움을 보였으나 3회기 이후 자신이 좋아하는 음악과 지지적인 음악을 치료사가 제공하는 것으로 인해 공감과 지지를 경험할 수 있게 되었다. 이를 통하여 4회기부터 안정감을 갖고 세션 안에서 부정적 정서를 긍정적인 정서로 전환하고, 자신의 내재된 힘을 발견하게 되었다. 6회기에는 과거 힘들었던 시간들이 앞으로 갖게 될 좋은 시간을 준비하는 단계라고 인식하기 시작하였다. B 내담자의 경우 내담자와의 라포 형성 및 탐색하기(공감, 이해, 지지), 내담자의 문제 탐색 및 긍정적 인식(어린시절, 가족), 내담자의 감정표현 및 통찰하기(현재와 미래의 나)의 구체적인 목표를 설정하였다. 음악은 1, 2회기에는 안정적이고 구조적인 음악을 사용하였으나, 3회기 이후 곡의 전개가 점점 커지고 주제 멜로디의 변주로 음의 고저가 많으며, 협화음과 불협화음이 넘나드는 고전파와 낭만파의 음악을 사용하였다. 그 결과 B 내담자는 1,2회기에서는 대인관계의 어려움을 종교적인 관계로 전환하여 현실회피하려는 경향이 나타났으나 자신이 좋아하는 음악과 지지적인 음악을 통하여 공감과 지지를 경험할 수 있었다. 3회기 이후 B는 자신의 현실 문제를 인식하고 직면하였으나 회피와 직면의 양가감정을 갖게 되었다. 4회기 이후 B는 우울로 인한 감정의 변화를 음악 안에서 경험하고, 자신의 문제에 직면하였다. 5, 6회기에서는 긍정적인 자원을 통해 내적인 힘을 키우고 해결하려는 태도와 미래에서의 내가 좀 더 당당하고 건강하게 살아가려는 의지가 나타났다. 이와 같이 MI 프로그램은 GIM 프로그램보다 좀 더 현실적이고 짧은 회기수로 내담자의 문제들을 해결할 수 있다는 가능성을 제기한다. GIM처럼 깊은 무의식속으로 접근 하지 않고도, MI는 현실주의 상담과도 같이 내담자의 현실적인 문제를 근거로 하여 문제인식 및 통찰, 해결해 나갈 수 있다. 특히 음악의 사용에 있어서도 다양한 장르의 곡을 내담자에게 맞게 사용할 수 있으며, 음악감상 시간도 GIM에 비해 짧고 곡의 기능들도 구조화되어 내담자의 감정을 심상으로 잘 표현 할 수 있다. 그러므로 MI는 내담자의 음악선호도와 음악의 다양한 기능들을 활용하여 개인과 그룹으로 성인뿐만 아니라 아동 및 청소년에게도 알맞게 수정 보완하여 사용할 수 있음을 시사한다.

• 감성과학
• /
• 제17권3호
• /
• pp.107-116
• /
• 2014

본 연구에서는 정서를 두 양상(청각, 시각)으로 제시할 시, 두 양상의 정서가 일치 혹은 불일치 할 경우 각성과 재인 기억, 회상 기억에 영향을 미친다는 것을 알아보고자 하였다. 본 연구의 첫 번째 가설은 교차 양상에서의 정서 불일치는 일치 할 때 보다 각성 뿐만 아니라 재인, 회상 기억 모두 높을 것이라는 것이다. 두 번째 가설은 각성이 회상 기억과 재인 기억을 modulate한다는 것이다. 가설을 증명하기 위해 시각과 청각의 정서를 긍정 정서와 부정 정서로 조작하여 일치 조건과 불일치 조건으로 조작하였다. 각 조건에서는 재인 기억과제와 회상 기억 과제의 정확도를 종속 변인으로 측정하였으며, PAD(Pleasure-arousal-dominance) 척도를 이용하여 참가자의 각성 수준을 측정하였다. 또한 8일이 지난 후, 참가자 모두에게 실험 자극으로 쓰인 영상에 대해 재인 기억 과제를 통해 다시 검사하였다. 연구 결과, 각성의 경우 영상을 본 후의 각성 차이는 통계적으로 유의미하게 나타났지만(p<.001), 일치와 불일치 조건 간의 각성 차이는 나타나지 않았다. 또한 정서가 일치하는 조건과 불일치하는 조건에서 재인 기억이 통계적으로 유의미하지는 않았지만, 영상 정서의 주 효과가 통계적으로 유의미하게 나타났다. 이로 인해 두 가지 정서로 나누어 분석한 결과, 부정 정서 영상에 노출된 조건에서만 일치 조건과 불일치 조건에서의 재인 기억이 통계적으로 유의미한 차이를 보였다(p= .044). 사후 분석 결과, 불일치 조건에서 일치 조건 보다 높은 점수를 보였다. 회상 기억의 경우, 영상 정서조건과 일치, 불일치 조건 간의 상호작용이 나타났다(p=.039). 따라서 본 연구에서는 부정 정서에서의 불일치 효과는 증명하였지만, 각성으로 인한 효과는 증명하지 못하였다.

• 한국정보전자통신기술학회논문지
• /
• 제5권1호
• /
• pp.45-51
• /
• 2012

본 논문은 사용자의 생체 정보(맥박, 이완기 혈압, 수축기 혈압, 혈당)를 무선 센서들을 통하여 획득한 후 스트레스 지수에 따른 감성을 인식하여 대응되는 컬러와 음원을 분류하는 시스템으로서, 맥박 센서, 혈압 센서, 혈당 센서 등의 입력치를 받아 데이터베이스에 저장한 후 다중 SVM(Support Vector Machine) 알고리즘을 이용하여 스트레스 지수에 따른 감성을 분류한다. 2,000개의 데이터 집합을 사용하여 다중 SVM 알고리즘을 학습한 결과 약 87.7%의 정확도를 가졌다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.94-102
• /
• 2006

부모의 사회 활동 시간이 늘어남에 따라 아이들이 혼자 집에서 보내는 시간도 늘어나고 있다. 따라서 아이들의 자립심을 크게 제한하지 않으면서 노출되기 쉬운 실내 위험으로부터 아이들을 보호하고 아이의 심리, 감정적 상태에 따라 적절한 지도를 해주는 도움이 필요하다. 본 연구에서는 RFID 기술을 기반으로 아이들을 물리적 위험으로부터 보호하고 자연언어처리 기술을 이용하여 아이의 심리, 감정 상태에 따른 음악과 애니메이션의 멀티미디어 콘텐츠를 제공한다. 또한 지속적인 관심이 필요한 일정 관리, 일상 생활에서 도움을 주는 전자제품 사용법 안내 등의 정보를 제공하여 아이 스스로 자신의 일을 할 수 있도록 도움을 준다. 본 연구에서는 가상의 가정을 디자인하여 실현 가능한 시나리오를 중심으로 이와 같은 서비스를 시뮬레이션 한 결과를 보인다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
• /
• pp.101-102
• /
• 2014

현재 인간의 감성표현을 위한 수단중의 하나인 음악이 인간의 감성반응을 자극하는데 어떠한 역할과 기능을 하는가에 대한 연구가 활발히 진행되고 있다. 본 연구는 창작자 입장에서 감성 표현 시 음악의 요소들이 어떻게 활용되는지를 분석하고 각 의도된 정서 및 요소가 청취자의 감성반응으로 나타나는지를 연구하였다. 대표적인 음원 사이트인 네이버, 멜론, 엠넷에서 두 달 이상 5위안에 랭크된 곡들을 선정하였다. 선전된 각 곡들을 음악 전문가집단 대상에게 설문 조사하여 각 곡에 사용된 음악적 특징과 분석하고 각 요소 별 감성을 수집하여 연구 분석하였다. 이러한 연구를 토대로 창작자가 의도하는 감성과 청취자의 감성 반응에 대한 상관관계를 밝히는데 유용한 자료가 될 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.834-836
• /
• 2021

멀티모달 감정인식을 통해 사람의 감정을 정확하게 분류하고, 사람의 감정에 어울리는 음악을 매칭하는 시스템을 설계한다. 멀티모달 감정 인식 방법으로는 IEMOCAP(Interactive Emotional Dyadic Motion Capture) 데이터셋을 활용해 감정을 분류하고, 분류된 감정의 분위기에 맞는 음악을 매칭시키는 시스템을 구축하고자 한다. 유니모달 대비 멀티모달 감정인식의 정확도를 개선한 시스템을 통해 텍스트, 음성, 표정을 포함하고 있는 동영상의 감성 분위기에 적합한 음악 매칭 시스템을 연구한다.

• 인간행동과 음악연구
• /
• 제2권2호
• /
• pp.57-67
• /
• 2005

뇌졸중은 대부분 편마비를 수반하기 때문에 이로 인한 신체적 증상 외에도 언어장애, 신경장애와 같은 갑작스러운 변화가 생기며 이로 인한 심리적인 부적응과 상실감 및 신체적인 기능의 저하는 일상생활에서의 실패나 좌절감을 주기 때문에 심각한 정서적인 문제를 야기 시킬 수 도 있다. 뇌졸중 환자라 하면 신체적인 재활만을 고려하게 되는데 실제로는 실어증이나 구음 장애 등의 심각한 언어 기능의 저하가 일어나며 이와 더불어 인지기능의 저하, 우울증과 같은 정신적인 장애, 심지어는 청각이나 시각 등의 장애도 나타난다. 따라서 언어치료와 그 밖의 치료를 통합시켜 주는 것이 중요하며 특히 심리적으로 위축되기 쉬운 언어장애를 가진 실어증 환자에게 있어서 풍요로운 감정을 만들어주는 음악 치료의 응용은 매우 효과적일 것이다. 본 연구는 브로카 실어증을 가진 뇌졸중 노인 2명을 대상으로 멜로디 억양치료 기법(MIT)을 사용하여 주 2회씩 5주 동안 총 10회의 세션을 실행하여 결과를 분석한 사례연구이다. 본 연구의 목적은 환자의 구어적인 언어에서의 단어말하기의 음절수의 변화를 보고자 함이었으며 또한 언어 재활치료 프로그램 내에서 자신의 능력의 가치를 확인하고 성공할 때에 가지게 되는 긍정적인 심리적 효과 즉, 자신감을 줄 수 있는 효과를 유도하고자 하였다. 총 10회의 음악치료 세션 단계에서는 MIT 기법을 사용해 Manual에 따라 점수를 기록하고 세션에 따르는 향상 정도를 측정하였는데 구체적인 음절수의 변화를 보기 위하여 각각의 수준에서의 발화 음절수의 성취도를 분석하였다. 2음절에서 4음절로 구성된 프로그램에서의 결과로 보여 지는 것은 다음과 같다. 대상자 A는 Level I의 예비적인 단계는 모두 수행하였고 2음절 단어의 경우 5회에는 Level III로 넘어갈 수 있었으며, 7회에는 Level IV로 넘어 갔다. 3음절의 단어들은 7회에서 Level III로 넘어갈 수 있었으며 9회에는 Level IV로 넘어 간 것을 알 수 있었다. 마지막 4음절의 단어에서는 첫 세션 시에 8%의 저조한 성공률을 보였으나 반복적인 시도의 효과로 6회 세션에서 성취도가 급격히 증가하였으며 8회 세션에서 Level III로, 10회 세션에서 Level IV로 향상된 것을 알 수 있었다. 대상자B는 대상자 A와 마찬가지로 Level I의 예비적인 단계는 모두 수행하였고 2음절 단어의 경우 4회에서 Level III로 넘어갈 수 있었으며, 6회에는 Level IV로 넘어 갔다. 3음절의 단어들은 5회에는 Level III로 넘어갈 수 있었고 7회에는 Level IV로 넘어 간 것을 알 수 있었다. 마지막 4음절의 단어에서는 첫 세션 시에 10%의 저조한 성공률을 보였으나 역시 반복적인 시도의 효과로 5회 세션에서 성취도가 급격히 증가하였으며 7회 세션에서 Level III로 넘어갈 수 있었으나 10회 세션이 되기 까지 유의미한 성취도는 보여지지 않았다. 결론적으로 뇌졸중 환자의 언어재활 치료에 있어서의 멜로디 억양치료기법은 통계적으로 유의미하지는 않았지만 브로카 실어증을 가진 환자 2명의 음절수의 발화 성공률의 증가나 과제에 있어서의 전체적인 성공률을 볼 때 향상된 것을 알 수 있었다. 그러므로 이것은 브로카 실어증 환자의 언어적인 능력과 그들의 언어적 재활에 있어서 긍정적인 영향을 주는 것으로서 치료적인 효과를 암시한다.