• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
• /
• pp.243-246
• /
• 2019

본 논문에서는 감성과 힐링, 머신러닝이라는 주제를 바탕으로 딥러닝을 통한 사용자의 얼굴표정을 인식하고 그 얼굴표정을 기반으로 음악을 재생해주는 얼굴표정 기반의 음악재생 프로그램을 제안한다. 얼굴표정 기반 음악재생 프로그램은 딥러닝 기반의 음악 프로그램으로써, 이미지 인식 분야에서 뛰어난 성능을 보여주고 있는 CNN 모델을 기반으로 얼굴의 표정을 인식할 수 있도록 데이터 학습을 진행하였고, 학습된 모델을 이용하여 웹캠으로부터 사용자의 얼굴표정을 인식하는 것을 통해 사용자의 감정을 추측해낸다. 그 후, 해당 감정에 맞게 감정을 더 증폭시켜줄 수 있도록, 감정과 매칭되는 노래를 재생해주고, 이를 통해, 사용자의 감정이 힐링 및 완화될 수 있도록 도움을 준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.834-836
• /
• 2021

멀티모달 감정인식을 통해 사람의 감정을 정확하게 분류하고, 사람의 감정에 어울리는 음악을 매칭하는 시스템을 설계한다. 멀티모달 감정 인식 방법으로는 IEMOCAP(Interactive Emotional Dyadic Motion Capture) 데이터셋을 활용해 감정을 분류하고, 분류된 감정의 분위기에 맞는 음악을 매칭시키는 시스템을 구축하고자 한다. 유니모달 대비 멀티모달 감정인식의 정확도를 개선한 시스템을 통해 텍스트, 음성, 표정을 포함하고 있는 동영상의 감성 분위기에 적합한 음악 매칭 시스템을 연구한다.

• 한국음향학회지
• /
• 제34권3호
• /
• pp.247-255
• /
• 2015

본 논문은 자동으로 분류된 음악 신호의 감정을 기반으로 하는 음악 검색 의 성능을 분석하였다. 음성, 영상 등의 다른 미디어 신호와 마찬가지로 음악은 인간에게 특정한 감정을 불러일으킬 수 있다. 이러한 감정은 사람들이 음악을 검색할 때 중요한 고려요소가 될 수 있다. 그렇지만 아직까지 음악의 감정을 직접 인식하여 음악 검색을 수행하고 성능을 검증한 경우는 거의 없었다. 본 논문에서는 음악 감정을 표현하는 주요한 세 축인 유발성, 활성, 긴장 과 기본 5대 감정인 행복, 슬픔, 위안, 분노, 불안의 정도를 구하고, 그 값들의 유사도를 기반으로 음악 검색을 수행하였다. 장르와 가수 데이터셋에서 실험을 수행하였다. 제안된 감정 기반 음악 검색 성능은 기존의 특징 기반 방법의 성능에 대비해서 최대 75 % 수준의 검색 정확도를 보였다. 또한 특징 기반 방법을 제안된 감정 기반 방법과 병합할 경우 최대 14 % 검색 성능 향상을 이룰 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.541-543
• /
• 2004

인터넷의 대중화로 인하여 인터넷상에 많은 음악 정보가 존재하게 되었다. 이에 따라서 사용자에게 음악 정보를 손쉽게 접근할 수 있게 해주는 서비스뿐만 아니라, 사용자에게 적절한 음악을 추천해주는 서비스의 중요성도 증가하고 있다. 본 논문에서는 사용자의 상황을 인식하고 사용자와의 대화를 통해서 적절한 음악을 추천해주는 인공 DJ를 제안한다 인공 DJ는 센서로부터 실내 온도, 습도, 조도, 소음을 입력받고, 인터넷을 통하여 날씨 정보를 입력받고, 사용자의 감정추론을 위하여 사용자가 입력하는 문장을 분석하여 Activation-Evaluation Space상에서 사용자의 감정을 표시함으로써 사용자의 주변 상황을 인식하고, 사용자의 성향을 파악하여 IF-THEN 규칙을 만들어 대수학적 연산자(algebraic operator)를 통한 퍼지 추론 방법을 이용하여 적절한 음악을 추천한다. 피험자 10명을 대상으로 실시한 설문조사 결과 제안하는 방법이 유용함을 알 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제29권5호
• /
• pp.177-187
• /
• 2024

요약 배경: 기존 음악 추천 시스템은 가사의 의도된 감정과 사용자가 실제로 느끼는 감정 사이의 불일치를 충분히 고려하지 않았다. 모델: 본 연구에서는 LDA 모델을 활용하여 가사와 사용자 댓글의 주제 벡터를 생성하고, 시간 감쇠 효과와 재생 횟수를 반영한 사용자 행동 궤적과 통계 특성을 결합하여 사용자 선호도 모델을 구축했다. 결과: 실증 분석 결과, 제안 모델이 가사만 활용한 기존 모델보다 높은 정확도로 음악을 추천했다. 시사점: 본 연구는 감정 인식과 사용자 행동 분석을 통합하여 개인화된 음악 추천 시스템을 개선하는 새로운 방법론을 제시한다.

• 한국음향학회지
• /
• 제41권2호
• /
• pp.115-121
• /
• 2022

본 논문에서는 음악 청취 시에 나타나는 뇌파 특징을 이용하여 사용자 감정에 따른 음악 분류 시스템을 제안한다. 제안된 시스템에서는 뇌파 신호로부터 추출한 감정별 뇌파 특징과 음악신호에서 추출한 청각적 특징 간의 관계를 회귀 심층신경망을 통해 학습한다. 실제 적용 시에는 이러한 회귀모델을 기반으로 제안된 시스템은 입력되는 음악의 청각 특성에 매핑된 뇌파 신호 특징을 자동으로 생성하고, 이 특징을 주의집중 기반의 심층신경망에 적용함으로써 음악을 자동으로 분류한다. 실험결과는 제안된 자동 음악분류 프레임 워크의 음악 분류 정확도를 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.1051-1054
• /
• 2021

본 시스템은 홈 CCTV 를 이용해 집 안 사용자의 감정인식, 행동인식을 통해 스마트홈 자동화할 수 있는 시스템으로, 인식된 감정에 맞춰 음악 재생, 조명 조절을 하거나 간단한 동작만으로 IoT 단말을 컨트롤 한다. 또한 실시간으로 IoT 장비들이 동작할 수 있도록 마이크로 서비스 아키텍처로 감정인식과 행동인식 서비스를 설계하여 구현하는 것이 특징이다. 이는 스마트홈 내에서 더 편리하고 가치 있는 집안 환경을 구현할 수 시스템을 제공한다.

• 인간행동과 음악연구
• /
• 제5권1호
• /
• pp.67-90
• /
• 2008

MI란 Music and Imagery의 약자로 심리치료의 한 방법인 GIM(Guided Imagery and Music)을 현실에 맞게 축약적으로 접목시킨 방법이다. 이는 치료목표에 적합한 음악감상을 통해 다양한 심상을 경험함으로 인간의 내면세계를 탐색, 직면, 통찰, 해결하게 한다. 본 치료사례는 MI기법을 활용하여 우울한 내담자의 긍정적 내적자원에 따른 심상을 체험하고, 그 체험을 언어적으로 표현한다. 또한 그 이미지들을 일상생활에 긍정적인 변화를 적용할 수 있도록 유도하는 지지적 수준의 개인 치료사례이다. 지지적인 수준(Supportive Level)에서의 MI는 음악 안에서 안전하게 서로 지지하는 수준에서만 사용한다. 개인세션 도입은 특정 느낌이나 주제, 단어 혹은 시각적 이미지를 연상하고, 이러한 이미지는 갈등적인 내용이 아닌 긍정적인 경험을 유도한다. MI의 한 회기 별 첫 번째 단계는 초기면담(Prelude)으로 상담의 초기면담과 같이 구체적인 목표를 정한다. 두 번째 단계는 전환(Transition)으로 여러 가지 내담자의 이야기 중에 가장 지지적인 주제를 좀 더 초점화하여 구체적으로 느끼고 표현 할 수 있도록 한다. 세 번째 단계는 긴장완화 및 음악 감상(Music Listening)으로 여러 긴장이완법 등을 사용하여 음악 감상하는 동안 심상이 잘 떠오를 수 있도록 이완 시킨다. 그리고 음악 감상 동안 음악이 가져다주는 여러 가지 심상들을 탐색하고 연상 할 수 있도록 한다. 마지막 단계는 마무리(Process)시간으로 음악 감상 동안 경험되어진 심상을 그림으로 표현하고, 개인적인 심상경험을 언어적인 과정을 통해 치료사와 공유함으로써 긍정적인 경험을 확장시켜 내적인 힘을 키운다. A 내담자의 경우 내담자와의 라포 형성하기(공감, 이해, 지지), 내담자의 긍정적인 자원탐색(어린시절, 가족), 내담자의 감정표현 및 긍정적 지지(현재의 나)의 구체적인 목표를 설정하였다. 음악은 내담자가 선호하는 음악과 치료사가 선정한 음악 중에서 음의 전개가 단순하고, 멜로디가 반복적이며, 리듬이 규칙적이며, 협화음으로 구성된 안정적이고 구조화된 음악을 사용하였다. 그 결과 A는 1, 2회기에는 방어기제를 많이 사용하고 우울로 인한 감정조절의 어려움을 보였으나 3회기 이후 자신이 좋아하는 음악과 지지적인 음악을 치료사가 제공하는 것으로 인해 공감과 지지를 경험할 수 있게 되었다. 이를 통하여 4회기부터 안정감을 갖고 세션 안에서 부정적 정서를 긍정적인 정서로 전환하고, 자신의 내재된 힘을 발견하게 되었다. 6회기에는 과거 힘들었던 시간들이 앞으로 갖게 될 좋은 시간을 준비하는 단계라고 인식하기 시작하였다. B 내담자의 경우 내담자와의 라포 형성 및 탐색하기(공감, 이해, 지지), 내담자의 문제 탐색 및 긍정적 인식(어린시절, 가족), 내담자의 감정표현 및 통찰하기(현재와 미래의 나)의 구체적인 목표를 설정하였다. 음악은 1, 2회기에는 안정적이고 구조적인 음악을 사용하였으나, 3회기 이후 곡의 전개가 점점 커지고 주제 멜로디의 변주로 음의 고저가 많으며, 협화음과 불협화음이 넘나드는 고전파와 낭만파의 음악을 사용하였다. 그 결과 B 내담자는 1,2회기에서는 대인관계의 어려움을 종교적인 관계로 전환하여 현실회피하려는 경향이 나타났으나 자신이 좋아하는 음악과 지지적인 음악을 통하여 공감과 지지를 경험할 수 있었다. 3회기 이후 B는 자신의 현실 문제를 인식하고 직면하였으나 회피와 직면의 양가감정을 갖게 되었다. 4회기 이후 B는 우울로 인한 감정의 변화를 음악 안에서 경험하고, 자신의 문제에 직면하였다. 5, 6회기에서는 긍정적인 자원을 통해 내적인 힘을 키우고 해결하려는 태도와 미래에서의 내가 좀 더 당당하고 건강하게 살아가려는 의지가 나타났다. 이와 같이 MI 프로그램은 GIM 프로그램보다 좀 더 현실적이고 짧은 회기수로 내담자의 문제들을 해결할 수 있다는 가능성을 제기한다. GIM처럼 깊은 무의식속으로 접근 하지 않고도, MI는 현실주의 상담과도 같이 내담자의 현실적인 문제를 근거로 하여 문제인식 및 통찰, 해결해 나갈 수 있다. 특히 음악의 사용에 있어서도 다양한 장르의 곡을 내담자에게 맞게 사용할 수 있으며, 음악감상 시간도 GIM에 비해 짧고 곡의 기능들도 구조화되어 내담자의 감정을 심상으로 잘 표현 할 수 있다. 그러므로 MI는 내담자의 음악선호도와 음악의 다양한 기능들을 활용하여 개인과 그룹으로 성인뿐만 아니라 아동 및 청소년에게도 알맞게 수정 보완하여 사용할 수 있음을 시사한다.

• 방송공학회논문지
• /
• 제18권5호
• /
• pp.713-721
• /
• 2013

본 연구는 음성의 감정인식에 있어서 크로마 피쳐를 기반으로 한 음성 토널 특성에 대하여 기술하였다. 토널 정보가 갖는 장조와 단조와 같은 정보가 음악의 분위기에 미치는 영향과 유사하게 음성의 감정을 인지하는 데에도 토널 정보의 영향이 존재한다. 감정과 토널 정보의 관계를 분석하기 위해서, 본 연구에서는 크로마 피쳐로부터 재합성된 신호를 이용하여 청각 실험을 수행하였고, 인지실험결과 긍정과 부정적 감정에 대한 구분이 가능한 것으로 확인되었다. 인지 실험을 바탕으로 음성에 적합한 토널 피쳐를 적용하여 감정인식 실험을 진행하였고, 토널 피쳐를 사용하였을 경우 감정인식 성능이 향상되는 것을 확인 할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권4호
• /
• pp.1-6
• /
• 2023

메타버스 환경에서의 배경음악은 사용자의 몰입감을 증진시키기 위해 사용된다. 하지만 현재 대부분의 메타버스 환경에서는 사전에 매칭시킨 음원을 반복 재생하며, 이는 빠르게 변화하는 사용자의 상호작용 맥락에 어울리지 못해 사용자의 몰입감을 저해시키는 경향이 있다. 본 논문에서는 보다 몰입감 있는 메타버스 대화 경험을 구현하기 위해 1) 한국어 멀티모달 감정 데이터셋인 KEMDy20을 이용하여 발화로부터 감정을 추출하는 회귀 신경망을 구현하고 2) 음원에 arousal-valence 레벨이 태깅되어 있는 DEAM 데이터셋을 이용하여 발화 감정에 대응되는 음원을 선택하여 재생한 후 3) 아바타를 이용한 실시간 대화가 가능한 가상공간과 결합하여 몰입형 메타버스 환경에서 발화의 감정에 어울리는 배경음악을 실시간으로 재생하는 시스템을 구현하였다.