• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.354-359
• /
• 2008

소리-시각 인터랙티브 설치미술인 "Water Music" 은 관객의 음성에 따라서 변하는 물결의 파동을 표현한다. 음정인식 기반 인터페이스 기술을 이용하여 벽면에 비디오 프로젝션 된 시각적 물결이미지로 나타난다. 물결이미지는 동양화의 붓으로 그린 물결과 작은 원형의 입자들을 생성하여 표현된 영상으로 구성된다. 관객은 입김을 불어 넣거나 소리를 냄으로써 화면에서 연속적으로 생성되는 컴퓨터 프로그램 기반 물결의 움직임과 상호 반응할 수 있다. 이러한 공생적인 소리 시각 환경은 관객에게 생각으로 그리고 신체적으로 환영적 공간을 경험하도록 한다. 본 설치작업에서 관객과 상호 반응 할 수 있는 움직이는 물결을 생성하기 위하여 적용된 주요 프로그램은 Visual C++ and DirectX SDK이며, 풀 프레임 3D 렌더링 기술과 파티클 시스템이 사용되었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 2부
• /
• pp.484-488
• /
• 2007

연극이라는 것은 복합적인 표현예술장르로 하나의 요소가 아닌 여러 가지의 요소들아 합쳐져 연극이라는 예술작품을 만들게 되어 있다. 현대의 연극공연에서 영상의 비중은 날로 높아지고 있다. 무대 공간의 공간감, 협소함, 표현의 제약 등을 따져 볼 때 그것은 당연한 이유일지도 모른다. 연극이라는 것은 최종적으로 배우와 관객과 함께 호흡할 때 완성되는 것으로 배우의 연기에 따라 영상도 실시간으로 반응할 수 있어야한다. 이러기 위해서는 영상뿐만 아니라 배우와 인터렉션할 수 있는 영상의 제어 또한 상당부분 생각하지 않을 수 없다. 그리고 무대의 뜨거운 조명과 그 아래의 영상은 같은 빛으로 만들어진 작품이기 때문에 빛이라는 환경적 요인에서 벋어나지 못한다. 그 밖의 스크린의 존재와 무대의 조형물과의 조화 등도 생각해야 한다. 하지만, 연극의 성공은 관객의 몰입정도에 따라 결정된다. 몰입요소는 음악, 배우, 무대 등의 기존 연극요소가 있으며 여기에 영상 활용은 관객을 더욱 연극으로 몰입시킬 수 있는 또 다른 중요 표현방법이 된다. 그 영상의 활용방안과 문제점은 현재 여러 기술과 방법으로 해결되어지고 있으며, 연극에서 사용되는 영상은 더욱 발전 가능성과 활용 가치를 가지고 있다. 본 논문 이러한 대중문화인 연극에서 공간에서의 영상 미디어 활용의 중요성과 관객의 몰입에 관한 발전 가능성에 대한 연구이다.

• 만화애니메이션 연구
• /
• 통권35호
• /
• pp.329-346
• /
• 2014

미술은 한 사회의 정치, 경제, 사회, 문화가 만들어낸 시대적 산물이다. 최근의 디지털 매체의 발전은 예술에서 표현을 확장하는데 기여하였다. 디지털 매체는 이미지뿐만 아니라 소리나 물리적 지각 반응을 예술 창작의 한 요소로써 활용하는 것을 가능하게 한다. 또한 디지털 매체는 이미지, 소리, 빛, 그리고 다양한 조형 요소들 간의 재 융합이나 관객의 물리적 반응의 결합을 통해서 작품과 관객과 상호소통적인 공감각적이고 시지각적인 환경을 창출하도록 돕는다. 본 연구에서는 최근에 소리에 반응하는 다양한 미디어아트 작품들이 제작되고 있는데, 주로 관객이나 외부의 자극으로부터 발생되는 소리의 물리적 데이터를 시각화하는 작업에 초점을 두고 시지각적 관점에서 소리의 반응에 따른 데이터의 시각화와 작품의 이미지와 관객의 반응 관계 등을 분석하였다. 외부의 소리로부터 생성되는 물리적 데이터는 여러 가지 관점에서 분석될 수 있다. 예를 들면, 음성이나 외부 소리의 고저(pitch), 음량, 또는 주파수 분석을 통해서 데이터 분류가 가능하다. 본 연구자는 관객의 음성이나 외부의 물리적 자극을 통해서 발생되는 소리의 주파수를 분석하여 이에 상응하여 발광하는 LED기반 시각화 연구를 통해서 최근 새로운 미디어아트의 가능성을 모색하고, 실시간으로 생성될 수 있는 물리적 데이터들을 빛(LED)의 환영적 특성으로 변환함으로써 우연하게 관객에 반응하여 생성되는 다양한 시각이미지의 연출 가능성을 탐구하였다. 결과적으로 연구자는 사운드에 반응하는 시지각적인 인터랙티브 작품을 구현해보기 위하여 피에트 몬드리안(Piet Mondrian, 1872~1944)의 브로드웨이 부기우기(Broadway Boogie Woogie, 1942~3)작품을 모티브로 삼았다. 몬드리앙은 회화의 본질적인 표현 요소들을 단순화하는 작업으로 불필요하다고 생각된 요소들을 하나씩 제거하여 색, 수직선, 수평선으로 대상을 추상화시킴으로써 그 대상의 본질에 다가가고자 하였다. 연구자는 몬드리앙의 이러한 단순화된 구성을 외부의 소리 자극을 단순화하여 빛(LED)의 요소로 재현하는 시각적 표현의 메타포로 사용하였고, 몬드리앙의 정적 구성에서 빛과 소리의 공감각적인 표현을 극대화하는 동적 구성으로의 관객의 참여를 유도하는 환경을 구현해 보았다.

• 만화애니메이션 연구
• /
• 통권24호
• /
• pp.173-197
• /
• 2011

관객은 이야기를 통해 허상의 세상과 현실의 세상을 넘나들게 된다. 이야기는 인간의 감각에 호소하는 감성적 체험이며 지식, 정보전달의 이성적 기능과 정서에 호소하는 감성적 기능이 있다. 또한 언어, 문자, 영상으로 그 형태가 나타난다. 본고는 이야기의 감성적 기능에 주목하며 체험된 이야기는 관객과 인물의 극적소통이 극대화되어 관객이 정서적 반응을 일으키는 것이다. 관객은 인물과의 심리적, 정신적 교감을 통해 어느 순간 감정몰입의 상태로 들어가고 이를 통해 동일시의 감정을 느낀다. 그때부터 관객과 인물의 극적소통이 시작된다. 하지만 그 순간을 지탱하는 힘은 그리 오래가지 못한다. 이런 관객몰입의 극적소통이 이루어지는 그 순간을 오래도록 지속시키기 위해서는 사실화작업을 거쳐야 한다. 이렇게 사실화작업으로 이루어진 세상과 그 속에서 살아가는 인물의 삶에서 관객은 공감적 재연의 체험적 관념을 흡수하게 되고 이런 사실화된 인물의 드러냄은 외적탐색과 내적탐색으로 가시화된다. 먼저 외적탐색에는 배경정보, 생활정보, 대화정보가 있다. 이들을 통해 인물은 인간과의 닮음의 진통을 극복하고 진정 관객과 소통하는 매개체로 재등장하게 된다. 또한 내적탐색의 세 가지는 자아, 욕구, 갈등이란 정신적 기제를 통해 선택적 단계선정의 연계과정을 겪으며 인물이 가지고 있는 내면의 울림을 밖으로 진동하게 하여 공명(울림)의 그 소리를 듣게 만든다. 여기서 중요한 사실은 감독은 인물이 가진 내면적 요인들을 행동으로 시각화시켜야 한다. 즉 행동에 의해 인간이 가지고 있는 외적, 내적 요소들이 서로 간의 충돌과 흡수를 통해 화면 위에 고스란히 그려놓아야 한다는 것이다. 그래야만 관객은 인물과의 극적소통을 통해 정서적 반응을 일으킬 수 있다. 영화 '시'에서 관객과 인물이 극적소통을 통한 정서적 반응을 일으키는 신을 중심으로 살펴보고 이를 통해 관객은 영화의 물리적인 상영시간 동안 인물과의 극적소통을 스스로 인내할 수 있다.

• 지능정보연구
• /
• 제18권1호
• /
• pp.39-57
• /
• 2012

최근 기존 전시 공간 내에 유비쿼터스 환경이 구축되면서, 관객과의 상호작용을 통해 전시 효과를 배가할 수 있는 인터랙티브 전시에 많은 사람들의 관심이 집중되고 있다. 이러한 인터랙티브 전시가 보다 고도화되기 위해서는 전시물에 대한 다양한 관객 반응을 측정하고, 이를 통해 대상 관객이 어떤 감정을 느끼는지 예측할 수 있는 적절한 의사결정지원 모형이 요구된다. 이러한 배경에서 본 연구는 인터랙티브 전시 공간 내에서 수집 가능한 다양한 관객 반응 중 얼굴표정의 변화를 이용하여, 관객의 감정을 추론, 판단하는 지능형 모형을 제시한다. 본 연구에서 제시하는 모형은 무자극 상태의 관객의 표정과 자극이 주어졌을 때 관객의 표정이 어떻게 변화하는지 변화량을 측정하여, 이를 기반으로 인공신경망 기법을 이용해 해당 관객의 감정을 판단하는 모형이다. 이 때, 제안모형의 감정 분류체계로는 간결하면서도 실무에 적용이 용이하여 그간 기존 문헌에서 널리 활용되어 온 매력-각성(Valence-Arousal) 모형을 사용한다. 제안모형의 유용성을 검증하기 위해, 본 연구에서는 2011 서울 DMC 컬쳐 오픈 행사에 참여하여, 일반인을 대상으로 얼굴 표정 변화 데이터를 수집하고, 이들이 느끼는 감정 상태를 설문조사하였다. 그리고 나서, 이 자료들을 대상으로 본 연구에서 제안하는 모형을 적용해 보고, 제안모형이 비교모형으로 설정된 통계기반 예측모형에 비해 더 우수한 성과를 보이는지 확인해 보았다. 실험 결과, 본 연구에서 제시하는 모형이 비교 모형인 중회귀분석 모형보다 더 우수한 결과를 제공함을 확인할 수 있었다. 본 연구를 통하여 구축된 관객 감정 판단 모형을 실제 전시장에서 활용한다면 전시물을 관람하는 관객의 반응에 따라 시의적절하면서도 효과적인 대응이 가능하기 때문에, 관객의 몰입과 만족을 보다 증대시킬 수 있을 것으로 기대된다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2011년도 추계학술논문집 1부
• /
• pp.50-53
• /
• 2011

재즈음악이나 재즈콘서트는 근래에 들어서 가장 접하기 쉬운 문화예술의 한 장르이다. 재즈 공연을 보기 위해 많은 관객들이 찾고 있으며 이러한 공연은 현재의 대표적인 공연 문화로 자리 매김하고 있다. 그에 반하여 음악연주 자체에 대한 평가나 관객의 반응에 대한 평론이 비전문가적인 부분이 많아서 좀 더 전문성을 갖춘 보컬연주의 이해와 중요성에 대한 교육이 필요하게 되었다. 본 논문은 재즈를 노래하는 사람이 표현하고자 하는 모든 부분을 자유롭고 말하듯이 편안하게 노래하는(지성으로 노래하기) 발성방법과 호흡에 대한 연구이다.

• 지능정보연구
• /
• 제20권1호
• /
• pp.1-14
• /
• 2014

최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

• 한국정보통신학회논문지
• /
• 제26권12호
• /
• pp.1838-1845
• /
• 2022

코로나19로 인해 대면으로 진행하는 현장 전시가 불가능한 상황이 지속되었다. 이를 계기로 가상현실/증강현실 등의 기술이 주목받고 있으며 많은 분야에서 이러한 기술들이 활용되고 있는데, 가장 신속히 비대면으로 전환된 분야 중 하나가 전시 예술 분야다. 이 연구에서는 가상현실 기술을 이용하여 가상 전시 공간을 제작하고 다양한 전시물을 가상으로 전시하는 가상 전시 콘텐츠를 제작하였다. 제작된 가상 전시는 동일한 내용의 전시물을 전시하는 현장 전시와 병행하여 개최되었다. 그리고 가상 전시는 HMD를 이용해 관객이 직접 체험해 볼 수 있는 기회도 제공하였다. 높은 현장감을 제공하기 위해 개방감 있게 가상 공간을 제작하였고, 사실적인 전시 구조와 같은 3D 객체와 텍스처를 이용하였다. 가상 전시 참여 관객들은 직접 참여하는 현장 전시와 유사한 체험을 할 수 있으며 동일한 전시 콘텐츠를 감상할 수 있다. 전시 이후에는 현장 전시와 가상 전시를 모두 참여한 관객에게 설문 조사하여 반응을 분석하였다. 설문 결과 가상전시의 유사성과 몰입감에 높은 점수를 부여하였다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.533-542
• /
• 2021

본 연구에서는 한국 전통예술 중 하나인 진도 북춤을 다양한 인공지능 기술을 이용하여 디지털 아트로 재창조하는 과정을 제안하였다. 인공지능 언어 분석 기술을 통해 정량화된 관객들의 감정 데이터는 프로젝션 맵핑 공연에서 다양한 오브젝트 형태로 개입하여 큰 스토리에 변화를 주지 않는 선에서 영향을 준다. 대부분의 인터렉티브 아트들이 공연자와 영상 간의 소통을 표현한 것이라면, 본 공연은 인공지능 감정분석 기술을 중심으로 관객이 작품과 직접 소통할 수 있는 새로운 형태의 반응형 공연이 된다. 이는 한국 전통예술에서만 흔히 나타나는 관객이 공연에 직간접적으로 개입하여 영향을 끼치는 퍼포먼스인 '추임새'에서 시작된다. 공연자의 '프롤로그'에 담긴 감정 정보를 기반으로 관객의 감정 정보와 결합하여, 공연에 쓰이는 이미지와 파티클의 형태로 변환함으로서 공연에 관객이 간접적으로 참여하고 변화를 줄 수 있는 형태가 된다.

• 한국콘텐츠학회논문지
• /
• 제18권5호
• /
• pp.311-318
• /
• 2018

본 논문에서는 대화형 인공지능 인터랙티브 아트인 "진화하는 신, 가이아" 작품을 중심으로 예술 의미적인 배경과 작품이 구현된 기술적 구조에 대해 제시한다. 최근 여러 분야에서 인공지능의 기술을 사용하면서 예술 분야에도 이러한 시도가 접목되고 있다. 또한 과학의 발달로 생체모방 기술이나 인공생명 기술이 발달하면서 기계와 인간의 구분이 모호해지고 있다. 본 논문에서는 이러한 기계 생명의 은유를 담고 있는 예술 작품 사례를 제시하고, 본 작품에서 차별적으로 구현된 대화 시스템에 대해 상세히 부각한다. 본 작품에서는 로봇이 관객과의 자연스러운 소통을 위해 관객을 인식하여 바라보고 눈을 맞추며, 관객의 음성을 직접 인식하고 이에 따른 적절한 응답을 음성 합성으로 출력한다. 본 작품의 대화 시스템은 작품 내에 내장된 안드로이드 클라이언트와 질문-대답 사전을 내장한 서버로 구성된 질의응답시스템으로 구현되었다. 본 작품은 이러한 인터랙션을 통해 넓은 의미에서의 생명에 대한 의미를 논하며 관객과의 공감을 이끌어낸다. 본 논문에서는 작품의 기계적 구조와 대화 시스템 등의 제작 방법 및 관객 반응을 살펴봄으로써 인공지능 예술 작품의 제작 및 전시 기획에 기여하고자 한다.