• 정보교육학회논문지
• /
• 제12권1호
• /
• pp.57-63
• /
• 2008

본 연구는 인간의 자아표현 욕구와 창조적 욕구로 인해 자신을 대체할 산물들을 끊임없이 만들어 내는 과정에서 중요하게 작용되는 자기노출이라는 심리를 이용하여 아바타와 학습자의 얼굴을 합성하는 증강가상을 통하여 가상세계에서의 현실감을 부여함으로써 학습자의 몰입을 유도하여 그 교육적 효과를 증대하고자 하였다. 이를 실증하기 위하여 컴퓨터기반으로 콘텐츠를 개발한 후, 로봇 콘텐츠로써의 활용을 위해 컨버팅하고 자동 로딩을 통한 학습자의 사진을 아바타와 합성시켰다. 실험 결과 자기노출 기반 콘텐츠의 효과는 모든 집단의 경우에서 학습에 대한 집중도에는 긍정적인 영향을 주었으며, 학업성취도에는 유의미하지는 않지만 긍정적 효과를 가지는 것으로 나타났다. 이는 교육용 로봇을 활용한 자기노출 개념 적용에 대하여 긍정적인 결과라고 보여지는데, 보다 유의미한 결과를 얻기 위해서는 단순히 사진을 찍어 로딩하는 증강가상보다는 얼굴검출을 통한 실시간 증강가상과 같은 증강가상 효과의 증대가 필요하다고 하겠다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1099-1106
• /
• 2006

정신질환자들은 자기감정을 표현하는 능력의 결손을 보인다. 이러한 자기 감정표현기술은 정신질환자들을 위한 사회기술훈련 (Social Skill Training) 과정 중 하나로서 정상적인 사회생활로의 복귀를 위해 반드시 필요하다. 지금까지의 자기감정표현 훈련 및 평가 방법은 치료자 능력의 차이에 따른 주관적 판단이 개입될 수 있다는 문제점을 가지고 있다. 가상현실 (Virtual Reality)은 컴퓨터를 이용한 최신의 방법으로, 최근 자폐증이나 공포증 등의 정신질환 분야에도 적용되고 있다. VR 을 사용하면 상호작용을 할 수 있고, 다양한 환경과 자극을 제시할 수 있으며, 3 차원 랜더링을 통해 몰입감을 제공할 수 있다. 또한 저장된 파라미터들을 바탕으로 객관적 판단을 할 수 있는 기준을 제시할 수 있으며, 안전하고 시간과 공간적 제약이 적은 환경 내에서 과제를 수행할 수 있다. 이에 본 연구에서는 자기감정표현기술의 객관적 평가를 위한 가상현실 시스템을 개발하고 정신분열증 환자와 정상인을 대상으로 실험을 진행하였다. 가상현실은 크게 긍정적 상황과 부정적 상황으로 이루어 지는데 집, 카페, 빵집, 길거리 등 다양한 환경에서 가족, 친구, 직장동료 등의 아바타가 실험 참가자에게 말을 건네고 참가자는 적절한 시기에 자신의 감정표현을 하도록 구성하였다. 실험을 하면서 정서 (긍정적 상황 Vs. 부정적 상황)에 따른 자기감정표현에 대한 파라미터로서 아바타가 말하는 동안 참가자가 아바타의 말에 주목을 하는 정도 (아바타가 말하는 동안 참가자가 아바타의 얼굴을 쳐다보는 시간)와 자기감정을 표현을 하는 시간 (아바타의 말이 끝난 후 감정표현을 시작하는 시간과 감정표현시간)과 상대방 아바타를 주목하는 정도 (참가자가 자기감정을 표현하는 중 아바타를 쳐다보는 시간) 등을 측정하였다. 측정결과 정상인이 정신분열병 환자에 비해 아바타를 주목하는 시간이나 자기감정표현을 하는 시간이 더 긴 경향이 있었다. 또한 부정적 상황에서 정신분열병 환자와 정상인 모두가 긍정적 상황에 비해 말하는 아바타에 더 잘 주목하였고, 자기감정을 표현하는 시간도 더 긴 것을 확인 하였다. 따라서 본 연구에서 도출된 파라미터는 실험 참가자의 자기감정표현의 정도를 객관적으로 나타낼 수 있을 것으로 생각된다. 또한 정신분열병 환자의 자기 감정표현능력을 측정하는 도구로 사용될 수 있을 것으로 생각된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.232-234
• /
• 2021

본 논문에서는 딥러닝 얼굴 인식을 이용하여 실시간 360 공간 Classroom 과 실시간을 기반으로 한 가상 360 공간 Classroom 을 제안한다. MTCNN 을 이용한 얼굴 검출 및 Inception Resnet V1 모델을 이용한 딥러닝 기법을 통해 얼굴인식을 진행하고 HSV 색공간 기반의 화자 판별, 아바타 Rendering, 출석 체크 등을 진행한다. 이후 시각화를 위해 제작한 Web UI/UX 를 통해 사용자에게 현실과 가상 공간을 넘나드는 Twin Classroom 을 제공한다. 따라서 사용자는 새로운 화상 교육 플랫폼에서 보다 개선되고 생동감 있는 Classroom 에서 교육을 받을 수 있다.

• 한국콘텐츠학회논문지
• /
• 제17권2호
• /
• pp.439-448
• /
• 2017

얼굴 표정은 상호간의 소통에 있어 중요한 의미를 갖는다. 얼굴 근육의 움직임은 감성 정보를 제공하는데, 이는 사회적 관계를 향상하는 데 중요한 역할을 한다. 그러나 얼굴의 단순 움직임만으로는 복잡한 사회 감성을 인식하기에 정확하지 않다. 본 연구의 목적은 친밀도, 공감도, 긍정도와 같은 사회감성을 인식하기 위한 얼굴의 미세 움직임을 분석하는 것이다. 76명의 피험자를 대상으로 상기 사회감성을 유발하는 자극을 제시하였고 카메라를 사용하여 얼굴 표정을 측정하였다. 결론적으로 친밀함, 공감도, 긍정도의 사회 감성에서 얼굴의 미세움직임이 다르게 나타났다. 총 44개의 얼굴 근육 중 3개의 무의식 근육과 18개의 의식 근육의 움직임 양을 추출한 후, 고속푸리에변환(Fast Fourier Tranform, FFT)을 통하여 (Dominant) Frequency 대역을 확인하였다. 독립 t-검정 결과, 친밀도 상황에서는 코 주변과 볼 주변 근육, 공감도 상황에서는 입 주변 근육, 긍정도 상황에서는 턱 주변 근육에서 유의한 차이를 보였다. 이는 애니메이션의 가상 아바타 등 얼굴 표정의 새로운 표현요소를 제안하고 근육에 따른 사회감성 인식의 기초 연구로서 활용 가능할 것으로 사료 된다.

• 정보처리학회논문지B
• /
• 제12B권7호
• /
• pp.795-802
• /
• 2005

본 논문에서는 일곱 가지의 기본적인 감정 정보를 자동으로 파악하고 얼굴을 PDA 상에서 렌더링할 수 있는 얼굴 표정의 인식 및 합성 시스템을 제시한다. 얼굴 표정 인식을 위해서 먼저 카메라로부터 획득한 영상으로부터 얼굴 부분을 검출한다. 그리고 나서 기하학적 또는 조명으로 인한 보정을 위해 정규화 과정을 거친다. 얼굴 표정을 분류하기 위해서는 Gabor wavelets 방법을 enhanced Fisher 모델과 결합하여 사용할 때가 가장 좋은 결과를 보였다. 본 표정 분류에서는 일곱 가지 감정 가중치가 결과로 제시되고, 그러한 가중 정보는 모바일 네트웍을 통하여PDA 상으로 전송되어 얼굴 표정 애니메이션에 이용되어진다. 또한 본 논문에서는 고유한 얼굴 캐릭터를 가진 3차워 아바타를 생성하기 위하여 카툰 쉐이딩 기법을 채택하였다. 실험 결과 감정 곡선을 이용한 얼굴 표정 애니메이션은 선형 보간법 보다 감정 변화의 타이밍을 표현하는데 더 효과적인 것으로 나타났다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.761-763
• /
• 2022

코로나19 이후 화상회의 빈도가 높아지면서 줌 피로라는 신조어가 등장할 만큼 상대방을 가까이 마주하며 회의를 진행하는 것이 사람들의 피로도를 상승시키고 있다. 본 논문에서는 얼굴 합성과 이미지 애니메이션을 이용한 아바타를 통해 사용자가 화상회의에 참가할 수 있는 시스템을 제안한다. 사용자와 닮은 개성 있는 캐릭터는 실시간으로 사용자의 표정 및 움직임을 반영하여 화상회의에 적용될 수 있고 채팅과 커뮤니티에서 캐릭터의 이모티콘으로 감정을 표현할 수 있다.

• 한국지능시스템학회논문지
• /
• 제19권1호
• /
• pp.1-5
• /
• 2009

본 논문은 거울 투영을 이용하여 2D의 감정인식 데이터베이스를 3D에 적용 가능하다는 것을 증명한다. 또한, 감정 확률을 이용하여 퍼지 모델링 기반의 얼굴표정을 생성하고, 표정을 움직이는 3가지 기본 움직임에 대한 퍼지이론을 적용하여 얼굴표현함수를 제안한다. 제안된 방법은 거울 투영을 통한 다중 이미지를 이용하여 2D에서 사용되는 감정인식에 대한 특징벡터를 3D에 적용한다. 이로 인해, 2D의 모델링 대상이 되는 실제 모델의 기본감정에 대한 비선형적인 얼굴표정을 퍼지를 기반으로 모델링한다. 그리고 얼굴표정을 표현하는데 기본 감정 5가지인 행복, 슬픔, 혐오, 화남, 놀람, 무서움으로 표현되며 기본 감정의 확률에 대해서 각 감정의 평균값을 사용하고 6가지 감정 확률을 이용하여 동적 얼굴표정을 생성한다. 제안된 방법을 3D 인간형 아바타에 적용하여 실제 모델의 표정 벡터와 비교 분석한다.

• 한국콘텐츠학회논문지
• /
• 제8권1호
• /
• pp.212-227
• /
• 2008

3D 얼굴 모델링은 33공간에서 얼굴을 자유롭게 회전 시켜 다양한 얼굴 자세를 표현하고 조명 효과도 적절하게 모델링 할 수 있으므로, 얼굴 자세, 조명, 표정 등의 표현에 있어서 2D 얼굴 모델링에 비해 보다 정교하며 사실감이 뛰어나 얼굴 인식, 게임, 아바타 등에서 많은 요구가 존재한다. 본 논문에서는 3D 변형 가능 형상 모델에 기반을 둔 3D 얼굴 모델링 방법을 제안한다. 제안된 3D 얼굴 모델링 방법은 먼저 3D 스캐너를 통하여 획득한 3D 얼굴 스캔 데이터를 이용하여 3D 얼굴 변형 가능 형상 모델을 구축한다. 다음, 3D 얼굴 모델링을 하고자 하는 얼굴의 2D 이미지 시퀀스로부터, 해당 얼굴의 특징점들을 검출하고 이들을 매칭하여, 매칭된 특징점들로부터 인수분해 기반 SfM 기법을 이용하여 해당 특징점의 3D 버텍스 좌표 값을 구한다. 이후, 구한 3D 버텍스들을 3D 변형 가능 형상 모델에 정합하여 해당 얼굴의 3D 형상 모델을 얻는다. 또한, 2D 얼굴 이미지 시퀀스들로부터 뷰 독립적인 2D 원통 좌표 텍스쳐 맵을 구하고 이를 이용하여 3D 형상 모델을 렌더링 함으로써, 최종적으로 3B 얼굴 모델을 완성한다. 제안된 3D 얼굴 모델링 방법에 의한 3D 얼굴 모델 생성 과정을 통해서, 본 논문에서 제안한 3D 얼굴 모델링 방법이 기존의 얼굴 모델링 방법들에 비해 상대적으로 빠르고 비교적 정교하게 수행됨을 볼 수 있었다.

• 정보처리학회논문지A
• /
• 제11A권4호
• /
• pp.277-284
• /
• 2004

본 논문은 사용자로 하여금 계층적 가시화 기법에 의한 표정들의 공간으로부터 일련의 표정을 선택하게 함으로써 3차원 아바타의 표정 제어기법을 기술한다. 본 시스템에서는 2,40P0여개의 표정 프레임을 이용하여 2차원 표정공간을 구성하였으며, 3차원 아바타의 표정 제어는 사용자가 표정공간을 항해하면서 수행한다. 그러나 표정의 수가 너무 많아 사용자가 항해를 하는데 어려움이 많기 때문에 계층적 가시화 기법이 필요하다. 표정공간을 계층적으로 분할하기 위해, 퍼지 클러스터링을 이용한다. 초기 단계에서는 2,400여개의 표정들을 이용하여 약 11개의 클러스터센터를 가지도록 클러스터링한다. 클러스터 센터들은 2차원 평면에 표시되며 후보 키 프레임으로 사용된다 사용자는 후보 키 프레임들 중에서 특정 키 프레임들을 선택하여 초기 항해경로를 생성한다. 사용자가 줌 인(이산적인 단계를 가지고 있음)을 하면 상세한 단계를 보기를 원한다는 의미이므로 줌 인된 단계에 적합한 표정 클러스터들을 생성한다. 단계가 증가될 때 마다 클러스터의 수를 두 배로 하고, 클러스터의 수만큼 표정들을 클러스터링한다. 사용자는 현재 단계에서 그전 단계의 항해경로를 따라 새로운 키 프레임(클러스터 센터)들을 선택하여 항해경로를 갱신한다. 줌 인을 최대로 한 마지막 단계에서 항해경로를 갱신하면 표정 제어 설정이 끝난다. 사용자는 언제든지 줌 아웃을 통해 그 전단계로 돌아가서 항해경로를 수정할 수 있다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 표정 제어를 수행하게 하였으며, 그 결과를 평가한다.

• 한국멀티미디어학회논문지
• /
• 제10권4호
• /
• pp.506-515
• /
• 2007

본 논문에서는 사용자의 동작에 대한 반응으로 표정을 변화하여 감정을 표현할 수 있는 실시간 반응형 그림자 아바타인 RISA(Real-time Interactive Shadow Avatar)를 제안한다. 아바타 형태는 사용자의 실사로부터 실시간으로 추출한 가상의 그림자를 사용하며, 손동작의 유형에 따라 변화하는 표정 애니메이션이 그림자의 얼굴 위치에 겹쳐지도록 하였다. 가상 그림자의 추출을 위해서는 배경 차분화 기법을 사용하며, 머리위치 및 손동작의 추적 및 유형 탐지를-위해-단순화된 영역 단위 추적 기법을 사용하였다. 또한 표정의 자연스러운 변화를 표현하기 위해 표정 애니메이션은 기존의 동적 이모티콘보다 많은 수의 애니메이션 프레임들을 사용하는 변형된 모핑 기법을 적용하였다. RISA는 인터페이스 미디어 아트 분야에 직접 응용될 수 있을 것이며, RISA에 적용된 탐지 기법은 향후 입력 장치의 간결성이 요구되는 DMB나 카메라폰 등을 위한 대체 인터페이스에도 활용될 수 있을 것이다.