• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2003년도 춘계학술발표대회논문집
• /
• pp.492-498
• /
• 2003

본 논문에서는 실사와 같은 사실적인 3차원 Facial Model 제작을 위해 해부학 접근을 통한 근육기반의 자연스러운 Facial Modeling 제작을 연구하였다 한국인 기본형 얼굴을 연구 대상으로 선정하여 안면근육 비례를 분석한 후 Multi-patch Surface Modeling 방법을 적용하며 제작하였다. 이 방법에는 통계적 분석기법 중 L/sub 27/(3/sup 13/) 3수준계 직교배열표를 이용하여 검증하였다. 본 연구를 통하여 Facial Model 제작 시 최소의 UV spans 수로 최대 시각화 즉, 원본의 형상을 최대한 유지하면서 작업시간과 Rendering 시간 단축 및 Data 용량을 줄일 수 있는 Modeling 방법을 제안하였고, 향후 자연스런 Facial Animation 제작 및 연구에도 많은 도움이 될 것으로 기대된다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권6호
• /
• pp.618-631
• /
• 2000

본 논문에서는 2차원 얼굴 영상의 움직임을 추출하여 3차원 얼굴 모델에 합성하는 방법을 연구하였다. 본 논문은 동영상에서의 움직임을 추정하기 위하여 광류를 기반으로 한 추정방법을 이용하였다. 2차원 동영상에서 얼굴요소 및 얼굴의 움직임을 추정하기 위해 인접한 두 영상으로부터 계산된 광류를 가장 잘 고려하는 매개변수화된 움직임 벡터들을 추출한다. 그리고 나서, 이를 소수의 매개변수들의 조합으로 만들어 얼굴의 움직임에 대한 정보를 묘사할 수 있게 하였다. 매개변수화 된 움직임 벡터는 눈 영역, 입술과 눈썹 영역, 그리고 얼굴영역을 위한 서로 다른 세 종류의 움직임을 위하여 사용하였다. 이를 얼굴 모델의 움직임을 합성할 수 있는 단위행위(Action Unit)와 결합하여 2차원 동영상에서의 얼굴 움직임을 3 차원으로 합성한 결과를 얻을 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 학술대회
• /
• pp.15-20
• /
• 1999

본 논문에서는 사람의 정면 얼굴을 찍은 컬러 동영상에서 얼굴의 각 구성 요소에 대한 특징점들을 추출하여 3차원 개인 얼굴 모델을 생성하고 이를 얼굴의 표정 움직임에 따라 애니메이션 하는 방법을 제시한다. 제안된 방법은 얼굴의 정면만을 촬영하도록 고안된 헬멧형 카메라( Head-mounted camera)를 사용하여 얻은 2차원 동영상의 첫 프레임(frame)으로부터 얼굴의 특징점들을 추출하고 이들과 3차원 일반 얼굴 모델을 바탕으로 3차원 얼굴 특징점들의 좌표를 산출한다. 표정의 변화는 초기 영상의 특징점 위치와 이 후 영상들에서의 특징점 위치의 차이를 기반으로 알아낼 수 있다. 추출된 특징점 및 얼굴 움직임은 보다 다양한 응용 이 가능하도록 최근 1단계 표준이 마무리된 MPEG-4 SNHC의 FDP(Facial Definition Parameters)와FAP(Facial Animation Parameters)의 형식으로 표현되며 이를 이용하여 개인 얼굴 모델 및 애니메이션을 수행하였다. 제안된 방법은 단일 카메라로부터 촬영되는 영상을 기반으로 이루어지는 MPEG-4 기반 화상 통신이나 화상 회의 시스템 등에 유용하게 사용될 수 있다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 춘계학술발표논문집
• /
• pp.553-557
• /
• 2001

얼굴 표정을 애니메이션하는 것은 얼굴 구조의 복잡성과 얼굴 표면의 섬세한 움직임으로 인해 컴퓨터 애니메이션 분야에서 가장 어려운 분야로 인식되고 있다. 최근 3D 애니메이션, 영화 특수효과 그리고 게임 제작시 모션 캡처 시스템(Motion Capture System)을 통하여 실제 인간의 동작 및 얼굴 표정을 수치적으로 측정해내어 이를 실제 애니메이션에 직접 사용함으로써 막대한 작업시간 및 인력 그리고 자본을 획기적으로 줄이고 있다. 그러나 기존의 모션 캡처 시스템은 고속 카메라를 이용함으로써 가격이 고가이고 움직임 추적에서도 여러 가지 문제점을 가지고 있다. 본 논문에서는 일반 저가의 카메라와 신경회로망 및 영상처리기법을 이용하여 얼굴 애니메이션용 모션 캡처 시스템에 적응할 수 있는 경제적이고 효율적인 얼굴 움직임 추적기법을 제안한다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2005년도 추계 종합학술대회 논문집
• /
• pp.466-469
• /
• 2005

최근 컴퓨터 그래픽스 분야에서는 3차원 애니메이션에 대한 연구가 활발히 이루어지고 있다. 3차원 애니메이션에서 중요한 연구 분야 중 하나가 인간을 애니메이션 하는 것이다. 음함수 곡면 모델은 3D 캐릭터나 유체 등과 같은 복잡한 곡면으로 이루어진 객체들에 대한 3D 모델링이 용이하고 적은 양의 데이터로 다양한 형태의 곡면을 표현할 수 있다. 본 논문에서는 음함수 프리미티브를 이용한 얼굴 모델 생성 방법을 제안한다.

• 방송공학회논문지
• /
• 제8권2호
• /
• pp.172-180
• /
• 2003

본 논문은 얼굴 모션 캡쳐 애니메이션을 위한 빠르고 정확한 추출 및 추적 알고리즘을 제안한다. 제안한 알고리즘은 추출 및 추적의 두 단계로 구성된다. 먼저 신경회로망 기반의 영역 병합 기법을 이용하여 입력 영상으로부터 다중 마크를 분리한다. 그 다음, 신경회로망 기반의 추적 알고리즘을 사용하여 각각의 프레임에서 추출된 다중 마크들을 추적한다. 실험의 결과는 추출단계에서는 노이즈를 제거하고 처리 시간을 줄일 수 있었다. 또한 낮은 프레임율에서도 성능이 좋은 추적 결과를 얻을 수 있었다.

• 한국디자인학회:학술대회논문집
• /
• 한국디자인학회 2003년도 봄 학술발표대회논문집
• /
• pp.104-105
• /
• 2003

• 디자인학연구
• /
• 제17권3호
• /
• pp.39-50
• /
• 2004

본 연구에 앞서 2002년 10월에 한국인 20대 대학생들을 상대로 실시한 설문조사 결과 애니메이션에 등장하는 한국과 일본의 여성 캐릭터의 모습은 차별성이 적고, 일반적으로 눈이 크고, 코가 오뚝하며, 얼굴은 계란형이고, 눈이나 입은 지나치게 과장되게 표현되어 캐릭터에 대한 호감이 적다는 사실을 발견하게 되었다. 본 연구는 한국인 20대 여성의 얼굴 특징을 일본인 20대 여성과 비교하여 관념적, 생물학적 관점에서 조사한 후 이를 토대로 한국인 여성 캐릭터의 성격에 따른 얼굴의 특징을 관상학을 적용하여 제작하고, 이에 대한 객관적인 검증을 거쳐 한국 여성 캐릭터의 표준 근거를 제시해 보고자 하였다. 연구 결과 우리나라 사람들은 관념적 관점에서 본 얼굴 형태소의 특징을 바탕으로 제작한 여성 캐릭터와 귀엽고 착한 성격, 착하고 조용한 성격의 여성 캐릭터에 대해서는 한국인답다 라고 느끼며 호감형으로 생각하는 반면 생물학적 관점에서 본 얼굴 형태소의 특징을 바탕으로 제작한 여성 캐릭터와 신경질 적이거나, 불만이 많은 성격의 여성 캐릭터에 대해서는 한국인답지 않다고 느끼고 비호감형으로 생각하는 것으로 조사되었다. 이는 특징이 강한 얼굴과 과장된 표현, 그리고 비호감형에 대해서는 한국인과 거리가 멀다고 느끼는 것을 알 수 있었다. 본 연구에서 정리한 애니메이션에서 자주 등장하는 7가지 성격별 한국인 여성 캐릭터와 그에 따른 해당 성격과의 상관관계에 대한 반응에서는 73.5%의 일치율을 보였는데, 이는 한국인 여성 캐릭터의 성격에 따른 얼굴 형태소 특징을 동양관상학을 바탕으로 접근한 것이 한국인 캐릭터 제작에 있어 비교적 효과적일 수 있으며 본 연구에서 제작한 캐릭터는 실제의 얼굴을 바탕으로 하고 있지만, 성격별 얼굴의 각 부분별 특징을 캐릭터 제작에 적용한다면 보다 다양한 한국인 여성 캐릭터를 제작할 수 있을 것이다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권10호
• /
• pp.461-470
• /
• 2023

딥러닝을 활용한 스피치 애니메이션 생성은 영어를 중심으로 활발하게 연구되어왔지만, 한국어에 관해서는 사례가 없었다. 이에, 본 논문은 최초로 지도 학습 딥러닝을 한국어 스피치 애니메이션 생성에 활용해 본다. 이 과정에서, 딥러닝이 스피치 애니메이션 연구를 그 지배적 기술인 음성 인식 연구로 귀결시킬 수 있는 중요한 효과를 발견하게 되어, 이 효과를 한국어 스피치 애니메이션 생성에 최대한 활용하는 방법을 고찰한다. 이 효과는 연구의 최우선 목표를 명확하게 하여, 근래에 들어 활발하지 않은 한국어 스피치 애니메이션 연구를 효과적이고 효율적으로 재활성화하는데 기여할 수 있다. 본 논문은 다음 과정들을 수행한다: (i) 블렌드쉐입 애니메이션 기술을 선택하며, (ii) 딥러닝 모델을 음성 인식 모듈과 표정 코딩 모듈의 주종 관계 파이프라인으로 구현하고, (iii) 한국어 스피치 모션 캡처 dataset을 제작하며, (iv) 두 대조용 딥러닝 모델들을 준비하고 (한 모델은 영어 음성 인식 모듈을 채택하고, 다른 모델은 한국어 음성 인식 모듈을 채택하며, 두 모델이 동일한 기본 구조의 표정 코딩 모듈을 채택한다), (v) 두 모델의 표정 코딩 모듈을 음성 인식 모듈에 종속되게 학습시킨다. 유저 스터디 결과는, 한국어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (4.2/5.0 점 획득)이, 영어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (2.7/5.0 점 획득)에 비해 결정적으로 더 자연스러운 한국어 스피치 애니메이션을 생성함을 보여 주었다. 이 결과는 한국어 스피치 애니메이션의 품질이 한국어 음성 인식의 정확성으로 귀결됨을 보여 줌으로써 상기의 효과를 확인해준다.

• 디지털콘텐츠학회 논문지
• /
• 제9권2호
• /
• pp.331-339
• /
• 2008

본 논문에서는 3D 립싱크 애니메이션에 필요한 키 데이터를 생성하는 효율적이고 정확한 시스템 개발을 제안한다. 여기서 개발한 시스템은 한국어를 기반으로 발화된 음성 데이터와 텍스트 정보에서 한국어 음소를 추출하고 분할된 음소들을 사용하여 정확하고 자연스러운 입술 애니메이션 키 데이터를 계산한다. 이 애니메이션 키 데이터는 본 본문에서 개발한 3D 립싱크 애니메이션 시스템뿐만 아니라 상업적인 3D 얼굴 애니메이션 시스템에서도 사용된다. 전통적인 3D 립싱크 애니메이션 시스템은 음성 데이터를 영어 음소 기반으로 음소를 분할하고 분할된 음소를 사용하여 립싱크 애니메이션 키 데이터를 생성한다. 이러한 방법의 단점은 한국어 콘텐츠에 대해 부자연스러운 애니메이션을 생성하고 이에 따른 추가적인 수작업이 필요하다는 것이다. 본 논문에서는 음성 데이터와 텍스트 정보에서 한국어 음소를 추출하고 분할된 음소를 사용하여 자연스러운 립싱크 애니메이션을 생성하는 3D 립싱크 애니메이션 시스템을 제안한다.