• 디지털융복합연구
• /
• 제10권7호
• /
• pp.253-259
• /
• 2012

본 연구에서는 대화구문 기반 영상 콘텐츠를 위한 캐릭터 제작 흐름을 설정하고, 폼 노아의 마우스 차트를 활용하여 3D 캐릭터에 lip-sync Animation을 적용해 캐릭터를 제작해보았다. 애니메이션 프레임 간 부드러운 연출이 가능한 Vertex Animation Morphing 기법은 자연스러운 입 모양을 표현함으로써 시각적인 정보의 전달을 통해 캐릭터에 대한 몰입감을 높이고 학습자에게 종전보다 높은 전달력을 가질 수 있을 것으로 사료된다.

• 만화애니메이션 연구
• /
• 통권13호
• /
• pp.97-114
• /
• 2008

본 논문은 선 녹음을 전제로 이루어지는 미국권 애니메이션 영어 립싱크(Lip-sync)의 제작 방법을 분석하여, 한국 애니메이션에 응용이 되도록 한글 자음과 모음의 형태에 입각한 입모양을 연구한다. 현업에 종사하는 캐릭터 애니메이터들을 위해 선 녹음으로 행해지는 한국어 립싱크에 대한 개념의 이해를 돕도록 하고, 특성이 다른 각 캐릭터들에게 응용이 가능하도록 한국어 표현을 위한 최소한의 기본 입모양들이 소개가 되도록 연구를 진행하였다. 서론에서는 국산 애니메이션의 한국어 립싱크의 필요성을 언급하고 미국의 한 프로덕션의 예를 들어 영어 립싱크 데이터에 근거한 한국어 립싱크 데이터의 연구방법을 소개하였다. 본론에서는 영어발음의 표현방법에 필요한 8가지 기본 입모양으로 각각의 특성과 역할을 보여주고 영어 표현에서는 필요하지만 한국어 표현에서는 필요치 않은 입모양을 삭제하고, 반대로 영어 표현에서는 필요하지 않지만 한국어 표현을 위해 필요한 입모양을 새로 만들어서 정리하였다. 이 결과를 가지고 한국어 표현을 위해 각 입모양이 어떻게 쓰이는지 각종 예를 들어 도표로 만들고 자음과 모음, 그리고 받침에 쓰일 때 어떻게 입모양이 달라지는지 연구하였다. 사례연구에서는 대사를 익스포져 시트(Exposure sheet)에 옮겨 적는 법과 립싱크에 맞도록 입모양들을 나열하는 방법을 제시하여 실제 작품제작에 사용될 수 있도록 하였으나 우리나라에서는 체계적인 한국어 립싱크 데이터를 가지고 애니메이션 프로덕션을 진행한 전례가 없기 때문에 부득이하게 한국 영화중 대사의 한 부분을 예로 사용하였다.

• 한국인터넷방송통신학회논문지
• /
• 제18권3호
• /
• pp.127-134
• /
• 2018

본 논문에서는 한국어를 기반으로 음성 데이터와 텍스트 정보에서 한국어 음소를 추출하고 분할된 음소들을 사용하여 정확하고 자연스러운 3D 립싱크 애니메이션을 제작하기 위한 오토 립싱크 Maya 플러그인을 개발하였다. 여기서 개발된 시스템에서는 음소 분할은 Microsoft Speech API 엔진 SAPI에서 제공하는 49개의 음소를 참조하여 한글에 사용되는 음소들을 모음 8개, 자음 13개로 분류하였다. 또한 모음과 자음의 발음들은 다양한 입모양을 가지지만 일부 동일한 입모양에 대하여 같은 Viseme을 적용할 수 있도록 구현하였다. 이를 바탕으로 파이썬(Python) 기반의 오토 립싱크 Maya 플러그인을 개발하여 립싱크 애니메이션이 한 번에 자동으로 구현할 수 있게 하였다.

• 한국정보전자통신기술학회논문지
• /
• 제6권4호
• /
• pp.201-207
• /
• 2013

음성인식에 관한 연구는 꾸준히 발전되어 다양한 분야에서 제품에 적용되고 있으며, 특히 스마트폰과 차량의 내비게이션 시스템과 같은 정보기기에서의 적용은 매우 활발히 이루어지고 있는 것이 현실임에도 불구하고 음성인식 연구에서 한국어의 음운 특성을 고려한 연구는 미흡한 것도 현실이다. 디지털 콘텐츠에서 일반적으로 립 싱크의 제작은 애니메이터의 수작업을 반드시 필요로 하며, 이는 시간의 투입을 요하는 지루한 작업이다. 립 싱크를 자동 생성하는 응용 소프트웨어를 사용하기도 하나 반드시 수작업으로 수정과 보정 단계가 요구될 뿐만 아니라 영어 기반으로 제작된 립 싱크 자동생성 소프트웨어를 적용하므로 한국어 음운체계가 달라 자연스러운 립 싱크를 얻기 위하여 많은 시간과 노력이 요구된다. 따라서 본 연구에서는 한국어 음운체계를 고려한 가상 오브젝트들의 립 싱크를 자동 생성하기 위한 화자 독립 기반 한국어 단모음 실시간 인식 알고리즘을 개발을 목표로 하며, 그 인식 결과는 립 싱크의 애니메이션 키로 활용하고자 한다.

• 문화기술의 융합
• /
• 제9권4호
• /
• pp.409-414
• /
• 2023

본 연구는 로우폴리곤 캐릭터 애니메이션에서 감정과 성격을 표현하는 데 중요한 역할을 차지하는 캐릭터 표정과 애니메이션을 구현하는 방법을 기술하였다. 영상 산업의 발달로 애니메이션에서의 캐릭터 표정과 입 모양 립싱크는 실사와 가까운 수준으로 자연스러운 모션을 구현할 수 있게 되었다. 그러나 비전문가의 경우 전문가 수준의 고급 기술을 사용하기에 어려움이 있다. 따라서 우리는 저예산의 로우폴리곤 캐릭터 애니메이션 제작자나 비전문가를 위해 접근이 쉽고 사용성이 높은 기능을 사용하여 입 모양 립싱크를 조금 더 자연스럽게 연출할 수 있도록 가이드를 제시하는 것을 목적으로 하였다. 입 모양 립싱크 애니메이션은 'ㅏ', 'ㅔ', 'ㅣ', 'ㅗ', 'ㅜ', 'ㅡ', 'ㅓ'와 구순음을 표현하는 입 모양 총 8가지를 개발하였다. 표정 애니메이션의 경우 폴 에크먼이 분류한 인간의 기본감정인 놀람, 두려움, 혐오, 분노, 행복, 슬픔의 여섯 가지에 선행 연구를 참고로 활용도가 높은 흥미, 지루함, 통증을 더하여 총 아홉 가지 애니메이션을 제작하였다. 본 연구는 복잡한 기술이나 프로그램을 사용하지 않고 모델링 프로그램에 내장된 기능을 사용하여 자연스러운 애니메이션을 손쉽게 제작할 수 있도록 함에 의의가 있다.

• 한국융합학회논문지
• /
• 제1권1호
• /
• pp.69-75
• /
• 2010

영상매체를 이용한 영어 교육은 단순히 청각만을 이용한 방법보다 피교육생에게 사실적인 발음표현과 콘텐츠 몰입감 증대등의 측면에서 중요성이 높아지고 있다. 영어교육 콘텐츠에 등장하는 캐릭터들은 음성에 영어 발음에 맞추어진 사실적인 입모양을 표현키 위하여 많은 노력을 들이 있다. 이 논문에서는 교사가 손쉽게 영상 콘텐츠를 제작할 수 있도록 도와줄, 대화구문기반 교육용 콘텐츠 저작시스템을 이용하는 사용자에게 사실적인 lip-sync 애니메이션을 제작할 수 있도록 하여 교육의 능률을 높일 수 있도록 3D 캐릭터를 사례로 제작하였다. 폼 노아 마우스 차트를 활용한 입모양과 발음의 연관구조를 분석하고, 캐릭터의 컨셉 디자인에서 모델링, 맵핑, 애니메이팅 과정을 거쳐 익스포트로 최적화된 캐릭터데이터를 추출해 보았다. 입모양과 연계되는 손동작, 몸동작도 추후 연구에서 다루어질 때 보다 효율적인 교육용콘텐츠를 위한 3D캐릭터 제작이 될 것으로 사료된다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.257-269
• /
• 2023

최근 딥러닝 모델을 통해 사진이나 영상을 활용하여 영상 합성을 수행하는 것에 대한 요구가 높아지고 있다. 기존 영상 합성 모델의 경우 주어진 영상으로부터 모션 정보만을 전이하여 사진에 대한 애니메이션 효과를 생성하였다. 하지만 이러한 합성 모델의 경우 음성에 따른 립싱크가 불가능하다는 문제와 함께 합성 결과물의 화질이 떨어진다는 문제점이 있다. 문제를 해결하기 위해 본 논문에서는 이미지 애니메이션 기법을 기반으로 한 새로운 프레임워크에 대해 설명한다. 본 프레임워크에서는 합성하려는 사진과 영상, 그리고 오디오를 제공하면 사진의 인물 특징을 유지한 채 주어진 영상의 행동을 따라 움직이는 것뿐만 아니라 음성에 맞게 발화하는 모습도 함께 합성하여 모션 전이와 함께 립싱크를 수행한 합성 결과물을 생성한다. 또한 초해상화 기법을 영상 합성물에도 활용하여 더욱 고화질, 고해상도의 합성 결과물을 제공하도록 구성하였다.

• 한국음향학회지
• /
• 제20권3호
• /
• pp.63-69
• /
• 2001

본 논문에서는 자연스러운 얼굴 합성을 위한 코퍼스 기반의 립싱크 알고리듬을 제안한다. 립싱크 알고리듬을 개발하기 위하여 여성 아나운서의 시청각 코퍼스를 구축하였다 코퍼스 구축시, 입술파라미터 추출하기 위하여 여성화자의 얼굴에 스티커를 붙이고, 이의 위치를 영상처리기법에 의하여 얻었다. 그리고 길이, 세기 그리고 피치의 운율정보를 얻기 위하여 음성을 HTK (hidden Markov tool kit)를 사용하여 레이블 하였다. 립싱크의 기본단위로는 자음-모음-자음의 음절단위를 사용하였는데, 구축된 시청각 코퍼스는 입술의 정보 그리고 음운론적, 운율적 정보를 포함하는 음절들로 구성된다. 입술합성시에는 입력된 텍스트로부터 음절의 열을 만들고 각 음절에 적절한 대표들을 코퍼스로부터 N개씩 선정후, 최적의 열은 비터비탐색을 통하여 얻었다. 이를 위하여 음운론적 거리와 운율거리 함수가 정하였다. 컴퓨터 모의실험결과 제안된 알고리듬이 좋은 성능을 보임을 확인할 수 있었으며, 특히 립싱크에서는 길이정보뿐 아니라 길이와 피치의 정보도 유용함을 밝혔다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 2부
• /
• pp.362-369
• /
• 2006

3 차원 그래픽스에 적용하는 한국어 립씽크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립씽크를 자동적으로 생성하도록 하는 디자인 시스템을 연구 개발하였다. 페이셜애니메이션은 크게 나누어 감정 표현, 즉 표정의 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션 부분으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 영어권 및 일본어 권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴특징점의 3 차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3 차원 대화 애니메이션을 생성하는 한국어 립싱크합성 시스템을 개발 실제 캐릭터 디자인과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3 차원 캐릭터 애니메이션뿐만 아니라 아바타를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 즉 3 차원 그래픽스 기술을 활용하는 영상디자인 분야와 HCI 에 적용할 수 있는 양면적 특성을 지니고 있다. 휴먼 커뮤니케이션은 언어적 대화 커뮤니케이션과 시각적 표정 커뮤니케이션으로 이루어진다. 즉 페이셜애니메이션의 적용은 보다 인간적인 휴먼 커뮤니케이션의 양상을 지니고 있다. 결국 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타를 활용한 인터페이스 디자인과 가상현실 분야에 보다 폭넓게 활용될 수 있다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2000년도 추계학술발표논문집
• /
• pp.451-454
• /
• 2000

본 논문은 한글 단어에 따른 한글 발음에 적합한 입술의 움직임을 자동 생성하며 또한 단어에 적절한 얼굴 보정을 생성할 수 있는 입순 움직임과 얼굴 표정을 동기화하는 3차인 일관애니메이션 편집기를 구축하였다. 얼굴 애니메이션 편집기에서 얼굴 표정은 근육 기반 모델 방법으로 정의된 각 얼굴 부위별 근육에 따라 가중치를 조절하여 생성하여 입술 움직임은 텍스트 구동 방법으로 음소에 따른 정의된 입모양 연속적으로 표현하여 동작한다. 또한 이렇게 생성된 얼굴 표정을 저장관리한다. 따라서 3차원 얼굴 애니메이션 편집기는 6가지의 기본 얼굴 표정을 자동적으로 생성할 수 있으며 또한 입력 단어에 적합하도록 각 얼굴 부위별 근육 움직임을 편집한 수 있다. 이렇게 생성된 얼굴 표정들은 데이터베이스에 저장관리할 수 있으며 컴퓨터 대화시 자동적으로 입력 단어에 적합한 입술의 움직임과 얼굴 표정을 동기화하여 자연스러운 3차원 얼굴 애니메이션을 표현할 수 있다.