• 제목/요약/키워드: Talking heads

검색결과 2건 처리시간 0.014초

RNN을 이용한 Expressive Talking Head from Speech의 합성 (Synthesis of Expressive Talking Heads from Speech with Recurrent Neural Network)

  • 사쿠라이 류헤이;심바 타이키;야마조에 히로타케;이주호
    • 로봇학회논문지
    • /
    • 제13권1호
    • /
    • pp.16-25
    • /
    • 2018
  • The talking head (TH) indicates an utterance face animation generated based on text and voice input. In this paper, we propose the generation method of TH with facial expression and intonation by speech input only. The problem of generating TH from speech can be regarded as a regression problem from the acoustic feature sequence to the facial code sequence which is a low dimensional vector representation that can efficiently encode and decode a face image. This regression was modeled by bidirectional RNN and trained by using SAVEE database of the front utterance face animation database as training data. The proposed method is able to generate TH with facial expression and intonation TH by using acoustic features such as MFCC, dynamic elements of MFCC, energy, and F0. According to the experiments, the configuration of the BLSTM layer of the first and second layers of bidirectional RNN was able to predict the face code best. For the evaluation, a questionnaire survey was conducted for 62 persons who watched TH animations, generated by the proposed method and the previous method. As a result, 77% of the respondents answered that the proposed method generated TH, which matches well with the speech.

다큐멘터리에서의 인터뷰 활용 방식 연구 (The Use of Interviews in Documentary Films)

  • 조현준
    • 트랜스-
    • /
    • 제7권
    • /
    • pp.103-121
    • /
    • 2019
  • 다큐멘터리 영화에서 인터뷰가 전혀 없는 경우도 있지만 인터뷰가 있는 경우 연출자는 인터뷰를 활용하여 본인의 주장을 제시하고 관객들이 그것을 따르게끔 유도한다. 인터뷰는 인물 중심의 다큐멘터리에서 전반적인 내용을 이끌어나가는 경우가 많기 때문에 무엇보다 중요한 역할을 차지한다. 어떤 연출가는 일반 대화 형식의 인터뷰 스타일로서 연출자의 질문과 인터뷰이의 답변이 모두 드러나는 형식의 인터뷰를 선호한다. 반대로 연출자의 질문은 배재된 채 인터뷰이의 답변으로만 스토리를 전개시켜나가는 방식을 채택하는 연출자들도 있다. 그렇다면 우리는 두 가지 방법을 사용한 다큐멘터리 스타일을 파악하여 새로운 시각을 통한 관람이 필요할 것이다. 다큐멘터리 영화 제작에서는 윤리적 쟁점이 항상 중심이 되고 "사실"을 토대로 한다는 전재가 있기 때문에 다큐멘터리가 지니고 있는 영향력은 매우 크다. 그러나 이러한 '사실'이 과장되거나 조작될 수 있는 부분은 존재한다. 그렇기에 관객들은 다큐멘터리 제작자의 의도를 파악하는 것이 좋을 것이다. 또한 다큐멘터리에 관한 연구는 지금까지 끊임없이 논의되고 있지만 이러한 인터뷰가 다큐멘터리 영화에서 어떤 방식으로 사용되고 있는지에 대한 언급은 찾아보기 힘들다. 실제로 두 종류의 다큐멘터리는 인터뷰 연출방식에서부터 큰 차이를 보이기 때문에 이러한 차이점이 어떤 측면에서 두드러지게 나타나는지를 살펴보는 것이 다큐멘터리의 본질을 파악하고 이해하는데 우선적으로 필요할 것이다. 이 연구에서는 마이클 무어 감독의 <볼링 포 콜롬바인>(2002)과 <식코>(2007)를 바탕으로 인터뷰에서의 감독의 질문 형태를 분석하고 감독의 목소리가 개입이 될 경우 인터뷰의 흐름이 어떤 방식으로 바뀔 수 있는 지를 살펴본다. 반대로 감독의 목소리가 배제된 채 인터뷰이의 말로만 내용이 구성되어있는 김일란과 홍지유 감독의 <두개의 문>(2011)과 Jim Butterworth, Aeron Lubarsky, Lisa Sleeth 감독의 <서울기차>(2005), 그리고 팀 헤더링톤과 세바스찬 정거 감독의 <레스트레포>(2010)에서의 인터뷰를 바탕으로 디졸브, 크로스 커팅, 플래시백 등의 편집 기술이 감독의 주관적인 입장을 어떻게 대변하는지 연구해보고 그에 따른 표현 양식을 분석한다.

  • PDF