• 제목/요약/키워드: Talking

검색결과 312건 처리시간 0.023초

RNN을 이용한 Expressive Talking Head from Speech의 합성 (Synthesis of Expressive Talking Heads from Speech with Recurrent Neural Network)

  • 사쿠라이 류헤이;심바 타이키;야마조에 히로타케;이주호
    • 로봇학회논문지
    • /
    • 제13권1호
    • /
    • pp.16-25
    • /
    • 2018
  • The talking head (TH) indicates an utterance face animation generated based on text and voice input. In this paper, we propose the generation method of TH with facial expression and intonation by speech input only. The problem of generating TH from speech can be regarded as a regression problem from the acoustic feature sequence to the facial code sequence which is a low dimensional vector representation that can efficiently encode and decode a face image. This regression was modeled by bidirectional RNN and trained by using SAVEE database of the front utterance face animation database as training data. The proposed method is able to generate TH with facial expression and intonation TH by using acoustic features such as MFCC, dynamic elements of MFCC, energy, and F0. According to the experiments, the configuration of the BLSTM layer of the first and second layers of bidirectional RNN was able to predict the face code best. For the evaluation, a questionnaire survey was conducted for 62 persons who watched TH animations, generated by the proposed method and the previous method. As a result, 77% of the respondents answered that the proposed method generated TH, which matches well with the speech.

한국어 원거리 음성의 운율적 특성 (Prosodic Characteristics of Korean Distant Speech)

  • 김선희;김종진;이숙향
    • 한국음향학회지
    • /
    • 제25권3호
    • /
    • pp.137-143
    • /
    • 2006
  • 본 논문의 목적은 한국어 원거리 음성의 운율적 특성을 규명하는 것으로, 36개의 2음절어를 4명의 화자 (여성 화자 2명, 남성 화자 2명)가 원거리 환경과 일반환경에서 발화한 총 288개의 2음절어를 분석대상으로 하였다. 실험 결과 지속시간과 에너지의 경우는 일반 음성에 비하여 원거리 음성의 첫음절에 대한 둘째음절의 비율이 유의미하게 큰 것으로 나타났다. F0 대역폭의 경우에도 원거리 음성에서의 대역폭이 평이 음성에 비해 큰 값을 보였다. 억양 패턴에 있어서는 원거리 음성의 경우에 둘째음절에 'HL%'의 복합 경계성조가 실현되거나 첫음절에 'L+H' 성조가 실현되기도 하였으며 이 두 가지가 한 단어에 모두 실현되는 경우도 있었다.

정상 성인 및 아동의 구어속도에 관한 연구 (The Study of Speech Rate in Normal-Speaking Adults and Children)

  • 안종복;신명선;권도하
    • 음성과학
    • /
    • 제9권4호
    • /
    • pp.93-103
    • /
    • 2002
  • The purpose of this study was to establish preliminary data on the speech rates in groups of normal speaking adults and children. The results of the present study are intended to serve as clinical measurement guidelines for diagnosis, assessment, treatment planning, and therapy progresses of stuttering. Thirty-one adults (16 females, 15 males), aged 18-30 years and thirty normally developing children (15 females, 15 males), aged 8-10, participated in the study. The subjects' reading of the Stroll (Jeong, 1994) passage and l-minute portion of talking about the daily routine were sampled. The adult speakers had rates of $308.29\pm22.57$ syllables per minute (SPM) or $108.06\pm6.17$ words per minute (WPM) during reading, and $252.87\pm40.86$ SPM and $92.26\pm17.12$ WPM during talking. The children had rates of $176.67\pm33.65$ SPM or $64.07\pm12.62$ WPM during reading, and $149.30\pm33.14$ SPM and $56.60\pm11.36$ WPM during talking. The results of t-tests for reading and talking tasks in adults showed that SPM in reading (t=2.211, p< .05) and WPM in talking (t=-2.284, p< .05) differed significantly by the gender. To answer the questions whether the rate is different across children' s gender and age, a two-way ANOVA was performed. Both SPM and WPM in reading tasks were significantly different between groups of children aged 8 and 10 (p< 01), In speaking tasks, both SPM and WPM were significantly different between groups of children aged 8 and 10, and between 9 and 10.

  • PDF

문화 소재 중심의 중국어 회화교재에 대한 일고 - 『설한어(說漢語) 담문화(談文化)』의 문제점 분석과 극복방안으로서의 한·일 교재 검토 (A Study on the Conversation Textbooks with Chinese Culture: an Analysis of the Problems on Talking Culture and Comparison with Textbooks of Korea, Japan)

  • 박찬욱
    • 비교문화연구
    • /
    • 제40권
    • /
    • pp.133-158
    • /
    • 2015
  • 본고는 문화 소재 중심의 중국어 회화교재인 "설한어(說漢語) 담문화(談文化)(이하 담문화(談文化))"의 대화구조 분석을 토대로 문화를 다루는 방향성을 성찰하고 언어 사회화란 관점에서 어 문 문화 통합성을 지향하는 교재생산을 제안하는 데 목적이 있다. 이를 위해 본고는 언어 사회화에 대한 정의를 살펴보고 교실에서 이뤄지는 외국어 교육과정에서의 사회화에 대해 고찰해본다. 그리고 사회화의 기본 가정중 하나인 언어와 문화 간 관계를 성찰하기 위해 회화교재의 출판경향과 문화 중심의 회화서인 "담문화(談文化)"의 기술 방향 및 회화 속 역할 분담의 경향을 분석한다. 나아가 분석 결과를 보완하는 방법의 하나로서 한국과 일본의 문화교재를 검토하고 인문 통합적 성격의 회화교재 생산을 제안한다.

음향반향제거기에서 암묵신호분리를 이용한 동시통화처리 (Double Talk Processing using Blind Signal Separation in Acoustic Echo Canceller)

  • 이행우
    • 디지털산업정보학회논문지
    • /
    • 제12권1호
    • /
    • pp.43-50
    • /
    • 2016
  • This paper is on an acoustic echo canceller solving the double-talk problem by using the blind signal separation technology. The acoustic echo canceller may be deteriorated or diverged during the double-talk period. So we use the blind signal separation to detect the double talking by separating the near-end speech signal from the mixed microphone signal. The blind signal separation extracts the near-end signal from dual microphones by the iterative computations using the 2nd order statistical character in the closed reverberation environment. By this method, the acoustic echo canceller operates irrespective of the double-talking. We verified performances of the proposed acoustic echo canceller in the computer simulations. The results show that the acoustic echo canceller with this algorithm detects the double-talk periods well, and then operates stably without diverging of the coefficients after ending the double-talking. The merits are in the simplicity and stability.

태담과 촉각 자극의 모-태아 상호작용 증진 프로그램이 모-태아 애착에 미치는 효과 (The Effect of Mother-fetus Interaction Promotion Program of Talking and Tactile Stimulation on Maternal-fetal Attachment)

  • 김정순;조결자
    • Child Health Nursing Research
    • /
    • 제10권2호
    • /
    • pp.153-164
    • /
    • 2004
  • The purpose of this study is to investigate the effect on mother-fetus attachment through mother-fetus interaction promotion program of talking and tactual stimulation aimed at enhancing sensitivity of primipara Non-equivalent control group posttest design was used. Fifty primiparas (26 mothers for intervention group and 24 mothers for control group) were recruited from three general hospital and an OBGY clinic located in Gang Nung city. Data was collected from January 30th to December 20th in 2001. For the intervention group, programed education which focused on mother-fetus interaction promotion of talking and tactile stimulation in the 1st trimester. Telephone counselling was provided with interval of two weeks. For two groups, home visiting for data collection of mother-fetus attachment was conducted at 36 to 38 weeks of gestational age. The data were analyzed using chi-square test and Fisher' Exact test to test the equivalence of two groups, and the effect of intervention program was determined with t- test. The result was as follow: The significant difference was found in mother-fetus attachment between two groups(t= 2.772, P= 0.0079). It indicated that intervention program was effective in improving mother-fetus attachment. In conclusion, this study has shown that the applied nursing intervention aimed at enhancing sensitivity of primiparas to fetus's movement promoted mother-fetus attachment. Therefore, this study suggests that this nursing intervention to increase maternal sensitivity to the fetus's movement should be broadly applied to primiparas, which can be beneficial for formation of mother-infant relationship, and for promotion of the social, affective, and cognitive developments of their children.

  • PDF

DAISY 포맷 기반의 디지털음성도서 개발 및 서비스 방안 연구 (A Study on Revitalization and Development of Digital Talking Book Based on the DAISY Format)

  • 장보성;김규환;이현정
    • 한국도서관정보학회지
    • /
    • 제40권3호
    • /
    • pp.295-315
    • /
    • 2009
  • 본 연구는 국제 표준인 DAISY 포맷 기반의 독서장애인용 디지털음성도서 저작 도구 개발 및 서비스 활성화 방안을 제안하였다. 현재 한국은 시각장애인들 뿐만 아니라 고령화에 따른 저시력자 및 노인인구의 증가로 인쇄매체를 읽는데 불편함이 있는 독서장애인들이 급속히 증가하고 있다. 이런 독서장애인들을 위한 디지털음성도서 서비스의 필요성이 대두되고 있다. 디지털음성도서 서비스를 위해서는 사용자의 편의성을 충족시킬 수 있는 다양한 기능을 구현할 수 있어야 할 뿐만 아니라 저작권 침해의 문제를 해결해야 한다. 이에 본 연구는 디지털음성도서의 제작 포맷으로 사용되는 국제표준인 DAISY 포맷을 소개하고 DAISY 포맷 기반의 디지털음성도서 개발을 위한 저작 툴 개발 방안을 제안하였다. 또한 DAISY 포맷 기반의 디지털음성도서 서비스 활성화를 위하여, 일본의 저작권법 개정사례와 우리나라의 독서장애인을 위한 제도적 지원체계를 포함한 정책적 방안을 제안하였다.

  • PDF

독서장애인용 디지털음성도서를 위한 음성 어노테이션 기법 (A Voice-Annotation Technique in Mobile E-book for Reading-disabled People)

  • 이경희;이종우;임순범
    • 디지털콘텐츠학회 논문지
    • /
    • 제12권3호
    • /
    • pp.329-337
    • /
    • 2011
  • 디지털 음성 도서는 독서장애인의 독서 환경 개선을 위해 개발되었다. 그러나 기존 디지털 음성 도서에서의 어노테이션 기능(도서에 노트나 하이라이트 등의 주석을 표기하는 행위)은 시력을 필요로 하는 화면 인터페이스를 통해서만 가능했기 때문에 독서장애인들에게는 무용지물이었던 것이 사실이다. 이에 본 논문에서는 듣는 능력과 음성만으로도 노트나 하이라이트 달기 같은 어노테이션 기능을 가능하게 해주는 음성 어노테이션 기법을 제안한다. 디지털음성도서 재생 중 입력된 음성 어노테이션이 어느 문장에 해당하는 것인지를 결정하는 기법을 설계하였으며, 이의 효용성을 검증하기 위해 안드로이드 환경에서 구현하였다. 눈가리개를 착용한 복수의 실험자들을 대상으로 실험한 결과 실험자들이 의도했던 위치에 정확히 어노테이션이 삽입된다는 것을 확인하였다.