• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.131-134
• /
• 2021

지상파 방송에서는 청각장애인을 위해 폐쇄자막(closed caption) 서비스가 제공되고 있지만, 이를 저장하여 VOD 서비스 등에 제공하고자 할 때는 영상과의 비동기화(desynchronization) 문제로 인해 활용할 수 없는 문제가 있다. 본 논문에서는 이를 해결하기 위해 자동 음성인식(automatic speech recognition)과, 자막 동기화 문제에 맞게 변경된 동적계획법(modified dynamic programming)을 이용하는 방법을 제안한다. 문자열 정렬에서 삽입과 삭제 등 간격(gap)의 발생을 제어하는 제약조건과 그에 따른 점수 구조를 적용함으로써 문자열 정렬 성능을 개선한다. 또한 정렬된 폐쇄자막과 음성인식 문자열로부터 시간 동기정보를 복원하고 동기화된 자막을 생성하는 방법을 제안한다. 실제 TV 프로그램과 자막에 적용하여 기존 방법에 비해 성능의 향상이 있음을 확인하였다.

• The Transactions of the Korea Information Processing Society
• /
• v.13 no.4
• /
• pp.166-173
• /
• 2024

This study explores lip-sync detection, focusing on the synchronization between lip movements and voices in videos. Typically, lip-sync detection techniques involve cropping the facial area of a given video, utilizing the lower half of the cropped box as input for the visual encoder to extract visual features. To enhance the emphasis on the articulatory region of lips for more accurate lip-sync detection, we propose utilizing a pre-trained visual attention-based encoder. The Visual Transformer Pooling (VTP) module is employed as the visual encoder, originally designed for the lip-reading task, predicting the script based solely on visual information without audio. Our experimental results demonstrate that, despite having fewer learning parameters, our proposed method outperforms the latest model, VocaList, on the LRS2 dataset, achieving a lip-sync detection accuracy of 94.5% based on five context frames. Moreover, our approach exhibits an approximately 8% superiority over VocaList in lip-sync detection accuracy, even on an untrained dataset, Acappella.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.843-851
• /
• 2006

본 논문에서는 음성에 따른 얼굴 애니메이션을 사실적으로 표현하기 위한 조음기관(혀, 성대 등)의 움직임을 시각화하는 방법을 제시한다. 이를 위해서, 음성에 따른 얼굴 애니메이션을 위한 말뭉치(Corpus)를 생성하고, 생성된 말뭉치에 대해서 음소 단위의 분석(Phoneme alignment) 처리를 한 후, 각 음소에 따른 조음기관의 움직임을 생성한다. 본 논문에서는 조음기관의 움직임 생성을 위해서 얼굴 애니메이션 처리에서 널리 사용되고 있는 기저 모델 기반 형태 혼합 보간 기법(Blend shape Interpolation)을 사용하였다. 그리고 이를 통하여 프레임/키프레임 기반 움직임 생성 사용자 인터페이스를 구축하였다. 구축된 인터페이스를 통해 언어치료사가 직접 각 음소 별 조음기관의 정확한 모션 데이터를 생성토록 한다. 획득된 모션 데이터를 기반으로 각 음소 별 조음기관의 3차원 기본 기저를 모델링하고, 새롭게 입력된 음소 시퀀스(phoneme sequence)에 대해서 동기화된 3차원 조음기관의 움직임을 생성한다. 이를 통해 자연스러운 3차원 얼굴 애니메이션에 적용하여 얼굴과 동기화된 조음 기관의 움직임을 만들어 낼 수 있다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.6 no.2
• /
• pp.72-80
• /
• 1996

본 논문은 카오스 발생회로(chaos generation circuit)를 설계 및 구현하고, 카오스 회로들간의 카오스 동기화(chaos synchronization) 알고리즘을 기초로 하여 카오스 변조통신을 구성하여 음성비화시스템의 구현에 관하여 실험적으로 검증했다. Pecorra와 Carroll 은 카오스 신호로서 카오스 시스템을 구동하면 카오스 동기화가 가능하다고 발표했다. 이러한 제어기법은 카오스 신호의 마스킹과 복원 알고리즘의 등장을 초래했다. 본 연구는 카오스 신호를 발생하기 위하여 상태변수 기법을 이용하여 로렌쯔(Lorenz) 카오스 발생회로를 하드웨어로 구현했다. 수치 실험 및 보드상의 실험에서 카오스 회로는 카오스의 동적특성을 나타냈으며, 카오스 발생회로들간의 카오스 동기제어를 아루었다. 음성비화를 위한 카오스 신호의 변조는 카오스 신호에 음성신호를 가산하여 송신하며, 광대역)spread spectrum)의 카오스 변조통신 (chaotic modulation communication)에서 음성정보는 수신시스템의 카오스 부시스템에서 카오스 신호를 빼내어 신호를 복원한다. 보드상에서 하드웨어로 구현한 카오스 변.복조 통신시스템을 구성하여 음성신호와 비화통신에 카오스 지능제어기법을 적용하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2004.05a
• /
• pp.298-301
• /
• 2004

본 논문은 PDA와 PC의 무선 동기화를 이용한 개인 일정 관리 시스템(PIMS)을 구현하였다. 기존의 PIMS는 PDA와 PC간의 일정 데이터를 동기화함에 있어서 양단을 유선으로 연결하는 방식을 채택하고 있다 그러나 유선 방식을 이용할 경우에는 공간상의 제약을 받게 된다. 또한 PDA는 입력을 위한 키보드가 없으므로 펜(스타일러스)를 이용하는 불편한 입력방식을 채택하고 있다. 본 연구에서는 TCP/IP 소켓을 이용한 데이터의 무선 동기화 기술을 PIMS에 적용시키고, PIMS 사용자의 편의를 제공하기 위해 음성을 통한 정보 입력방식을 구현 하였다 본 연구에서 구현된 시스템은 PDA를 이용하여 사용자가 최신의 일정 정보를 얻게 되는 장점이 있다. 무선 동기화와 음성 입력 방식을 도입함으로 인해 PDA 사용자로 하여금 공간상의 제약을 극복하여 이동성을 향상시켰으며 PIMS의 조작을 용이하게 하였다.

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.627-630
• /
• 2001

본 연구에서는 MPEG 시스템의 동기화 방식에 대해 조사하고, 이를 바탕으로 특정 어플리케이션 개발에 적용 할 오디오/비디오 동기화 시스템을 구현하고자 한다. 먼저 비디오 신호와 오디오 신호를 각각 MPEG-1 시스템의 비디오 압축 방식과 G.722 팡대역 음성 부호화 방식을 이용하여 부호화하고, 부호화된 두 미디어간의 동기화를 위해 시간 정보를 삽입하여 최종적으로 하나의 비트스트림으로 다중화 하고, 다중화된 비트스트림으로부터 오디오/비디오 신호를 각각 분리하여 재생할 수 있음을 보였다.

• Journal of Korea Game Society
• /
• v.19 no.1
• /
• pp.73-84
• /
• 2019

This study is intended to suggest ways to improve the quality of the service of subtitles provided for the convenience of viewing for deaf people on e-sports broadcast content and game streamer content. Generally, subtitling files of broadcast content are manually written on air by stenographers, so a delay of 3 to 5 seconds is inevitable compared to the original content. Therefore, the present study proposed the formation of an automatic synchronization calibration system using speech recognition technology. In addition, a content application experiment using this system was conducted, and the final result confirmed that the time of synchronization error of subtitling data could be reduced to less than 1 second.

• Proceedings of the KSLP Conference
• /
• 2007.03a
• /
• pp.13-13
• /
• 2007

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.461-464
• /
• 2020

지상파 방송에서는 청각장애인을 위해 폐쇄자막(closed caption) 서비스가 제공되고 있다. 현재의 폐쇄자막 방송은 속기사가 실시간으로 방송을 보면서 입력하기 때문에 지연이 있다. 또한 이렇게 입력된 폐쇄자막은 TV 프로그램 영상과 별도로 저장되기 때문에 영상과 그 시작점이 맞지 않는 경우가 대부분이다. 폐쇄자막을 온라인 서비스 등에 제공하고자 할 때 이러한 문제로 인해 영상과의 동기가 맞지 않아 사용이 어렵다. 본 논문에서는 TV 프로그램의 음성을 인식하여 동기화된 텍스트를 추출하고, 이를 기 저장된 폐쇄자막과 정렬하여 동기화하는 방법을 제안한다. 실제 TV 프로그램과 자막에 적용하였을 때 대부분의 음절과 라인에서 동기화가 정확히 이루어짐을 확인하였다.

• Proceedings of the Korea Contents Association Conference
• /
• 2006.11a
• /
• pp.682-686
• /
• 2006

There have been increasing interests in 3D mobile content service with emergence of a terminal equipping with a mobile 3D engine and growth of mobile content market. Mobile 3D Avatar is the most effective product displaying the character of a personalized mobile device user. However, previous studies on the method of expressing 3D Avatar have been mainly focused on natural and realistic expressions according to the change in facial expressions and lip shape of a character in PC based virtual environments. In this paper, we propose a method of synchronizing the lip shape with voice by applying a SMS message received in mobile environments to 3D mobile Avatar. The proposed method enables to realize a natural and effective SMS message reading service of mobile Avatar by disassembling a received message sentence into units of a syllable and then synchronizing the lip shape of 3D Avatar with the corresponding voice.