• The Journal of Korea Robotics Society
• /
• v.3 no.4
• /
• pp.270-277
• /
• 2008

The development of a face robot basically targets very natural human-robot interaction (HRI), especially emotional interaction. So does a face robot introduced in this paper, named Buddy. Since Buddy was developed for a mobile service robot, it doesn't have a living-being like face such as human's or animal's, but a typically robot-like face with hard skin, which maybe suitable for mass production. Besides, its structure and mechanism should be simple and its production cost also should be low enough. This paper introduces the mechanisms and functions of mobile face robot named Buddy which can take on natural and precise facial expressions and make dynamic gestures driven by one laptop PC. Buddy also can perform lip-sync, eye-contact, face-tracking for lifelike interaction. By adopting a customized emotional reaction decision model, Buddy can create own personality, emotion and motive using various sensor data input. Based on this model, Buddy can interact probably with users and perform real-time learning using personality factors. The interaction performance of Buddy is successfully demonstrated by experiments and simulations.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.362-369
• /
• 2006

3 차원 그래픽스에 적용하는 한국어 립씽크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립씽크를 자동적으로 생성하도록 하는 디자인 시스템을 연구 개발하였다. 페이셜애니메이션은 크게 나누어 감정 표현, 즉 표정의 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션 부분으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 영어권 및 일본어 권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴특징점의 3 차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3 차원 대화 애니메이션을 생성하는 한국어 립싱크합성 시스템을 개발 실제 캐릭터 디자인과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3 차원 캐릭터 애니메이션뿐만 아니라 아바타를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 즉 3 차원 그래픽스 기술을 활용하는 영상디자인 분야와 HCI 에 적용할 수 있는 양면적 특성을 지니고 있다. 휴먼 커뮤니케이션은 언어적 대화 커뮤니케이션과 시각적 표정 커뮤니케이션으로 이루어진다. 즉 페이셜애니메이션의 적용은 보다 인간적인 휴먼 커뮤니케이션의 양상을 지니고 있다. 결국 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타를 활용한 인터페이스 디자인과 가상현실 분야에 보다 폭넓게 활용될 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.13 no.6
• /
• pp.225-232
• /
• 2008

When a single source of multimedia contents is distributed to multiple reproduction devices, the audio and video contents require synchronous play for multi-channel stereo sound and lip-synchronization. The multimedia system in vehicle, especially, has researched to move to wireless environments from legacy wired environments. This paper proposes the advanced algorithm for providing synchronized services of real-time multimedia traffic in IEEE 802.11 WLANs [1]. For these, we implement the advanced IEEE 1588 Precision Time Protocol [2] and the environments for simulation. Also, we estimate and analysis performance of the algorithm, then we experiment and analysis after the porting of algorithm in wireless LAN devices (Linksys wrt-350n AP network device) to characterize timing synchronization accuracy.

• Journal of Intelligence and Information Systems
• /
• v.29 no.4
• /
• pp.257-269
• /
• 2023

There is currently a burgeoning demand for image synthesis from photos and videos using deep learning models. Existing video synthesis models solely extract motion information from the provided video to generate animation effects on photos. However, these synthesis models encounter challenges in achieving accurate lip synchronization with the audio and maintaining the image quality of the synthesized output. To tackle these issues, this paper introduces a novel framework based on an image animation approach. Within this framework, upon receiving a photo, a video, and audio input, it produces an output that not only retains the unique characteristics of the individuals in the photo but also synchronizes their movements with the provided video, achieving lip synchronization with the audio. Furthermore, a super-resolution model is employed to enhance the quality and resolution of the synthesized output.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.384-387
• /
• 2016

본 논문에서는 4K UHD 방송장비 중 디스플레이기기와 인코더의 성능 시험을 위해 개발된 패턴 발생장비를 소개하고 있다. 패턴의 제작 및 재생 방법에 따라 표출되는 패턴의 종류를 그래픽/실사, 정지/동영상으로 구분할 수 있는데 본 논문에서는 모션블러, 모션져더, AV lip sync, 텍스트 주변 인코딩 화질 열화 확인, 화이트 노이즈, 프레임 누락, HDR 확인, 지연시간 측정, 계단현상 확인, 이미지 스티킹 등 그래픽 동영상 패턴에 대해 각각의 제작 의도를 설명하고 이를 통해 디스플레이기기와 인코더의 성능을 평가하는 방법에 대한 간략한 소개와 개발된 패턴발생장비의 입출력 사양을 제시하고 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04a
• /
• pp.433-435
• /
• 2002

최근 고속 통신망과 멀티미디어 기술의 급속한 발전으로 다양한 멀티미디어 서비스에 대한 연구와 그에 대한 응용 개발이 활발하게 이루어지고 있다. 그러나, 멀티미디어 응용 서비스는 기존의 단일미디어 서비스와는 달리 다양한 미디어의 통합된 전송을 필요로 하며, 개별 미디어의 정확한 연속성 및 관련된 미디어들 간의 적절한 시간적 동기화가 확보된 실시간 재생이 요구되는 고도화된 저리 기술을 필요로 하기 때문에 멀티미디어 동기화 알고리즘에 대한 연구는 필수적이고 매우 중요하다고 볼 수 있다. 본 논문은 Multimedia Data Streaming을 위만 미디어 동기 방식 제어 알고리즘을 고안 및 Lip Sync방식 설계에 그 연구 목적이 있다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.451-454
• /
• 2000

본 논문은 한글 단어에 따른 한글 발음에 적합한 입술의 움직임을 자동 생성하며 또한 단어에 적절한 얼굴 보정을 생성할 수 있는 입순 움직임과 얼굴 표정을 동기화하는 3차인 일관애니메이션 편집기를 구축하였다. 얼굴 애니메이션 편집기에서 얼굴 표정은 근육 기반 모델 방법으로 정의된 각 얼굴 부위별 근육에 따라 가중치를 조절하여 생성하여 입술 움직임은 텍스트 구동 방법으로 음소에 따른 정의된 입모양 연속적으로 표현하여 동작한다. 또한 이렇게 생성된 얼굴 표정을 저장관리한다. 따라서 3차원 얼굴 애니메이션 편집기는 6가지의 기본 얼굴 표정을 자동적으로 생성할 수 있으며 또한 입력 단어에 적합하도록 각 얼굴 부위별 근육 움직임을 편집한 수 있다. 이렇게 생성된 얼굴 표정들은 데이터베이스에 저장관리할 수 있으며 컴퓨터 대화시 자동적으로 입력 단어에 적합한 입술의 움직임과 얼굴 표정을 동기화하여 자연스러운 3차원 얼굴 애니메이션을 표현할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.619-621
• /
• 2000

최근 인터넷 기술의 발달로 인한 실시간 인터넷 동영상 서비스 등 인터넷을 이용한 방송사업이 활성화되어지고 이에 부가적으로 애니메이션이 감각적 서비스를 지원하고 있는 실정이나 고가의 모션캡쳐 시스템을 통한 캡쳐된 좌표를 적절한 보정을 한 후에 캐릭터를 움직이는 방법으로 이루어지고 있다. 이러한 모션캡쳐 시스템을 통한다면 시스템 및 장비 자체가 고가이고 또한 실시간으로 처리하기 위하여는 좌표값 보정 등이 필요하지만 본 논문에서 제안하는 좌표 추출 및 추적 기법을 이용하여 저가의 가정용 멀티미디어 오버레이 캡쳐보드와 CCD 카메라를 통하여 영상을 캡쳐하고 캡쳐된 영상좌표와 실험용 GDI object를 링크시켜 실시간으로 사람의 입술의 움직임 모양대로 애니메이션이 립싱크되어서 움직여지는 것을 볼 수 있으며, 더 나아가서 외화의 우리말 더빙시 영상처리를 통한 정교한 화면 더빙 및 가상 캐릭터를 이용한 사이버 미팅가지 가능할 것이다.

• Annual Conference of KIPS
• /
• 2002.04b
• /
• pp.1329-1332
• /
• 2002

최근 고속 통신망과 멀티미디어 기술의 급속한 발전으로 다양한 멀티미디어 서비스에 대한 연구와 그에 대한 응용 개발이 활발하게 이루어지고 있다. 그러나, 멀티미디어 응용 서비스는 기존의 단일미디어 서비스와는 달리 다양한 미디어의 통합된 전송을 필요로 하며, 개별 미디어의 정확한 연속성 및 관련된 미디어들 간의 적절한 시간적 동기화가 확보된 실시간 재생이 요구되는 고도화된 처리 기술을 필요로 하기 때문에 멀티미디어 동기화 알고리즘에 대한 연구는 필수적이고 매우 중요하다고 볼 수 있다. 본 논문은 Multimedia Data Streaming 을 위한 미디어 동기 방식 제어 알고리즘 고안 및 Lip Sync 방식 설계에 그 연구 목적이 있다.