• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 2부
• /
• pp.362-369
• /
• 2006

3 차원 그래픽스에 적용하는 한국어 립씽크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립씽크를 자동적으로 생성하도록 하는 디자인 시스템을 연구 개발하였다. 페이셜애니메이션은 크게 나누어 감정 표현, 즉 표정의 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션 부분으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 영어권 및 일본어 권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴특징점의 3 차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3 차원 대화 애니메이션을 생성하는 한국어 립싱크합성 시스템을 개발 실제 캐릭터 디자인과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3 차원 캐릭터 애니메이션뿐만 아니라 아바타를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 즉 3 차원 그래픽스 기술을 활용하는 영상디자인 분야와 HCI 에 적용할 수 있는 양면적 특성을 지니고 있다. 휴먼 커뮤니케이션은 언어적 대화 커뮤니케이션과 시각적 표정 커뮤니케이션으로 이루어진다. 즉 페이셜애니메이션의 적용은 보다 인간적인 휴먼 커뮤니케이션의 양상을 지니고 있다. 결국 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타를 활용한 인터페이스 디자인과 가상현실 분야에 보다 폭넓게 활용될 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제13권6호
• /
• pp.225-232
• /
• 2008

단일 멀티미디어 컨텐츠 소스가 다양한 분산된 무선 디바이스에서 재생될 때, 오디오와 비디오 컨텐츠는 멀티 채널 스테레오 사운드와 립싱크 (lip-sync)를 위한 동시적인 플레이가 요구된다. 특히 차량 내의 멀티미디어 시스템은 기존의 유선 환경에서 최근 무선 환경으로의 이전에 대한 연구가 활발히 진행되고 있는 상황이다. 이에 본 논문은 IEEE 802.11 WLANs [1] 환경에서 실시간으로 멀티미디어 트래픽을 전송하기위해 필요한 동기화된 서비스 제공을 목적으로 하는 동기화 알고리즘을 제안한다. 이를 위해 기존의 IEEE 1588 [2]을 개선한 새로운 알고리즘을 구현하고 무선 랜 (WLANs) 환경의 시뮬레이션 환경을 구축하여 그 성능을 평가, 분석한 후 실제 무선 디바이스 (링크시스 wrt-350n AP 네트워크 디바이스)에 이를 포팅 하여 디바이스 간의 동기화 정확도를 실험, 분석하였다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.257-269
• /
• 2023

최근 딥러닝 모델을 통해 사진이나 영상을 활용하여 영상 합성을 수행하는 것에 대한 요구가 높아지고 있다. 기존 영상 합성 모델의 경우 주어진 영상으로부터 모션 정보만을 전이하여 사진에 대한 애니메이션 효과를 생성하였다. 하지만 이러한 합성 모델의 경우 음성에 따른 립싱크가 불가능하다는 문제와 함께 합성 결과물의 화질이 떨어진다는 문제점이 있다. 문제를 해결하기 위해 본 논문에서는 이미지 애니메이션 기법을 기반으로 한 새로운 프레임워크에 대해 설명한다. 본 프레임워크에서는 합성하려는 사진과 영상, 그리고 오디오를 제공하면 사진의 인물 특징을 유지한 채 주어진 영상의 행동을 따라 움직이는 것뿐만 아니라 음성에 맞게 발화하는 모습도 함께 합성하여 모션 전이와 함께 립싱크를 수행한 합성 결과물을 생성한다. 또한 초해상화 기법을 영상 합성물에도 활용하여 더욱 고화질, 고해상도의 합성 결과물을 제공하도록 구성하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.384-387
• /
• 2016

본 논문에서는 4K UHD 방송장비 중 디스플레이기기와 인코더의 성능 시험을 위해 개발된 패턴 발생장비를 소개하고 있다. 패턴의 제작 및 재생 방법에 따라 표출되는 패턴의 종류를 그래픽/실사, 정지/동영상으로 구분할 수 있는데 본 논문에서는 모션블러, 모션져더, AV lip sync, 텍스트 주변 인코딩 화질 열화 확인, 화이트 노이즈, 프레임 누락, HDR 확인, 지연시간 측정, 계단현상 확인, 이미지 스티킹 등 그래픽 동영상 패턴에 대해 각각의 제작 의도를 설명하고 이를 통해 디스플레이기기와 인코더의 성능을 평가하는 방법에 대한 간략한 소개와 개발된 패턴발생장비의 입출력 사양을 제시하고 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
• /
• pp.433-435
• /
• 2002

최근 고속 통신망과 멀티미디어 기술의 급속한 발전으로 다양한 멀티미디어 서비스에 대한 연구와 그에 대한 응용 개발이 활발하게 이루어지고 있다. 그러나, 멀티미디어 응용 서비스는 기존의 단일미디어 서비스와는 달리 다양한 미디어의 통합된 전송을 필요로 하며, 개별 미디어의 정확한 연속성 및 관련된 미디어들 간의 적절한 시간적 동기화가 확보된 실시간 재생이 요구되는 고도화된 저리 기술을 필요로 하기 때문에 멀티미디어 동기화 알고리즘에 대한 연구는 필수적이고 매우 중요하다고 볼 수 있다. 본 논문은 Multimedia Data Streaming을 위만 미디어 동기 방식 제어 알고리즘을 고안 및 Lip Sync방식 설계에 그 연구 목적이 있다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2000년도 추계학술발표논문집
• /
• pp.451-454
• /
• 2000

본 논문은 한글 단어에 따른 한글 발음에 적합한 입술의 움직임을 자동 생성하며 또한 단어에 적절한 얼굴 보정을 생성할 수 있는 입순 움직임과 얼굴 표정을 동기화하는 3차인 일관애니메이션 편집기를 구축하였다. 얼굴 애니메이션 편집기에서 얼굴 표정은 근육 기반 모델 방법으로 정의된 각 얼굴 부위별 근육에 따라 가중치를 조절하여 생성하여 입술 움직임은 텍스트 구동 방법으로 음소에 따른 정의된 입모양 연속적으로 표현하여 동작한다. 또한 이렇게 생성된 얼굴 표정을 저장관리한다. 따라서 3차원 얼굴 애니메이션 편집기는 6가지의 기본 얼굴 표정을 자동적으로 생성할 수 있으며 또한 입력 단어에 적합하도록 각 얼굴 부위별 근육 움직임을 편집한 수 있다. 이렇게 생성된 얼굴 표정들은 데이터베이스에 저장관리할 수 있으며 컴퓨터 대화시 자동적으로 입력 단어에 적합한 입술의 움직임과 얼굴 표정을 동기화하여 자연스러운 3차원 얼굴 애니메이션을 표현할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
• /
• pp.619-621
• /
• 2000

최근 인터넷 기술의 발달로 인한 실시간 인터넷 동영상 서비스 등 인터넷을 이용한 방송사업이 활성화되어지고 이에 부가적으로 애니메이션이 감각적 서비스를 지원하고 있는 실정이나 고가의 모션캡쳐 시스템을 통한 캡쳐된 좌표를 적절한 보정을 한 후에 캐릭터를 움직이는 방법으로 이루어지고 있다. 이러한 모션캡쳐 시스템을 통한다면 시스템 및 장비 자체가 고가이고 또한 실시간으로 처리하기 위하여는 좌표값 보정 등이 필요하지만 본 논문에서 제안하는 좌표 추출 및 추적 기법을 이용하여 저가의 가정용 멀티미디어 오버레이 캡쳐보드와 CCD 카메라를 통하여 영상을 캡쳐하고 캡쳐된 영상좌표와 실험용 GDI object를 링크시켜 실시간으로 사람의 입술의 움직임 모양대로 애니메이션이 립싱크되어서 움직여지는 것을 볼 수 있으며, 더 나아가서 외화의 우리말 더빙시 영상처리를 통한 정교한 화면 더빙 및 가상 캐릭터를 이용한 사이버 미팅가지 가능할 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 춘계학술발표논문집 (하)
• /
• pp.1329-1332
• /
• 2002

최근 고속 통신망과 멀티미디어 기술의 급속한 발전으로 다양한 멀티미디어 서비스에 대한 연구와 그에 대한 응용 개발이 활발하게 이루어지고 있다. 그러나, 멀티미디어 응용 서비스는 기존의 단일미디어 서비스와는 달리 다양한 미디어의 통합된 전송을 필요로 하며, 개별 미디어의 정확한 연속성 및 관련된 미디어들 간의 적절한 시간적 동기화가 확보된 실시간 재생이 요구되는 고도화된 처리 기술을 필요로 하기 때문에 멀티미디어 동기화 알고리즘에 대한 연구는 필수적이고 매우 중요하다고 볼 수 있다. 본 논문은 Multimedia Data Streaming 을 위한 미디어 동기 방식 제어 알고리즘 고안 및 Lip Sync 방식 설계에 그 연구 목적이 있다.