• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 학술대회
• /
• pp.15-20
• /
• 1999

본 논문에서는 사람의 정면 얼굴을 찍은 컬러 동영상에서 얼굴의 각 구성 요소에 대한 특징점들을 추출하여 3차원 개인 얼굴 모델을 생성하고 이를 얼굴의 표정 움직임에 따라 애니메이션 하는 방법을 제시한다. 제안된 방법은 얼굴의 정면만을 촬영하도록 고안된 헬멧형 카메라( Head-mounted camera)를 사용하여 얻은 2차원 동영상의 첫 프레임(frame)으로부터 얼굴의 특징점들을 추출하고 이들과 3차원 일반 얼굴 모델을 바탕으로 3차원 얼굴 특징점들의 좌표를 산출한다. 표정의 변화는 초기 영상의 특징점 위치와 이 후 영상들에서의 특징점 위치의 차이를 기반으로 알아낼 수 있다. 추출된 특징점 및 얼굴 움직임은 보다 다양한 응용 이 가능하도록 최근 1단계 표준이 마무리된 MPEG-4 SNHC의 FDP(Facial Definition Parameters)와FAP(Facial Animation Parameters)의 형식으로 표현되며 이를 이용하여 개인 얼굴 모델 및 애니메이션을 수행하였다. 제안된 방법은 단일 카메라로부터 촬영되는 영상을 기반으로 이루어지는 MPEG-4 기반 화상 통신이나 화상 회의 시스템 등에 유용하게 사용될 수 있다.

• 전자공학회논문지S
• /
• 제36S권7호
• /
• pp.71-80
• /
• 1999

수화 통신은 이종 언어간의 통신 수단으로 사용될 수 있다. 이 논문에서는 3차원 모델을 이용하여 한-일간 수화 통신 시스템을 구현하여 그 가능성을 실험하였다. 실시간 통신을 위하여 통신 시스템을 클라이언트/서버 구조로 하였으며, 지적 통신방식을 도입하였다. 각 클라이언트에 3차원 모델을 준비하여 놓고, 실제의 수화영상 대신에 애니메이션 생성을 위한 파라미터 만을 전송하였다. 클라이언트에서 입력된 문장은 서버로 전송되어 한국 또는 일본 수화 파라미터로 변환한 다음 다시 클라이언트로 전송되어 수화 애니메이션으로 재생된다. 또한 자연스러운 수화 애니메이션을 위하여 감정 표현과 가변 프레임 방식 및 3차 스플라인 보간식을 이용하였다. 실험을 위한 통신 시스템은 윈도우 플랫폼에서 Visual $C^{++}$ 와 Open Inventor 라이브러리를 이용하여 구현하였다. 실험 결과 제안 시스템이 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제2권2호
• /
• pp.120-133
• /
• 2008

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 1999년도 추계학술대회 논문집
• /
• pp.193-196
• /
• 1999

컴퓨터 그래픽스에서 인간의 얼굴 표정을 생성하는 것은 고전적인 주제중의 하나이다. 따라서 관련된 많은 연구가 이루어져 왔지만 대부분의 연구들은 특정 모델을 이용한 얼굴 표정 애니메이션을 제공하였다. 이는 얼굴 표정에는 얼굴 근육 정보 및 부수적인 정보가 필요하고 이러한 정보는 3D 얼굴 모델에 종속되기 때문이다. 본 논문에서는 일반적인 3D 얼굴 모델에 근육을 설정하고 기타 정보를 편집하여, 다양한 3D 얼굴모델에서 표정 애니메이션이 가능한 도구를 제안한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권10호
• /
• pp.796-800
• /
• 2009

컴퓨터 그래픽스 기술의 발전으로 3D 인간 형상 표현과 애니메이션 생성을 위한 소프트웨어 도구들이 많이 개발되었고 현재 많이 활성화되어 있다. 그러나, 이러한 도구들로 제작한 인체 모델들간의 공통 데이터 형식의 부재로 인체 모델과 모션의 데이터 교환에는 아직 어려움이 따른다. 이와 같은 문제를 해결하기 위해서 3D 인간 형상을 표현하는 규약이 ISO/IEC JTC1 SC24와 Web3D Consortium에서 공동으로 개발된 H-Anim이다. H-Anim에서는 인체 형상 구조에 대한 형식은 정의하였으나 모션 데이터에 대한 형식은 아직 포함하지 않고 있다. 본 연구는 인체의 모델 데이터 뿐 아니라 모션의 데이터 형식을 정의하고, 서로 다른 프로그래밍 환경에서도 모델링 데이터와 모션 데이터를 서로 독립적으로 사용할 수 있도록 하는, 호환성 있는 인체 애니메이션 실현을 목적으로 한다. 본 연구에서는 H-Anim 캐릭터 모델에 키프레임 애니메이션 파라미터를 입력할 수 있는 구문을 정의하고 이를 구현한 결과를 보여준다. 이 때 애니메이션 파라미터 생성을 위해 임의의 일반 그래픽스 도구에서 독립적으로 제작한 캐릭터 모델을 H-Anim 캐릭터로 변환하고 새로운 애니메이션 생성을 위한 파라미터 설정 방법에 대해서도 설명한다.

• 만화애니메이션 연구
• /
• 통권10호
• /
• pp.159-178
• /
• 2006

디지털미디어의 고급화와 대중화가 동시에 진행되는 시점에서 추진되어야 할 디지털콘텐츠의 진화모델은 미국 3D 디지털애니메이션 제작업체의 제작기술 및 공정기술의 진화모형과 온라인게임의 신속한 진화모형에서 그 개념을 도출할 수 있었다. 우선, 모바일콘텐츠의 공급모델을 통해서 제작기술의 진화가 디지털콘텐츠의 진화를 선도하지 못할 때 발생하는 문제점을 살펴보았고, 그에 따라 디지털콘텐츠의 진화모델은 콘텐츠 자체의 제작기술개발과 공정기술 개발이 동시에 병행되어야 함을 보여주었다. 이러한 진화의 속도를 극대화시키기 위해 진화되는 모든 제작시스템 및 진행시스템은 모듈화를 기반으로 추진되어야 하며, 이러한 모듈화는 지속적이고 고정적인 플랫폼의 통합을 통해 구체화되어야 한다고 분석되었다. 제작시스템의 모듈화는 제작기술의 모듈화를 가져오게 되고, 기술의 모듈화는 부분적인 진화의 속도를 배가시키고, 그에 따른 검증과정과 상품화과정의 속도까지도 병행발전시키게 된다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
• /
• pp.435-438
• /
• 2008

본 논문에서는 애니메이션을 위해서 얼굴의 특징표현(Action Units)의 조합하는 방법으로 얼굴 모델링을 하기 위한 3D대응점(3D dense correspondence)을 찾는 방법을 제시한다. AUs는 표정, 감정, 발음을 나타내는 얼굴의 특징표현으로 통계적 방법인 PCA (Principle Component Analysis)를 이용하여 만들 수 있다. 이를 위해서는 우선 3D 모델상의 대응점을 찾는 것이 필수이다. 2D에서 얼굴의 주요 특징 점은 다양한 알고리즘을 이용하여 찾을 수 있지만 그것만으로 3D상의 얼굴 모델을 표현하기에는 적합하지 않다. 본 논문에서는 3D 얼굴 모델의 대응점을 찾기 위해 원기둥 좌표계 (Cylinderical Coordinates System)을 이용하여 3D 모델을 2D로 투사(Projection)시켜서 만든 2D 이미지간의 워핑(Warping) 을 통한 대응점을 찾아 역으로 3D 모델간의 대응점을 찾는다. 이것은 3D 모델 자체를 변환하는 것보다 적은 연산량으로 계산할 수 있고 본래 형상의 변형이 없다는 장점을 가지고 있다.

• 만화애니메이션 연구
• /
• 통권48호
• /
• pp.199-215
• /
• 2017

최근 군사적 목적으로 제작된 드론의 활용이 일반적인 용도로 그 사용처가 확대되고 있다. 콘텐츠 제작에 있어 드론이 활발하게 사용되고 있는데 특히 영상 촬영 분야에서 가장 눈에 띄게 나타나고 있다. 본 논문에서는 드론에서 촬영된 2차원 영상 데이터를 이용하여 포인트 클라우드 및 3차원 모델을 생성하고 메쉬 데이터를 3차원 라이브러리로 모듈화한 플랫폼을 개발한다. 이를 위하여 먼저 드론을 이용하여 2차원 영상 데이터를 취득하고, 취득된 2차원 영상 데이터를 기반으로 하여 포인트 클라우드를 생성하고, 추출된 포인트 클라우드를 3차원 메쉬 데이터로 변환한 후 변환되어진 3차원 데이터를 다양한 분야에 활용될 수 있도록 서비스 라이브러리 플랫폼을 개발한다. 본 논문에서 개발된 플랫폼은 촬영된 데이터를 3차원 데이터로 변환하여 영화, 드라마, 다큐멘터리 등의 제작 시에 특수 영상을 위한 실제 세트 제작 비용 절감 및 시간을 단축 할 수 있고, 실감 미디어 및 특수 영상, 전시 영상 분야의 디지털 콘텐츠 제작 전문 인력 창출에 기여 할 수 있다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.207-215
• /
• 2022

최신 볼류메트릭 기술이 제공하는 높은 기하학적 정확도와 사실성은 실제 객체와 캡춰된 3D 모델 간 높은 일치도를 보장한다. 그럼에도 불구하고 이렇게 획득된 3D 모델은 프레임 간 완전히 독립적인 3D모델로 시퀀스를 구성하고 있다는 측면에서, 매 프레임 모델 표면 구조(Geometry)의 일관성이 보장 되지 않으며, 정점(Vertex)의 밀도가 매우 높고 정점 간 연결 노드(Edge)가 매우 복잡해지는 특징을 확인 할 수 있다. 이 기술을 통해 생성된 3D 모델은 영화나 비디오 게임 제작 파이프라인에서 제작된 모델과는 본질적으로 다르며, 실시간 렌더링, 애니메이션 및 시뮬레이션, 압축과 같은 응용 분야에서 직접 사용하기에 적합하지 않다. 이와는 대조적으로 우리의 방법은 프레임 간 3D 모델 표면 구조의 높은 일관성을 확보하는 리메싱(Remeshing)과 비강체 표면(Non-rigid Shape)의 대응(Correspondences) 및 매칭(Matching)을 통한 점진적 변형(Deformation) 과정 및 텍스쳐 전달(Texture Transfer) 과정을 연결함으로서 볼류메트릭 3D 모델 시퀀스 품질의 일관성을 유지하며, 후 처리 과정의 자동화를 제공한다.

• 한국컴퓨터정보학회논문지
• /
• 제12권2호
• /
• pp.21-28
• /
• 2007

얼굴모델링과 애니메이션에 대한 기술은 컴퓨터 그래픽스 분야에서 오랫 동안 연구되어 오고 있는 분야 중 하나이다. 얼굴모델링 기술은 가상현실, MPEG-4 등의 연구목적과 영화, 광고, 게임 등의 산업 분야에서 많이 활용되고 있다. 따라서 좀 더 사실적인 인터페이스의 구현을 위하여 컴퓨터 의인화를 통해 인간과 상호작용 할 수 있는 3D 얼굴모델 개발은 필수적이다. 본 연구에서는 임의의 정면 얼굴 이미지를 이용하여 간편한 조작으로 3D 얼굴모델을 생성하는 시스템을 개발하였다. 이 시스템은 한국인 표준 얼굴모델을 이용하여 메쉬상의 조정점을 얼굴 부위와 윤곽에 맞게 정합한 다음 유동적이고 탄력적으로 조정하여 3D 얼굴모델을 생성하며, 그 결과인 3D 얼굴모델을 이동, 확대, 축소, 회전시켜 가며 실시간으로 확인 및 수정할 수 있다. 개발한 시스템의 유용성을 검증하기 위해 $630{\times}630$의 크기를 가지는 30개의 임의의 정면 얼굴이미지를 가지고 실험했다.