• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 한국컴퓨터정보학회논문지
• /
• 제29권11호
• /
• pp.127-136
• /
• 2024

생성형 AI 기술이 발전하면서 영상 제작의 패러다임이 바뀌고 있다. 초기 낮은 품질, 일관성과 연속성의 어려움으로 인해 실제 영상의 장면으로 활용되지 못했던 단계를 지나, 최근 생성형 AI로 제작한 다양한 영상물이 영상 산업에서 활용되고 있다. 본 논문은 이러한 변화를 바탕으로 사용자 맞춤 생성형 AI의 가능성을 확인한다. 영상 산업에서 생성형 AI의 기술 발전의 방향성을 살피고, 광고, 영화, 애니메이션 분야에서의 최근 사례들을 분석하며 생성형 AI 활용도가 높아지는 원인이 높은 품질의 결과물에만 있는 것이 아니라, 콘텐츠가 가지는 본질적 목적을 수행하고 있기 때문이라는 것을 밝힌다. 이러한 과정을 통해 생성형 AI가 영상 산업에 가져올 가능성을 예측한다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.718-727
• /
• 2022

국내 웹툰 산업 매출액이 전년도 대비 약 65% 폭발적 성장을 하였고 향후 매출 규모가 1조원을 돌파할 것이라 예상을 하고 있다. 웹툰 제작 과정을 살펴보면 스토리와 콘티와 같이 창작을 필요로 하는 작업도 있지만, 스케치와 펜터치와 같은 단순 반복 작업도 있기 때문에 최근 주목받고 있는 딥러닝 기반 인간자세 추정방법을 사용하여 간소화 할 수 있다면, 웹툰 제작 과정을 효과적으로 개선할 수 있다. 따라서 본 연구는 인간자세 추정방법을 사용하여 인간의 동작을 스케치한 2차원 웹툰 캐릭터와 관절을 매칭 시켜서, 인간의 동작에 따라서 캐릭터의 동작을 생성시키는 방법을 제안한다. 이를 위해 생성한 2차원 캐릭터를 SVG 파일 형식인 벡터화된 그래픽 이미지로 생성시켜 인간자세의 관절을 나타내는 스켈레톤과 매칭을 시켰다. 실험결과를 통해 2차원 웹툰 캐릭터의 포즈가 웹 카메라의 사용자 자세와 동일한 동작을 생성시킬 수 있는 것을 확인할 수 있었다. 또한 저장한 정지 이미지에서 하나의 포즈를 선별하여 필요한 장면에 삽입할 수도 있고, 연속 동작에 대하여 비디오로 녹화하여 포즈 선별을 할 수 있다는 점도 확인하였다. 제안한 포즈 생성 방법은 기존의 포즈 투 포즈 방식 애니메이션 포즈 생성에 큰 기여를 할 수 있을 것으로 기대된다.