• International Journal of Internet, Broadcasting and Communication
• /
• 제15권2호
• /
• pp.31-38
• /
• 2023

This paper introduces a real-time face swapping system that enables video influencers to swap their faces with arbitrary generated face images of their choice. The system is implemented as a Django-based server that uses a REST request to communicate with the generative model,specifically the pretrained stable diffusion model. Once generated, the generated image is displayed on the front page so that the influencer can decide whether to use the generated face or not, by clicking on the accept button on the front page. If they choose to use it, both their face and the generated face are sent to the landmark extraction module to extract the landmarks, which are then used to swap the faces. To minimize the fluctuation of landmarks over time that can cause instability or jitter in the output, a temporal filtering step is added. Furthermore, to increase the processing speed the system works on a reduced set of the extracted landmarks.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1305-1311
• /
• 2022

최근 모바일 단말기 및 개인형 컴퓨터의 비약적인 발전과 신경망 기술의 등장으로 영상을 활용한 실시간 안면 교체가 가능해졌다. 특히, 순환 적대적 생성 신경망은 상호 연관성이 없는 이미지 데이터를 활용한 안면 교체가 가능하게 만들었다. 본 논문에서는 적은 학습 데이터와 시간으로 안면 교체의 품질을 높일 수 있는 입력 데이터 처리 기법을 제안한다. 제안 방식은 사전에 학습된 신경망을 통해서 추출된 안면의 특이점 정보와 안면의 구조와 표정에 영향을 미치는 주요 이미지 정보를 결합함으로써 안면 표정과 구조를 보존하면서 이미지 품질을 향상시킬 수 있다. 인공지능 기반의 무참조 품질 메트릭 중의 하나인 blind/referenceless image spatial quality evaluator (BRISQUE) 점수를 활용하여 제안 방식의 성능을 정량적으로 분석하고 기존 방식과 비교한다. 성능 분석 결과에 따르면 제안 방식은 기존 방식 대비 약 4.6%~14.6% 개선된 BRISQUE 점수를 나타내었다.

• 방송공학회논문지
• /
• 제20권4호
• /
• pp.606-618
• /
• 2015

컴퓨터 그래픽스(CG: computer graphics) 기술은 영화나 TV와 같은 미디어 컨텐츠에서 중요한 요소 기술로 자리매김하고 있다. 영상 속 특정 인물의 얼굴을 다른 사람의 얼굴로 교체하는 얼굴 교체 기술은 대표적인 CG 기술 중의 하나로써 오래전부터 많이 연구되어 왔다. 본 논문에서는 3D 모델을 사용하지 않고 특정 조명 환경을 갖고 있는 목표 동영상 속의 얼굴을 다른 조명 환경을 갖고 있는 참조 정지 영상 속의 얼굴로 자연스럽게 교체할 수 있는 기술을 제안한다. 실험 결과, 제안하는 방법이 서로 다른 조명을 갖고 있는 두 얼굴 간의 얼굴 교체를 자연스럽게 수행할 수 있는 것을 확인할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제22권5호
• /
• pp.535-546
• /
• 2019

Recently, there have been a lot of researches on the whole face replacement system, but it is not easy to obtain stable results due to various attitudes, angles and facial diversity. To produce a natural synthesis result when replacing the face shown in the video image, technologies such as face area detection, feature extraction, face alignment, face area segmentation, 3D attitude adjustment and facial transposition should all operate at a precise level. And each technology must be able to be interdependently combined. The results of our analysis show that the difficulty of implementing the technology and contribution to the system in facial replacement technology has increased in facial feature point extraction and facial alignment technology. On the other hand, the difficulty of the facial transposition technique and the three-dimensional posture adjustment technique were low, but showed the need for development. In this paper, we propose four facial replacement models such as 2-D Faceswap, OpenPose, Deekfake, and Cycle GAN, which are suitable for the Cox platform. These models have the following features; i.e. these models include a suitable model for front face pose image conversion, face pose image with active body movement, and face movement with right and left side by 15 degrees, Generative Adversarial Network.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.73-74
• /
• 2014

최근 들어 얼굴 교체와 같은 영상 합성 기술들이 많은 관심을 받고 있다. 일반적으로 영상을 합성할 때, 영상간 뚜렷한 명암 차이로 인해 부자연스러운 경계가 발생하는데 이를 자연스럽게 제거하는 블렌딩 기술이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 적응적 가중치 기반의 영상 블렌딩 방법을 제안한다. 실험 결과, 본 논문에서 제안하는 방법이 얼굴 합성시 발생하는 뚜렷한 경계 부분을 자연스럽게 제거하고, 합성하고자 하는 얼굴의 눈, 코, 입과 같은 주요 부위를 잘 보존하는 것을 확인할 수 있었다.