• 산업경영시스템학회지
• /
• 제44권4호
• /
• pp.193-207
• /
• 2021

As Deepfakes phenomenon is spreading worldwide mainly through videos in web platforms and it is urgent to address the issue on time. More recently, researchers have extensively discussed deepfake video datasets. However, it has been pointed out that the existing Deepfake datasets do not properly reflect the potential threat and realism due to various limitations. Although there is a need for research that establishes an agreed-upon concept for high-quality datasets or suggests evaluation criterion, there are still handful studies which examined it to-date. Therefore, this study focused on the development of the evaluation criterion for the Deepfake video dataset. In this study, the fitness of the Deepfake dataset was presented and evaluation criterions were derived through the review of previous studies. AHP structuralization and analysis were performed to advance the evaluation criterion. The results showed that Facial Expression, Validation, and Data Characteristics are important determinants of data quality. This is interpreted as a result that reflects the importance of minimizing defects and presenting results based on scientific methods when evaluating quality. This study has implications in that it suggests the fitness and evaluation criterion of the Deepfake dataset. Since the evaluation criterion presented in this study was derived based on the items considered in previous studies, it is thought that all evaluation criterions will be effective for quality improvement. It is also expected to be used as criteria for selecting an appropriate deefake dataset or as a reference for designing a Deepfake data benchmark. This study could not apply the presented evaluation criterion to existing Deepfake datasets. In future research, the proposed evaluation criterion will be applied to existing datasets to evaluate the strengths and weaknesses of each dataset, and to consider what implications there will be when used in Deepfake research.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.91-94
• /
• 2021

As deep learning technologies becoming developed, realistic fake videos synthesized by deep learning models called "Deepfake" videos became even more difficult to distinguish from original videos. As fake news or Deepfake blackmailing are causing confusion and serious problems, this paper suggests a novel model detecting Deepfake videos. We chose Residual Convolutional Neural Network (Resnet50) as an extraction model and Long Short-Term Memory (LSTM) which is a form of Recurrent Neural Network (RNN) as a classification model. We adopted cosine similarity with hinge loss to train our extraction model in embedding the features of Deepfake and original video. The result in this paper demonstrates that temporal features in the videos are essential for detecting Deepfake videos.

• 융합신호처리학회논문지
• /
• 제23권3호
• /
• pp.173-178
• /
• 2022

최근 인공지능, 빅데이터, IoT 등의 다양한 컴퓨팅 기술이 발달하고 있다. 특히 콘텐츠 및 의료 산업 등 여러 분야에서 인공지능 기반의 딥페이크(Deepfake) 기술이 다양하게 활용되고 있다. 딥페이크 기술이란 딥러닝과 fake의 합성어로, AI의 핵심기술인 딥러닝을 통해 사람의 얼굴이나 신체를 합성하여 억양, 목소리 등을 따라 하게 만드는 기술이다. 본 논문은 딥페이크 기술을 활용하여 애니메이션 모델과 실제 인물사진의 합성을 통한 가상 캐릭터생성을 연구한다. 이를 통해 애니메이션 제작과정에서 일어나는 여러 가지 비용 손실을 최소화하고 작가들의 작업을 지원할 수 있다. 또한, 딥페이크 오픈소스가 인터넷에 퍼짐에 따라 많은 문제들이 나타나면서 딥페이크 기술을 악용한 범죄가 성행하고 있다. 본 연구를 통해서 딥페이크 기술을 성인물이 아닌 아동물에 적용하여 이 기술에 대한 새로운 관점을 제시한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권5호
• /
• pp.1671-1686
• /
• 2022

Face manipulation tools represented by Deepfake have threatened the security of people's biological identity information. Particularly, manipulation tools with deep learning technology have brought great challenges to Deepfake detection. There are many solutions for Deepfake detection based on traditional machine learning and advanced deep learning. However, those solutions of detectors almost have problems of poor performance when evaluated on different quality datasets. In this paper, for the sake of making high-quality Deepfake datasets, we provide a preprocessing method based on the image pixel matrix feature to eliminate similar images and the residual channel attention network (RCAN) to resize the scale of images. Significantly, we also describe a Deepfake detector named Cascaded-Hop which is based on the PixelHop++ system and the successive subspace learning (SSL) model. By feeding the preprocessed datasets, Cascaded-Hop achieves a good classification result on different manipulation types and multiple quality datasets. According to the experiment on FaceForensics++ and Celeb-DF, the AUC (area under curve) results of our proposed methods are comparable to the state-of-the-art models.

• 한국멀티미디어학회논문지
• /
• 제24권8호
• /
• pp.1044-1058
• /
• 2021

Tempered electronic contents have multiplied in last few years, thanks to the emergence of sophisticated artificial intelligence(AI) algorithms. Deepfakes (fake footage, photos, speech, and videos) can be a frightening and destructive phenomenon that has the capacity to distort the facts and hamper reputation by presenting a fake reality. Evidence of ownership or authentication of digital material is crucial for combating the fabricated content influx we are facing today. Current solutions lack the capacity to track digital media's history and provenance. Due to the rise of misrepresentation created by technologies like deepfake, detection algorithms are required to verify the integrity of digital content. Many real-world scenarios have been claimed to benefit from blockchain's authentication capabilities. Despite the scattered efforts surrounding such remedies, relatively little research has been undertaken to discover where blockchain technology can be used to tackle the deepfake problem. Latest blockchain based innovations such as Smart Contract, Hyperledger fabric can play a vital role against the manipulation of digital content. The goal of this paper is to summarize and discuss the ongoing researches related to blockchain's capabilities to protect digital content authentication. We have also suggested a blockchain (smart contract) dependent framework that can keep the data integrity of original content and thus prevent deepfake. This study also aims at discussing how blockchain technology can be used more effectively in deepfake prevention as well as highlight the current state of deepfake video detection research, including the generating process, various detection algorithms, and existing benchmarks.

• 한국멀티미디어학회논문지
• /
• 제24권9호
• /
• pp.1224-1241
• /
• 2021

Recent development of deep learning techniques for image generation has led to straightforward generation of sophisticated deepfakes. However, as a result, privacy violations through deepfakes has also became increased. To solve this issue, a number of techniques for deepfake detection have been proposed, which are mainly focused on RGB channel-based analysis. Although existing studies have suggested the effectiveness of other color model-based analysis (i.e., Grayscale), their effectiveness has not been quantitatively validated yet. Thus, in this paper, we compare the effectiveness of Grayscale channel-based analysis with RGB channel-based analysis in deepfake detection. Based on the selected CNN-based models and deepfake datasets, we measured the performance of each color model-based analysis in terms of accuracy and time. The evaluation results confirmed that Grayscale channel-based analysis performs better than RGB-channel analysis in several cases.

• 정보보호학회논문지
• /
• 제30권6호
• /
• pp.1053-1065
• /
• 2020

최근 하드웨어의 성능과 인공지능 기술이 발달함에 따라 육안으로 구분하기 어려운 정교한 가짜 동영상들이 증가하고 있다. 인공지능을 이용한 얼굴 합성 기술을 딥페이크라고 하며 약간의 프로그래밍 능력과 딥러닝 지식만 있다면 누구든지 딥페이크를 이용하여 정교한 가짜 동영상을 제작할 수 있다. 이에 무분별한 가짜 동영상이 크게 증가하였으며 이는 개인 정보 침해, 가짜 뉴스, 사기 등에 문제로 이어질 수 있다. 따라서 사람의 눈으로도 진위를 가릴 수 없는 가짜 동영상을 탐지할 수 있는 방안이 필요하다. 이에 본 논문에서는 Bidirectional Convolutional LSTM과 어텐션 모듈(Attention module)을 적용한 딥페이크 탐지 모델을 제안한다. 본 논문에서 제안하는 모델은 어텐션 모듈과 신경곱 합성망 모델을 같이 사용되어 각 프레임의 특징을 추출하고 기존의 제안되어왔던 시간의 순방향만을 고려하는 LSTM과 달리 시간의 역방향도 고려하여 학습한다. 어텐션 모듈은 합성곱 신경망 모델과 같이 사용되어 각 프레임의 특징 추출에 이용한다. 실험을 통해 본 논문에서 제안하는 모델은 93.5%의 정확도를 갖고 기존 연구의 결과보다 AUC가 최대 50% 가량 높음을 보였다.

• 한국콘텐츠학회논문지
• /
• 제22권8호
• /
• pp.14-32
• /
• 2022

이 연구는 유튜브 콘텐츠 이용자들을 대상으로 허위정보와 딥페이크 영상에 노출된 경험여부에 따른 허위정보 또는 딥페이크에 대한 인식에 대해 살펴 보고자 한다. 이를 위해 2018년 실시된 한국언론진흥재단의 "유튜브 동영상 이용 및 허위정보 유출경험' 온라인 설문조사자료를 활용하였다. 허위정보에 대한 인식의 차이를 보기 위해서 대응일치분석을 사용하였다. 분석 결과, 첫째 허위정보에 노출경험이 있는 남성이 한국에서의 유튜브 허위정보로 인한 문제점에 대해 가장 심각하게 인식하고 있는 것으로 나타났다. 둘째, 딥페이크 영상에 대한 규제의 필요성에 대해서는 딥페이크 영상 노출경험이 있는 여성들이 동의하는 경향이 컸으며, 남성보다는 여성이 딥페이크 영상에 대한 피해로 인한 규제의 필요성에 대한 인식이 강한 것으로 나타났다. 전반적으로 유튜브 이용자들이 규제가 필요하다는 데 동의가 높은 가운데, 유튜브 이용자들에게 주로 사용되는 허위 정보와 딥페이크의 유형을 교육할 필요가 있다. 특히 정보 생산자와 유통자가 스스로 규율할 수 있도록 환경을 조성하는 것이 바람직할 것으로 판단된다.

• 정보교육학회논문지
• /
• 제25권2호
• /
• pp.405-412
• /
• 2021

본 논문은 초상권·저작권 및 사이버 폭력 등의 문제를 예방하고 대응하기 위하여 인공지능 기술을 활용한 딥페이크 앱 활용 윤리 교육 융합 프로젝트를 개발, 적용하였다. 상용 딥페이크 앱을 분석하고, 이를 활용한 초등교육과정에 적용 가능한 교과와 단원 내용을 프로젝트기반 융합·재구성하였다. 창의적 체험활동 중심의 융합 프로젝트는 UCC 제작 과정을 중점으로, 계획된 행동이론 기반의 정보통신 윤리 의식 측정 검사로 효과를 비교하였다. 사회 교과 중심의 융합 프로젝트에서는 화폐(금융)교육의 주제로 재구성하여 질적 분석하였다. 분석 결과, 인공지능 기술 앱 활용 융합수업은 정보통신 윤리 의식을 유의미하게 증진시키는 것을 확인하였다.

• Journal of information and communication convergence engineering
• /
• 제21권2호
• /
• pp.152-158
• /
• 2023

In recent years, as computer-generated imagery has been applied to more industries, realistic facial animation is one of the important research topics. The current solution for realistic facial animation is to create realistic rendered 3D characters, but the 3D characters created by traditional methods are always different from the actual characters and require high cost in terms of staff and time. Deepfake technology can achieve the effect of realistic faces and replicate facial animation. The facial details and animations are automatically done by the computer after the AI model is trained, and the AI model can be reused, thus reducing the human and time costs of realistic face animation. In addition, this study summarizes the way human face information is captured and proposes a new workflow for video to image conversion and demonstrates that the new work scheme can obtain higher quality images and exchange effects by evaluating the quality of No Reference Image Quality Assessment.