拥有假照片和视频并不新鲜。 自从互联网广泛使用以来,自从有了图像和电影以来,人们就一直在制作旨在愚弄或娱乐的伪造品。
然而,有一种新型机器制造的赝品,有朝一日可能会让我们难以区分现实与虚构。
这些赝品不同于 Photoshop 等编辑软件生成的简单图片处理或过去巧妙处理的电影。
Deepfakes 是“合成媒体”最著名的例子——图像、声音和视频看起来是用传统方法制作的,但实际上是用复杂的软件制作的。
Deepfakes 已经出现了一段时间,虽然它们最受欢迎的应用是将名人的头放在色情电影中演员的身上,但它们能够制作令人信服的任何人在任何地方做任何事情的镜头。
在这篇文章中,我们将介绍 Deepfakes、它是如何工作的、如何自己生成它们等等。
那么,什么是 DeepFake?
deepfake——deep learning 和 fake 这两个短语的组合——是 合成媒体 其中,另一个人的相似之处被用来替换已经存在的照片或视频中的某个人的相似之处。
Deepfakes 采用复杂的机器学习和人工智能技术来修改和创建具有很高欺骗潜力的视觉和音频信息。
自动编码器和生成对抗网络等深度学习方法是深度伪造生产 (GAN) 的主要机制。
这些模型用于分析一个人的面部情绪和动作,并合成其他人表现出类似表情和动作的面部图片。
在名人色情视频、假新闻、恶作剧和金融欺诈中使用深度伪造已经引起了相当大的关注。 工业界和政府都做出了回应,试图找到它们并限制它们的使用。
一阶运动模型
在过去尝试开发深度造假时,问题是我们需要某种额外的知识或先验知识才能使这些方法发挥作用。
例如,如果我们希望跟踪头部运动,则需要面部标记。 如果我们想绘制全身运动图,姿态估计是必要的。
去年的 NeurIPS 会议上,当多伦多大学的研究团队展示了他们的工作时,这种情况发生了变化,“图像动画的一阶运动模型设立的区域办事处外,我们在美国也开设了办事处,以便我们为当地客户提供更多的支持。“
这种方法不需要进一步了解动画。 此外,该模型经过训练后,可用于迁移学习,并应用于同一类别下的任何项目。
让我们进一步看一下这个方法的操作。 运动提取和生成构成了整个过程的前半部分。 驱动视频和源图片用作输入。
为了提取由稀疏关键点和局部仿射变换组成的一阶运动表示,运动提取器使用自动编码器来识别关键点。
为了使用密集运动网络创建密集的光流和遮挡图,它们与驾驶视频一起使用。 然后,生成器使用密集运动网络和源图像的输出来渲染目标图片。
总体而言,这项工作的表现优于最先进的技术。 它还包含其他模型不具备的功能。 它适用于多种图片类型,因此您可以将其应用于面部、身体、卡通等图像,非常棒。
许多新的机会由此产生。 我们策略的另一个突破性方面是,它现在允许您仅使用目标对象的一张图像来制作高质量的 Deepfake,类似于我们使用 对象的 YOLO 承认。
创建 Deepfake 模型的过程
deepfake 生成需要三个过程:提取、训练和创建。 本节将介绍每个阶段的要点以及它们与整个过程的关系。
萃取
Deepfakes 使用深度神经网络来换脸,需要大量数据(图片)才能正确且令人信服地操作。 提取过程是提取视频剪辑中的所有帧、识别面部、然后对齐面部以最大化性能的阶段。
产品培训
在训练阶段, 神经网络 可以将一张脸变成另一张脸。 根据练习集和训练工具的大小,训练可能需要几个小时甚至几天。
训练只需完成一次,就像大多数其他神经网络训练一样。 训练后,该模型将能够将人脸从 A 变为 B。
创建
模型经过训练后,可能会产生 deepfake。 帧取自视频,然后与所有面孔对齐。 然后使用经过训练的神经网络来转换每一帧。
作为最后一步,转换后的人脸必须与原始帧合并。
构建 Deepfake 检测模型
挂载和克隆 GitHub 存储库
在 Colab 工作时能够免费使用 Google 的 GPU 深入学习. 另一个优势是能够在云虚拟机 (VM) 上安装 Google Drive。
通过轻松访问他的所有东西,用户被启用。 将 Google Drive 挂载到云中的虚拟机所需的程序将在本节中找到。
导入模块
现在,我们将导入所有必要的模块。
执行模型
我们将使用一个将普京的静态照片(源图片)与奥巴马的视频相结合的示例。 结果是一段普京讲话和打手势的视频,与奥巴马在开车时使用的面部表情完全相同。
在显示模型结果之前,将加载媒体并声明函数。 然后将加载检查点并构建模型。 创建 deep fake 后,会显示两种不同风格的动画。
普京被奥巴马利用相对关键点位移的动作所激发。 奥巴马的面部表情和肢体语言在他的视频中为普京所描绘的精美而清晰的方式令人震惊。
有一些细微的错误,特别是当奥巴马抬起眉毛和眨眼时。 这些表达方式并没有完全复制到普京的框架中。
如果没有 deepfake 背景,如果在电视或电视上观看,普京的电影将显得相当可信和真实。 社会化媒体.
模型创建
现在,我们将使用预训练的检查点来创建一个完整的模型。
深度伪造检测
相对关键点位移用于为下面单元格中的项目设置动画。 下一个单元格使用绝对坐标,但所有项目比例都将以这种方式从驾驶视频中获取。
使用绝对坐标增强输出
您将能够以这种方式开发深度伪造检测。
Deepfake 技术的风险是什么?
由于其新颖性,Deepfake 视频现在具有吸引力和娱乐性。 然而,在这种看似有趣的技术的表面之下,可能存在失控的风险。
区分假视频和真实视频肯定具有挑战性,因为 深造技术 继续前进。 特别是对于知名人士和名人,这可能会产生严重影响。 故意恶意的 Deepfakes 有可能彻底破坏职业和生活。
这些可能会被怀有恶意的人用来冒充他人并利用他们的朋友、亲戚和同事。 他们还能够利用外国领导人的假电影引发全球争议甚至战争。
结论
总之,我们处于一个奇怪的时期和不寻常的环境。 制作虚假新闻和电影并传播它们比以往任何时候都更加容易。 了解什么是真实的,什么不是真实的变得越来越具有挑战性。
今天看来,我们不能再依靠自己的感官了。
尽管已经开发了假视频检测器,但信息差距如此之小,以至于即使是最好的假视频检测器也无法确定视频是否真实,这只是时间问题。
发表评论