找到那张假照片！对抗Deepfake之路消费者|身体|受伤|茅台|筋膜

文章插图
智东西（公众号：zhidxcom）
作者 | 子佩
编辑 | Panken
智东西1月13日消息，随着Deepfake等一键式换脸应用的流行，越来越多的普通人也能通过简单的操作对视频中人像、甚至声音进行修改，达到以假乱真的地步。但在有趣的背后，也有助长谣言、侵犯隐私的隐患。
2019年1月，宾厄姆顿大学曾与英特尔合作推出视频图片检测工具FakeCatcher。而在今年八月份，研究人员又发表《基于生物信号残留物进行深层合成图片检测（How Do the Hearts of Deep Fakes Beat? Deep Fake Source Detection via Interpreting Residuals with Biological Signals）》，准确率可以达到97.29%。
FakeCatcher是如何实现其“打假”功能，是否会导致Deepfake“反打假”以及两年后FakeCatcher又有什么新的突破和创新，今天智东西为你一一道来。
论文：https://arxiv.org/abs/2008.11363

文章插图
一、Deepfake很全能？心跳、脉搏来“打假”FakeCatcher基于的原理是人类心跳时产生的细微肤色差异，而具体到应用上，则是与指尖脉搏血氧仪以及Apple Watch用于测量运动心率相同的技术——光电容积描记法（简称PPG）。
英特尔高级研究科学家Ilke Demir表示：“我们从面部不同部位提取了几种PPG信号，并检测了其时空一致性。在通过深度学习合成的视频中，心跳信号既没有一致性，也与脉搏信号没有任何联系。而在真实拍摄的视频中，人面部的血液流动是会和脉搏，也就是心跳信号保持一致的。”

文章插图
人面部PPG及rPPG信号
与Demir合作的是宾厄姆顿大学计算机科学系的博士Umur A. Ciftci及其导师，图形和图像计算实验室的Lijun Yin教授。该实验室创建的多个3D人脸和表情数据库曾被多位好莱坞电影制片人、视频游戏创作者用于影视或游戏项目。
在实验室中，Ciftci借助18台摄像机以及红外摄像机，建立了全美最先进的生理信号采集设备。在实验过程中，受试者需要佩戴监测呼吸和心率的设备，30分钟的数据需要12个小时的计算处理。
Yin说：“Umur做了很多生理数据分析，并用我们第一个多峰数据库进行了信号处理。我们不仅收集2D、3D可见图像的数据，也收集热像仪和生理传感器的数据。使用生理学特征去检测图像造假将会是以后的新的思路。”
二、要打“假”，先造“假”相比起实验中采集的图像，Deepfake处理过的“假照片”图像质量要低很多，这意味着合成的照片和视频可以更容易被发现。
Ciftci说：“我们会用采集到的生理信号对3D图像进行处理，合成了一些‘假’视频。和Deepfake不同的是，我们采用真实的受试者的数据并进行处理，而Deepfake则是用网络中的数据。但如果只是从‘假’的层面考虑，并没有什么不同。”
“就像警察知道罪犯是怎么犯案的一样，如果我们要找到那些假照片，我们就得先知道它们是怎么制作出来的，甚至当我们自己创造数据库时，也使用了Deepfake的一些方法。”

文章插图
Lijun Yin（左）和Umur Ciftci（右）在3D扫描实验室，图源：Jonathan Cohen
自FakeCatcher发表以来，全球共有27位研究人员在自己的研究中使用了该算法和数据集。但很多人都担心，如果这些研究成果未来向大众公开，Deepfake制作者是否有可能通过学习验伪过程，修改算法以升级Deepfake使合成照片在未来更难被发现。
但Ciftci并不太担心这一点：“对于不懂生理信号处理的人来说，突破生理信号检测并非易事。如果没有重大软件更新，Deepfake制作者不可能仅仅利用现有技术来实现这一目标。”
三、除了能“打假”，还能拍电影英特尔参与FakeCatcher很大原因是基于对容积捕获的兴趣，也就是用多个摄像机全方位捕捉同一个人物的信息，并将其结合创建一个可以无缝置于任何环境的三维模型，这将对AR和VR具有重大意义。
英特尔称正进行世界上最大的容积捕获实验：在10000平方英尺的网格状球顶下装有100个摄像机，场地可同时容纳约30人，受试者甚至可以骑几匹马。

文章插图
英特尔实验场地
通过编译FakeCatcher数据并对其进行逆向工程，英特尔希望结合真实的生物信息，制作出更逼真的效果图。
英特尔未来的计划包括将容积捕获技术运用在电视节目、体育赛事和增强现实中，使观众可以沉浸在这些场景中。除此之外，英特尔也会涉足3D、VR电影制作，近期在威尼斯电影节上也有英特尔参与的VR项目正在首映。