TikTok化身“正义判官”

报道 4天前

本文经授权转载自微信公众号 虎嗅APP(ID:huxiu_com)

出品 | 虎嗅科技组

作者 | 王欣

编辑 | 王一鹏

TikTok化身“正义判官”

继本周二向美国联邦法院提起诉讼后,TikTok再度化身“正义判官”。

本周四,TikTok宣布将推出自动标记功能,以确保其识别AI生成视频的内容并得到相应标记。

值得注意的是,此前TikTok、Facebook和小红书等社交平台,已经要求用户主动披露所发布内容是否由AI生成。

而TikTok最新举措,旨在识别并自动标记出外部AI生成的视频和图像。(包括使用Adobe的Firefly工具、TikTok自己的AI图像生成器和OpenAI的Dall-E制作的内容)

AI安全公司瑞莱智慧联合创始人萧子豪告诉虎嗅,AI生成图像视频内容鉴别技术的主流方法有:检测生物信号、周期性网格信号、违背常识特征等,目前技术在一些场景已经可以达到95%到99%的检出率。

有AI从业人员观察到最近的趋势是,包括TikTok、OpenAI、Meta等AI大小厂陆续上线AI标识相关功能。

这是因为AI深度伪造内容正在播下混乱的种子,在社交平台飞速传播。

这些虚假内容的泛滥,混淆选民视线,让这个大选年更加成为“多事之秋”,也使得社交媒体面临识别深度造假和防止错误信息传播的压力。

AI深伪内容搅动大选年

今年是选举历史进程的重要年份,在全球50多个国家和地区,有世界一半人口参与选举。相较去年,AI深伪内容也变得更加引人注目和难以辨认,给大选年蒙上阴影。

一月,一名民主党工作人员深度伪造了美国总统拜登电话呼叫,这则“假拜登来电”敦促新罕布什尔州初选选民不要去投票站。

冒充拜登的电话呼叫内容为:把你们的选票留在11月份再投很重要。在这周二(23日)投票,只会让共和党人得逞,让特朗普再次当选为共和党候选人。

在印度,今年有超过5亿选民将会参与投票,这使得AI深伪政治内容成了一门有利可图的大生意。

AI内容制作公司在印度政治人士中颇受追捧。这些公司向媒体透露,预计今年印度政党在AI生成的竞选材料上的支出将超过5000万美元。

穆奥尼姆公司的创始人森希尔奈亚甘从一月开始为政治家创造AI内容。他与泰米尔纳德邦执政党合作,制作了一个AI视频,视频中该党已故的标志性领袖M·卡鲁纳尼迪被“数字复活”并为州政府背书。

AI内容机构Avantari Technologies几乎每天都收到制作政治人物深伪视频的请求,出于道德层面的考虑他们拒绝了这些请求。

但这个选举季,仍有一些政治深伪视频在印度互联网开启了病毒式传播,比如著名宝莱坞明星阿米尔·汗批评莫迪的视频。

而深伪色情内容也被更多得用在女性政客身上,有专家称深伪内容的兴起,甚至可能会改变竞选公职人员的性别比例。

去年,孟加拉反对党政客鲁米恩·法尔哈纳就经受了这种人格诽谤,社交媒体上出现她穿比基尼的AI深伪照片。

在孟加拉国这个穆斯林占多数的保守国家,这张照片在社交媒体上引起了轩然大波,许多选民认为这张照片是真实的。

“无论出现什么新事物,它总是首先针对女性。他们在每一起案件中都是受害者,”法尔哈纳说, “人工智能都不例外。”

AI大厂拿起“雷神之锤”

在全球范围内,AI深伪内容不断增长,“唯一阻止我们制造不道德的深度伪造品的,是我们的道德规范,”相关从业人员告诉媒体。“但要阻止这种情况非常困难。”

这是因为包括美国在内的许多国家,并没有在国家层面针对这些内容采取监管行动。

在缺乏监管的情况下,Adobe、微软等20家科技公司自发达成“内容真实性倡议”(Content Authenticity Initiative)联盟,以控制深伪内容得扩散。

本周四,TikTok表示将加入这个联盟,并计划开始对AI生成图像视频内容进行标记。该联盟将在AI生成产品中纳入内容凭证。

“我们还制定了禁止未标记的真实人工智能内容的政策。如果真实人工智能(生成的内容)出现在平台上,那么我们将因违反社区准则而将其删除。”TikTok运营、信任和安全主管Adam Presser表示。

Meta本月早些时候表示,它将开始检测谷歌、OpenAI、微软、Adobe和Midjourney插入的隐形标志物,为AI生成的内容打上“AI制作水印”。针对不易识别的AI深伪内容,Meta还表示,它正在开发深度伪造检测分类器。

在周二,OpenAI也宣布加入这一联盟,并将元信息嵌入其图像模型Dall-E 3生成的所有图像。OpenAI还表示,在视频生成模型Sora发布后,会采取相同的措施打上AI标识。

萧子豪告诉虎嗅,OpenAI的AI标识技术,比较成熟的做法是在AI生成图像的头文件里添加相关隐藏字符段。

这种做法类似于在AI图像内部打上”看不见的水印”,在传播前就打好了标签,用户肉眼不可见。好处是不影响观感,图片在上传到TikTok、Facebook等社交平台后可以很容易识别出来并自动标识。

之前较为传统的在图片右下角打上“AI生成标识”外部水印,虽然肉眼可见较为明显,但是如果通过截图完全可以去掉外部水印,进行二次传播。而要抹除OpenAI这种内部水印,则需要更为复杂的技术手段。

这种AIGC工具的标识方法成本并不高,但由于国外宽松的监管条件,因此除上文提及的大厂外,其他AIGC生成工具平台,并没有大规模针对AI内容打上“AI水印”。

技术宅拯救世界

那么TikTok等社交媒体该如何检测这些没有提前打上“AI水印”的虚假视频和图像呢?

这就涉及到更为复杂的深度伪造检测分类。

萧子豪表示,针对这类无标识AI内容,目前有两种主流鉴别路线。

第一条,通过深度学习算法识别内容中违背常识的部分。例如,AI深伪生成的人物可能有着与常人不同眨眼频率等生物特征,此外还可以依据光照不一致性、心率等特征判断。

英特尔实验室的Demir解释道:“当你的心脏泵血时,血液流向静脉,静脉的颜色会因氧含量而改变。这个颜色变化对我们的眼睛是不可见的;我不能仅凭观察视频来看出你的心率。但这种颜色变化在计算上是可见的,从而可以检测出一个人是真实的还是合成的。”

这种方法需要给模型输入真实和AI生成的内容数据集,并在此基础上加入与常识有关的规则算法约束。而这种违背常识的视频,效果并不真实,实际上本身就很容易被人肉眼识别出来。

而对于效果较为逼真、人眼难以识别的AI内容,则需要引入第二条鉴别路线——识别对抗模型和扩散模型特有的信号特征。

目前,AI图片生成模型应用较多的是对抗模型和扩散模型,而研究发现,它可能会在频谱上保留周期性网格状特征。

这部分是由于这种模型用到的卷积神经网络算法,会重复对整个画面进行信号处理,因此会保留周期性特征。

目前的趋势是:随着AI深伪内容技术的不断提高,深伪鉴别技术越发依赖第二种路线,这种路线对团队的人工智能理论研究和实践能力要求更高。

而在深伪鉴别的应用落地层面,国内要比国外起步早,技术也并不比国外差。

这是因为:AI深伪技术主要应用于人脸,而国内的人脸识别应用较多,间接催生了深伪鉴别需求。因此国内深伪鉴别技术业务开展较早,积累也更好。而国外在OpenAI引领的AIGC浪潮开始后,才开始大规模关注深伪鉴别技术。

萧子豪告诉虎嗅:深伪鉴别技术需要突破的瓶颈在于算法理论和数据收集。

目前,AIGC技术的飞速发展,使得Sora等新的AI生成内容工具和技术持续涌现,在AI安全的攻防层面也有了独特的张力,要求在防御层面要及时追赶最新的攻击。

因此要及时收集最新深伪技术数据,分析伪造方法的演化,提升伪造分析的能力,来不断迭代更新产品。