牵动人心的地震图片系伪造，人工智能时代如何去伪存真？

摘要： ...

西藏定日县的 6.8 级地震，牵动亿万网友的心。但一些虚假信息，比如 AI（人工智能）生成的图片，也在造成误导。

比如下面图片中，一个戴帽子的小孩被重压在倒塌的建筑物下。在某短视频平台上，至少有 10 个以上的账号发布该内容，有的账号甚至和西藏日喀则地震关联，获得好几万的转、评、赞。不少网友看到图片后，都为图中的孩子落泪，甚至不断追问，图片中的小孩怎么样了，并未留意到可能的疑点。

某平台上多个的账号发布该内容。

后新京报记者查证发现，上述图片由 AI 创作，且原始作者在 2024 年 11 月 18 日发布了相同画面的短视频，并声明该视频由 AI 生成。" 仔细看的话，可以从图像细节发现问题，比如图中‘孩子’的右手出现了六根手指、双眼瞳孔反光不同等不符合常理的特征。" 瑞莱智慧联合创始人萧子豪告诉新京报贝壳财经记者。

那么，在人工智能给我们的学习、工作和生活带来诸多便利之余，普通人应如何辨别人工智能生成或深度伪造的内容？平台在聚合和传播信息之余，应如何维护社区生态，使其不受人工智能生成的谣言的影响？

深度伪造：肉眼已丧失对数字世界辨识的能力？

蚂蚁集团大模型数据安全总监杨小芳向贝壳财经记者解释了人工智能生成内容的发展：AIGC（人工智能生成内容，包括图片、视频、声音等）的初期，（生成的内容）没有那么真，很多图片一看就知道是 AI 生成的或者深度伪造的。但现在有越来越拟真的趋势，包括网络上的一些知名企业家的声音内容，以及一些实时视频，甚至能进行互动，达到了以假乱真的程度。

AI 深度伪造技术，也称为深度伪像（Deepfake）是一种利用人工智能技术生成逼真的虚假内容，通常是指用于伪造人物的视频、音频、图像等。其主要原理涉及两个关键技术：生成对抗网络（GANs）和深度学习。

" 这是世界性难题，国外的社交媒体也充斥着大量深度伪造的视频内容，平台虽然会开发识别算法、鉴真算法，也在实验性地应用，但并没有想象中管用，或者说鉴别速度跟不上传播速度。" 安全专家李铁军告诉贝壳财经记者。

" 当前大模型能力的持续提升，AI 生成的图片和视频已经很难用肉眼去辨别真伪了。我们已经来到了一个‘人类肉眼丧失对数字世界信息真伪辨识能力’的时代，所以每一名社会公民都应该对网络信息保持一定的警惕性，理性思考，或借助一些 AI 检测工具求证。" 瑞莱智慧联合创始人萧子豪说。

随着近年来 AI 大模型技术的进步，一些 AI 生图大模型在追求更多真实度的同时 " 误打误撞 " 成了 AIGC 谣言和深度伪造的 " 帮凶 "，如此前著名的 stable diffusion（一款 AI 智能绘画大模型）就被开发出了一键脱衣的功能，并一度泛滥。虽然后来该模型修改了相关功能，让这种行为有所收敛，但由于技术开源的特性，" 潘多拉的盒子 " 已经打开，或许难以再度关闭。

解决方法：需法律和平台共治

如何在人工智能时代去伪存真？

杨小芳告诉贝壳财经记者，在 AIGC 发展初期，蚂蚁开发了 AI 鉴真能力，基于大量 AI 生成内容训练的算法模型。随着 AIGC 的发展，AI 生图越来越逼真，需要进一步引入数字水印技术，也就是在 AI 生图时内置隐水印，并做到经过图片裁剪或媒体传播也能够提取水印，以追根溯源。但是，技术只是手段，AIGC 管理才是核心，这需要政策和监管的引导与规范、也需要行业自律。

据贝壳财经记者了解，国内、国际的互联网企业都有开发 AI 鉴真工具，但这些工具也有局限性。德雷克塞尔工程学院的多媒体和信息安全实验室 ( MISL ) 多年来一直致力于研究此类技术。他们的科学家们评估了 11 种可供公众使用的合成图像检测器。这些程序显示出很高的效率，在检测被篡改的图像方面至少有 90% 的准确率。然而，当负责识别公开可用的 AI 或者大模型生成的视频时，它们的性能下降了 20% 至 30%。

该学院副教授兼 MISL 主任马修 · 斯塔姆在一份报告中称：" 在没有一个好的系统来检测不良行为者制造的假货之前，这种视频技术就已经发布，这真是令人不安。"

安全专家李铁军认为，必须靠法律法规的威慑力来解决深度伪造问题。" 平台缺少主动鉴别深度伪造的动力，需要国家层面给予平台足够的约束，比如出现重大造假事件、造成严重社会影响的，处罚平台，这样平台才有动力去鉴别真伪。" 李铁军说。

事实上，我国也在完善相关法律。根据《中华人民共和国治安管理处罚法》第二十五条第（一）项规定，散布谣言，谎报险情、疫情、警情或者以其他方法故意扰乱公共秩序的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。明知是 AI 生成的虚假图片却故意在重大灾难事件中传播，意图误导公众、扰乱社会秩序或获取不当利益的个人或组织，可能面临行政处罚的责任。如果引起的后果特别恶劣，甚至可能构成刑事责任。如果是转发的人故意隐去 AI 标识，可能也要承担同样的行政处罚责任。

此外，若平台未能尽到合理的审核和监管义务，导致 AI 虚假图片广泛传播并造成严重负面影响，平台也需承担相应的法律责任。如可能面临监管部门的罚款、责令整改等。

2024 年 9 月，国家网信办公布了《人工智能生成合成内容标识办法（征求意见稿）》，其中明确规定服务提供者具有对生成内容（文字、图片、视频等）的标注义务，网络信息内容传播平台对传播的内容具有核验及标注义务，用户上传生成合成内容时负有主动声明义务，使用平台提供的标识功能进行标识。虽然目前只是征求意见稿，但该标识办法审批生效的可能性较大，具有直接的参考作用。

随着 AIGC 和深度伪造技术的发展，各平台也均出台了相应规范。微信要求自媒体发布使用 AI 等技术生成的信息时，必须标注内容为 AI 制作；重点打击造假、蹭炒社会热点等违规内容和行为。抖音要求发布者对人工智能生成内容进行显著标识，帮助用户区分虚拟与现实；发布者需对人工智能生成内容产生的相应后果负责；禁止利用生成式人工智能技术创作、发布侵权内容。快手则要求对数字人直播等 AIGC 辅助创作的内容，不再给予额外流量扶持；对使用外站 AIGC 数字人生成的录制直播将按 " 播放录制内容 " 规则管控，违规行为将受到警告、扣分、封禁账号等处罚。

记者联系邮箱：avril-1989@163.com

新京报贝壳财经记者 白金蕾 罗亦丹

编辑 袁秀丽 校对 穆祥桐