Kaiyun·（官方定制）-中国大陆未来网站

　　西藏定日县的6.8级地震，牵动亿万网友的心。但一些虚假信息，比如AI（人工智能）生成的图片，也在造成误导。

　　比如下面图片中，一个戴帽子的小孩被重压在倒塌的建筑物下。在某短视频平台上，至少有10个以上的账号发布该内容，有的账号甚至和西藏日喀则地震关联，获得好几万的转、评、赞。不少网友看到图片后，都为图中的孩子落泪，甚至不断追问，图片中的小孩怎么样了，并未留意到可能的疑点。

　　蚂蚁集团大模型数据安全总监杨小芳向贝壳财经记者解释了人工智能生成内容的发展：AIGC（人工智能生成内容，包括图片、视频、声音等）的初期，（生成的内容）没有那么真，很多图片一看就知道是AI生成的或者深度伪造的。但现在有越来越拟真的趋势，包括网络上的一些知名企业家的声音内容，以及一些实时视频，甚至能进行互动，达到了以假乱真的程度。

　　AI深度伪造技术，也称为深度伪像（Deepfake）是一种利用人工智能技术生成逼真的虚假内容，通常是指用于伪造人物的视频、音频、图像等。其主要原理涉及两个关键技术：生成对抗网络（GANs）和深度学习。

　　随着近年来AI大模型技术的进步，一些AI生图大模型在追求更多真实度的同时“误打误撞”成了AIGC谣言和深度伪造的“帮凶”，如此前著名的stable diffusion（一款AI智能绘画大模型）就被开发出了一键脱衣的功能，并一度泛滥。虽然后来该模型修改了相关功能，让这种行为有所收敛，但由于技术开源的特性，“潘多拉的盒子”已经打开，或许难以再度关闭。

　　杨小芳告诉贝壳财经记者，在AIGC发展初期，蚂蚁开发了AI鉴真能力，基于大量AI生成内容训练的算法模型。随着AIGC的发展，AI生图越来越逼真，需要进一步引入数字水印技术，也就是在AI生图时内置隐水印，并做到经过图片裁剪或媒体传播也能够提取水印，以追根溯源。但是，技术只是手段，AIGC管理才是核心，这需要政策和监管的引导与规范、也需要行业自律。

　　Kaiyun的售后服务怎么样？

　　据贝壳财经记者了解，国内、国际的互联网企业都有开发AI鉴真工具，但这些工具也有局限性。德雷克塞尔工程学院的多媒体和信息安全实验室 (MISL) 多年来一直致力于研究此类技术。他们的科学家们评估了11种可供公众使用的合成图像检测器。这些程序显示出很高的效率，在检测被篡改的图像方面至少有90%的准确率。然而，当负责识别公开可用的AI或者大模型生成的视频时，它们的性能下降了20%至30%。

　　事实上，我国也在完善相关法律。根据《中华人民共和国治安管理处罚法》第二十五条第（一）项规定，散布谣言，谎报险情、疫情、警情或者以其他方法故意扰乱公共秩序的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。明知是AI生成的虚假图片却故意在重大灾难事件中传播，意图误导公众、扰乱社会秩序或获取不当利益的个人或组织，可能面临行政处罚的责任。如果引起的后果特别恶劣，甚至可能构成刑事责任。如果是转发的人故意隐去AI标识，可能也要承担同样的行政处罚责任。

　　2024年9月，国家网信办公布了《人工智能生成合成内容标识办法（征求意见稿）》，其中明确规定服务提供者具有对生成内容（文字、图片、视频等）的标注义务，网络信息内容传播平台对传播的内容具有核验及标注义务，用户上传生成合成内容时负有主动声明义务，使用平台提供的标识功能进行标识。虽然目前只是征求意见稿，但该标识办法审批生效的可能性较大，具有直接的参考作用。

　　随着AIGC和深度伪造技术的发展，各平台也均出台了相应规范。微信要求自媒体发布使用AI等技术生成的信息时，必须标注内容为AI制作；重点打击造假、蹭炒社会热点等违规内容和行为。抖音要求发布者对人工智能生成内容进行显著标识，帮助用户区分虚拟与现实；发布者需对人工智能生成内容产生的相应后果负责；禁止利用生成式人工智能技术创作、发布侵权内容。快手则要求对数字人直播等AIGC辅助创作的内容，不再给予额外流量扶持；对使用外站AIGC数字人生成的录制直播将按“播放录制内容”规则管控，违规行为将受到警告、扣分、封禁账号等处罚。