有图未必有真相，AI造谣需重拳整治

前不久，西藏日喀则市定日县发生的6.8级地震，有网友为了博取流量制造关于震区的不实信息，在网络上公然传播，对公众造成误导。其中，有一张“被压在废墟下的小男孩”的图片在网上引发了广泛关注。图片中，一名戴帽子的小男孩被压在倒塌的废墟之下，全身铺满尘埃。不少网友被图片视频误导，纷纷在留言区关注男孩的生命安全。

图片来源于网络

经调查，此图片由AI技术生成。原创作者于去年11月用AI生成了一段反映战争灾难的短视频，初衷是看到加沙战争地区的孩子家园遭到破坏、流离失所，希望通过视频传递和平愿望。但在西藏日喀则地震发生后，此视频被盗用后，通过移花接木方式截出“被压在废墟下的小男孩”图片，并与此次西藏日喀则地震关联起来，从而引起了巨大的舆论风波。

此次地震中，这种AI“造假”并非个例，类似造假图片、视频大量传播，画面中大多显示建筑物倒塌、儿童无家可归、废墟中妈妈用身体为孩子顶住压力等。在某视频平台上，有人以“日喀则地震群众被埋”为关键词进行搜索发现，不少视频博主都发布了AI生成的灾区图片，且都在配文中与日喀则地震关联。尽管大部分图片下方都有小字提示为“AI生成”，但相关内容仍让不少网友信以为真。

其实近年来，随着生成式人工智能的快速发展，AI造谣、AI侵权、AI诈骗等乱象也纷至沓来，AI“魔改”之风也渐渐盛行。比如2024年6月，一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的短视频在互联网平台传播，引发大量网民关注、讨论。经公安网安部门调查发现，该视频的图文内容系谣言，由造谣者用AI合成。此外，诸如“西安发生了大爆炸”“运钞车遭遇武装抢劫并发生激烈枪战”“比亚迪要收购蔚来”等流传甚广的谣言，也都系造谣者用AI生成。

特别是“西安爆炸”的谣言，经调查系江西南昌一家称作MCN的机构通过AI制作发布。它们还通过AI技术短时间内生成了大量“虚假”文章，最高峰一天能生成4000-7000篇，最高的一条收入700元，初步估算每天的收入在1万元以上。清华大学新闻与传播学院新媒体研究中心曾发布研究报告称，2023年以来，网络谣言整体态势平稳，但AI谣言量近半年增长65%。其中，经济与企业类谣言占比最高，达到43.71%。

AI造谣兴起，有图未必有真相。有专家表示，当前AI网络谣言具有仿真性和规模性的特征。根据输入指令的不同，AI在短期内能够批量生成大量内容不同的网络谣言，而且生成的网络谣言信息内容更加贴合人类表达方式，并结合深度伪造技术生成图片、视频、录音，使得社会公众越发难以辨识网络信息的真伪。

图源：视觉中国

AI谣言大量滋生并迅速传播，和AI技术的快速演进及谣言生成门槛较低、缺乏制约手段等存在着莫大的关联性。要改变这种状况，从法律等方面加强监管和技术上进行限制等都是必不可少的措施。

其实，我国已针对生成式人工智能等技术的应用，出台有一系列管理办法。比如2023年1月发布的《互联网信息服务深度合成管理规定》提出，“深度合成服务提供者提供相关深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。”2023年8月发布的《生成式人工智能服务管理暂行办法》也要求AI图文及视频提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。

2024年9月发布的《人工智能生成合成内容标识办法（征求意见稿）》中也指出，服务提供者应对生成合成内容添加显式标识，包括在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识。用户向提供网络信息内容传播平台服务的服务提供者上传生成合成内容时，应当主动声明并使用平台提供的标识功能进行标识。

但到目前为止，仍有很多AI智能生成软件进行相关图片生成时没有风险提示，也没有AI生成标记。还有一些软件虽然有“疑似AI技术生成”的提示语，但往往会延后一段时间才会显示出来，警示作用被明显削弱。也有些标识有“AI生成”字样的图片视频被人通过剪辑裁减等手段去掉了标识，当成真实内容进行传播。

这种情况下，相关部门需要进一步压实AI平台的法律责任，完善AI内容生成规则，强制对AI生成内容打上显著标识，提升AI技术的透明度和可解释性。同时，相关部门也可以与AI企业合作，研发更高水平的AI新工具来反向识别由AI拼造的假图片和假新闻。

现在，一些网络社交平台的审核机制存在滞后性，未能及时有效识别AI虚构图片。对此，相关部门要督促平台及时补上漏洞，加大审核力度，利用技术手段、人工审核等形式将信息的审核前置，避免虚假信息误传。平台也可以通过总结谣言规律，研发相应的技术模型，及时发现和清除那些“漏网”的虚假信息，对于传播谣言的账号应坚决封掉，同时强化事后辟谣、建立举报机制。

当然，AI谣言治理更要强化法律手段，对于AI谣言的制造者和传播者严格执法，重拳出击。有法律界人士表示，加强AI领域的司法治理，需要立足于“安全与发展并重”和“分级分类监管”的基本原则，针对诸如生成网络谣言等技术滥用现象，既需要在事前阶段明确研发者、服务提供者以及网络平台的主体责任，还需要在事后阶段严格追究违法行为人的刑事责任、行政责任。

提高用户对AI生成内容的辨别能力也是治理AI谣言的重要方式。广大网民应理性对待互联网信息，增强防范意识和识别能力，必要时可使用反向搜索工具，检查内容来源和作者信息，分析内容的语言和结构特征，从而鉴“伪”鉴“劣”。

来源：北京科技报