近年来，随着人工智能技术的日益火爆，在网络上编造和传播谣言的成本也变得更低。利用AI合成技术编造谣言，甚至生成逼近真实的图片、音视频，颠覆了“有图就有真相”的常规认知，让人难辨线月，某网络平台出现一条关于“西安爆炸”的消息。消息称：1月10日晚11时48分，突然一声巨大的爆炸声在城市中响起。文字下方还配发了所谓爆炸的图片。这条看起来耸人听闻的消息很快在网上传播，甚至包含了时间、地点等关键信息，极具迷惑性，那么真相到底如何呢？警方调查到，消息的发布账号归属于江西南昌的一家MCN机构。这家公司的实际控制人为王某某。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅：我们接到西安警方的通报，说我们辖区有一个MCN机构，西安发生了一个爆炸，发布了这么一条信息，他们经过本地的核实，并没有发生类似的事件。在这种情况下，我们就初步判定该MCN机构发布的信息涉嫌网络造谣，属不实信息。我们立刻对该公司负责人进行了约谈，同时勘察了该公司的办公场所，并对使用的电脑和软件工具进行了现场取证。
在约谈中，从王某某处得知，网上发布的西安发生爆炸这条谣言，从文本到图片，竟然全都是通过AI生成的。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅：违法人员王某某通过国内一个网站，该网站是专门提供近期可能生成热点的一些新闻报道，或者说正在发生或即将发生的一类的事情，分级分类提供给写作者一些关键性的关键词，通过该网站生成关键词就形成了文章的标题。
王某某通过具有语音交互功能的AI软件，只需说出关键词，软件便会自动在网络上抓取相关信息，生成几百到上千字的文本，并配上貌似和事件具有相关性的虚假图片，从而形成一段看起来信息量很大，实际上子虚乌有的内容。违法人员王某某将AI生成的这些内容，使用另一款软件自动上传到该MCN机构控制的多网络平台不同的账号上，并对外发布。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅：以新闻撰稿人的角度、方向、语气，对下列关键词如“爆炸”“民生”等等信息，要求AI软件生成文章、新闻热点类的图片，全程基本不需要人工参与，所以导致在操作过程中产生了这样的谣言信息。
在调查过程中发现，该MCN机构在网络上发布的内容以民生类信息为主，大部分看似与百姓生活密切相关，却会通过在其中加入夸张故事情节、猎奇性成分，或编造不实信息，以此来获取网民关注度和点赞量，进而实现流量变现。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅：王某某生成文章之后推送到各平台，然后通过关注阅读的方式，阅读量比如说达到1万，它就是系数1，然后再乘以关注、转发、评论，再乘以一个1.5的系数，最终生成平台支付给他的报酬。同时如果有广告收入的话，另行支付。他平均每天通过AI工具发布的是4000到7000条信息，最高的一条收入是700元。经初步的估算，每天的收入在1万元以上。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅：都是在同一平台，用不同的名称或类型发布大家关注的不同类别的信息，比如民生类、社会热点类的。经查，王某某的行为构成传播谣言虚构事实扰乱公共秩序。目前，依据中华人民共和国治安管理处罚法相关规定，依法对王某某处以行政拘留5日，责令涉案MCN机构停业整改。
利用AI技术，模仿新闻风格，一键生成的谣言信息迷惑性更强。而涉及险情或灾情的虚假消息，更能获取高流量。在重庆，公安机关就查处了一起个人利用AI软件造谣的案件，他编造的民房爆炸谣言，让他以为能实现流量变现。这起案件被公安部列为打击整治网络谣言违法犯罪典型案例。
2023年12月25日，一则“重庆巫溪一民房发生爆炸事故，4人不幸遇难，官方紧急介入调查”的消息在某网络平台上发布，全文500余字，以新闻报道的口吻提供了重庆巫溪县“突发爆炸事故，现场情况十分惨烈”“发现了4名遇难者，其中包括一名儿童”“疑似与居民私拉乱接电线有关，调查组将进一步搜集证据”等细节，短时间内这则所谓的“突发新闻”便获得了几万次的点击量。阅读量暴涨，让之前在网上发文没有任何流量的康某某一开始还有些兴奋。
违法行为人 康某某：当时我发了20多条，没有啥收益，后来看了一个爆炸的新闻点赞好几十万，我就输了一个“重庆爆炸”，它就自动生成了，我就复制它的标题和文章进行发表。就这样，康某某因为看到一篇关于爆炸事故的新闻关注度高，就在AI文本生成软件里输入了“重庆”“爆炸”的关键词，生成了上述这篇毫无根据、随意编造的虚假“新闻”，并发布在自己的网络账号上。
康某某为了增加自己账号的曝光度、阅读量，就毫无底线地蹭网络热点，编造虚假消息，以此想获取平台给的奖励，实现流量变现。经警方查证，康某某对其虚构事实扰乱公共秩序的违法行为供认不讳。
重庆市梁平区公安局龙门派出所民警 毛云灿：康某某的行为违反了治安管理处罚法第二十五条之规定，公安机关依法对其行政拘留三日，收缴其违法所得，并封禁了其网络账号。
重庆市公安局网安总队民警 陈鹏：在互联网科技时代，当下AI技术不但能生成文本，还能生成逼近真实的图片和音视频，这就完全颠覆了我们常规认知里的“有图就有真相”，使我们对网络谣言本身难辨其真假。也使网络谣言的社会危害性变得更大。网络并非法外之地，对于在互联网上发布不实言论、扰乱社会秩序的，公安机关将坚决依法坚决处理，对于造成恶劣影响、情节严重的，公安机关将依法追究其法律责任。
博取流量，涨粉获利的无底线恶意炒作行为，严重扰乱社会秩序。在河南郑州，有两名网络主播事先设计好剧本，组织人员相互谩骂引流，再直播约架。正当两帮人在准备碰面时，被警方及时制止并控制。
两名“约架”的主播在网络平台都拥有数十万粉丝，平时的经济来源也都是依靠网络直播，而所谓的“约架”，其实是他们早就设计好的剧本。当天，他们组织人员通过互相谩骂，煽动粉丝对立情绪，并发布视频预热引流。然后，双方又通过网络直播开始线下“约架”，在一个半小时内，吸引7.8万人次围观，造成恶劣社会影响。
郑州市公安局郑东新区分局商务区派出所教导员 徐航：当时总点击量有十几万，因为他们开播时间不长，一个多小时，刷礼物大概有2000多元钱。我们进直播间的时候看到当时同时在线多人，在网络上影响是非常不好的。
郑州市公安局网监支队民警 张效仆：他们这种为了博取流量、涨粉获利的无底线恶意炒作行为严重扰乱社会秩序，破坏网络环境，影响青少年的价值观，必须坚决依法打击。在此我们要提醒网络主播，网络空间不是法外之地，作为网络主播应当以身作则，去积极地传播正能量，利用自身的正面影响力，来引导粉丝形成正确的价值观，无底线的恶意炒作博取流量，最终会自食其果。
不管是利用AI编造骇人听闻的虚假消息，还是直播对骂，目的都是赚取平台流量补贴，实现流量变现。法学专家表示，大量不实信息对普通网民来说，有时候很难直接判断它是否为谣言，而平台对于相关信息应该尽到监管责任。
西南政法大学法学院教授 陈伟：如果平台尽不了这个责任，对社会公众来说，筛选尤其困难。相关的规定也确立了，平台方要履行相应的监管责任，以及防范这些不良的信息或者虚假信息上传到网络带来的后续性的影响。有的网络平台向流量高的内容和用户支付报酬，在某种程度上会刺激一些想要赚钱的网络用户，去发布一些虚假信息。法学专家表示，平台在刺激创作的同时，也应该尽到更多的责任去消除虚假信息的传播
造谣容易，辟谣难。造谣者付出的代价是否太低，导致谣言不断滋生？法律专家建议，在法律法规上应该让造谣者付出更大的成本。
西南政法大学法学院教授 陈伟：要体现出违法性的成本的体现。在行政处罚里面不光涉及行政拘留，也还涉及行政性的罚款等，还包括对账号采取的封号等这样一些措施，我们都要及时性地跟进，以匹配违法成本和最终承担责任之间的比例，以防范其他人会看到这样一个成本过低，会带来对行为人的遏制作用很有限的情形。