近年来,随着人工智能技术的日益火爆,在网络上编造和传播谣言的成本也变得更低。利用AI合成技术编造谣言,甚至生成逼近真实的图片、音视频,颠覆了“有图就有真相”的常规认知,让人难辨线月,某网络平台出现一条关于“西安爆炸”的消息。消息称:1月10日晚11时48分,突然一声巨大的爆炸声在城市中响起。文字下方还配发了所谓爆炸的图片。这条看起来耸人听闻的消息很快在网上传播,甚至包含了时间、地点等关键信息,极具迷惑性,那么真相到底如何呢?
警方调查到,消息的发布账号归属于江西南昌的一家MCN机构。这家公司的实际控制人为王某某。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:我们接到西安警方的通报,说我们辖区有一个MCN机构,西安发生了一个爆炸,发布了这么一条信息,他们经过本地的核实,并没有发生类似的事件。在这种情况下,我们就初步判定该MCN机构发布的信息涉嫌网络造谣,属不实信息。我们立刻对该公司负责人进行了约谈,同时勘察了该公司的办公场所,并对使用的电脑和软件工具进行了现场取证。
在约谈中,警方从王某某处得知,网上发布的西安发生爆炸这条谣言,从文本到图片,竟然全都是通过AI生成的。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:违法人员王某某通过国内一个网站,该网站是专门提供近期可能生成热点的一些新闻报道,或者说正在发生或即将发生的一类的事情,分级分类提供给写作者一些关键性的关键词,通过该网站生成关键词就形成了文章的标题。
王某某通过具有语音交互功能的AI软件,只需说出关键词,软件便会自动在网络上抓取相关信息,生成几百到上千字的文本,并配上貌似和事件具有相关性的虚假图片,从而形成一段看起来信息量很大,实际上子虚乌有的内容。违法人员王某某将AI生成的这些内容,使用另一款软件自动上传到该MCN机构控制的多网络平台不同的账号上,并对外发布。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:以新闻撰稿人的角度、方向、语气,对下列关键词如“爆炸”“民生”等等信息,要求AI软件生成文章、新闻热点类的图片,全程基本不需要人工参与,所以导致在操作过程中产生了这样的谣言信息。
江西南昌市公安局高新分局网络安全保卫大队大队长 李毅:王某某生成文章之后推送到各平台,然后通过关注阅读的方式,阅读量比如说达到1万,它就是系数1,然后再乘以关注、转发、评论,再乘以一个1.5的系数,最终生成平台支付给他的报酬。同时如果有广告收入的话,另行支付。他平均每天通过AI工具发布的是4000到7000条信息,最高的一条收入是700元。经初步的估算,每天的收入在1万元以上。
经查,王某某的行为构成传播谣言虚构事实扰乱公共秩序。目前,南昌警方依据中华人民共和国治安管理处罚法相关规定,依法对王某某处以行政拘留5日,责令涉案MCN机构停业整改。
2023年12月25日,一则“重庆巫溪一民房发生爆炸事故,4人不幸遇难,官方紧急介入调查”的消息在某网络平台上发布,全文500余字,以新闻报道的口吻提供了重庆巫溪县“突发爆炸事故,现场情况十分惨烈”“发现了4名遇难者,其中包括一名儿童”“疑似与居民私拉乱接电线有关,调查组将进一步搜集证据”等细节,短时间内这则所谓的“突发新闻”便获得了几万次的点击量。阅读量暴涨,让之前在网上发文没有任何流量的康某某一开始还有些兴奋。
违法行为人 康某某:当时我发了20多条,没有啥收益,后来看了一个爆炸的新闻点赞好几十万,我就输了一个“重庆爆炸”,它就自动生成了,我就复制它的标题和文章进行发表。
就这样,康某某因为看到一篇关于爆炸事故的新闻关注度高,就在AI文本生成软件里输入了“重庆”“爆炸”的关键词,生成了上述这篇毫无根据、随意编造的虚假“新闻”,并发布在自己的网络账号上。
重庆市梁平区公安局龙门派出所民警 毛云灿:康某某的行为违反了治安管理处罚法第二十五条之规定,公安机关依法对其行政拘留三日,收缴其违法所得,并封禁了其网络账号。
重庆市公安局网安总队民警 陈鹏:在互联网科技时代,当下AI技术不但能生成文本,还能生成逼近真实的图片和音视频,这就完全颠覆了我们常规认知里的“有图就有真相”,使我们对网络谣言本身难辨其真假。也使网络谣言的社会危害性变得更大。网络并非法外之地,对于在互联网上发布不实言论、扰乱社会秩序的,公安机关将坚决依法坚决处理,对于造成恶劣影响、情节严重的,公安机关将依法追究其法律责任。
博取流量,涨粉获利的无底线恶意炒作行为,严重扰乱社会秩序。在河南郑州,有两名网络主播事先设计好剧本,组织人员相互谩骂引流,再直播约架。正当两帮人在准备碰面时,被警方及时制止并控制。
警方了解到,两名“约架”的主播在网络平台都拥有数十万粉丝,平时的经济来源也都是依靠网络直播,而所谓的“约架”,其实是他们早就设计好的剧本。当天,他们组织人员通过互相谩骂,煽动粉丝对立情绪,并发布视频预热引流。然后,双方又通过网络直播开始线下“约架”,在一个半小时内,吸引7.8万人次围观,造成恶劣社会影响。
郑州市公安局郑东新区分局商务区派出所教导员 徐航:当时总点击量有十几万,因为他们开播时间不长,一个多小时,刷礼物大概有2000多元钱。我们进直播间的时候看到当时同时在线多人,在网络上影响是非常不好的。
郑州市公安局网监支队民警 张效仆:他们这种为了博取流量、涨粉获利的无底线恶意炒作行为严重扰乱社会秩序,破坏网络环境,影响青少年的价值观,必须坚决依法打击。在此我们要提醒网络主播,网络空间不是法外之地,作为网络主播应当以身作则,去积极地传播正能量,利用自身的正面影响力,来引导粉丝形成正确的价值观,无底线的恶意炒作博取流量,最终会自食其果。
不管是利用AI编造骇人听闻的虚假消息,还是直播对骂,目的都是赚取平台流量补贴,实现流量变现。法学专家表示,大量不实信息对普通网民来说,有时候很难直接判断它是否为谣言,而平台对于相关信息应该尽到监管责任。
造谣容易,辟谣难。造谣者付出的代价是否太低,导致谣言不断滋生?法律专家建议,在法律法规上应该让造谣者付出更大的成本。
西南政法大学法学院教授 陈伟:要体现出违法性的成本的体现。在行政处罚里面不光涉及行政拘留,也还涉及行政性的罚款等,还包括对账号采取的封号等这样一些措施,我们都要及时性地跟进,以匹配违法成本和最终承担责任之间的比例,以防范其他人会看到这样一个成本过低,会带来对行为人的遏制作用很有限的情形。