AI造谣乱象调查：批量生成成本低，博流量当“水军”赚收益

“广州即将成为全国首个限制外卖配送的水军城市”登上网络热榜，经查系网民利用AI造谣；有人利用“AI去衣”软件制作淫秽物品贩卖获利，造谣被处以行政拘留……

随着AI技术的乱象流量发展，不法分子为了牟利、调查低博当赚引流，批量利用“AI生成图文”“AI换脸”“AI脱衣”工具作案愈演愈烈。生成收益南都、成本N视频记者调查发现，水军给出相应指令后，造谣一些AI工具就能快速批量扩写出不同的乱象流量故事文案，有的调查低博当赚每个月会员费只要99元，充值一年还能打五折。批量“深度伪造”技术几年前已被曝光，生成收益如今在网购平台仍可找到“AI换衣”“AI换脸”类工具，成本只是水军搜索路径更为隐蔽。

“生成式人工智能带来了深刻的技术变革，我们要积极地拥抱新技术，也要及时认识到并改善技术使用过程中出现的问题。”对外经济贸易大学数字经济与法律创新研究中心主任许可，向南都记者分析道。

调查：下指令可批量生成谣言

近期，公安部公布了10起打击整治网络谣言违法犯罪典型案例。其中，有网民发布“广州即将成为全国首个限制外卖配送的城市”的消息，迅速形成网络热搜。

经查，四川德阳网民杨某组织招揽广东江门网民叶某英等多名兼职人员，使用人工智能工具批量生成不实文章引流牟利。最终，6人被警方采取刑事强制措施。

这些案例中，能批量生成不实文章的AI工具为犯罪团伙“蹭热度”引流带来便利，加快了谣言的生产。这些工具获取是否有难度？有哪些功能？南都记者进行了实测。

去年，浙江警方摧毁一利用ChatGPT制作虚假视频的造谣团伙。

除了ChatGPT等常用人工智能工具，南都记者通过关键词搜索，在网络上发现许多“AI洗稿”“伪原创生成器”“AI写作”等网站、小程序，其功能多样，能满足创作公众号文章、视频脚本、小红书文案、文章标题等需求，还有文章续写、内容改写润色、图片生成文字等功能。

南都记者随机点进一个“AI文案速写”的小程序中，在对话框内输入创作有关“抢劫”“霸凌”“火灾”3个主题内容的详细指令，就快速得到3段被扩写至100字左右不同故事情节的文案，其中还有一些生动的细节。

南都记者要求围绕同一话题写出10段文案时，该平台快速给出不同角度的文案，包括事件本身、社会呼吁等。

在另一个AI网站中，南都记者输入两句话指令后，该平台快速生成了一篇较长的公众号文章，且还有继续输入指令改写文章的功能。

值得注意的是，也有平台对敏感内容创作，设置了提示。

一款“AI文案”小程序在接到写有关霸凌事件文案的指令时提示“不能提供可能宣传暴力或不当行为的内容”。

那么，在造谣过程中，这些AI工具的提供者是否需要承担法律责任？

“在技术运用上，永远存在善、恶两种使用方式。法学上很早就提出了技术中立性的主张。”对外经济贸易大学数字经济与法律创新研究中心主任许可告诉南都记者。

他也指出，还要从研发者的角度判断，其生产该工具是否有特定用途或目的。如果研发者明知使用者要利用AI工具生成传播谣言，却仍选择推广，甚至放任谣言生成，那么技术中立的主张就不合适了。

对于已普遍应用的主流AI工具，如被用于造谣等违法行为，则要根据谣言性质、生成过程等，让服务提供者承担相匹配的责任，例如要求进一步其提升平台管控能力，保证避免生成有害信息等。

实测：网上开源或免费工具多

“随着技术快速发展，相对于生成视频图片，纯文本大模型的技术难度较低，生成文本也是非常基础的功能，例如给定一个框架让AI批量生成内容，速度是非常快的。”中国计算机学会计算机安全专业委员会数字经济与安全工作组成员方宇告诉南都记者。

方宇表示，犯罪分子利用AI工具生成谣言的成本相对较低，其可以利用现成的技术和平台进行操作，如今存在不少开源或免费的工具。

其主要成本可能包括获取工具的费用、运行工具所需的计算资源费用以及维护费用。但在国内外的大模型算法逐步开源的情况下，一些AI工具的研发成本也降低了。

南都记者调查发现，在网络上，AI创作工具泛滥，有收费、有免费。

有博主在某一篇关于AI创作的公众号文章中留下微信号，邀请“想借助AI创业、赚钱”的读者添加微信。

南都记者添加所留微信号后，对方发来一个有文本生成功能的AI工具，但要充值使用，会员费每月99元，12个月699元。

南都记者询问博主是否为原创研发工具，对方却表示“是我们与原创合作”。该款AI小程序对话框顶部有讯飞星火等多个人工智能模型可供选择。

“技术的应用场景需要有一定的边界，同时要辅以必要的监管。”方宇介绍，2023年7月，中央网信办发布了《关于加强“自媒体”管理的通知》，强调要规范信息来源标注、加强信息真实性管理、完善谣言标签功能等。

“这意味着未来利用AI工具生成谣言的成本可能会因更严格的监管而增加，有助防范谣言的制造和传播，避免对社会造成负面影响。”

他表示，这些政策文件的出台表明，监管机构已经意识到，利用AI工具进行内容生成的简单性及其带来的问题。但是实现有效监管还需付出更多的成本和努力。

生意：博流量当“水军”引流赚钱

南都记者发现，除了文字，一些犯罪分子还通过AI编辑视频、图片等以假乱真，混淆视听。

广西一男子制作假地震消息误导公众。

1月23日，广西一男子为博取流量吸引粉丝，将其他地区的抗洪、救灾视频，利用AI软件自动编辑功能，嫁接新疆乌什县发生地震的虚假视频信息。

视频被大量播放，并引发许多不明真相网民评论和转发，严重干扰社会秩序。这名男子也被警方处罚。

在湖南，一网民发布一条带有警徽的《悬赏通告》，称长沙天心区发生重大刑事案件，拟向公众有偿征集线索。

原来，这张《悬赏通告》也是AI伪造而成，目的是吸粉引流。该网民同样受到了警方处罚。

从利用AI生成不实内容，到在网络发布扩散，最终实现为账号引流牟利的目的，不难看出，运营造谣账号的背后仍是不法分子想当“网红”或从中获利的贪心，但层出不穷的谣言却影响了正常的社会秩序。

根据警方披露案例，从组织结构上看，造谣“生意”大致分两种类型：个人运营自媒体造谣账号，吸粉引流变现；亦有团伙作案，批量运营自媒体账号，大规模散布谣言，例如有不法分子成立MCN机构运营数百个账号，长期组织公司人员造谣引流。

如何实现牟利？浙江警方去年侦破的一起利用AI制作虚假视频造谣案件中，造谣团伙博取流量后，通过流量算法返款盈利。有犯罪嫌疑人称，通过发布视频、文章等，有阅读量就会给收益。

南都记者发现，还有造谣者为赚取佣金，利用手机软件的AI题词功能写文章，在某App上参加发布作品活动，只要播放量达到奖励标准，就能赚到“零花钱”。

通过借社会热点事件编造传播网络谣言，一些自媒体从业人员实现吸粉引流、赚取平台补贴、增加广告收入以及带货牟利。

AI能否助力引流？方宇介绍，即使不利用AI，一些非法为账号提供“刷赞”“刷评论”的“网络水军”也正成为引流的工具。“但AI确实可以在扩散谣言中起到推波助澜的作用，让谣言传播过程更加自动化、隐蔽化。”

方宇说道，尤其是，AI算法可以根据用户的行为和偏好定制内容，增加其吸引力和说服力，从而更有效地吸引流量和关注，“有句话是说，AI可能比你自己更加了解你”。

“目前监管机构、平台方正在努力，通过更有效的技术和管理措施，来识别和阻止这类行为，降低AI工具在这一方面的负面影响。”方宇向南都记者表示，有关部门还需要提高公众的识别能力，以减少谣言的传播和影响，例如发现谣言能及时举报等。

侵权：“AI换衣”等造“黄谣”仍不止

随着AI技术的深度发展，“AI换脸”“AI脱衣”工具变得常见。一些不法分子将歪主意打到了造“黄谣”，甚至威胁、诈骗上。

4月19日，北京市海淀区人民法院审理了一起使用“AI去衣”软件制作淫秽物品案。

被告人通过互联网发布“AI去衣”广告，将他人提供的承载人脸信息的不特定多数女性图片，通过深度伪造技术、AI软件制作成裸体图片贩卖牟利，同时出售“AI去衣”软件及使用教程牟利。

今年1月，贵阳市花溪区一女子在某短视频平台直播带货的照片，被人截图后将上半身换成裸照，在网络传播。

经调查，家住广西玉林市的谢某，将该主播的直播截图上传到一款AI绘图软件，使用局部改图功能合成了该主播上身赤裸的照片，又将合成的裸照打上马赛克之后转发到微信群内，照片被多人转发。随后，谢某被警方抓获并被处以行政拘留处罚。

网购平台能找到“AI换衣”工具。

近日，南都记者搜索网购平台发现，仍有少量“AI换衣”“AI换脸”类工具售卖，只是搜索路径更为隐蔽。一些店铺隐晦地将“去衣”表述为“去一”等同音字。

南都记者点击进入一个仅售1.9元的AI工具的链接，发现虽未写明“换脸”，但有“换服装”“一键完成照片视频处理”等字样。在客服发来的收货内容中，既有“去一”也有“换lian”。

另一家销售“一键换衣软件”的网店内，有两款价格不同、但介绍相似的AI换衣工具，分别售价8元、15元左右。

对此，客服解释称，便宜的工具是“换”衣，贵一点的工具是“去yi”。还有一家网店用名称“上半升趣一”暗示工具功能。

实际上，“AI换脸”“AI脱衣”此前已被曝光。

2021年，南都记者调查发现，深度伪造及类似的合成技术的滥用已催生了一批黑灰产：有卖家出售破解版换脸软件，并打包出售通过换脸软件制作的女明星淫秽视频；短视频平台“假靳东”事件后，仍有假冒“东哥”账号在平台活跃。

“AI换脸、换衣技术已经相当成熟，如深度伪造，可以生成逼真的视频、图片。”近日，方宇向南都记者介绍，这些技术也被不法分子用于造谣，甚至进行诈骗等。

从技术上来看，可通过一些专业的检测手段进行真伪分析，一些常见的辨别方法包括检查图像或视频中的不一致性，如异常的光影效果、物体的不自然变形等。专业软件和工具也可以通过分析图像的元数据和像素模式来检测伪造。

方宇也指出，如今AI技术进步很快，这些检测方法也无法给出绝对的结论，只能作为参考。

“但监管机构和平台也正采取措施提高公众的识别能力。”方宇表示。据2023年8月15日起施行的《生成式人工智能服务管理暂行办法》，明确生成式人工智能服务提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识，发现违法内容应当及时采取处置措施等。

治理：明确“标识”义务

无论技术如何发展，针对网络谣言的打击整治从未间断。

2023年12月以来，公安部部署全国公安机关统一开展打击整治网络谣言专项行动。截至2024年4月12日，公安机关累计排查网络谣言线索8万余条，侦办网络谣言类案件1万余起，抓获犯罪嫌疑人1500余名，行政处罚10700余人，开展公开辟谣等4200余次。

公安机关坚持打防管控一体推进，聚焦社交媒体、直播和短视频等重点平台开展执法检查，查处整治9800余家次，清理网络谣言信息73.5万余条，关停违法违规账号6.3万个；指导互联网平台企业严格落实网络安全管理主体责任，坚决查处不履行主体责任和义务的平台，行政处罚网站平台590余次。

生成式人工智能的相关法规也陆续出台。

许可向南都记者介绍，在提升技术的透明性方面，已出台有关规定明确了AI服务提供者的“标识”义务。他进一步解释，“可以通过对生成内容进行显式标识或隐式标识，做好安全提示以及事后追责。”

2023年9月，最高人民法院、最高人民检察院、公安部印发《关于依法惩治网络暴力违法犯罪的指导意见》，指出对实施网络暴力违法犯罪，包括利用“深度合成”等生成式人工智能技术发布违法信息等情形，依法从重处罚。

方宇认为，除了监管与执法，还可以从加强技术防范、公众网络安全教育、鼓励行业自律、开展国际合作、激励社会共治等角度入手开展治理。

“AI技术本身是中性的，它的应用取决于使用者的目的和行为。”方宇表示，正确使用AI技术可以带来许多积极的变化，如提高工作效率、改善生活质量等。然而，滥用AI技术进行违法行为，如制造和传播谣言，是需要坚决打击和防范的。

他注意到，有关部门正在采取一系列措施来应对利用AI工具生成和传播谣言的问题。他认为，这也提醒了技术开发者和使用者，必须在遵守法律法规的前提下使用AI技术，避免对社会造成不良影响。

“生成式人工智能带来了深刻的技术变革，我们要积极地拥抱新技术，也要及时认识到并改善技术使用过程中出现的问题。”许可说道。

他认为，如今AI造谣的乱象频发，也有大众对该情况不了解的原因。当人们认识到该问题后，辨别能力也会有所提升。

“我觉得从长期来看，工具的变化背后是人的变化，当人的能力与工具的发展相匹配，最终会解决这些问题。”