粉碎谣言，真相来了。近日，公安部网安局公布了一起网络谣言典型案例，该谣言中出现了“某医院前院长未得到及时救治”“客死他乡医院走廊”等抓人眼球的内容。但是，上海警方调查后发现，这些内容竟然都是AI工具生成的。
前不久，上海警方在网络巡查时发现一则题为“华山医院前院长张明远因阑尾炎未得到及时救治，客死他乡医院走廊长椅”的消息在网络传播，引发了广泛的关注。
上海市公安局静安分局网安支队民警 张帆：这个消息在发布之初可能点击寥寥，但是在之后经过微信群的层层传播，经过了大概10个小时，因为正好是晚上的时候，然后就大肆传播。
为了核实该消息的真实性，上海警方迅速展开调查工作，经查，华山医院根本没有名为“张明远”的前院长，也没有同名员工，另外，发布该内容的也并不是账号注册者本人。
上海市公安局静安分局网安支队民警 张帆：注册者是因为通过兼职把自己的账号注册完之后交给他人使用。
警方深入调查发现，所谓“华山医院前院长客死他乡”的不实信息是某自媒体工作室所发布，实际运营者为王某某、郭某某、石某某等3人。
据了解，王某某等人为了快速增加账号粉丝的数量，每天在网络上查找各种热点事件和消息，通过向AI工具输入关键词，自动生成文章，在未经核实的情况下就在自己控制的账号上发布。
上海市公安局静安分局网安支队民警 张帆：他利用AI批量生成一些不实信息，然后这些不实信息再通过他购买到的一些所谓的网络小号，他控制了大概有500余个自媒体账号，然后通过这500余个自媒体账号，一共发布了大概有10余万条的不实信息，通过这些制造一些爆款内容，然后增加这些小号的浏览量，然后最终获取那些流量的目的。
通过滥用AI技术，一条包含“知名三甲医院”“前院长”“客死他乡”等吸引眼球的谣言信息被王某某等人拼凑出来并发布，仅24小时之内，相关谣言的不同版本就在网上被大量传播，造成了恶劣的社会影响。
目前，王某某、郭某某、石某某等3人因涉嫌非法利用信息网络罪，被上海静安警方依法采取刑事强制措施，相关违法账号已被依法封禁，案件正在进一步侦办中。
AI仿冒名人带货多次发生 消费者被误导
随着近年来AI深度合成技术的快速发展和应用，网络上频繁出现AI造谣乱象。记者调查发现，在网络上，除了利用AI技术造谣吸粉引流之外，利用AI仿冒社会名人进行带货、代言，也成了一些自媒体博主的生财之道。一些消费者被误导而进入消费陷阱，而这种仿冒的行为也给被仿冒的名人带来极大困扰和伤害。
画面1：那些一个月能轻松瘦个10~15斤的人，一定是熬过了这4个时间点，先点赞收藏，以免找不到。
画面2：可以来试一试我的食谱，评论区打出食谱两字，我看到了，发您一份。
这是之前在网络上流传的一段中国工程院院士张伯礼带货的视频，不管从形象到声音，视频中的仿冒张伯礼都非常逼真，普通网民如果仅从画面来判断很难分辨真伪，而事实上这些画面也都是通过AI技术仿冒的。
有过同样遭遇的还有复旦大学附属华山医院感染科主任张文宏，他的形象和声音也被自媒体博主用AI技术仿冒进行引流带货，不少消费者信以为真而被骗。
北京航空航天大学法学院副教授 赵精武：对于被仿冒的名人而言，这类带货现象未经名人本人同意，侵犯了其名誉权、肖像权、个人信息权益等，对于被误导的消费者而言，在决定购买相关产品时，名人的社会声誉和口碑肯定是他购买该物品的重要考量因素之一。尤其对于粉丝群体而言，这一点更加突出。即便商家没有就产品的质量、场地等作出虚假承诺，但其本身的销售行为也已经构成了对消费者的实质性误导，那就存在欺诈消费者的情形。
据赵精武介绍，如果有消费者被仿冒名人带货而误导消费，可以依据《中华人民共和国消费者权益保护法》的相关规定，针对商家构成的欺诈行为，消费者可以主张“退一赔三”。
AI深度合成工具开源 仿冒他人“立等可取”
从发布吸引眼球的谣言信息，到仿冒名人学者、知名企业家，AI技术成了自媒体博主收割流量的工具。网络安全专家告诉记者，目前网络上很多AI深度合成的工具都是开源软件，所以使用起来并没有门槛，而要仿冒任何一个人的过程也并不复杂。
网络安全专家 吕硕：分析我们人的面部表情，手部动作，还有我们声音的声纹，使用相应的框架去进行克隆识别，根据这些内容生成相应的语态，然后我们来感受这个人的面部表情，以及手部动作，做相应的生成。
网络安全专家告诉记者，应用这种AI深度合成大模型来制作一个仿冒别人的短视频，只要有一段声音、人物清晰的视频就能操作，而且整个过程仅需5到10分钟就能完成。
网络安全专家潘季明告诉记者，目前很多AI大模型采用开源模式的初衷，是共享、协同的创新协作模式，其根本目的是降低创新门槛，避免重复冗余的开发，加速信息技术的更新迭代。但是，如果被人滥用的话则会带来严重的负面影响，因此他建议开源模型要对使用者进行相应限制。
网络安全专家 潘季明：从技术角度来说的话可能就是说，能不能在发布开源软件的过程当中，我们对使用者进行一定限制，包括强制化加一些无法去除的水印，以及打上一些原数据上的一些标记。其次能不能说在生成内容的时长上，或者清晰度上做一定限制。
加大惩处力度 网信部门开展专项整治行动
AI技术的发展带来了新奇体验和产业进步，与此同时，也成为不法分子牟取利益的工具。针对AI深度伪造技术滥用乱象，我国相关的法律法规在不断完善，主管部门也重拳出击，开展专项整治行动。
今年3月，国家网信办发布《人工智能生成合成内容标识办法》，将于9月1日正式施行，该办法对于AI生成合成的内容进一步提出刚性约束。
今年4月30日，为期3个月的“清朗·整治AI技术滥用”专项行动启动，从强化AI技术源头治理，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力；到聚焦利用AI技术制作发布谣言、不实信息、假冒他人等突出问题，处置处罚违规账号、MCN机构和网站平台。
据中央网信办6月20日公布的最新整治情况，专项行动第一阶段已经累计处置违规小程序、应用程序、智能体等AI产品3500余款，清理违法违规信息96万余条，处置账号3700余个，各项工作取得积极进展。
北京航空航天大学法学院副教授 赵精武：对于提供“一键生成仿冒视频”这些技术服务提供商来说，主要判断他有没有履行应尽的注意义务，比如在用户注册阶段，有没有以弹窗或者用户协议字体加粗等方式显著提醒用户要合理使用，在生成阶段应该增加相应的水印标识、屏蔽敏感信息内容。若没有履行这些义务，则需承担相应的侵权责任。同时，技术服务提供商如存在为犯罪分子提供相应的技术帮助等情形时，还会构成帮助信息网络犯罪活动罪。
据记者了解，目前各地网信部门多措并举，扎实推进，积极履行属地管理责任。北京网信办开设AI技术滥用治理举报渠道，形成“用户标记—平台核查—联合处置”工作模式，处置有关举报26篇。上海网信办推动标识要求落地示范，组织开展4场法规宣贯和专题交流，覆盖企业400余家，属地内重点企业已基本完成显式标识规范上线。
另外，各大重点网站平台也在积极履行主体管理责任，加强AI技术滥用源头治理。在处置违规AI产品方面，腾讯规范应用程序管理，提高准入门槛，优化巡查机制，驳回、处置违规小程序、应用程序等共计570余款。在清理违规AI产品教程和商品方面，微博通过策略识别、用户举报等多渠道审核，累计处置违规内容4800余条，并公布典型案例。
