人工智能发展带来新安全风险挑战，利用AI技术造假、诈骗等问题浮现

拉紧AI法律“缰绳” 期待完善监管体系

阅读提示

人工智能技术在不断更新迭代，对应用领域的新风险需更重视。受访专家表示，人工智能的健康发展离不开技术和法律的合力，需要针对不同风险等级采取不同的监管措施。

用AI工具生成文本、合成假视频，编造不实信息以引流；利用AI技术“换脸”“变声”，实施电信诈骗……加速发展的人工智能技术在改变人类社会、改变世界的同时，带来的负面影响和潜在风险逐渐显现出来。

在刚刚过去的全国两会上，不少代表委员关注到人工智能的安全与合规问题，从技术、法律等角度就促进人工智能健康发展发出了建议和呼吁。

在人工智能加速发展的当下，如何拉紧法律“缰绳”成为社会关注问题。受访专家指出，人工智能的健康发展离不开技术和法律的合力，呼吁建立健全完整的人工智能技术法律体系，针对发展中不同风险等级采取不同的监管措施。

技术应用门槛降低带来新风险

去年以来，已有多地警方提醒公众防范不法分子利用AI技术“换脸”“换声”进行的新型电信诈骗。在内蒙古包头市公安局披露的一起案件中，诈骗团伙在AI技术的“掩护”下，佯装为一名企业家的“好友”，拨打其微信视频，称需要用其公司账户“走一下账”。

在视频中确认了“好友”面孔和声音的该企业家，将款项汇了过去。在拨打好友电话后，才发现视频里的“好友”系伪装。

人工智能已经从概念加速应用落地，算法歧视、信息茧房等法律甚至伦理等问题随之而来。全国工商联副主席、奇安信科技集团董事长齐向东也指出，生成式人工智能技术可以快速生成钓鱼邮件、编写恶意软件与代码，AI欺诈事件频繁发生。

360集团创始人周鸿祎将人工智能技术引发的安全风险分为技术安全、内容安全和人类安全。其中，内容安全是对大模型的控制、滥用、误用和恶意应用等。

AI为何能给不法分子可乘之机？北京科技大学自动化学院教授、北京人工智能学会理事曾慧在接受记者采访时指出，AI正深度“潜入”人们的工作和生活，由于算法是开源的，制作AI工具的技术门槛降低了，“相较以前，获取和使用AI工具也变得更加简单了”。

记者搜索发现，在一些平台，输入图片就可以轻松“换脸”，无须花费太多也可以自行训练和制定声音，男声甚至可以变为女声。商家称，远程安装10分钟即可直接点开使用。

“就目前来看，AI生成的‘真实’并非毫无破绽。一些高度‘伪装’的内容对设备和技术则有更高要求。”曾慧指出。

多位受访者表示，人工智能还在不断更新迭代，对应用领域的新风险需更重视。

AI应用有法可依但并不完善

“按照相关规划，我们还处于建立人工智能法律法规体系的初步阶段，应该说，AI的应用并非无法可依，但还远不够完善。”北京志霖律师事务所合伙人谢阳律师在接受记者采访时指出。

2017年，国务院印发《新一代人工智能发展规划》（以下简称《规划》），其中提出，“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险”。《规划》提出，到2030年建成更加完善的人工智能法律法规、伦理规范和政策体系。

推动人工智能健康发展和规范应用的政策陆续铺开。全国两会前，《生成式人工智能服务安全基本要求》发布，从语料安全、模型安全等多个维度规定了生成式人工智能服务在安全方面的基本要求。《生成式人工智能服务管理暂行办法》则在2023年8月15日起施行，其中提到，提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。

谢阳介绍，根据《网络信息内容生态治理规定》，网络信息内容生产者应当遵守法律法规，“其责任和义务散见于网络安全法、数据安全法、消费者权益保护法、个人信息保护法、侵权责任法、未成年人保护法等法律法规中。”

金杜律师事务所高级合伙人张毅律师指出，目前已出台的算法管理规定仍有不足，例如，未对服务“提供者”等概念进行明确划分；尚未设立统一的算法监管机构，对综合型算法监管易产生监管竞合，对新型算法监管易出现监管真空；生成式人工智能技术迭代快、应用多样，也带来了更多新挑战。

多位受访专家表示，算法侵害还面临着“维权难”的困境，存在“取证难”“举证难”“认定难”“追责难”等问题。“在实践中，将侵害结果追溯到具体的行为主体也还面临着障碍。”谢阳指出。

AI健康发展离不开技术与法律合力

人工智能是引领未来的战略性技术，如何最大限度发挥出向上向善的力量，对人们生活和社会发展很重要。受访专家认为，在人工智能的健康发展过程中，离不开技术和法律的合力。

“应借助AI能力，加速网络安全技术创新、安全防护体系创新。”齐向东认为，应鼓励各个行业的龙头公司和网络安全公司合作，把AI安全技术融入数字化场景当中，进行有效的安全防护。

周鸿祎建议，制定保障通用大模型安全的标准体系，推动通用大模型开展安全评测、接入安全服务，降低通用大模型安全风险。

张毅认为，应尽快推进人工智能法的制定和出台，以人工智能法及配套的监管工具为核心，形成完整的人工智能技术法律体系。同时，参考其他成熟的监管思路，将人工智能和算法技术按风险等级进行划分，并针对不同等级采取不同的监管措施。

“任何规范的最终落脚点是能追责，追责的前提之一是要留痕。”谢阳认为，应进一步完善制度供给，可以通过法律法规来施行强制的行业标准，以做到留痕，事前预防、事中规制、事后救济等问题可迎刃而解。“可以采用试点模式，提前试点相关的监管措施，待时机成熟时再予以推广适用。”他建议。

“应拓展算法侵害行为的维权路径与责任模式，增强用户的维权力量。”张毅建议，在算法侵权的诉讼中采取“过错推定”归责原则，实行“举证责任倒置”。用户仅承担受到算法损害的责任，由算法服务商对算法和损害之间无因果关系以及无过错承担举证责任，“应增强源头治理，形成责任闭环”。(记者 赵琛 李润钊 杨召奎)