自动驾驶、聊天机器人、电商直播甚至医疗保健，近年来人工智能在多领域的研究和应用给我们的生活和工作带来了高效和便利。但是也有不法分子为了牟利，利用人工智能技术进行诈骗，比如利用AI换脸冒充熟人诈骗，或者制作发布假新闻混淆视听、赚取流量等等。

昨天（13日），国家网信办联合国家发展改革委、教育部、科技部等7部门公布《生成式人工智能服务管理暂行办法》，自2023年8月15日起施行。国家网信办有关负责人表示，出台《办法》旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。

《办法》从哪些方面规范生成式人工智能的发展和应用？又是如何针对当前存在的一些滥用人工智能技术乱象来对症下药？一起看↓

《管理暂行办法》从多个方面“划红线”

《办法》要求，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：

坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；

在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；

尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；

尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；

基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

何为生成式人工智能？

生成式人工智能技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。

生成式人工智能服务提供者，是指利用生成式人工智能技术提供生成式人工智能服务（包括通过提供可编程接口等方式提供生成式人工智能服务）的组织、个人。

生成式人工智能服务使用者，是指使用生成式人工智能服务生成内容的组织、个人。

“AI换脸”诈骗 10分钟被骗取430万元

作为生成式人工智能的一种技术，近期，“AI换脸”的应用范围越来越广，但存在滥用之嫌，甚至有人利用AI换脸实施犯罪。

近日，内蒙古包头警方发布一起利用AI实施电信诈骗的典型案例。来自福建的郭先生是一家科技公司的法人代表。今年4月，他的好友突然通过微信视频联系他，称自己的朋友在外地竞标，需要430万元保证金，想借用郭先生公司的账户走账。基于对好友的信任，加上已经视频聊天“确认”了身份，郭先生在10分钟内，先后分两笔把430万元转到了对方的银行账户上。事后，郭先生才得知，原来是骗子通过AI换脸和拟声技术实施的骗局。

利用人工智能技术造谣 一网民被依法查处

自2022年12月以来，一款名为ChatGPT的人工智能应用掀起来一股科技热潮，它能够通过学习和理解人类的语言来进行对话，根据用户需求撰写邮件、视频脚本、文案、代码等等，被视为具有可快速、批量生产讯息的生产力工具，然而却有人打起了借此非法牟利的歪心思。

近期，根据公安部网安局总体部署，江苏公安网安部门深入推进网络谣言打击整治专项行动，依法查处一名利用人工智能技术编造谣言网民。

今年4月10日，盐城市公安局网安支队接到上级通报称，该市一网民发布“浙江温州一名女大学生在晚归途中遭持刀袭击并强奸”的虚假信息。盐城网安支队立即会同属地警方展开调查，查明造谣人员系盐城阜宁县网民朱某锋，并对其依法传唤。到案后，朱某峰对其造谣行为供认不讳。

阜宁县公安局网络安全保卫大队民警邱侗：据其交代为了博取眼球、吸引流量，以获取平台给予的创作者奖金，他就利用了这款时下流行的ChatGPT人工智能软件杜撰了该谣言。而编造发布此类谣言极易引发群众恐慌，造成不良社会影响，从而构成违法犯罪。

网民 朱某锋：我就跟机器人聊，让它帮我写一篇强奸案文章，内容要求逼真，字数1500字。然后它就自动生成了，内容的真实性我没有考虑。

为显真实，朱某峰还在网上找到一张白衣女性的图片，附在文章中一同发布。目前，公安机关根据《中华人民共和国治安管理处罚法》第二十五条之规定，已对朱某峰行政罚款贰佰元，并责令其清理不实信息，关停相关自媒体账号。

网民 朱某锋：我认识到错误的严重性了，诚恳接受民警的处罚与批评教育，今后做守法网民，不造谣、不传谣。

阜宁县公安局网络安全保卫大队民警邱侗：在此提醒广大网民，网络并非法外之地，人工智能技术应用应严格遵守法律底线，在正当、合法的领域合理使用。

《办法》针对典型乱象从三方面对症下药

针对生成式人工智能出现滥用甚至违法现象，《生成式人工智能服务管理暂行办法》如何对症下药？

01:40 中国科学技术大学公共事务学院、网络空间安全学院教授左晓栋表示：

一是针对技术本身。例如要求使用具有合法来源的数据和基础模型，涉及个人信息的应当取得个人同意或者属于不需要取得同意的情形。这便是针对生成式人工智能输出结果容易受到输入数据影响而制定的。

二是针对服务的提供过程。例如要求生成式人工智能服务提供者依法承担网络信息内容生产者责任，履行网络信息安全义务。提供者应当对使用者的输入信息和使用记录依法履行保护义务。提供者如果发现使用者从事违法活动，应当采取处置措施。

三是针对产业发展。为了防止被卡脖子，鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新。为了防止无序发展，要求推动相关基础设施和公共训练数据资源平台建设，促进算力资源协同共享，提升算力资源利用效能。

目前生成式人工智能应用中出现了传播虚假信息、侵害个人信息权益、数据安全和偏见歧视等问题，需要及时规制。但总体而言生成式人工智能仍处于发展的初期阶段，风险没有完全暴露，应用前景难以估量，所以应当采取包容审慎的态度，坚持发展和安全并重、促进创新和依法治理相结合，要采取有效措施鼓励生成式人工智能创新发展。所以这次的管理办法称为“暂行办法”，便是有这方面的考虑。文件针对已经出现的滥用、违法现象提出了管理措施，但对于生成式人工智能技术的未来发展留下了巨大的空间。

人工智能蓬勃发展 核心产业规模达五千亿元

记者从相关部门了解到，我国人工智能产业蓬勃发展，核心产业规模达到5000亿元，企业数量超过4300家，创新成果不断涌现。未来，人工智能产业发展前景可观，我们也期待，随着《生成式人工智能服务管理暂行办法》的实施，人工智能在各领域的发展和应用更加健康规范，从各方面、多层次地助力人们的工作和生活。