AI迎来MOSS时刻，已有诈骗团伙用ChatGPT写“剧本”

ChatGPT的大风不仅刮过科技圈，也引起了不法分子的注意，让人担心来自人工智能的网络威胁。目前已经有诈骗团伙利用ChatGPT实施诈骗，关于人工智能的网络安全管理迫在眉睫，关于ChatGPT产品的安全性，目前我们应该知道能什么，又能够做什么？一起来看看这篇文章，或许能找到答案。

短短十天，全球被一波又一波的ChatGPT浪潮“炸晕”了。

无论是可支持多模态输入的ChatGPT 4.0，内置ChatGPT 4.0后可以一键生成PPT的Office 365，还是虽然不那么令人满意但也还算能打的文心一言，最终都浓缩为英伟达创始人CEO黄仁勋在3月21日年度技术峰会GTC上连续强调七次的那句话——“我们正处在AI的iPhone时刻”。

然而，当绝大多数人欢呼AIGC（利用人工智能技术生成内容）降低了普通人使用AI的门槛时，担忧接踵而来：AI或将带来新型网络攻击。

3月21日，中国产业互联网发展联盟、《中国信息安全》杂志、南方日报、中国网络空间新兴技术创新论坛、腾讯安全、腾讯研究院联合发布的《2023产业互联网安全十大趋势》提出，以ChatGPT为代表的生成式人工智能技术进步，将会引发潜在新型攻击和内容合规等安全风险。

目前，已有安全团队发现，网络攻击者开始使用ChatGPT创建恶意软件、暗网站点和其他实施网络攻击的工具，甚至诈骗团伙也开始用ChatGPT生成“剧本”，进行更有针对性的精准诈骗。

一、ChatGPT版“诈骗剧本”已上线

ChatGPT的横空出世，让很多人担忧自己会失业。生成式人工智能技术的发展，让写论文、写代码等原本具有一定门槛的人类创作性工作，变成只需输入的一行文字请求。黄仁勋便认为，程序员将成为第一批失业的职业，ChatGPT让普通人对原本复杂的编码程序唾手可得。

同时被拉低的，还有“诈骗的门槛”。腾讯安全策略发展中心总经理吕一平的安全团队观察到，已经有诈骗分子开始利用ChatGPT编写“钓鱼剧本”，这大大提高了骗子实施精准诈骗的效率。

安全领域有一个专用名词叫“社攻”，也即利用社交关系攻击的方式。诈骗分子通过与被害者聊天，诱导其点击恶意链接，或者下载一些恶意软件，从而在电脑里“种好木马”，常见的话术有：“你孩子在学校生病了”“你被法院起诉了”“你获得一笔退款”等。

“为了赢得被骗人的信任，诈骗分子通常有多套沟通剧本，分别扮演警察、老师、客服等角色，原本这些剧本需人工编写，且必须具备一定的专业知识。比如扮演HR，你要深入了解对方的工作；扮演保险公司业务员，要对保险业务有比较清晰的了解……”

吕一平告诉《IT时报》记者，通过ChatGPT，编写剧本不再需要有“专业能力”的骗子，而且“剧本”几乎瞬间生成，大大提升了行骗的效率，因此，未来“剧本”里很可能会出现更多样化的角色、诱骗手段，形成新的钓鱼攻击方式。

二、调用ChatGPT API？未必合规

3月初，OpenAI放出ChatGPT API，开发者可以将ChatGPT集成到自家应用和服务的门槛上，构建属于自己的AI聊天机器人。

但安全专家建议，国内开发者先别急着“冲”，首先要评估这种应用方式是否合规。

随着《中华人民共和国网络安全法》《中华人民共和国数据安全法》《个人信息保护法》的颁布，以及《信息安全技术个人信息安全规范》等行业标准的实施，数据安全成为企业构建安全体系的重中之重，尤其是对“出境数据”，国家有明确严格的评估要求，2022年9月1日，国家互联网信息办公室公布《数据出境安全评估办法》正式施行。

“调用ChatGPT API，意味着要将ChatGPT接入App，但目前ChatGPT所有服务器全部在国外，需根据我国法律对出境数据进行评估，尤其如果App涉及个人信息、地理位置等隐私数据，更要重视合规性。”吕一平认为，数据安全隐患是中国企业引入ChatGPT时的最直接风险。

此外，调试ChatGPT时输入的数据、代码，也有同样风险。据《IT时报》记者了解，目前国内几家互联网大厂都明确要求，员工不得用公司数据“喂”ChatGPT。

三、信任ChatGPT？不能太天真

作为大规模语言模型，新发布的ChatGPT4.0展现出比上一代版本更强大的输入能力和输出结果，也出现了更多的“涌现”。所谓涌现，是指当大模型的参数规模超过某一个临界值时，只需给模型提供提示，就可以让其自动执行任务，而这种提示既没有经过专门训练，也从未被期望过出现，也即会呈现出强大的“智慧能力”。

但在斯坦福大学众多学者联合撰写的文章《On the Opportunities and Risksof Foundation Models（基础模型的机会与风险）》中，“涌现”意味着系统的行为是隐式归纳而不是显式构造的，故基础模型显得更难以理解，并具有难以预料的错误模式。

“一夜长大”的ChatGPT固然让人类看到真正强人工智能时代带来的曙光，但同时也深藏隐忧——它为什么会如此想？它是真正这么想吗？正如《流浪地球2》中的MOSS，它的“涌现”究竟从何时开始？谁又能控制它？所有一切都指向终极问题——AI值得信任吗？

“至少目前来看，大规模语言模型还无法做到被证伪，如果人们信任它们给出的一些回答，很可能会引起严重的后果。”安全公司知其安创始人聂君认为，ChatGPT使生成高质量、高逼真信息的门槛大大降低，而老人、孩子是最容易被高逼真信息困扰或伤害的弱势群体，因此一些需要职业资格认定的领域不应该轻易使用类ChatGPT产品，比如律师、医生等，“国家今后也很可能会出台一些相应的法律规范。”