ChatGPT类产品安全隐患解决？英伟达发布开源工具包
source link: https://www.36kr.com/p/2231516039065218
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
ChatGPT类产品安全隐患解决？英伟达发布开源工具包
随着ChatGPT等AI聊天机器人自去年底以来迅速“走红”，对于它们安全问题的相关警告也层出不穷。尽管背后的开发者也在竭尽全力地想办法解决这些问题，比如实施资讯过滤和人类纠正那些被标记的问题，但效果都不尽人意。
有鉴于此，英伟达公司（Nvidia Corp.）周二正式发布了一个名为“NeMo Guardrails”的开源工具包，可以禁止AI聊天机器人提供那些受限的信息，使人工智能驱动的应用程序更加“准确、适当、符合主题和安全”。
“每个人都意识到了大型生成语言模型的力量，”英伟达应用研究副总裁Jonathan Cohen说，“以一种安全可靠的方式部署它们非常重要。”
英伟达表示，“NeMo Guardrails”将作为终端用户和人工智能程序之间的一层“防护墙”。将其与传统软件混合，该系统将能够识别用户提出的事实问题，并检查机器人是否能够和应该回答这个问题。系统还将确定生成的答案是否基于事实，并控制聊天机器人给出回答的方式。
例如，假设一名员工询问人力资源聊天机器人，公司是否为想要领养孩子的员工提供支持。这将通过“NeMo Guardrails”并返回包含公司相关利益的文本。询问同一个机器人有多少员工利用了这一福利，可能会引发拒绝指令，因为这些数据是保密的。
Cohen还表示，英伟达已经在Guardrails的底层系统上工作了"多年"，但就在大约一年前意识到它很适合GPT-4和ChatGPT这样的模型。
"从那时起，我们一直在朝着NeMo Guardrails的这个版本发展，"他说，"人工智能模型安全工具对于那些为企业用途部署的模型至关重要。"
本文来自财联社，编辑：黄君芝，36氪经授权发布。
该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK