一较高下！Nvidia推出宣称“更安全”的AI聊天机器人安全工具

darthracer · 2023-5-8 08:43

当前台面上不论是基于ChatGPT模型或其他生成式AI模型的各家聊天机器人务虽然“热门有余”，但确有“精准度不足”的普遍诟病，即使是当前最好的模型也难免会生成内置偏见、有害、有毒及恶意攻击的内容。为了解决这个从ChatGPT推出至今就一直存在的问题，Nvidia 4月25日发布一款名为NeMo Guardrails的开源工具组件，以促使今后AI应用能更加“准确、恰当、切题与安全”。

随着各家生成式AI模型频频犯错，不时出现似是而非、令人错愕，甚至引发幻觉与偏见的有害言词及造假内容，某个AI模型还因此被冠以“操纵情感的骗子”的骂名。有鉴于此，许多这类模型背后的公司纷纷实施过滤器或成立仲裁团队来更正上述各种问题与错误。但截至目前为止，还没看到令人满意的改善成效。

Nvidia深知AI模型安全工具对于想在使用案例中部署AI模型的企业而言至关重要，为了寻求“更安全”的文本提示生成式AI模型，多年来一直在研究Guardrails底层系统的Nvidia，特别推出NeMo Guardrails开源工具组件。该组件包含程序代码、范例和文件，能为生成文本和语音的AI App添增安全性。相对于各家推出的“专属”过滤器，该工具组件能与大多数生成式AI模型协同运行，开发人员只需撰写几行程序代码就能创建规则。

基本上，NeMo Guardrails可以避免AI模型偏主题，防止AI回复不准确的资讯或有毒的言论，更进一步杜绝AI模型连接不安全的外部资源。目前已有工作流程自动化服务商Zapier使用该工具组件来为他们的生成式模型增加一层安全性。

虽然理论上，NeMo Guardrails适用于当前大多数生成式AI模型，但事实上它算是该公司NeMo框架的一部分。身为Nvidia AI平台一部分的NeMo则是一个端到端的云计算原生企业框架，可用来部署包含数十亿参数的生成式AI模型。该框架可通过Nvidia企业AI套装软件以及NeMo全托管云计算服务取得。虽然任何公司皆可采用开源版NeMo Guardrails，但Nvidia显然更希望客户付费订阅托管版服务。

一较高下！Nvidia推出宣称“更安全”的AI聊天机器人安全工具

浏览过的版块