ROLL:看不下去AI胡说八道，英伟达出手给大模型安了个“护栏”

来源：量子位

作者：萧箫

大模型们胡说八道太严重，英伟达看不下去了。

他们正式推出了一个新工具，帮助大模型说该说的话，并回避不应该触碰的话题。

这个新工具名叫“护栏技术”，相当于给大模型加上一堵安全围墙，既能控制它的输出、又能过滤输入它的内容。

一方面，用户诱导大模型生成攻击性代码、输出不道德内容的时候，它就会被护栏技术“束缚”，不再输出不安全的内容。

另一方面，护栏技术还能保护大模型不受用户的攻击，帮它挡住来自外界的“恶意输入”。

Swan Bitcoin CEO：银行业危机可能引发第一个持续时间更长的比特币牛市:金色财经报道， Swan Bitcoin 首席执行官 Cory Klippsten 在接受采访时表示，与 2013 年席卷塞浦路斯的上一次银行业危机期间相比，如今有更多人知道比特币是一种选择退出传统金融体系的工具。这意味着下一个比特币牛市可能会持续两到三年，而不是仅仅几个月。根据 Klippsten 的说法，比特币并未受到美国当前监管打击的威胁，他认为这是去年 FTX 崩盘后的自然反弹。比特币极端主义者支持美国证券交易委员会对山寨币的看法，它们应该作为证券受到监管。[2023/4/5 13:45:12]

现在，这个大模型护栏工具已经开源，一起来看看它的效果和生成方法。

防止大模型胡言乱语的三类“护栏”

根据英伟达介绍，目前NeMoGuardrails一共提供三种形式的护栏技术：

以太坊扩容项目Scroll完成5000万美元融资:金色财经报道，以太坊扩容项目Scroll宣布在新一轮融资中筹集了 5000 万美元。本轮融资的投资者包括Polychain Capital、红杉中国、贝恩资本 Crypto、摩尔资本管理公司、OKX Ventures、Variant Fund、Newman Capital、IOSG Ventures 和启明创投。

据知情人士表示，该轮融资使 Scroll 的估值达到 18 亿美元。

Scroll 此前在两轮融资中筹集了3300 万美元，当时并未披露其估值。新一轮融资使 Scroll 迄今的总融资额达到 8300 万美元。[2023/3/7 12:45:36]

话题限定护栏、对话安全护栏和攻击防御护栏。

Ripple与法国和瑞典公司建立新的合作伙伴关系:金色财经报道，加密支付公司Ripple Labs已在法国和瑞典建立了新的合作伙伴关系，Ripple与法国在线市场支付提供商Lemonway和瑞典汇款提供商Xbaht就其“按需流动性”系统签署了协议。据Ripple公司英国和欧洲区总经理Sendi Young称，当大多数加密货币公司都在为维持生计而挣扎时，Ripple公司似乎很健康，承诺今年将增加约300多名员工，这一招聘目标将在年底前实现。（CoinDesk）[2022/10/11 10:30:54]

话题限定护栏，简单来说就是“防止大模型跑题”。

大模型具备更丰富的想象力，相比其他AI更容易完成创造性的代码和文字编写工作。

但对于特定场景应用如写代码、当客服而言，至少用户不希望它在解决问题时“脱离目标范围”，生成一些与需求无关的内容。

Cardano生态DEX AdaSwap公共测试网已上线:6月30日消息，Cardano生态DEX AdaSwap公共测试网已上线，测试网部署在Cardano的二层解决方案Milkomeda网络上，Milkomeda是一个具有EVM功能的侧链。[2022/6/30 1:41:27]

这种情况下就需要用到话题限定护栏，当大模型生成超出话题范围的文字或代码时，护栏就会将它引导回限定的功能和话题上。

对话安全护栏，指避免大模型输出时“胡言乱语”。

胡言乱语包括两方面的情况。

一方面是大模型生成的答案中包括事实性错误，即“听起来很有道理，但其实完全不对”的东西；

另一方面是大模型生成带偏见、恶意的输出，如在用户引导下说脏话、或是生成不道德的内容。

攻击防御护栏，即防止AI平台受到来自外界的恶意攻击。

这里不仅包括诱导大模型调用外部病APP从而攻击它，也包括黑客主动通过网络、恶意程序等方式攻击大模型。护栏会通过各种方式防止这些攻击，避免大模型瘫痪。

所以，这样的护栏要如何打造？

如何打造一个大模型“护栏”？

这里我们先看看一个标准的“护栏”包含哪些要素。

具体来说，一个护栏应当包括三方面的内容，即格式规范、消息和交互流。

首先是格式规范，即面对不同问题的问法时，规定大模型要输出的内容。

例如被问到“XX文章是什么”，大模型必须给出特定类型的“文章”，而非别的东西；被问到“谁发表了什么”，大模型必须给出“人名”，而非别的回答。

然后是消息定义，这里以“用户问候”话题为例，大模型可以输出这些内容：

最后是交互流的定义，例如告诉大模型，怎么才是问候用户的最好方式：

一旦问候用户的机制被触发，大模型就会进入这个护栏，规规矩矩地问候用户。

具体工作流程如下：首先，将用户输入转换成某种格式规范，据此生成对应的护栏；随后，生成行动步骤，以交互流指示大模型一步步完成对应的操作；最后，根据格式规范生成输出。

类似的，我们就能给大模型定义各种各样的护栏，例如“应对用户辱骂”的护栏。

这样即使用户说出“你是个傻瓜”，大模型也能学会冷静应对：

目前，英伟达正在将护栏技术整合进他们的AI框架NeMo中，这是个方便用户创建各种AI模型、并在英伟达GPU上加速的框架。

对“护栏”技术感兴趣的小伙伴们，可以试一试了~

标签：ROLL比特币CROPPLQrolli比特币交易所有哪些MICROripple币最新消息

Pol币热门资讯