ROM:BuidlerDAO x KNN3：大型语言模型使用经验

作者：

时间：1900/1/1 0:00:00

作者：@於方仁 /img/2023525190307/0.jpg" />

目前生态上讲，BERT 多用于微调场景。因为微调必须在开源模型的基础上，GPT 仅开源到 GPT2 的系列。且相同模型参数量下 BERT 在特定场景的效果往往高于 GPT，微调需要调整全部的模型参数，所以从性价比而言，BERT 比 GPT 更适合微调。

而 GPT 目前拥有 ChatGPT 这种面向广大人民群众的应用，使用简单。API 的调用也尤其方便。所以若是仅使用 LLM，则 ChatGPT 显然更有优势。

ChatGPT Prompt

Blockchain Capital重塑品牌，并推出投后支持项目“BCAP Build”:7月26日消息，加密风投机构Blockchain Capital今天推出了一个专注于为创始人提供投资后支持的新项目BCAP Build，同时还宣布重塑其网站，以展示其投资组合公司网络。Blockchain Capital普通合伙人Kinjal Shah在接受采访时表示，这个新项目将专注于人才、市场进入战略及其合作伙伴网络。

据悉，Blockchain Capital成立于2013年，目前管理着19亿美元的资产，并正在积极进行投资。[2023/7/27 16:01:00]

下图是 OpenAI 官方提出对于 ChatGPT 的 prompt 用法大类。

Figure 1. Prompt Categories by OpenAI

每种类别有很多具体的范例。如下图所示：

Figure 2. Prompt Categories Examples by OpenAI

除此以外，我们在此提出一些略微高级的用法。

高级分类

这是一个意图识别的例子，本质上也是分类任务，我们指定了类别，让 ChatGPT 判断用户的意图在这

Klaytn公布BUIDL the Future黑客松Klaytn赛道获奖项目:3月2日消息，韩国区块链平台Klaytn发文介绍Coinbase Cloud主办的BUIDL the Future黑客松Klaytn赛道的获奖项目者，分别为：冠军项目Web3众筹平台Wanna、第一名NFT游戏化平台 Encryp、第二名NFT资产管理平台 GameFolio。[2023/3/2 12:38:36]

Figure 3. Prompt Examples

实体识别与关系抽取

利用 ChatGPT 做实体识别与关系抽取轻而易举，例如给定一篇文本后，这么像它提问。

Figure 4. Example Text Given to ChatGPT

这是部分结果截图：

Figure 5. Partial Output from given Text on ChatGPT

之后可以追问给他们的关系，例如：

Figure 6.Asking relationship on ChatGPT

这样，一个大型的知识图谱便可轻松建立。

分析任务

全球小费打赏文化平台TIP已报名参加币安智能链BUIDL奖励计划:据官方消息，经过初步的筛选，TIP已成功报名参与MVB计划，成功进入第二阶段。

据悉，TIP是用于构建基础设施的项目，同时在在TVL与流动性、日活跃用户、成熟的用户社区、Certik安全审计等方面也表现不错。[2022/3/16 14:00:45]

如下图所示，我对 ChatGPT 提出了分析我目前需求的问题。

Figure 7. Result for needs request on ChatGPT

甚至还能让它给定分数。

Figure 8. Scoring to evaluate the identified needs

除此以外还有数不胜数的方式，在此不一一列举。

组合Agent

另外，我们在使用 ChatGPT 的 API 时，可以将不同的 prompt 模板产生多次调用产生组合使用的效果。我愿称这种使用方式叫做，组合 Agent。例如 Figure 1 展示的是一个大概的思路。

Figure 9. The Paradigm of the Combination Agent

Build Finance遭遇治理攻击，110万枚代币通过投票被恶意增发并抛售:2月15日消息，风投DAO组织Build Finance在推特表示，该项目遭遇恶意治理接管，恶意行为者通过获得足够多的投票成功了控制 Build 代币合约，进而铸造了 110万 BUILD代币并耗尽了项目的流动资金池，此外还将DAO金库中的 13 万 METRIC 代币全部抛售。该项目团队成员与攻击者进行了直接接触，但对方似乎没有兴趣进行对话。[2022/2/15 9:51:58]

具体说来，例如是一个辅助创作文章的产品。则可以这么设计，如 Figure 10 所示。

Figure 10. Agent combination for assisting in creation

假设用户输入一个请求，说“帮我写一篇伦敦游记”, 那么 Intent Recognition Agent 首先做一个意图识别，意图识别也就是利用 ChatGPT 做一次分类任务。假设识别出用户的意图是文章生成，则接着调用 Article Generate Agent。

另一方面，用户当前的输入与历史的输入可以组成一个上下文，输入给 Chat Context Analyze Agent。当前例子中，这个 agent 分析出的结果传入后面的 AI Reply Agent 和 Phase Control Agent的。

AI Reply Agent 就是用来生成 AI 回复用户的语句，假设我们的产品前端并不只有一个文章，另一个敌方还有一个框用来显示 AI 引导用户创作文章的语句，则这个 AI Reply Agent 就是用来干这个事情。将上下文的分析与文章一同提交给 ChatGPT，让其根据分析结果结合文章生成一个合适的回复。例如通过分析发现用户只是在通过聊天调整文章内容，而不知道 AI 还能控制文章的艺术意境，则可以回复用户你可以尝试着对我说“调整文章的艺术意境为非现实主义风格”。

现场 | 金色财经欧洲游学团队参加巴黎区块链周分场Building the New Web:金色财经欧洲游学团队参加了Paris Blockchain Week中的Building New Web分场会议，参加会议的包括Algorand首席工程师Naveed Ihsanullah, GEO Protocol首席架构师Dima Chizhevsky, Solana业务拓展主管Dominic Tsang, Chromapolis联合创始人Henrik Hjelte，参加了本次会议，嘉宾从加密算法、共识机制、可扩展性、安全性以及链上治理等多个角度进行了讨论。[2019/4/15]

Phase Control Agent 则是用来管理用户的阶段，对于 ChatGPT 而言也可以是一个分类任务，例如阶段分为[文章主旨，文章风格，文章模板，文章意境]等等。例如 AI 判断可以进行文章模板的制作了，前端可以产生几个模板选择的按钮。

使用不同的 Agent 来处理用户输入的不同任务，包括意图识别、Chat Context 分析、AI 回复生成和阶段控制，从而协同工作，为用户生成一篇伦敦游记的文章，提供不同方面的帮助和引导，例如调整文章的艺术意境、选择文章模板等。这样可以通过多个 Agent 的协作，使用户获得更加个性化和满意的文章生成体验。

Prompt 微调

LLM 虽然很厉害，但离统治人类的 AI 还相差甚远。眼下有个最直观的痛点就是 LLM 的模型参数太多，基于 LLM 的模型微调变得成本巨大。例如 GPT-3 模型的参数量级达到了 175 Billion ，只有行业大头才有这种财力可以微调 LLM 模型，对于小而精的公司而言该怎么办呢。无需担心，算法科学家们为我们创新了一个叫做 prompt tuning 的概念。

Prompt tuning 简单理解就是针对prompt进行微调操作，区别于传统的 fine-tuning，优势在于更快捷， prompt tuning 仅需微调 prompt 相关的参数从而去逼近 fine-tuning 的效果。

Figure 11. Prompt learning

什么是 prompt 相关的参数，如图所示，prompt tuning 是将 prompt 从一些的自然语言文本设定成了由数字组成的序列向量。本身 AI 也会将文本从预训练模型中提取向量从而进行后续的计算，只是在模型迭代过程中，这些向量并不会跟着迭代，因为这些向量于文本绑定住了。但是后来发现这些向量即便跟着迭代也无妨，虽然对于人类而言这些向量迭代更新后在物理世界已经找不到对应的自然语言文本可以表述出意思。但对于 AI 来讲，文本反而无意义，prompt 向量随着训练会将 prompt 变得越来越符合业务场景。

假设一句 prompt 由 20 个单词组成，按照 GPT3 的设定每个单词映射的向量维度是12288，20个单词便是245760，理论上需要训练的参数只有245760个，相比175 billion 的量级，245760这个数字可以忽略不计，当然也会增加一些额外的辅助参数，但同样其数量也可忽略不计。

问题来了，这么少的参数真的能逼近 fine tuning 的效果吗，当然还是有一定的局限性。如下图所示，蓝色部分代表初版的 prompt tuning, 可以发现 prompt tuning 仅有在模型参数量级达到一定程度是才有效果。虽然这可以解决大多数的场景，但在某些具体垂直领域的应用场景下则未必有用。因为垂直领域的微调往往不需要综合的 LLM 预训练模型，仅需垂直领域的 LLM 模型即可，但是相对的，模型参数不会那么大。所以随着发展，改版后的 prompt tuning 效果可以完全取代 fine-tuning。下图中的黄色部分展示的就是 prompt tuning v2 也就是第二版本的 prompt tuning 的效果。

Figure 12. Prompt learning parameters

V2 的改进是将原本仅在最初层输入的连续 prompt 向量，改为在模型传递时每一个神经网络层前均输入连续 prompt 向量，如下图所示。

Figure 13. Prompt learning v2

还是以 GPT3 模型为例，GPT3 总从有96层网络，假设 prompt 由20个单词组成，每个单词映射的向量维度是12288，则所需要训练的参数量 = 96 * 20 * 12288 =23592960。是175 billion 的万分之1.35。这个数字虽不足以忽略不计，但相对而言也非常小。

未来可能会有 prompt tuning v3, v4 等问世，甚至我们可以自己加一些创新改进 prompt tuning，例如加入长短期记忆网络的设定。(因为原版的 prompt tuning v2 就像是一个大型的 RNN, 我们可以像改进RNN 一般去改进prompt tuning v2)。总之就目前而言，prompt tuning 使得微调 LLM 变得可行，未来一定会有很多垂直领域的优秀模型诞生。

总结

Large Language Models (LLMs) 和 Web3 技术的整合为去中心化金融（DeFi）领域带来了巨大的创新和发展机遇。通过利用 LLMs 的能力，应用程序可以对大量不同数据源进行全面分析，生成实时的投资机会警报，并根据用户输入和先前的交互提供定制建议。LLMs 与区块链技术的结合还使得智能合约的创建成为可能，这些合约可以自主地执行交易并理解自然语言输入，从而促进无缝和高效的用户体验。

这种先进技术的融合有能力彻底改变 DeFi 领域，并开辟出一条为投资者、交易者和参与去中心化生态系统的个体提供新型解决方案的道路。随着 Web3 技术的日益普及，LLMs 创造复杂且可靠解决方案的潜力也在扩大，这些解决方案提高了去中心化应用程序的功能和可用性。总之，LLMs 与 Web3 技术的整合为 DeFi 领域提供了强大的工具集，提供了有深度的分析、个性化的建议和自动化的交易执行，为该领域的创新和改革提供了广泛的可能性。

参考文献