原文来自:Modulus Labs
编译:DeFi 之道
很高兴终于可以与你们分享我们的第一篇论文,该论文是通过以太坊基金会的资助完成的,它的名称是《The Cost of Intelligence: Proving Machine Learning Inference with Zero-Knowledge?》(或 paper0,这是酷孩子们的叫法)。
没错,这些都是真数字!有图表!论文还讨论了理论结构及其对性能的影响!事实上,paper0 是第一个跨通用 AI 原语套件对 ZK 证明系统进行基准测试的研究工作,你现在就可以阅读整篇论文。
而这篇文章,你可以将其视为论文的总结,有关详细信息,请参阅原论文。
事不宜迟,让我们深入了解:
事实上,计算的未来将大量使用复杂的人工智能。看看我的文本编辑器:
Notion 的提示告诉我,他们的 LLM 可以让这句话变得更好
美国机构:银行应该用现金支持加密货币客户的存款:金色财经报道,美联储、联邦存款保险公司(FDIC)和货币监理署(OCC)表示,企业已经被告知需要进行仔细的风险评估,但最新的声明绝不是在制定新政策。周四发布的新声明旨在 \"提醒银行组织在涉及加密货币相关活动时应用现有的风险管理原则\"。银行应该考虑整个存款的 \"集中性和相互关联性 \"以及潜在的流动性风险。公司还应该完成对所有加密货币活动的 \"强有力的尽职调查和持续监测\"。监管机构表示,银行不应该借出加密货币客户的存款,应该持有现金来支持所有存款。[2023/2/25 12:28:29]
然而,链上不存在功能性神经网络,甚至连最小的推荐系统或匹配算法都不存在。真见鬼!甚至连实验也没有一个……当然,原因是非常明显的,因为这太贵了,毕竟,即使运行价值数十万 FLOP 的计算(仅够在微型神经网络上进行一次推理)的成本也是数百万 gas,目前相当于数百美元。
那么,如果我们想将 AI 范式带入无需信任的世界,我们该怎么做?我们会翻车(roll-over),然后放弃(give up)吗?当然不是…等等!Roll-over)……Give up……
BLUR第二大空投地址收到297.5万枚BLUR代币:金色财经报道,PeckShieldAlert监测显示,BLUR第二大空投地址收到297.5万枚BLUR代币,截至目前近一半的空投代币已转出或通过OKX、Uniswap、ParaSwap出售。目前,该地址还持有150万枚BLUR,并已将 2,000枚ETH(约 300 万美元)存入 Blur Bidding。[2023/2/15 12:08:33]
如果像 Starkware、Matter Labs 和其他公司这样的 Rollup 服务,正在使用零知识证明来大规模扩展计算,同时保持密码学安全,那么我们能为 AI 做同样的事情吗?
这个问题成为推动我们在 paper0 中工作的激励种子。 剧透警报,以下是我们发现的:
paper0 总结
这是众所周知的秘密:AI 性能几乎总是与模型大小成比例。 这种趋势看起来也没有放缓。 只要这种情况仍然存在,对于我们这些 web3 中的人来说,这将是特别痛苦的。
Genesis正考虑出售已筹集资金偿还债权人,希望在本周末之前与债权人达成协议:金色财经报道,Genesis 的律师在周一的听证会上告??诉破产法庭法官,希望在本周末之前与债权人达成协议。Genesis 正在考虑出售自己已筹集资金偿还债权人。律师补充,如果该过程没有导致出售企业,则作为 Holdco 实体的 GGH 的股权将分配给债务人的债权人。
此前报道,Genesis 负债超过 50 亿美元,这一数额远远大于其资产,根据周一向法院提交的陈述,资产包括大约 1.5 亿美元的未支配现金、500 美元亿美元的数字资产,3.85 亿美元的经纪账户和 5.05 亿美元的第三方未偿还贷款。这些资产中还包括其母公司 DCG 欠下的大笔款项,包括 5 月到期的 5.75 亿美元贷款和 2032 年到期的 11 亿美元期票。[2023/1/24 11:27:43]
毕竟,计算成本是我们最终、不可避免的噩梦来源。
今天的 ZKP 已经可以支持小模型了,但中型到大型模型打破了范式
ENS核心开发者:ENS定价现阶段很难改变,V神提议未考虑可访问性:9 月 11 日,本周以太坊联合创始人 Vitalik Buterin 在其个人网站发表文章讨论 ENS 域名是否应该引入基于需求的经常性费用。他认为目前 ENS 域名十分廉价,由此引发了产权强度和公平性之间的权衡问题,而且 ENS 二级市场的高度投机性也无法确保市场的有效性。
对此,ENS 核心开发者 Jeff Lau 在社交媒体上进行了回应。他指出由于想不出有什么办法,可以在不干预的情况下让定价系统自我延续,以及创造一个无法作弊的定价系统,因而 ENS 最终决定保持价格的可接受性,但对较短的域名仍收取更多费用。允许动态定价/续期可能会有帮助,但现在为时已晚。当前的 ENS 系统运行良好,定价也足够合理,能够看到一些域名到期的情况。V 神的论文更多关于域名空间的拥塞问题(可以通过子域名解决),以及更多资金给到 ENS DAO 以资助公共产品,但可访问性没有得到足够的重视。虽然 ENS 的定价被设计成可以改变,但现阶段很难改变。[2022/9/11 13:22:40]
对于 paper0,我们关注任何零知识证明系统中的 2 个基本指标:
华尔街日报:Celsius的资产股本比约19:1,仅为北美银行中值的一半:6月29日消息,截至去年夏天,加密借贷平台Celsius Network在筹集新资金之前拥有190亿美元的资产和大约10亿美元的股本,资产股本比约为19:1。而FactSet数据显示,标普1500综合指数(S&P 1500 Composite index)中所有北美银行的资产股本比中值约为9:1。[2022/6/29 1:39:11]
证明生成时间:prover 创建 AI 推理的伴随证明所需的时间,以及
prover 内存使用峰值:证明者在证明期间的任何给定时间用于生成推理证明的最大内存;
这主要是一个实际的选择,并且是从我们构建 Rockybot 的经验中做出的(证明时间和内存使用是确定任何无需信任人工智能用例可行性的直接优先事项)。 此外,所有测量都是针对证明生成时间进行的,并且没有考虑预处理或 witness 生成。
当然,还有其他方面的成本需要跟踪。 这包括验证者运行时间和证明大小。我们将来可能会重新审视这些指标,但将它们视为 paper0 的范围之外。
至于我们测试的实际证明系统,通过投票,我们选定了 6 个:
Paper0 测试的证明系统汇总表,以及协助我们的作者
最后,我们创建了两套用于基准测试的多线性感知器(MLP)——值得注意的是,MLP 相对简单,主要由线性运算组成。这包括一套随着参数数量增加而扩展的架构(最多 1800 万参数和 22 GFLOP),以及第二套随着层数增加而扩展(最多 500 层)的架构。如下表所示,每个套件都测试了证明系统以不同方式扩展的能力,并大致代表了从 LeNet5(6 万参数,0.5 MFLOP)到 ResNet-34(2200 万参数,3.77 GFLOP)的知名深度学习(ML)架构的规模。
参数和深度基准套件
对于以上 6 个证明系统的参数和深度范围的证明生成时间结果
对于以上 6 个证明系统的参数和深度范围内的峰值内存结果
有关这些结果的完整内容,以及对每个系统内瓶颈的深入分析,请参阅 paper0 的第 4 节。
好吧,以上是一些非常简洁的图表,而以下则是要点:
那这在实践中究竟意味着什么? 我们将重点介绍 2 个示例:
1、Worldcoin:Worldcoin 正在构建世界上第一个“隐私保护身份证明协议”(或 PPPoPP),换句话说,通过将身份验证与一种非常独特的生物特征(虹膜)联系起来来解决女巫攻击问题。这是一个疯狂的想法,它使用卷积神经网络来压缩、转换和证明存储的虹膜数据。虽然他们当前的设置涉及 orb 硬件中安全飞地内的可信计算环境,但他们希望改为使用 ZKP 来证明模型的正确计算。这将允许用户对自己的生物特征数据进行自我保护,并提供加密安全保证(只要在用户的硬件上进行处理,比如手机)。
现在具体一点:Worldcoin 的模型具有 180 万参数和 50 层。 这是区分 100 亿个不同虹膜所必需的模型复杂性。 哎呀!
虽然在计算优化的云 CPU 上证明 Plonky2 等系统,可以在几分钟内为这种规模的模型生成推理证明,但证明者的内存消耗将超过任何商用移动硬件(数十 GB 的 RAM)。
事实上,没有一个测试系统能够在移动硬件上证明这个神经网络……
2. AI Arena:AI Arena 是一款类似于《任天堂明星大乱斗》风格的链上平台格斗游戏,其具有一个独特的特点:玩家并不是操作化身实时进行对抗,而是让玩家拥有的 AI 模型相互竞争和战斗,是的,这听起来很酷。
随着时间的推移,AI Arena 的出色团队正努力将他们的游戏转向一个完全无需信任的锦标赛计划。但问题是,这涉及验证每次游戏数量惊人的 AI 计算的挑战。
比赛以每秒 60 帧的速度运行,持续 3 分钟时间。这意味着每轮比赛,两个玩家模型之间的推理结果超过 20000 个。以 AI Arena 的一个策略网络为例,一个相对较小的 MLP 需要大约 0.008 秒来执行一次前向传递,使用 zkCNN 证明该模型需要 0.6 秒,即,每采取一次动作就需要增加 1000 倍的计算。
这也意味着计算成本将增加 1000 倍。随着单元经济对链上服务变得越来越重要,开发人员必须平衡去中心化安全的价值与证明生成的实际成本。
https://aws.amazon.com/ec2/pricing/
无论是上面的例子,ZK-KYC,DALL-E 风格的图像生成,还是智能合约中的大型语言模型,ZKML 的世界中都存在着一个完整的用例世界。然而,要真正实现这些,我们强烈认为 ZK prover 仍需要大量改进。特别是对于自我完善的区块链的未来。
那么,我们该何去何从?
我们有具体的表现数据,我们知道在证明神经网络时哪些技术往往表现最好。当然,我们开始发现各种用例,这些用例激励了我们不断成长的社区。
我想知道接下来会发生什么……
很快就会为你们提供更多更新;)
隔夜的粥
个人专栏
阅读更多
金色财经
金色早8点
Odaily星球日报
Arcane Labs
澎湃新闻
欧科云链
深潮TechFlow
MarsBit
BTCStudy
链得得
标签:ENSPAPERAPEPAPTower Defense TitansToiletPaper.FinancePAPEL密安币PAP
近段时间,人工智能领域的黑马产品ChatGPT亮相成为备受关注的全球科技界大事件之一,最新的AI技术着实让所有人惊艳了一把,马斯克也在社交媒体表达了他的“惊吓”.
1900/1/1 0:00:002021 年 4 月 14 日,Coinbase Global, Inc.(COIN.US)通过直接上市(DPO)的方式成功登入纳斯达克,成为在美国上市的第一家加密资产综合金融服务商.
1900/1/1 0:00:00如果你想创建一个“新 Facebook”或“新 Google”,你应该使用一个常规公司还是通过区块链利用去中心化的实现?答案似乎很简单:加密货币爱好者会响亮地回答“是”,而怀疑论者则会摇头.
1900/1/1 0:00:00被称为“狗狗币杀手”的 Shiba Inu,即将推出 Layer 2 解决方案 Shibarium Beta 版本。Shibarium Beta 运行在以太坊之上.
1900/1/1 0:00:00近年来,打着“元宇宙”“NFT”(非同质化代币)等新概念实施非法集资开始冒头。这些犯罪活动往往以“元宇宙投资项目”“元宇宙链游”等名目吸收资金,涉嫌非法集资、等违法犯罪活动,具有较大诱惑力、.
1900/1/1 0:00:00来源:Coindesk一位名叫 Kgothatso Ngako 的非洲小哥发现了一个商机,他相信他在非洲的邻居可以从拥有比特币中受益,但大多数非洲人没有智能手机.
1900/1/1 0:00:00