区块链:区块链存储爆炸：问题、分析与优化

（编按：本文为QuarkChain创始人兼CEO周期博士撰写的技术文章，并以此文章问依据，在DApp Learning进行了技术分享讲座，中文讲座视频请点击文章第二篇推送?）

背景

DeFi、GameFi等去中心化应用的蓬勃发展，极大地增加了对低交易费用的高性能区块链的需求。然而，构建高性能区块链的一个关键挑战是存储爆炸。下图是取自 Etherscan 的图表，它说明了一个以太坊全节点（存档）的区块链数据大小。

从图中我们可以看出，节点的链数据规模稳步增长，现在已经达到~9TB。由于去中心化区块链的一个目标是允许普通配置的计算机运行节点，因此在普通配置的计算机上强制要求 9TB+ 存储会难以达到。

如果我们进一步分析存储使用情况，我们可以发现区块数据只占了约300GB的数据（从区块高度0到13.6M），这一数字远小于9TB。那么剩下的8.7TB数据从何而来呢？

实际上，存档节点执行所有块并保留所有历史数据，包括：

状态

交易收据

这其中，状态是这 8.7TB 的主要组成部分。所以有时，我们将存储爆炸称为“状态爆炸”。但是为什状态会如此之大？

什么是以太坊状态？

行情 | 在美上市区块链中概股普遍收涨:今日美股收盘，在美上市区块链中概股普遍收涨。人人网收跌6.39%，中网在线收涨0.79%，寺库收跌2.38%，迅雷涨4.02%，猎豹移动收涨3.06%，兰亭集势收涨0.01%。[2019/10/4]

以太坊状态是一个Merkle Patrica树（MPT），其中

叶子节点是地址 (0x...) => 帐户的映射，其中帐户存储与地址关联的余额、nonce等

内部节点维护树结构，以便可以快速计算整个树的哈希根

由于存档节点将保留所有区块的所有历史状态，这意味着 MPT 中的任何更新都将创建 O(log(N)) 个内部节点，并且不会删除旧的内部节点。

Geth 的全节点

为了解决存档节点状态爆炸的问题，Geth 的天才工程师们创建了一种称为“修剪”模式的新模式，该模式仅定期存储 MPT。这里我们举一个简化的例子，其中节点只保存每 3 个区块的MPT。（注意，为了获得一个不包含任何状态区块的状态，节点必须获得该区块之前最近的状态，并重放接下来的交易）。

动态 | 区块链在美国油气行业展现商用前景:据中国金融信息网报道，近日在休斯顿举行的2019年剑桥能源周会议上，区块链与人工智能等技术成为继续推动油气行业数字化的热点技术，区块链在由油田服务、大宗商品交易和碳排放等方面的应用前景引起业内关注。文章表示，区块链通过智能合约可以有效避免上下游企业间的不信任难题。除了最低绩效要求，上下游双方可以商定激励条款，智能合约完全根据实际工作量来自动执行，下游企业不仅有压力也会有动力做得更好。[2019/3/19]

通过定期存储 MPT，状态的存储大小显著减少。据 Etherscan 数据，目前 Geth 全节点的区块链数据大小约为 1TB。

Geth 的可快速同步的全节点

通过从创世区块开始重放所有交易来运行节点的一个问题是，重放所有交易会占用很长时间。一般来说，建立这样一个节点需要数周时间才能从创世区块赶上网络的最新状态。为了加速节点的启动过程，Geth 进一步提供了一种快速同步模式，可以下载最新的稳定区块的 MPT，而无需重放和维护区块之前的历史 MPT。下载完 MPT 后，它会像全节点一样重放新区块（带有定期状态存储）。

声音 | 信息时报：区块链发票中有打假威力:信息时报8月13日发文称，区块链发票中有打假威力。文中表示， 尽管区块链目前仍在较小范围内应用，但是它改变社会行为习惯的趋势值得期待。由于发票每个环节都可追溯、信息不可篡改、数据不会丢失，这一技术手段可以用来打击不诚信行为，其目标更为精准，其效果就会更好。[2018/8/14]

在不存储历史 MPT（有时甚至是历史区块主体）的情况下，一个 Geth 节点的存储大小可以进一步减少到 447G（截至 2021/12/06）。通过减去 300GB 的区块数据，我们推断状态大小约为 150GB。

以目前以太坊 447GB 的存储大小和 15 TPS，我们预计具有 1TB SSD 的普通配置计算机应该能够运行以太坊节点相当长的一段时间（比如数年）。那么存储爆炸或状态爆炸真的存在吗？或许未来几年以太坊并不会，但假如我们可以将以太坊的虚拟机 (EVM) 扩展到数百或数千 TPS 呢？

让我们将目光转向另一个基于 EVM 的链，币安智能链（BSC）。截至 2021 年 12 月 8 日，BSC 已有：

约 984 GB 链上数据，其中区块约占 550 GB，状态约占 400 GB。

20.6623 亿笔交易，100 TPS

好莱坞将使用区块链等技术来打击盗版电影:据英国太阳报消息好莱坞电影公司打算使用防篡改文件和加密等区块链技术来防止盗版行为。美国电影协会(MPAA)主席查尔斯·瑞夫金表示，“尽管我认为现在下结论还为时过早，我也不是专家，但区块链技术的确可能对数字产品的安全分销有很大帮助。”此外好莱坞还在使用类似间谍风格的剧本自毁功能来打击盗版电影，剧本将不再以纸质形式呈现在演员面前，而是采用类似Instagram的“阅后即焚”功能，演员在完成拍摄后剧本会启动自毁程序。[2018/6/10]

如果我们进一步用交易数量来预测数据大小，我们可以得到：

如果 TPS 为 100，即 ~3,153 M TPY

1 年后，总 TX ~5,219M，区块 ~ 1.375 TB，状态 ~ 1.085TB

3 年后，总 TX ~11,525M，区块 ~3.025TB，状态 ~2.387 TB

如果 TPS 为 150（观察到的峰值 TPS），即 ~4,730 M TPY

1 年后，总 TX ~6,796M，区块 ~1.809 TB，状态 ~1.427 TB

3 年后，总 TX ~16,256M，区块 ~4.327 TB，状态 ~3.414TB

综上所述，对于BSC来说，如果保持目前的速度甚至更高，则很快就会达到以太坊存档节点相同的存储大小，这是普通计算机几乎无法运行的。

世界上超过一半的区块链专利都在中国:中国知识产权网发布文章称，从初步的检索来看，区块链领域的主要专利申请人包括美国银行、IBM、Mastercard、Coinplug、阿里巴巴（蚂蚁金服）、北京布比、江苏通付盾、英特尔、高通等，涉及到密码学、数据处理、金融、计算机系统等多个领域。区块链专利申请的主要国家包括中国、美国、韩国、日本，中国的增长最为迅速，世界上超过一半的区块链专利都在中国。可见世界都很看好未来中国市场的区块链落地应用。从目前的情况来看，世界各地的专利局都收到了使用区块链技术的各种系统和方法专利申请。已经公开的 “区块链”相关专利申请的申请人包括金融部门中最大的一些实体：银行、信用卡公司和证券交易所。这些申请在一定程度上证明了这个新兴领域的参与者想要尽早提升竞争优势。中国绝大部分区块链专利申请都是在2016年和2017年提交，获得授权的较少。美国的相关专利申请提交的时间相对较早，获得授权的也较多。不少关于密码学和分布式计算机架构的专利主要在美国的IBM、英特尔、加拿大的Certicom公司手里，且在多个国家进行了专利布局，但目前中国公司的专利申请主要集中在国内。[2018/4/8]

具有极高 TPS 区块链的存储爆炸问题

如果我们对一个极高 TPS 的区块链（比如像 QuarkChain 能够做到的那样）做一个更大胆的假设，这个数字会变成多少？我们来考虑一个具有 1000 TPS 的区块链并分析其区块和状态大小，将是：

假设 tx 大小约为 100 字节，每年区块所需的存储量为 1000 (TPS) * 100（每 tx 字节数）* 365 * 24 * 3600 = 2.86 TB

假设 MPT 有 100 亿账户（超过世界人口！），我们预计状态大小将为 150G（以太坊状态大小）/0.18B（以太坊唯一地址）* 10B = 8.3 TB

将这些数字放在一起，我们很容易得出一个结论，这是大多数普通配置计算机将 无法承受的要求！

为了优化存储成本，我们必须将限制放宽为兼容 EVM 而不是兼容以太坊。即，我们必须构建/运行另一个支持 EVM 的链，而不是高度优化的以太坊客户端。

状态存储优化

我们提出的第一个优化是使用普通的 KV 而不是 MPT。当 MPT 很大时，MPT 中的所有内部节点可能非常昂贵。而我们的优化将去掉 MPT 中的所有内部节点。假设每个账户的数据大约是 50 字节（20 个地址 + 2 个nonce + 12 个账户 + 其他），我们可以节省下100亿账户的数据为：

~ 10B * 50 + 100GB（代码）= 600 GB，大约是MPT版本的1/10！

虽然使用普通 KV 会带来巨大的好处，但一个主要问题是我们无法在如此短的区块间隔内计算每个区块的状态后哈希，这意味着我们将失去以太坊的以下好处：

快速同步：下载任何区块的状态并通过重放剩余的区块来快速同步网络

分叉检测（或拜占庭检测）：来自对等方新创建的区块是否会导致与本地执行区块的状态不同。

为了启用快速同步，我们有一个周期性的快照区块（快照间隔 = epoch = 例如，14 周）。一个快照区块包含前状态哈希这一附加信息，即前一个快照区块的后状态哈希（执行交易之后的状态哈希）：

非快照区块不维护状态哈希，而是具有增量哈希，其中包含该区块的所有交易事务的原始数据库操作（删除、更新）的哈希。这使得分叉检测成为可能！

我们使用交易前状态哈希来代替以太坊中区块的交易后状态哈希。原因是节点不能立即计算状交易后的状态哈希，但是通过使用交易前状态哈希，节点可以使用整个epoch间隔来计算哈希。例如，假设状态哈希计算每秒处理 10M 的状态数据，那么计算 600 GB 的整个状态将需要 600 GB / 10 M ~ 16.67 小时（vs. epoch = 14 周）

计算状态前哈希的流程如下：

1. 当一个快照区块被接收并最终确定时，它的 KV 状态被快照，并创建一个后台线程来迭代所有 KV 条目（地址 => 帐户）并计算哈希。

2. 当下一个快照区块被创建时，计算出的状态前哈希值将存储在该区块中。同样，节点将创建 KV 的另一个快照并在后台计算其哈希。

3.当下一个快照区块被创建时，节点除了存储状态前哈希之外，节点现在可以释放快照区块的KV快照，这意味着来自快照区块以来所有被删除/更新的数据将被自动垃圾回收（例如，在 levelDB 中压缩）

其结果意味着，要存储状态，节点只需要最多两个 KV 快照（很可能是一个带增量和一个 KV 快照）。

使用快照区块，我们可以通过仅存储以下数据来进一步减少节点中所需的区块数据：

最新的快照区块的交易执行前状态快照，即（最新 —? 1）快照区块的交易执行后状态

（最新 — 1）快照区块之后的完整区块?

我们可以对存储成本进行简单的数学计算：假设 epoch 持续时间为 2 周，则区块重放大小为

2 * 14（天）* 24（小时）* 3600（秒）* 100 * 1000（TPS）= 224 GB！

而且，这里的数字不会随着时间的推移而增长！

我们分析了以太坊当前的存储使用情况：

不仅是区块，状态存储消耗了很多的空间

当 TPS > 1000 时，存储空间用量高得令人望而却步

我们提出对区块和状态进行优化：

区块大小从每年 2.86 TB 减少到 224 GB

状态大小（~10B 帐户）从 8.3 TB 减少到 600 GB

一台 2TB 的普通配置计算机应该能满足长时间运行节点的条件

缺点：轻节点无法验证状态中的一个数据（必须是全节点）

感谢 dapp-learning 主办此次活动。教学全程视频可点击公众号第二条推送观看。

标签：区块链以太坊MPTTPS区块链中的代币是什么以太坊币怎么挖矿mpt币发行量tps币行情

酷币交易所热门资讯