木星链 木星链
Ctrl+D收藏木星链

ICS:链上数据分析平台现状与展望

作者:

时间:1900/1/1 0:00:00

原文作者:Yang

引子

“数”中自有黄金屋,链上数据潜藏着无尽的Alpha。当我们跟随smart money闻风而动,当我们夜以继日地在NFT Paradise中寻找trending NFT,当我们查询StepN每日新鞋铸造数据时,你是否好奇这些数据如何而来?面对众多链上数据分析平台和纷繁复杂的功能,你是否还在寻找最适合自己的那个平台?

随着链上生态的日益蓬勃,如DeFi交易、借贷,NFT的铸造、交易等,用户的行为被直接透明地记录在链上。这些链上行为的数据对应着链上价值的流动,对这些数据的分析和根据分析而得出的洞察和见解变得极为有价值。链上数据分析平台,如Nansen,Token Terminal,Dune Analytics,Footprint Analytics,flipsidecrypto, glassnode,Skew等顺应这些日益增长的需求,面向个人和机构用户推出了侧重点略有不同的产品。

本文先将简述链上数据分析平台背后的数据架构,意在告诉读者那些链上数据分析结果从何而来,如何而来。随后我们从数据丰富度(覆盖区块链数量)、数据粒度、数据延迟、平台易用性和查询自由度等维度为读者梳理市场上主流的面向个人用户的数据分析平台。最后分享我们对Web3未来链上数据索引、查询和分析的一点畅想。

虽然区块链记录着所有原始的交易数据,链上数据本身都是公开透明的,但当我们提出:过去24小时Uniswap的交易量是多少?当前百分之多少的BAYC持有者也同时持有至少一个Moonbirds?......等等问题时,链上原始数据并不能给我们答案,我们需要通过索引(indexing),处理(processing),存储(storage)等等一系列数据摄取(ingestion)的处理过程,再根据所提问题来聚合运算对应的数据,才能得到问题的答案。直接查询区块链来求得问题答案是非常耗时耗力的,为了让链上数据能够被快速检索,当前主流的链上数据分析平台会将索引得到的原始链上数据,经过一系列处理后,存入由平台负责更新和管理的数据仓库(data warehouse)中。当用户在Nansen追踪smart money的交易动态,或在Dune Analytics上查看可视化分析时,用户对所谓“链上数据”的查询,实际上是在查询由项目方中心化控制的数据库而非区块链本身。

链上数据显示币安储户在CFTC起诉后逃离:金色财经报道,在美国监管机构起诉币安及其创始人赵长鹏的消息传出后,币安用户周一从交易所撤回了大量加密货币。根据区块链分析公司Nansen的数据,在过去24小时内,币安在以太坊上的净流出4亿美元。相比之下,过去7天的净流量为20亿美元。截至发稿时,被Nansen视为“聪明钱”运营商的精明交易员在过去24小时内也从Binance撤走了900万美元。

链上运动凸显了加密货币交易者在不确定的监管环境中的不安。此外,周一,BUSD稳定币的前发行人Paxos在过去四个小时内销毁了超过1.55亿美元的BUSD(占流通供应量的2%)。[2023/3/28 13:30:12]

链上数据分析平台的数据仓库架构大致如下:

数据采集层:  平台从区块链节点获取原始链上数据,部分平台会接受第三方提供的数据源,还有的平台(如Footprint Analytics)支持用户上传链下数据来辅助最终的数据分析。

数据处理层: 各平台将原始数据以流式处理或批次处理的方式进行数据抽取、转换和加载。流式处理中,实时原始数据被源源不断地输入并被持续处理,通常意味着数据延迟低,分析结果时效性更高;而批次处理虽然数据延迟会稍高,分析结果时效性稍低,但更适用于大容量的数据处理。

数据存储层:经过处理后的数据会根据平台方预先定义的格式存储进数据集的各数据表中以待后续使用。

数据整合层:存储的数据会被聚合运算。计算可以是根据预先设定好的指标来进行的(metrics computation),也可以阶段性的(periodic)或是根据设定好的条件被触发的(event-driven aggregation)等。

Chainalysis为Cronos链上数字资产提供交易监控解决方案:金色财经报道,加密分析公司Chainalysis 增加了对 Crypto.com的Cronos区块链、其代币 CRO 以及在 Cronos 链上交易的所有CRC-20代币的支持到其Know Your Transaction服务。

这标志着Chainalysis KYT 服务的最新升级,该服务为传统和加密金融机构的合规团队标记可疑和高风险交易。该服务的客户包括Robinhood (HOOD)、BNY Mellon (BK)、PayPal (PYPL) 和 Genesis。?(decrypt)[2022/4/14 14:23:28]

数据分析层:运算完成的结果被实时地报告、输出。对于个人用户而言,我们主要在数据分析层与链上数据分析平台进行交互,比如Nansen提供的Business Intelligence报告界面,Dune Analytics和Footprint Analytics上众多的的可视化图表,以及部分平台提供的API接口等。

各平台采取了不同的方案来建设和维护自己的数据仓库。比如Nansen借助第三方Google Cloud Platform完成数据仓库的建设和维护。

(https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence)

图片来源:Google Cloud Nansen Case Study https://cloud.google.com/customers/nansen

链上数据显示比特币正处于牛市开端,或上涨至1.2万美元:链上数据表明,比特币正处于在另一个牛市的开端。区块链分析公司IntoTheBlock报告称,目前比特币“基本上看涨”。根据其数据,比特币基础网络略有增长,而其内部的“集中度”指标目前处于正值。

彭博高级大宗商品分析师Mike McGlone也表达了同样的乐观情绪。他在彭博7月份的加密展望中写道,比特币使用的增加可能导致其价格上涨:“被使用的活跃比特币地址数量是2018年比特币价格下跌和2019年比特币价格回升的关键信号,从历史模式来看,这一数字表明比特币价值接近1.2万美元。Coinmetrics的30天平均唯一地址数量突破了去年的峰值,这反映出比特币更高的采用度。”McGlone对比特币给出的确切价格是12734美元。(NewsBTC)[2020/7/11]

而Dune Analytics,Footprint Analytics,Token Terminal等平台则独立建设和维护自己的数据仓库。以Footprint Analytics为例,其数据仓库架构如下图所示。

本节以内容视角和用户视角,从数据丰富度(覆盖区块链数量)、数据粒度、数据延迟、平台易用性和查询自由度等维度来对比几家主流的链上数据分析平台,包括Nansen,Token Terminal,Dune Analytics,Footprint Analytics。

部分平台给用户提供标准化的信息报告界面,比如Nansen,Token Terminal等。

Nansen应该是大家最为熟悉的链上数据分析平台之一。相较于其他平台,其最为出色的功能是钱包标记(wallet profiler/wallet labeling)。借助钱包标记并结合其他链上数据为用户提炼出极具价值的信息,比如Smart Money,帮助用户追踪巨鲸、重度DeFi玩家的实时动向。其他热门产品包括Hot Contract, 发现新兴热门的DeFi和NFT合约;NFT Paradise,一览实时NFT铸造数据等等。

OKLink链上数据周报:BTC链上活跃度小幅上涨:据OKLink数据显示,3月31日至4月6日,BTC链上活跃地址数总计4054130,较上周上升10.40%;链上交易笔数总计1924024,较上周上升7.34%;BTC链上活跃度小幅上涨。截至4月7日10时,全网算力约为104.10EH/s,较上周平均水平提高5.23EH/s。[2020/4/7]

[覆盖区块链]Nansen现在支持Ethereum, Arbitrum, Avalanche, BSC, Celo, Fantom, Optimism, Polygon, Ronin, Terra, Solana共计11条区块链的链上数据分析

[数据粒度]Nansen普通版仅为用户提供精选数据(curated data)

[数据延迟]流式处理和批次处理。部分数据分析已实现近乎实时的报告

[平台易用性]零门槛

[查询自由度]Nansen普通版仅提供标准信息模板界面。针对机构客户对自定义链上数据查询和分析的需求,Nansen借助Google Cloud Platform的Blockchain Datasets发布了Nansen Institutions产品,让专业/机构用户能够编写满足定制需求的SQL Queries。

值得一提的是,Nansen在Nansen Research频道中发布了不少链上分析报告。研究报告会对重点事件进行抽丝剥茧般的链上追踪和分析,读者不妨偶尔阅读这些报告(如Nansen针对上月stETH脱锚事件发布的报告https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg),对学习链上分析的方法大有裨益。

Token Terminal以提供准确的协议收入(protocol revenue)而著名。基于协议收入,Token Terminal计算了各协议的市销率(P/S),市盈率(P/E)等数据。这些数据在一定程度上为各协议提供了估值基准。

分析 | Ripple季度报告中重回托管的XRP数量与链上数据存异,差额达2亿XRP:据Coin Metrics官网,Coin Metrics分析称,其注意到Ripple的链上数据和公开季度报告之间存在数据差异。在2018年第三季度、2019年第一季度的两份市场报告中,重返托管的XRP数量要高链上数据所显示的数量,数据总差额为2亿XRP(约8400万美元)。 Coin Metrics还发现,Ripple托管队列(escrow queue)的执行方式与其最初所宣布的不同,这将导致未来托管资金的释放速度比其宣布的时间表更快。此外,与Ripple有潜在关联的各方已经从一个未知的托管地址释放了5500万XRP,该地址未连接到Ripple的主托管帐户。[2019/5/17]

[覆盖区块链]Token Terminal追踪了超过130个协议的数据

[数据粒度]Token Terminal仅为用户提供精选数据(curated data)

[数据延迟]批次处理。据IOSG团队近期与Token Terminal的沟通,目前Token Terminal平台上的数据大约有两天时间的延迟

[查询自由度]仅提供标准信息界面

Token Terminal协议收入数据图例:过去365天收入前十的区块链和协议的收入占比

另外一些主流链上数据分析平台则向用户开放数据表,用户可自由编写代码进行查询,在查询内容上给予用户一定的自由度,如Dune Analytics和Footprint Analytics。

Dune Analytics是最早开放用户自主查询的链上数据分析平台,拥有最大的分析师团体和用户社区。Dune Analytics提供了高度颗粒化的原始链上数据,分析师可以自由地利用这些数据写出自定义的查询。Dune Analytics也对项目方团队开放Abstraction,项目方可以根据自己协议的数据内容创造更适合的数据表供分析师使用。但自主查询具备一定的门槛,分析师需具备PostgreSQL的编写能力才能创造满足自己需求的数据查询。而且查询延迟与分析师SQL编写水平和对Dune Analytics提供的数据表熟悉程度高度相关。

[覆盖区块链]Dune Analytics提供了Ethereum, BSC, Optimism, Polygon, Gnosis Chain, Solana共计6条区块链的链上数据

[数据粒度]极细

[数据延迟]流式处理。数据延迟大约五分钟

[平台易用性]Dune Analytics对分析师提出了一定的SQL coding要求

[查询自由度]高

有了高度颗粒化的原始数据,分析师便可以在Dune Analytics自由创建链上分析。如每日StepN新鞋铸造及历史积累数据 https://dune.com/queries/627689/1170627

Dune Analytics于2022年5月30日发布了Dune Engine v2。Dune Engine v2在将Dune Analytics的数据架构进行大改来为用户提供更快查询响应和更好查询表现的同时,也将对用户体验的影响降至最低。

相较于Nansen低使用门槛但仅提供标准化信息界面,Dune Analytics提供了自由查询但又要求分析师具备编写PostgreSQL语言的能力,Footprint Analytics为用户提供了两全其美的解决方案,在给予极大的查询自由度的同时降低了使用门槛。它是如何做到的?

“链上数据错综复杂,分析师可能需要写成百上千行代码才得以完成一个指标的计算。为了解决分析门槛高的问题,Footprint清理和集成链上数据,给数据赋予了业务意义,使得用户无需SQL查询和编码也可以分析区块链数据。任何人都可以通过丰富的图表界面在几分钟内构建自己的自定义图表,解密链上数据,发现项目背后的价值趋势。”

Footprint Analytics不仅提供原始区块链数据,更将链上数据进行分级。最原始的链上数据为铜级别(Bronze data),经过筛选、清洗和增强的数据为银级别(Silver data),进一步整理出具备业务意义的数据为金级别(Gold data)。

已经整理完成的具有商业逻辑和业务意义的金银级别数据可以直接用于分析。借助金银级别数据,Footprint Analytics为用户提供了通过简单地拖拽数据表就能自主查询链上数据的服务。不管读者你是否会写类SQL语言代码,你都可以快速创建满足自己定制化需求的数据分析信息界面,并将所需信息通过直观且可互动的图表可视化。

[覆盖区块链]Footprint Analytics目前提供了Ethereum,Arbitrum,Avalanche,Boba,BSC,Celo,Fantom,Harmony,IOTEX,Moonbeam,Moonriver,Polygon,Thundercore,Solana等共计17条区块链的链上数据

[数据粒度]Footprint Analytics既为用户提供粒度极细的原始数据,也为用户提供精选数据(curated data)

[数据延迟]目前Footprint Analytics对采集到的原始数据进行每日一次的批次处理,数据延迟为一天

[平台易用性]在Footprint Analytics平台,用户无需SQL查询和编码也可自由分析链上数据。对于具备SQL代码能力的分析师,Footprint也提供原始数据供分析师发挥。

读者不妨现在就前往Footprint Analytics,几分钟即可上手制作一个自己的链上分析界面

图片来源:IOSG

链上数据分析如此重要,当今用户却只能依赖Nansen,Dune Analytics等中心化管理的“链上数据”分析平台来辅助投资决策。在这些平台上,用户无法验证所用数据是否未经篡改,不得不信任平台所提供的数据集是确凿真实的。“Don’t Trust. Verify.”在链上数据分析这里成了一句空话。

Web3浪潮滚滚而来,链上生态越发丰富,未来的智能合约和去中心化应用可能不仅仅需要原始链上数据和预言机所提供的数据作为输入信息,还可能需要输入基于链上原始数据计算得出的分析结果,那时候我们还能信任和使用这些中心化链上数据分析平台作这类用途吗?答案恐怕是否定的。

IOSG团队近期看到已有项目团队在实现去中心化链上数据查询和分析的道路上迈出了第一步。由于篇幅受限,且听下回分解——通向去中心化链上数据分析之路。

标签:ICSALYLYTTICAICSKatalyoLYT币MATICBEAR

以太坊交易热门资讯
SIU:金色前哨 | 0xb1幕后身份披露 曾管理Celsius资产

在2020年的DeFi之夏和2021年的牛市,有一个巨鲸地址0xb1曾经在DeFi业内叱咤风云,曾经每天收获20万至40万美元的挖矿收益,金色财经此前报道过这个地址背后的匿名团队.

1900/1/1 0:00:00
GEM:累积16亿美元投资承诺 资本游戏新局?

原文作者:谷昱&饼干在加密市场陷于疲软、风投机构纷纷放缓投资频次之际,一家新兴风投机构以高频的投资速度、夸张的投资金额吸引行业的颇多关注,它就是 GEM Digital.

1900/1/1 0:00:00
WEB:互联网大厂扎堆Web3.0

2022年,随着元宇宙、NFT、数字藏品等新技术、新业态的全面爆发以及国家对数字化经济发展方向的支持,Web3.0的概念逐渐普及开来,顺势点燃了国内互联网巨头与资本对于Web3.0的热情.

1900/1/1 0:00:00
区块链:金色观察 | ConsenSys:区块链桥安全指南

今天,我们深入研究底层桥的安全性并涵盖以下内容:?1.?当用户使用桥时会发生什么2.?我们所说的安全性是什么意思3.?我们会看到哪些类别的桥4.?桥的安全性比较5.?可扩展性——你可以搭桥的地方.

1900/1/1 0:00:00
PUL:毫无含金量的局却屡屡得手?接连四起Rug Pull事件分析

近期Rug Pull事件频发,针对今日及昨日发生的四起Rug Pull事件,CertiK安全团队将分别从项目的操作及合约等方面为大家解读并分析.

1900/1/1 0:00:00
TOS:Facebook系公链 Aptos 发展得怎么样了?一文盘点 Aptos 生态

公链项目 Aptos 于 7 月 12 日开启了激励测试网 2,距离激励测试网 1 仅过去几个星期,激励测试网 2 的官方统计数据还没有出来.

1900/1/1 0:00:00