木星链 木星链
Ctrl+D收藏木星链

WEB:如何使用SQL分析Web3中的数据??

作者:

时间:1900/1/1 0:00:00

你想知道如何在Web3中成为一名高效的数据分析师吗?还是,你只想构建一个Web3分析仪来对感兴趣的Web3数据感进行分析?不管怎样,欢迎你阅读本文。

作为一个数据人,Web3数据中最具挑战性的部分是理解数据本身。根据我的经验,有一件事让我觉得很容易,那就是把每个人都看作是一个巨大的数据仓库和以太坊区块链上面的协议,作为仓库中包含多个表和视图的各种模式。PS:这也适用于其他区块链。

对于这篇文章,我将努力使事情变得简洁,并使用这些主题突出它们:

Web3数据流和景观。了解Web3,去中心化的数据存储。用于解码交易数据的工具:与Web3数据栈一起的工具概述,以及如何利用它们让我们开始吧!

Web3的数据流和景观

Web3的关键在于变得更加独立和自主。这是通过区块链和分布式对等网络而不是服务器-客户端关系来实现的。这使得数据流和格式与我们在Web2中习惯的不同。通过研究,我发现了像DuneAnalytics和FlipsideCrypto这样的数据映射器,它们具有解码的区块链数据和内置的可视化工具,供对Web3感兴趣的数据科学家使用和构建。

上图:

https://docs.google.com/presentation/d/1I6vDOS52uMCmWg3KIbuKYe8lK-8_ol9bEksIUEHNNLI/edit#slide=id.gfac7071356_0_1

Maple和M11寻求对Orthogonal Trading进行临时清算:金色财经报道,本月早些时候,Orthogonal在DeFi协议Maple上拖欠了3600万美元的贷款,此前该公司涉嫌谎报了其在FTX内爆炸中的损失规模。

另一家寻求破产清算的公司M11 Credit表示,数字资产交易公司Orthogonal trading已被英属维尔京群岛法院置于临时清算之下。在FTX突然破产后,Orthogonal trading已资不抵债。Maple Finance和M11 Credit在Orthogonal Trading拖欠3600万美元贷款后,寻求对其进行临时清算。(coindesk)[2022/12/23 22:02:23]

上面的图片显示了从不同的区块链模式中提取数据进行分析的不同方式,在此以以太坊为例。

如果你曾经在以太坊上进行过交易,那么你可能已经在区块资源管理器上查找过它,并看到了这种信息:

通过Etherscan区块浏览器看到的以太坊区块链上的交易示例

学会阅读交易细节将是所有以太坊数据分析和知识的基础,但了解代币和交易数据的流向也很重要。

解读Web3数据

我可能偏向于使用以太坊区块链来解释解密区块链数据,但根据经验,当你了解数据在智能合约上的存储和管理方式时,以太坊更容易理解。既然如此,重要的是要注意,我将谈论的许多概念将广泛适用于所有与EVM兼容的链和智能合约,例如Polygon、FantomOpera、BSC、ArbitrumOne等。

印度板球明星Shikhar Dhawan将推出7500万美元科技基金:12月10日消息,印度板球明星Shikhar Dhawan宣布将推出7500万美元体育科技基金Global Investment Sports Tech Fund,旨在推动体育领域创新。

Shikhar Dhawan表示,该基金已经组建一支经验丰富的创始团队,他们将领导Global Investment Sports Tech Fund将电竞、游戏和Web3技术引入体育投资领域。(Newsroomodisha)[2022/12/10 21:35:26]

一个智能合约交易相当于智能合约驱动的web3应用程序中的后台API调用。智能合约上的活动细节及其产生的应用状态变化被记录在称为交易、调用和日志的数据元素中。交易数据元素代表由用户发起的功能调用,调用数据元素代表智能合约在交易中发起的额外功能调用,而日志数据元素代表交易执行期间发生的事件。

为了了解以太坊区块链上的交易数据,我们可以尝试使用Etherscan。这就像检查你的汽车仪表盘,以寻找修复汽车问题的指针,但作为一个数据科学家,我们必须打开汽车的引擎盖,了解幕后发生了什么。通常情况下,有3种不同类型的交易:

以基础货币的形式从一个用户转移到另一个用户,例如,张三在以太坊网络上给李四发送了3个ETH由一个EOA创建一个智能合约,例如,张三将代码提交给区块链上的一个地址,创建一个智能合约,一旦一定数量的资源被转移到卖方的账户,智能合约就会转移NFT的所有权。EOA对智能合约的调用,例如,张三调用李四的智能合约,用999ETH交换NFT。当用户在区块链上提出请求时,在引擎盖下发生的事情是:

元宇宙卫星数据初创公司SpaceData完成超1000万美元种子轮融资,GREE Ventures等参投:8 月 10 日消息,日本元宇宙卫星数据初创公司 SpaceData 宣布完成 14.2 亿日元(超 1000 万美元)种子轮融资,Spiral Capital、Sparx Innovation for Future、KDDI Open Innovation Fund、GREE Ventures、The Creative Fund、Headline Asia、MZ Web3 Fund,Jo Hirao(Zigexn 首席执行官)、Hiroshi Tomishima(Mercari 联合创始人)和 Yusaku Maezawa(Zozo 的创始人)参投。SpaceData 公司开发了基于人工智能的技术,可以使用卫星数据和 3DCG 技术生成元宇宙虚拟世界(数字孪生),通过对地面的地球静止图像和来自卫星的地形数据进行机器学习,可以自动检测、分类和组织地面上的物体,并使用 3DCG 技术生成具有详细纹理的 3D 模型。该公司声称,生成的数字孪生数据可以满足娱乐、自动驾驶、城市发展、防灾和国防等各个行业对元宇宙虚拟世界快速增长的需求。(avcj)[2022/8/10 12:13:48]

与用户相关的EOA发起一项交易,指定目标智能合约地址、目标功能、该功能的参数、交易付款以及它愿意支付的gas费用。该交易被广播到网络上,并由愿意执行目标智能合约中指定功能的矿工拾取。如果执行成功,智能合约会发出事件,标志着某些里程碑的完成。由此产生的事件数据结构被称为"日志"。目标智能合约可以向其他智能合约发起内部交易。这些内部事务创建的数据结构被称为"轨迹",也可能在各自的执行过程中发出额外的日志事件。

美联储理事:随着损失增加,投资者将呼吁对加密货币进行监管:6月6日消息,在瑞士SNB-CIF加密资产和金融创新会议上的新演讲中,美联储理事Christopher Waller表示,由于投资者继续遭受严重损失,公众将要求对加密货币市场进行监管。Waller提及了Terra事件称,就在几周前,我们在Terra生态系统上看到了这种情况,当时普通用户都在寻求赔偿,甚至资深DeFi玩家也在讨论如何补偿散户投资者。

根据Waller的说法,当全行业发生负面事件给普通投资者造成不可避免的损失时,新的及创新的金融技术通常会根据公众的要求进行监管。Waller说,对该行业的监管不是为了保护富人,而是为了保护整个社会。(The Daily Hodl)[2022/6/6 4:04:35]

上图:代币传输的数据生命周期。来源:

https://docs.google.com/presentation/d/1I6vDOS52uMCmWg3KIbuKYe8lK-8_ol9bEksIUEHNNLI/edit#slide=id.gfac7071356_0_6

数据是如何结构化的

现在,你已经了解了发生在幕后的活动和相应的数据元素。现在是时候逐项列出构成web3景观的各种元素了。交易和跟踪数据结构包含了智能合约函数调用的细节,按照这个顺序:

Optimism Token合约疑似正进行测试,OP空投申领或将于明日开启:5月27日消息,加密KOL Olimpio Crypto在社交媒体发文表示,在Etherscan观察到有用户通过Optimism官方发布的OP合约地址,申领了Token空投,或为官方测试行为。OlimpioCrypto表示,代码中显示的空投结束区块高度1685140271时间约为2023年5月28日6:30(UTC+8),其智能合约代码经反编译后得出,OP Token空投申领的开启时间或为明日。[2022/5/27 3:45:21]

在区块链上,每笔交易都有一个独特的哈希值`交易哈希值`,其中有各种交易细节。例如,我们可以在这里查询这个交易哈希值0xbe3b109b857e8897cbe3c2a261d8072546ae693662422a1b93fe1a3a990dfded`From`是交易的发送方,`To`是交易的接收方,也可以是一个合约地址。在这个例子中,它是从`0x83ebd57bf4f22cba9c4a624a69c910d7c8619ee2`转移到CROWDFUND_EDITIONS代币的。`Value`是被转移的ETH值。有时ETH值可以是0,在这种情况下,它是。`交易费用=交易使用的气体*气体价格`,你可以在这里找到更多与以太坊气体有关的细节。输入数据包含关于交易的额外信息。在这种情况下,它是一个转移函数,细节包括交易的地址和价值。

数据本身是字节码,在Dune上有数据类型`bytea`。前8个字符`0xa22cb465`是函数签名的`MethodId`,它不总是唯一的。之后的每64个字符是一个不同的输入变量。这里我们有两个,分别对应于`toaddress`和`value`。基于以上信息,我们可以使用以下查询来拉取Dune上的数据(

https://dune.xyz/queries/601249)——

访问和处理Web3数据的工具

现在我们已经很好地理解了Web3数据的元素,它看起来像什么,并且已经在区块链上查询了我们的第一个交易数据,你可能想知道如何快速熟悉一个协议及其数据。有一系列很好的工具可以帮助我们做到这一点。

BlockExplorers

如前所述,使用BlockExplorers是深入了解区块链上的交易的一个好方法。BlockExplorers是在线浏览器,可以显示区块链网络上曾经发生过的所有交易的细节。以上面的截图为例,重要的是要知道所有主要的区块链都有探索器--突出的例子包括Etherscan、Polygonscan、BSCScan、Solanabeach等。

尽管区块链探索者对于询问区块链账本内的单个记录很有帮助,但他们对于回答需要聚合或转换数据的问题并不擅长。例如,如果你想知道过去3个月有多少NFT通过Opensea交易所售出,或者如果有人想知道交易从"Coinbase"流向"AxieInfinity"的频率,只用区块探索器就很难回答。为此,人们将需要直接访问数据。这在我的上一篇文章中已经介绍过了(

https://thisgoke.medium.com/getting-into-web3-as-a-data-scientist-machine-learning-engineer-f77c450b4e83)。

分析数据

Duneanalytics是访问和分析区块链数据的一个伟大资源。在写这篇文章时,它有Ethereum、Solana、Xdai、Polygon、Optimism和BSC的原始和解码数据。它提供了一个PostgreSQL界面来查询数据集,以及一个简单的点选界面来在查询结果的基础上创建简单的仪表盘。Dune上的用户社区也相当活跃,并产生了一个广泛的查询和仪表盘的例子库,供人们学习。下面是在Dune上创建的几个分析实例

SolanaNFT交易概览OpenSea市场分析Eth2号流动性质押如果你对SQL完全陌生,我会推荐这些有用的Dune分析的提示和指南:

内联Ethereum地址。当在Dune中工作时,Ethereum地址被存储为PostgresSQL字节数,当你在Etherscan上查询时,它被编码为`x`前缀,而不是通常的`0x`。识别交易中的合约地址。当试图区分合约地址和普通地址时,你可以通过检查`CREATE`操作码是否在`traces`中被调用来实现,比如说

3.充分利用Dune上的标签。标签是一块关于地址的元数据,如果你愿意,是一个标签或元数据。它以键-值对的形式出现。键是标签类型,而值是标签名称。从本质上讲,你可以使用标签来查找地址,看看它们是什么。你可以在这里获得更多关于标签是什么以及如何使用它们的见解

https://docs.dune.xyz/data-tables/data-tables/labels#what-labels-looks-like

如果你想获取所查看地址的标签,请使用此UDF,你可以这样做;

4.表和列名的引号。PostgresSQL不能识别没有引号的骆驼字母的列和表名。因此,在Postgres中,双引号是为表和列保留的,而单引号是为值保留的,因此,如果你查询表名中的大写字母,Dune会抛出一个错误。

5.去除小数。在处理代币金额时,记得检查`erc20."tokens"`中的小数。

6.生成时间序列。当处理一个具有不连续时间序列的数据集时,使用

希望这是一篇有用的讨论文章,你已经知道了足够的知识来做基本的Web3数据探索和分析,使用Dune上的SQL,它看起来像什么,以及如何与它合作。在分析web3中的经济活动和用户行为时,重要的是要培养对特定智能合约工作方式的理解兴趣,这就会继续帮助你确定感兴趣的指标中涉及的关键功能和事件。

Web3正在经历快速发展和高变异,每天都有新的想法、产品、社区和实验涌现。它目前触及生活中的方方面面,包括但不限于支付、金融、艺术、音乐、游戏、社区、治理和身份,这使得任何人都能参与其中,令人兴奋。

所以请理解,结合实际使用Web3产品、检查Etherscan等区块浏览器上的数据耗尽情况以及阅读智能合约源代码,是制定正确的数据分析策略的关键必要条件。

标签:WEBWEB3区块链ETHEndless Web Worldsweb3.0币怎么提现到账号wpc币区块链ethercash

SHIB最新价格热门资讯
比特币:比特币即将跌破 3 万美元,Galaxy Digital CEO 警告”两个月内难见底“

在全球逃离高风险投资的情况下,加密货币市场周一跟随美股延续跌势。比推终端数据显示,比特币一度跌至盘中低点30,788美元,为52周低点,24小时跌幅近11%,与去年11月历史高点67,802美元.

1900/1/1 0:00:00
元宇宙:Web3.0的未来:多链元宇宙

2022年5月10日,区块链媒体星际视界联合FilSwan在TwitterSpaces上举办AMA圆桌活动,本次AMA以“Web3的未来,多链元宇宙”为话题.

1900/1/1 0:00:00
DEF:DeFi 成朝鲜黑客的「提款机」,年内被盗逾 8.4 亿美元

区块链数据分析机构Chainalysis的最新报告显示,2022年,DeFi成为和黑客攻击这两大犯罪活动的主要目标.

1900/1/1 0:00:00
CRY:尽情感受,这加密幻灭时

朋友,你感受过幻灭吗?当黛西离开,投向汤姆的怀抱,盖茨比的美国梦幻灭了。他最终没有赢得黛西的爱情;无论盖茨比拥有了多少财富,无论举办了多少奢华的宴会,试图融入上流社会,却依然无法逾越社会阶级的鸿.

1900/1/1 0:00:00
UST:赵长鹏:关于UST/LUNA崩盘事件的7点总结和3点建议

Binance首席执行官赵长鹏在官方博客发表文章阐述了在UST/LUNA崩盘事件中学到的经验教训,全文如下:过去一周,UST/LUNA崩盘这件事一直困扰着我.

1900/1/1 0:00:00
OPT:“万众瞩目”的Optimism($OP)上线爆冷,后续能否逆市反转?

今日凌晨,“万众瞩目”的Optimism正式开放了其原生代币OP的空投申领。OP首发就上线多个中心化交易,例如Coinbase、OKX、Bybit、Gate、MEXCGlobal,以及流行的去中.

1900/1/1 0:00:00