木星链 木星链
Ctrl+D收藏木星链
首页 > 火星币 > 正文

YTH:python爬取区块链浏览器上的交易列表数据

作者:

时间:1900/1/1 0:00:00

前言

2022年6月3日端午节安康。

今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。

原因

dune上没有bsc链上的转账明细数据表。FootprintAnalytics上现有的bsc_transactions表transfer_type粒度不够。

环境

python3.7

数据存储:mysql5.7

缓存:redis6.2.6

开发工具:pycharm

思路

所有协议、合约、swap地址转账信息全爬不太实际,对存储要求比较高。所以针对需要分析的协议,专门去爬取对应智能合约转账是个不错的选择。

区块链浏览器肯定是有反爬机制的。所以在代理选择上,要选择国外的代理。国内的代理都访问不到,具体原因你懂的。本文中不涉及代理部分,因为国外的代理厂家之前没有了解过。不过即使是上代理,对代码层面改动也比较小

采用了urllib同步请求+范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。

后面再研究用scrapy或异步请求

同步:请求发送后,需要接受到返回的消息后,才进行下一次发送。异步:不需要等接收到返回的消息。

实现

找到需要爬取合约的具体地址:

Injective测试网集成Pyth Network,允许开发者构建DApp以访问机构数据:3月22日消息,Cosmos生态智能合约平台Injective测试网集成预言机Pyth Network,允许开发者构建DApp以访问各种资产的高保真、高频市场数据。这是Pyth数据首次支持Cosmos生态系统。Pyth Network引入一种创新的按需拉动模型预言机,用户可以在需要时将可用价格推送到链上,并使该区块链环境中的每个人都能够访问该数据点。Pyth在Injective上运行由Wormhole实现。发布者能够以交易的形式将数据直接发送到Pyth,随后将这些数据资产放在链上。当目标链(如Injective)请求数据时,Pyth能够通过Wormhole发送数据。[2023/3/22 13:20:06]

第一页

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

第二页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2

第三页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3

....

预言机Pyth Network宣布上线Base网络:金色财经报道,预言机项目Pyth Network宣布上线Base网络,并为之提供超过200个价格源。

Base是Coinbase于今日推出的基于OP Stack的以太坊L2网络。[2023/2/24 12:26:04]

可以知道p=?就代表页数。

然后F12点击“网络”,刷新界面,查看网络请求信息。

主要查看,网页上显示的数据,是哪个文件响应的。以什么方式响应的,请求方法是什么

如何验证呢,就是找一个txn_hash在响应的数据里面按ctrl+f去搜索,搜索到了说明肯定是这个文件返回的。

查看响应的数据,是html的格式。在python里面,处理html数据,个人常用的是xpath

Cboe加入Pyth网络并将ErisX更名为Cboe Digital:金色财经报道,市场基础设施提供商Cboe已加入Pyth网络,它还将今年收购的数字资产交易所ErisX更名为Cboe Digital。通过在Pyth网络上提供一些实时定价,Cboe Global Markets正在涉足去中心化金融。根据公司发布的消息,Cboe将从第四季度开始发布10个符号的有限衍生股票市场数据。该网络建立在Solana区块链上,将市场数据提供给链上项目和协议。它利用了来自70多家值得信赖的供应商的数据,包括Jane Street、Virtu Financial和Two Sigma Securities。(the block)[2022/10/6 18:40:32]

在python里面安装相关的依赖

pip?install?lxml?‐i?https://pypi.douban.com/simple

同时在浏览器上安装xpath插件,它能更好的帮助我们获到网页中元素的位置

XPathHelper-Chrome网上应用店(google.com)

然后就可以通过插件去定位了,返回的结果是list

**注:**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据,但是代码中取不到值的情况,这时候可以通过鼠标右键-查看网页源码,然后搜索实现

预言机解决方案Pyth Network与链上结构化产品Ribbon Finance达成合作:3月4日,据官方消息,预言机解决方案Pyth Network与链上结构化产品Ribbon Finance达成合作。利用Zeta FLE程序,Ribbon将使用Pyth的价格数据自动结算solana上的保险库。据悉,Zeta FLEX是一个无需许可、可定制的期权创建和拍卖协议。[2022/3/4 13:38:10]

#?请求和xpath定位具体实现代码:

def?start_spider(page_number):

????url_base?=?'http://bscscan.com

/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'

????#?请求头

????headers?=?{

????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',

Virtu Financial将向PythNetwork提供股票、外汇、期货和加密货币市场数据:大型高频交易做市商VirtuFinancial将向Solana生态预言机解决方案PythNetwork提供股票、外汇、期货和加密货币市场数据。[2021/6/25 0:05:12]

????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'

????}

????#?需要传入的参数

????data?=?{

????????'p':?page_number

????}

????#?将参数转为Unicode编码格式

????unicode_data?=?urllib.parse.urlencode(data)

????#?拼接网址

????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

????url?=?url_base?+?unicode_data

????#?自定义request对象

????request?=?urllib.request.Request(url=url,?headers=headers)

????#?模拟浏览器发送请求

????response?=?urllib.request.urlopen(request)

????#?将返回的数据利用lxml转为

????tree?=?etree.HTML(response.read().decode('utf‐8'))

????#?//div//tbody//td//span/a/text()

????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")

????#?//div//tbody//td//span/text()

????method_list?=?tree.xpath(

????????"//div//tbody//td//span/text()")

????#?//div//tbody//td//text()

????block_list?=?tree.xpath("//div//tbody//td//text()")

????#?//div//tbody//td/span/@title

????age_list?=?tree.xpath("//div//tbody//td/span/@title")

????#?//div//tbody//td/span/@title

????from_list?=?tree.xpath(

????????"//div//tbody//td/span/@title")

????#?//div//tbody//td/span/text()

????transfer_type_list?=?tree.xpath("//div//tbody//td/span/text()")

????#?//div//tbody//td/span/span//text()

????to_list?=?tree.xpath("//div//tbody//td/span/span//text()")

????#?//div//tbody//td/span/text()

????transfer_free_list?=?tree.xpath(

????????"//div//tbody//td/span/text()")

然后就是利用redis,对txn_hash去重,去重的原因是防止一条数据被爬到了多次

def?add_txn_hash_to_redis(txn_hash):

????red?=?redis.Redis(host='根据你自己的配置',?port=6379,?db=0)

????res?=?red.sadd('txn_hash:txn_set',?get_md5(txn_hash))

????#?如果返回0,这说明插入不成功,表示有重复

????if?res?==?0:

????????return?False

????else:

????????return?True

#?将mmsi进行哈希,用哈希去重更快

def?get_md5(txn_hash):

????md5?=?hashlib.md5()

????md5.update(txn_hash.encode('utf-8'))

????return?md5.hexdigest()

最后一个需要考虑的问题:交易是在增量了,也就是说,当前第二页的数据,很可能过会就到第三页去了。对此我的策略是不管页数的变动。一直往下爬。全量爬完了,再从第一页爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到数据库了。这个没啥好说的。

以上就可以拿到转账列表中的txn_hash,后面还要写一个爬虫深入列表里面,通过txn_hash去爬取详情页面的信息。这个就下个文章再说,代码还没写完。

今天就写到这里。拜拜ヾ(?ω?`)o

来源:Bress

作者:撒酒狂歌

标签:YTHSPAPANODYMythic Financekaspa币值得长期持有吗PANTHER价格Custody Token

火星币热门资讯
NFT:NFT 周期轮转:野生 泡沫和价值回归

NFT交易量周期具有“热点引爆”、“从大到小”、“延续性”等特征,目前市场处在大周期的延展浪上。NFT的发展阶段已从“大众媒体”转向“社区传播”,其炒作周期呈现“板块轮动性”.

1900/1/1 0:00:00
TOKE:价值捕获 | Web3公司的收入都去了哪

TLDR;结论:总收入:Web3商业模式已经大有发展,其中最强大的仍然是“出售区块空间”,其次是NFT交易平台、DeFi、GameFi和基础设施.

1900/1/1 0:00:00
区块链:《最高人民法院关于加强区块链司法应用的意见》发布

最高人民法院微信公众号消息,2022年5月25日,最高人民法院发布《最高人民法院关于加强区块链司法应用的意见》.

1900/1/1 0:00:00
BTC:金色趋势丨熊市结束了?

金色热搜榜:MANA居于榜首:根据金色财经排行榜数据显示,过去24小时内,MANA搜索量高居榜首。具体前五名单如下:MANA、WAN、BTS、BOX、BHD.

1900/1/1 0:00:00
NFT:钓鱼网站“入侵”Web3 这些防技巧必须学会

在维基百科定义中,网络钓鱼是一种企图从电子通信中,透过伪装成信誉卓著的法人媒体以获得如用户名、密码和信用卡明细等个人敏感信息的犯罪过程.

1900/1/1 0:00:00
加密货币:印度政府将发布与加密货币相关的税收指南

金色财经报道,印度政府计划在对虚拟数字资产(VDA)的范围和定义进行一些修改后,在7月1日之前发布一套指导方针,以对虚拟数字资产(VDA)进行有效的税收管理.

1900/1/1 0:00:00