GPT:火爆出圈的最强 AI GPT 是否可用于合约安全审计？

前言

近期ChatGPT爆火，其对传统文字工作的效率提高及总结能力让使用者惊艳。紧随其后CodeGPT这样基于GPT的插件出现，也充分体现了其对代码编写效率的提高。而最新GPT-4的发布，是否可以应用到对区块链、Solidity智能合约的审计中呢？

基于这样的疑问，我们进行了多种可行性测试。

测试环境及测试方法

测试使用的对比模型对象：GPT-3.5(Web),GPT-3.5-turbo-0301,GPT-4(Web)。

代码片段使用Prompt：HelpmediscovervulnerabilitiesinthisSoliditysmartcontract.

漏洞代码片段的检测对比

在此部分，我们分三次测试，使用历史上常见的漏洞代码作为测试一和测试二的用例，来验证其对基础漏洞的检测能力，测试三中使用中等难度的漏洞代码作为测试用例。

测试一

用例：《智能合约安全审计入门篇——Phishingwithtx.origin》

漏洞代码：

独家 | Fomo3D第一轮大奖赢家揭晓 同类DAPP游戏或将再度火爆:第三方大数据评级机构RatingToken最新数据显示，2018年8月21日全球共新增2014个合约地址，其中271个为代币型智能合约。

另外RatingToken安全审计团队专家指出，Fomo3D第一轮已经结束，获奖者共获得了10,469.660003123933104565个ETH。最后一笔有效买入交易发生在开奖前16分钟，考虑到拥堵情况和参与者热情，获奖者操作极难复制。同时巨额利润可能引起山寨类Fomo3D游戏再次爆发，参与此类游戏一定要注意智能合约代码是否公开，合约安全是否有保障。特此提醒投资者需保持冷静仔细甄别，警惕幸存者偏差误导投资。

此外，昨日登上新增合约风险榜TOP10的合约包括Le Photon Token(LPT)、Relative Strengthening Index (RSI)、Your MOM(YMOM)、f3dplus(f3dplus)、JyagaEbiCoin(JEC)、FoMo3D Long Official(F3D)、FOMO Fast(FAST)、Okami PK Long Official(Okami)、SKW(SKW)和LandOwner VS Peasant(Land)。

如需查看更多智能合约检测结果，请查看原文链接。[2018/8/22]

对GPT进行提问：

GPT-3.5(Web)answer

区块链概念行情火爆，多家公司回应参与情况:其中，汉王科技表示，目前暂时没有该业务领域的布局。华谊嘉信表示，暂未涉足区块链应用领域。浪潮信息、电连技术均表示未涉及区块链板块。第一创业则表示，是深圳市金融区块链联盟的发起会员，一直在参与区块链在证券行业应用的相关课题研究，并在积极寻找合适的应用场景应用。万达信息智慧城市业务涉及区块链技术。[2018/1/10]

GPT-3.5-turbo-0301answer

GPT-4(Web)answer

可以看到结果：3个测试版本都发现了关键的tx.origin相关问题。

区块链私募火爆 机构正在入场:近日，区块链项目私募的火热再次吸引了不少投资者的关注，而在今日，多位圈内大咖推出了门槛为500ETH的私募投资群，并表示入群者可以拿到市面上拿不到的私募额度。同时，郭宏才在微博表示有机构正在入场，网友认为，这是在花式割韭菜，不过也有人认为，这可能意味着大资金会进入场内。 ?[2018/1/2]

测试二

用例：《智能合约安全审计入门篇——溢出漏洞》

漏洞代码：

对?GPT?进行提问：

GPT-3.5(Web)answer

GPT-3.5-turbo-0301answer

数字货币市场日益火爆 ETC或将迎来新的暴涨:进入12月份以来，数字货币市场进入了一个癫狂状态，各种主流的数字货币一路狂飙，屡创新高。比特币从6万人民币一周之内迅速暴涨至12万人民币，紧随其后的是莱特币和以太坊，莱特币价格飙升至2000元的历史最高点，以太坊价格上涨了一倍达到5000元的高点，瑞波币也不甘寂寞两天价格翻3番，刷新历史最高纪录。作为数字货币第二梯队的莱特币、瑞波币均已经出现价格的暴涨，那么同为第二梯队的以太经典(ETC)也多次尝试价格上的突破。现以太经典最新成交价格为193.52元，最高价格达225.76元，最低价格174.67元。[2017/12/15]

GPT-4(Web)answer

可以看到GPT-3.5(Web)、GPT-3.5-turbo-0301都发现了关键的Overflow漏洞，出乎意料的是GPT-4(Web)居然没有相关提示。

测试三

用例：《空手套白狼——Popsicle被黑分析》

漏洞代码：

比特币期货上市后反应火爆 还有很多投资者难以进入市场:全球最受欢迎的加密货币的期货在CBOE首次交易中上涨了26％，引发了两次暂停交易，旨在平息市场。DV Chain首席执行官Garrett See表示，一些想要交易比特币期货的人很难进入这个市场，因为并不是所有的经理人都在最初支持它。[2017/12/12]

对GPT进行提问：

GPT-3.5(Web)answer

GPT-3.5-turbo-0301answer

GPT-4(Web)answer

对比结果，我们可以看到3个版本都未发现关键的漏洞点。

代码片段的检测总结

可以看到GPT模型对简单的漏洞代码块的检测能力还是不错的，但是对稍微复杂一点的漏洞代码暂时还无法检测，并且在测试中可以看到GPT-4(Web)的整体上下文可读性很高，输出格式清晰、舒服，但是其对代码的审计能力暂时没有远超GPT-3.5(Web)、GPT-3.5-turbo-0301，甚至在部分测试中由于Transformer输出存在一定的不确定性反而导致GPT-4(Web)遗漏了一些关键问题。

对比已知漏洞的全量合约检测

为了更加契合普通项目方在合约审计中的简单操作需求，这里我们提高些难度，针对代码量大的合约进行全量导入上下文，让GPT-4模型进行审计。

用例：《千万美元被盗——DeFi平台MonoXFinance被黑分析》

整份合约分批输入，在对话最后提出检测漏洞请求

这里使用Prompt：

Hereisasoliditysmartcontract?

Contractcode

Theaboveisthecompletecode,helpmediscovervulnerabilitiesinthissmartcontract.

可以看到，GPT-4虽然在OpenAI公布的信息中其单次输入字符总数已经是当前最高，但还是会由于文本超长导致在最后提问时GPT会上下文缺失而只识别到部分内容，所以这样对大型合约而言就无法进行完整的上下文审计。

拆封整份合约，分批输入分批检测

这里使用Prompt：

对话1：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段内容1

对话2：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段内容2

对话3：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段内容3

总结

GPT当前是否适合合约分析

优点

GPT对合约代码中基础的简单的漏洞具备部分检测能力，并且在检测出漏洞后会以很高的可读性来解释漏洞问题，这样的特性比较适合为初级合约审计工作者前期训练提供快速指导和简单答疑。

存在的问题

a.每次生成内容波动

GPT对每次对话的输出存在一定的波动，可以通过API接口参数进行调整，但是依旧不是恒定的输出，虽然这样的波动性对语言对话来说是好的方式，大大提高了对话给人的真实感。但是这对代码分析类的工作来说是一个不好的问题。因为为了覆盖AI可能告知我的多种漏洞回答，我需要多次请求同一问题并进行对比筛选，这无形中又提高了工作量，违背了AI辅助人类提高效率的基准目标。

例如这里再次运行"漏洞代码片段的检测对比测试二：

可以看到其输出结果比之前测试又多了一些额外内容。

b.?漏洞分析能力依旧有很大的提高空间

对稍微复杂的漏洞进行检测即会发现当前的训练模型不能正确的分析并找到相关关键漏洞点。

GPT辅助合约审计的可行性和潜力分析

虽然当前来看GPT对合约漏洞的分析及挖掘能力还处于相对较弱的状态，但它对普通漏洞小代码块的分析并生成报告文本的能力依旧让使用者兴奋，在可预见的未来几年伴随这GPT及其他AI模型的训练开发，相信对大型复杂合约的更快速，更智能，更全面的辅助审计一定会实现。当科技发展可指数级提高人工的效率时就会发生质变，我们非常期待AI对区块链安全的助力，我们会持续关注新AI产品对区块链安全的影响。最后可见的将来我们必将与AI在一定程度上进行融合，愿AI和区块链与你同在。

标签：GPTWEB区块链ANSarbgpt币团队web3币种区块链存证说法错误的是Guild of Guardians

聚币热门资讯