木星链 木星链
Ctrl+D收藏木星链
首页 > XRP > 正文

OPEN:OpenAI发布炸裂研究:让AI解释AI黑箱,人类无法理解,语言无法描述

作者:

时间:1900/1/1 0:00:00

来源:FounderPark

就算在新产品满天飞,商业文明正在被AI重建的当下,我们仍然不知道,这些令人惊叹的技术是如何运作的。

AI,语言模型,它是个黑箱,人类无法理解,我们甚至不知道怎样研究才能够理解。

但如果,研究这个黑箱的不是人类,而是AI自己呢?

这是一个令人好奇但又非常危险的想法。因为你甚至不知道,这一研究方法产生的结果,是否会彻底颠覆多年来人类对人脑和AI的理解。

但是有人这样做了。几小时前,OpenAI发布了最新的研究成果,他们用GPT-4解释GPT-2的行为,获得了初步的成果。

毫不夸张地说,人们震惊极了:「求求你们让它离觉醒远点吧!」

「AI理解AI,然后很快,AI训练AI,然后再过几年,AI创造新的AI。」

但客观来说,学术界为之感到兴奋:「疯了,OpenAI刚刚搞定了可解释性问题。」

人与机器之间是GPT-4

OpenAI刚刚在官网发布博客文章《语言模型可以解释语言模型中的神经元》。

简单来说,他们开发了一个工具,调用GPT-4来计算出其他架构更简单的语言模型上神经元的行为,这次针对的是GPT-2,发布于4年前的开源大模型。

Polygon Labs前副总裁加入OpenSea担任副总裁:8月1日消息,Polygon Labs前副总裁Kelly DiGregorio加入OpenSea担任副总裁,此前DiGregorio负责Polygon Labs与星巴克、迪士尼、Master Card、Reddit、Salesforce等品牌的一系列交易。[2023/8/1 16:11:59]

大模型和人脑一样,由「神经元」组成,这些神经元会观察文本中的特定规律,进而影响到模型本身生产的文本。

举例来说,如果有一个针对「漫威超级英雄」的神经元,当用户向模型提问「哪个超级英雄的能力最强」时,这个神经元就会提高模型在回答中说出漫威英雄的概率。

OpenAI开发的工具利用这种规则制定了一套评估流程。

开始之前,先让GPT-2运行文本序列,等待某个特定神经元被频繁「激活」的情况。

然后有三个评估步骤:

第一步,让GPT-4针对这段文本,生成解释。比如在下面的案例中,神经元主要针对漫威内容。GPT-4接收到文本和激活情况后,判断这与电影、角色和娱乐有关。

CoinFLEX更名为Open Exchange,Leslie Lamb担任首席执行官:金色财经报道,Coinflex新任首席执行官 Leslie Lamb 在LinkedIn上分享了Coinflex 正在更名为 Open Exchange (OPNX)的消息。塞舌尔法院周一批准了该公司的重组计划。CoinFLEX 最初的重组提案没有提及 OPNX 或品牌重塑计划。[2023/3/9 12:50:46]

第二步,用GPT-4模拟这个GPT-2的神经元接下来会做什么。下图就是GPT-4生成的模拟内容。

最后一步,对比评估打分。对比4代模拟神经元和2代真实神经元的结果,看GPT-4猜的有多准。

OpenSea已新增支持Arbitrum Nova:据官方消息,OpenSea已新增支持Arbitrum Nova,OpenSea还将加入Nova上的数据可用性委员会(DAC),以提供对链上数据的访问并帮助确保数据准确性。[2023/1/7 10:59:59]

通过这样的方法,OpenAI对每个神经元的行为作出了初步的自然语言解释,并对这种解释和实际行为的匹配程度进行了评分。

最终他们对GPT-2中307200个神经元全部进行了解释,这些解释汇编成数据集,与工具代码一起在GitHub上发布。

超越语言的机器,人类无法理解的机器

据OpenAI在博客文章中表示,目前GPT-4生成的解释还不完美,尤其要解释比GPT-2更大的模型时,表现效果很差,「可能是因为后面的layer更难解释」。

对于GPT-2解释的评分大多也非常低,仅有1000个左右的解释获得了较高的评分。

OpenAI可拓展对齐团队的JeffWu表示,「大多数解释的得分很低,或者无法解释实际神经元那么多的行为。比如,许多神经元以一种难以判断的方式保持活跃,它们在五六件事上保持激活,但却没有可以辨别的模式。有时候存在明显的模式,但GPT-4有无法找到它。」

昨日OpenSea交易量为610.55万美元:金色财经消息,据DuneAnalytics数据显示,昨日OpenSea交易量为610.55万美元,昨日活跃用户22024。[2022/5/30 3:51:00]

虽然现阶段成绩不好,但是OpenAI却比较有信心,他们认为可以使用机器学习的方式提高GPT-4产出解释的能力。

比如通过反复产出解释,并根据激活情况修改解释;或者使用更大的模型作出解释;以及调整解释模型的结构等等。

OpenAI还提到,这一方法目前还有很多局限性。

使用简短的自然语言进行解释,也许并不匹配神经元可能非常复杂的行为,不能简洁地进行描述。神经元可能会具备多个不同概念,也可能,会具备一个人类没有语言描述甚至无法理解的概念。

最终OpenAI希望能够自动化找到并解释能够实现复杂行为的整个神经回路,而目前的方法只解释了神经元的行为,并没有涉及下游影响。

OpenSea昨日交易量突破1.46亿美元,为10月5日以来最高水平:12月9日,据DuneAnalytics数据显示,昨日OpenSea交易量突破1.46亿美元,为10月5日以来最高水平。[2021/12/9 13:00:38]

解释了神经元的行为,但没有解释产生这种行为的机制。这意味着即使是拿了高分的解释,也只能描述相关性。

整个过程是计算密集型的。

在论文中,OpenAI表示:「语言模型可能代表了人类无法用语言表达的陌生概念。这可能是因为语言模型关心不同的事情,比如统计结构对下一个token预测任务有用,或者因为模型已经发现了人类尚未发现的自然的抽象,例如在不同领域的类似概念家族。」

它把LLM的这种属性,称为AlienFeature,在生物领域翻译为「异类特征」。

FounderPark微信后台回复「解释神经元论文」,获取论文链接和中英对照PDF链接。

把对齐问题也交给AI

「我们正试图开发预测『AI系统会出现什么问题』的方法,」OpenAI可解释性团队负责人WilliamSaunders对媒体说,「我们希望能够真正做到,让这些模型的行为和生产的回答是可以被信任的。」

SamAltman也转发博客文章称:GPT-4对GPT-2做了一些可解释性工作。

可解释性是机器学习的研究子领域,指的是对模型的行为有清晰的理解和对模型结果的理解能力。

简单来说,目的就是解释机器学习模型「如何做到」。

2019年开始,可解释性成为机器学习的重要领域,相关研究有助于开发人员对模型进行优化和调整。针对当下AI模型大规模应用时,亟需解决的可信度、安全性和决策参考等问题。

如果我们不知道AI是如何作出决策的,始终把它当做一个黑箱,那么就算AI在各种场景下表现得再完美,也无法解决部分人类的信任问题。

OpenAI这次使用GPT-4来解决可解释性的问题,就是希望能够使用自动化的方式,让机器完成AI研究。

「这是我们对齐研究的第三支柱的一部分:我们希望自动化对齐研究。令人期待的是,这一方向能让它与AI发展的步伐相匹配。」

在2022年夏天,OpenAI曾发布文章《我们做对齐研究的方法》。

文中提到,宏观来看,OpenAI的对齐研究将由三大支柱支撑:

1、利用人工反馈训练AI

2、训练AI系统协助人类评估

3、训练AI系统进行对齐研究

「语言模型非常适合自动化对齐研究,因为它们通过阅读互联网『预装』了大量有关人类价值观的知识和信息。开箱即用,它们不是独立代理,因此不会在世界上追求自己的目标。」

太快了,连认知都范式革命了

虽然OpenAI本意很好,但是这样的研究成果着实吓坏了网友。

OpenAI的推文下梗图横飞,有不少人在认真地建议OpenAI搞慢点。

「用我们不理解的东西,解释另一个我们不理解的东西,这合理吗?」

「护栏都被你撤了」

「这太迷人了,但也让我感到极度不适。」

「自然创造了人类来理解自然。我们创造了GPT-4来理解自己。」

「我们要怎么判断解释者是好的?这就像...谁监督着监督者?」(whowatchesthewatchers)

还有人看到了更深的一层:

「大模型很快就能比人类更好地解释他们自己的思维过程,我想知道我们未来要创造多少新的词汇,来描述那些AI发现的概念?我们还没有一个合适的词描述它们。或者,我们是否会觉得这些概念有意义?它们又能教会我们如何认识自己呢?」

另一网友回应道:「人类本身对自己行为的解释,大多是谎言、捏造、幻觉、错误的记忆、事后推理,就像AI一样。」

标签:OPENPENGPTNAIOpennityOpennityBlockGPTINAI

XRP热门资讯
ETH:加密新纪元:EigenLayer何以改变质押游戏?

作者:DavidHoffman,Bankless编译:比推BitpushNewsMaryLiu地平线上似乎出现了一个新的“纪元”.

1900/1/1 0:00:00
NFT:详解Blur借贷协议Blend:NFTFi协议矩阵关键棋

原文作者:Sally、Fiona,IOSGVentures引言尽管整体市场遇冷,但似乎Blur在NFTFi上向前跃进的脚步未曾放缓.

1900/1/1 0:00:00
BRC:BRC热潮 是散户「最后的狂欢」吗?

每年一度的「meme季」它又又又又来了。这是一个充满焦虑的「季节」。财富自由的故事似乎在不断发生,害怕没能「上车」的FOMO情绪能够战胜所有未知的恐惧。这是一个自我怀疑的「季节」.

1900/1/1 0:00:00
MEME:币圈“土狗”万倍狂欢:一面暴富 一面归零

在币圈,有一类奇葩的虚拟代币项目颇受追捧,人们通常叫它“土狗”。这些项目一般团队匿名,没啥技术含量,强调草根文化,甚至会明说“代币没有价值”.

1900/1/1 0:00:00
ESS:从媒体到风投 Bankless Ventures如何让10亿人使用加密技术

自成立Bankless以来,Ryan和我一直怀着崇高而独特的抱负打造它:让10亿人使用加密技术.

1900/1/1 0:00:00
FOR:Foresight Ventures市场周报:市场喘息向上,NFT接近触底

A.市场观点一、宏观流动性货币流动性改善。市场等待?5?月?4?日美联储议息会议,预计加息?25?个基点,大概率是最后一次加息。美国银行危机继续加剧,货币政策转向或加快,年内有望实现降息.

1900/1/1 0:00:00