木星链 木星链
Ctrl+D收藏木星链

GPT:最强组合HuggingFace+ChatGPT=「贾维斯」现在开放demo了!

作者:

时间:1900/1/1 0:00:00

来源:新智元

前段时间,浙大&微软发布了一个大模型协作系统HuggingGPT直接爆火。

研究者提出了用ChatGPT作为控制器,连接HuggingFace社区中的各种AI模型,完成多模态复杂任务。

整个过程,只需要做的是:用自然语言将你的需求输出。

英伟达科学家称,这是我本周读到的最有意思的论文。它的思想非常接近我之前说的「EverythingApp」,即万物皆App,被AI直接读取信息。

上手体验

现在,HuggingGPT增加了Gradio演示。

项目地址:https://github.com/microsoft/JARVIS

有网友便上手体验了一番,先来「识别图上有几个人」?

HuggingGPT根据推理结果,得出图片中有2个人正在街道上行走。

Cardano开发商IOG已进行裁员并将重组为风险投资工作室:6月12日消息,Cardano联合创始人Charles Hoskinson表示,Cardano开发商Input Output Global(IOG)已进行了裁员,并将重组为风险投资工作室。新的工作室保留了Cardano钱包Lace、身份框架Prism以及一些与Cardano相关的基础设施团队。[2023/6/12 21:32:22]

具体过程如下:

首先使用图像到文本模型nlpconnect/vit-gpt2-image-captioning进行图像描述,生成的文本「2个女人在有火车的街道上行走」。

接着,使用了目标检测模型facebook/detrresnet50来检测图片中的人数。模型检测出7个物体,2个人。

再使用视觉问题回答模型dandelin/vilt-b32-finetuned-vqa得出结果。最后,系统提供了详细的响应和用于解答问题的模型信息。

LG、Hashed退出Klaytn区块链管理委员会:金色财经报道,LG、Hashed退出Klaytn区块链管理委员会。[2023/5/15 15:04:02]

另外,让它理解「我爱你」这句话的情感,并将其翻译成泰米尔语。

HuggingGPT调用了以下模型:

首先,使用了模型「dslim/bert-base-NER」对文本「lloveyou」进行情感分类,是「浪漫」。

然后,使用「ChatGPT」将文本翻译成泰米尔语,即「Nanunnaikadalikiren」。

在推理结果中没有生成的图片、音频或视频文件。

转录MP3文件时,HuggingGPT却失败了。网友表示,「不确定这是否是我的输入文件的问题。」

再来看看图像生成的能力。

输入「一只猫跳舞」图像上添加文字「ILOVEYOU」作为叠加层。

Web3通信平台Push Protocol计划推出关注隐私的人工智能聊天功能:4月7日消息,Web3通信平台Push Protocol联合创始人Harsh Rajat表示,Push Protocol和Push应用程序背后的想法是,从钱包活动和人工智能的结合开始,然后扩展到包括基于聊天的支付和个性化的用户体验。Rajat表示,希望通过对其聊天机器人使用默认加密,监管机构将更青睐Push Protocol的版本,默认情况下,所有聊天都是加密的。

Rajat解释说,消息保存在IPFS和Push节点上,它们是Push的存储组件。该平台采用了独特的加密方法进行身份验证和通信。据悉,希望利用OpenAI技术的其他区块链公司包括Moralis、BlockTrace和Coinbase等。(Decrypt)[2023/4/8 13:50:49]

HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根据给定的文本生成「跳舞的猫」的图片。

Web3全球开发者社区ScalingX推出2000万美元加速器项目:金色财经报道,Web3全球开发者社区ScalingX正在推出加速器项目并承诺投资2000万美元,该加速器旨在支持和培育Web3生态系统,包括开发、社区建设并专注于构建可扩展且安全的基础设施解决方案,例如零知识(zK)技术、去中心化金融(DeFi)和元宇宙项目。

此外,ScalingX还宣布推出全球黑客马拉松活动“Hunt for X”以推动Web3领域的创新和增长。[2023/2/14 12:05:12]

然后,使用同一个模型根据给定的文本生成了「ILOVEYOU」的图片。

最后,将2个图片合并在一起,输出如下图:

贾维斯照进现实

项目公开没几天,贾维斯已经在GitHub上收获了12.5k星,以及811个fork。

研究者指出解决大型语言模型当前的问题,可能是迈向AGI的第一步,也是关键的一步。

Wave Financial高管:财富管理公司和风投公司正在推动机构采用加密货币:金色财经报道,在多伦多举行的区块链未来主义者大会上,资产管理公司Wave Financial的业务发展负责人Mike Jones表示,机构对加密货币的投资可能受到摩根士丹利、美林证券和高盛等财富管理公司的推动,他们正在寻找方法让他们的客户接触到这个领域。除了财富管理公司之外,Wave Financial的风险投资负责人Gerard Berile认为,风险投资公司让客户接触到加密货币,而不需要通过集中式交易所。并且其仍在进行大规模的交易,这对“整个行业来说是一个积极因素”。(Cointelegraph)[2022/8/11 12:18:10]

因为当前大型语言模型的技术仍然存在着一些缺陷,因此在构建AGI系统的道路上面临着一些紧迫的挑战。

为了处理复杂的人工智能任务,LLMs应该能够与外部模型协调,以利用它们的能力。

因此,关键点在于如何选择合适的中间件来桥接LLMs和AI模型。

在这篇研究论文中,研究者提出在HuggingGPT中语言是通用的接口。其工作流程主要分为四步:

论文地址:https://arxiv.org/pdf/2303.17580.pdf

首先是任务规划,ChatGPT解析用户请求,将其分解为多个任务,并根据其知识规划任务顺序和依赖关系。

接着,进行模型选择。LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型。

然后执行任务。专家模型在推理端点上执行分配的任务,并将执行信息和推理结果记录到LLM中。

最后是响应生成。LLM总结执行过程日志和推理结果,并将摘要返回给用户。

假如给出这样一个请求:

请生成一个女孩正在看书的图片,她的姿势与example.jpg "/>中的男孩相同。然后请用你的声音描述新图片。

可以看到HuggingGPT是如何将它拆解为6个子任务,并分别选定模型执行得到最终结果的。

通过将AI模型描述纳入提示中,ChatGPT可以被视为管理人工智能模型的大脑。因此,这一方法可以让ChatGPT能够调用外部模型,来解决实际任务。

简单来讲,HuggingGPT是一个协作系统,并非是大模型。

它的作用就是连接ChatGPT和HuggingFace,进而处理不同模态的输入,并解决众多复杂的人工智能任务。

所以,HuggingFace社区中的每个AI模型,在HuggingGPT库中都有相应的模型描述,并将其融合到提示中以建立与ChatGPT的连接。

随后,HuggingGPT将ChatGPT作为大脑来确定问题的答案。

到目前为止,HuggingGPT已经围绕ChatGPT在HuggingFace上集成了数百个模型,涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等24个任务。

实验结果证明,HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。

网友热评

有网友称,HuggingGPT类似于微软此前提出的VisualChatGPT,似乎他们把最初的想法扩展到了一组庞大的预训练模型上。

VisualChatGPT是直接基于ChatGPT构建,并向其注入了许多可视化模型。文中提出了PromptManage。

在PM的帮助下,ChatGPT可以利用这些VFMs,并以迭代的方式接收其反馈,直到满足用户的要求或达到结束条件。

还有网友认为,这个想法确实与ChatGPT插件非常相似。以LLM为中心进行语义理解和任务规划,可以无限提升LLM的能力边界。通过将LLM与其他功能或领域专家相结合,我们可以创建更强大、更灵活的AI系统,能够更好地适应各种任务和需求。

这就是我一直以来对AGI的看法,人工智能模型能够理解复杂任务,然后将较小的任务分派给其他更专业的AI模型。

就像大脑一样,它也有不同的部分来完成特定的任务,听起来很符合逻辑。

参考资料:

https://twitter.com/1littlecoder/status/1644466883813408768

https://www.youtube.com/watch?v=3_5FRLYS-2A

https://huggingface.co/spaces/microsoft/HuggingGPT

中文推特:https://twitter.com/8BTC_OFFICIAL英文推特:https://twitter.com/btcinchinaDiscord社区:https://discord.gg/defidao电报频道:https://t.me/Mute_8btc电报社区:https://t.me/news_8btc

标签:GPTINGHUGGINGPT价格rabbitking币缩写HUG价格GINS币

fil币价格今日行情热门资讯
Bixin Ventures: 我们为什么投资 EigenLayer?

区块链被称之为“信任机器”,用户构建网络无需中心化监管机构许可——比特币是一切的起点,它通过PoW共识机制帮助矿工就价值分配达成共识从而创建了一个信任层,一切价值传输发生在这个信任层之上.

1900/1/1 0:00:00
OSM:Noble:为原生通用资产和RWA发行而生的Cosmos基础设施

介绍Noble是一种应用程序特定区块链,专为Cosmos生态系统中原生资产发行而设计。这意味着Cosmos可以直接在NobleAppchain上铸造和销毁资产,不再被迫依赖令牌桥将非本地资产引入.

1900/1/1 0:00:00
YES:Arthur Hayes成立加密基金Maelstrom Capital,瞄准基础设施,慎投美国项目

ArthurHayes正寻求超越比特币和以太币的回报。加密货币交易所BitMEX的前首席执行官Hayes和BitMEX的前企业发展主管Vaidya共同创立了投资机构MaelstromCapita.

1900/1/1 0:00:00
DOG:长推:对狗狗币的看法和购买的理由,以及未来趋势的研究

注:本文来自@BTW0205推特,MarsBit整理如下:最近#Dogecoin上涨,很多朋友让我分析一下狗狗币,以及我为什么会在低位去选择购买一个MemeToken以下这个线程.

1900/1/1 0:00:00
MEV:MarsBit日报 | Arbitrum回应“治理争议”;数个MEV机器人遭攻击,损失约2500万美元

MarsBitCryptoDaily2023年4月3日一、?今日要闻dYdX创始人:dYdXChain所有DAO资金将完全由Token持有者控制dYdX创始人在社交媒体发文表示.

1900/1/1 0:00:00
GPT:你一直以来都用错了ChatGPT!掌握这3大提示技巧,让你秒变GPT达人!

为什么提示工程如此重要?提示工程的目标是通过提供清晰、简洁且结构良好的输入来提高语言模型的性能,这些输入需要针对模型所用于的特定任务或应用进行定制.

1900/1/1 0:00:00