欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

HuggingGPT:一个ChatGPT控制所有AI模型,自动帮人完成AI任务

时间:2023-04-06 10:06:31 | 浏览:1303

丰色 发自 凹非寺量子位 | 公众号 QbitAI最强组合:HuggingFace+ChatGPT ——HuggingGPT,它来了!只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。它就能帮你自动分析需要哪些AI模型,然

丰色 发自 凹非寺

量子位 | 公众号 QbitAI

最强组合:HuggingFace+ChatGPT ——

HuggingGPT,它来了!

只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。

它就能帮你自动分析需要哪些AI模型,然后直接去调用HuggingFace上的相应模型,来帮你执行并完成。

整个过程,你要做的就只是用自然语言将你的需求输出

这项由浙大与微软亚研院的合作成果,一经发布就迅速爆火。

英伟达AI研究科学家Jim Fan直呼:

这是我本周读到的最有意思的论文。它的思想非常接近“Everything App”(万物皆App,被AI直接读取信息)

而一位网友则“直拍大腿”:

这不就是ChatGPT“调包侠”吗?

AI进化速度一日千里,给我们留口饭吃吧……

所以,具体怎么回事儿?

HuggingGPT:你的AI模型“调包侠”

其实,若说这个组合物只是“调包侠”,那格局小了。

它的真正用义,是AGI。

如作者所言,迈向AGI的关键一步是能够解决具有不同领域和模式的复杂AI任务。

我们目前的成果离此还有距离——大量模型只能出色地完成某一特定任务。

然而大语言模型LLM在语言理解、生成、交互和推理方面的表现,让作者想到:

可以将它们作为中间控制器,来管理现有的所有AI模型,通过“调动和组合每个人的力量”,来解决复杂的AI任务。

在这个系统中,语言是通用的接口

于是,HuggingGPT就诞生了。

它的工程流程分为四步:

首先,任务规划。ChatGPT将用户的需求解析为任务列表,并确定任务之间的执行顺序和资源依赖关系。

其次,模型选择。ChatGPT根据HuggingFace上托管的各专家模型的描述,为任务分配合适的模型。

接着,任务执行。混合端点(包括本地推理和HuggingFace推理)上被选定的专家模型根据任务顺序和依赖关系执行分配的任务,并将执行信息和结果给到ChatGPT。

最后,输出结果。由ChatGPT总结各模型的执行过程日志和推理结果,给出最终的输出。

如下图所示。

假定我们给出这样一个请求:

请生成一个女孩正在看书的图片,她的姿势与example.jpg中的男孩相同。然后请用你的声音描述新图片。

可以看到HuggingGPT是如何将它拆解为6个子任务,并分别选定模型执行得到最终结果的。

具体效果怎么样?

作者采用gpt-3.5-turbo和text-davinci-003这俩可以通过OpenAI API公开访问的变体,进行了实测。

如下图所示:

在任务之间存在资源依赖关系的情况下,HuggingGPT可以根据用户的抽象请求正确解析出具体任务,完成图片转换。

在音频和视频任务中,它也展现了组织模型之间合作的能力,通过分别并行和串行执行两个模型的方式,完了一段“宇航员在太空行走”的视频和配音作品。

此外,它还可以集成多个用户的输入资源执行简单的推理,比如在以下三张图片中,数出其中有多少匹斑马。

一句话总结:HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。

项目已开源,名叫「贾维斯」

目前,HuggingGPT的论文已经发布,项目则正在建设中,代码只开源了一部分,已揽获1.4k标星。

我们注意到,它的项目名称很有意思,不叫本名HuggingGPT,而是钢铁侠里的AI管家贾维斯(JARVIS)

有人发现它和3月份刚发布的Visual ChatGPT的思想非常像:后者HuggingGPT,主要是可调用的模型范围扩展到了更多,包括数量和类型。

不错,其实它们都有一个共同作者:微软亚研院。

具体而言,Visual ChatGPT的一作是MSRA高级研究员吴晨飞,通讯作者为MSRA首席研究员段楠。

HuggingGPT则包括两位共同一作:

Shen Yongliang,TA来自浙江大学,在MSRA实习期间完成此项工作;

Song Kaitao,MSRA研究员。

其通讯作者为浙大计算机系教授庄越挺。

最后,对于这个强大新工具的诞生,网友们很是兴奋,有人表示:

ChatGPT已成为人类创建的所有AI的总指挥官了。

也有人据此认为:

AGI可能不是一个LLM,而是由一个“中间人”LLM连接的多个相互关联的模型。

那么,我们是否已经开启“半AGI”的时代了?

论文地址:
https://arxiv.org/abs/2303.17580

项目链接:
https://github.com/microsoft/JARVIS

参考链接:
https://twitter.com/DrJimFan/status/1642563455298473986

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

chatGPT,AI时代到来?一文告诉你到底何为GPT!GPT能做什么!

近期chatGPT异常火爆,仅仅用了60 天用户就直接破亿,这是何等可怕的速度!于是乎国内外大厂纷纷追随 AIGC 步伐, ChatGPT 引领 AI 在科技圈一路“狂飙”!由于涉及到太多的专业词汇,开始之前,先通俗易懂的解释这些词汇(图1

HuggingGPT:一个ChatGPT控制所有AI模型,自动帮人完成AI任务

丰色 发自 凹非寺量子位 | 公众号 QbitAI最强组合:HuggingFace+ChatGPT ——HuggingGPT,它来了!只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。它就能帮你自动分析需要哪些AI模型,然

震撼!GPT-4来了,支持多模态,全面吊打ChatGPT,完虐标准化考试

智东西编译 | ZeR0编辑 | 漠影智东西3月15日消息,今日凌晨,万众瞩目的大型多模态模型GPT-4正式发布!OpenAI发文称,GPT-4能接受图像和文本输入,输出文本内容,虽然在许多现实场景中的能力不如人类,但在各种专业和学术基准测

GPT-4重磅发布!ChatGPT炸裂大升级,能考上哈佛,体验后我慌了

今天 OpenAI 宣布推出 ChatGPT 4,ChatGPT Plus 用户在今天就能体验到。OpenAI 称它是「最先进的系统,能生产更安全和更有用的回复」。和上一代相比,GPT-4 拥有了更广的知识面和更强的解决问题能力,在创意、视

ChatGPT的“GPT”是什么意思?三个单词暴露你的英语水平!

当我们还活在睡梦中时,人工智能ChatGPT横空问世,从连续回答问题、生成摘要、翻译文档,到信息分类、写代码、编剧本、做作业和写论文,ChatGPT几乎都能应对自如。两个月时间内,ChatGPT的月活用户已突破1亿,成为史上增长最快的消费者

谷歌版ChatGPT公测炸了!比GPT-4数学能力还强,体验名额发得很快

谷歌吃了大亏之后,这次一声不吭,放了大招:对标ChatGPT的Bard测试版,刚刚正式对外发布。而且这次用户在申请候补名单之后,无需经历漫长的等待时间。没错,量子位也已经拿到了测试资格!(中间只有不到5小时的间隔。)实测之后表示,Bard效

更强大恐怖的GPT-4来了,考试表现优于人类,性能远超ChatGPT

界面新闻记者|李京亚3月15日凌晨2点,OpenAI正式发布了升级后的GPT-4。GPT-4是一个多模态大模型,可以接受文本和图像形式的输入,能使用文本解析并回应这些查询。在ChatGPT Plus上,开发人员可以通过API构建应用程序和

ChatGPT:关于OpenAI的GPT-4工具你需要知道的一切

#头条创作挑战赛#OpenAI 已迅速成为科技界最知名的公司之一。这家人工智能 (AI) 公司制作了逼真的图像生成器、3D 模型创建器,以及现在最著名的 ChatGPT。ChatGPT 有能力通过法律考试、撰写整篇长篇文章,甚至编写完整的网

生命科学迎“ChatGPT时刻”!AIGP平台三大功能加速蛋白质生成,6月起向专业公众开放

智东西作者 | ZeR0编辑 | 漠影ChatGPT这把火,已经烧到了生命科学界。智东西3月30日报道,近日,百度创始人李彦宏牵头创立的生命科学平台公司百图生科,正式对外发布其“生命科学版ChatGPT”——由生命科学大模型驱动的AI生成蛋

热闹与隐忧:ChatGPT大火背后,AI留给人类的伦理与可持续难题|钛媒体焦点

跟随科技圈“潮流”,微软宣布将于2023年3月底之前在全球裁员1万人,约占员工总数的5%。这次裁员规模之大,被微软视为应对宏观经济状况和客户优先事项变