欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

训练ChatGPT有多烧钱?国产大模型有机会吗?

时间:2023-04-06 09:46:48 | 浏览:38

GPT1.0和GPT2.0是开源的,目前很多国产大语言模型是用开源软件,加上中文语料处理的,差距和GPT3.5可能并不只相差了一代。而现在GPT3.0没有可靠的开源软件。“诚然很多国内厂商对ChatGPT有兴趣,但是他们的兴趣点也很多,跟风

GPT1.0和GPT2.0是开源的,目前很多国产大语言模型是用开源软件,加上中文语料处理的,差距和GPT3.5可能并不只相差了一代。而现在GPT3.0没有可靠的开源软件。

“诚然很多国内厂商对ChatGPT有兴趣,但是他们的兴趣点也很多,跟风投机性强,无法像OpenAI那样全力以赴,意志坚定。”

ChatGPT风靡全球后,科技巨头们纷纷入局,各类初创公司也如雨后春笋。最近,原美团联合创始人王慧文的一条“5000万美元,带资入组,不在意岗位、薪资和title,求组队”的宣言更是引起诸多讨论。

然而,训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT需要多少算力》估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM(大型语言模型),训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达A100 GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。

更直观地理解,如果将当前的ChatGPT部署到谷歌进行的每次搜索中,需要 512820.51台A100 HGX服务器和总共4102568个A100 GPU,这些服务器和网络的总成本仅资本支出就超过1000亿美元。

“大模型的训练和推理成本一直以来是AI产业发展的瓶颈,因此具有大模型构建能力的企业往往是世界科技巨头。这会形成强大的护城河,造成强者恒强的局面。”法国里昂商学院人工智能管理学院(AIM)院长、全球商业智能中心(BIC)主任龚业明接受澎湃科技(www.thepaper.cn)采访时表示。

“的确成本很高,所以短期内大厂具有优势。或者资本市场高度看好这一领域,重金投资出一些创业公司来做大模型。”IDC中国研究总监卢言霞对澎湃科技表示,“将来要么是大厂作为最上游提供基础模型,中小型企业作为下游开发出基于大模型的应用。要么是也会诞生出一批做大模型的AI创企,即使如此,产业也将是大模型提供商为上游。还有可能大模型发展到一定阶段,开源的越来越多,头部行业用户基于开源模型开发自己的AI应用,提供给行业里其他友商,也就是类似行业云的形式。”

“国产大模型与ChatGPT基础模型相差不止一代”

“ChatGPT本质上是一个由浮点数参数表示的深度神经网络大模型,属于深度学习的框架。ChatGPT的推出是深度学习提出后又一个里程碑式的技术革命,将为以自然语言处理为核心的认知智能技术发展提供新的‘历史机遇期’。”科大讯飞副总裁、研究院执行院长刘聪对澎湃科技解释道。

近期,除了惊艳于ChatGPT的表现之外,AI行业内对于中国能否做出类ChatGPT的产品也有诸多讨论。国内大模型究竟与ChatGPT背后的GPT系列大模型相差多少?

“GPT1.0和GPT2.0是开源的,目前很多国产大语言模型是用开源软件,加上中文语料处理的,差距和GPT3.5可能并不只相差了一代。”龚业明表示。

而现在GPT3.0没有可靠的开源软件了,龚业明说,“但是有理论论文发表,一些国产大语言模型正在根据GPT3.0论文和一些相关的情报开发系统,但是和OpenAI的原创模型会有较大差距。”

据龚业明分析,问题在于GPT3.0比很多目前国产大模型采用的GPT2.0要进化很多,而OpenAI正在一个从GPT3.5到GPT4.0的发展过程中。如果要彻底达到GPT3.5的水平,在短期内是不太可能的,语料库的建立,人工标注,算法的训练都需要时间。

很多国产大模型计划用半年完成追赶,龚业明判断,“半年后市场会出现一批这样的所谓的GPT,但要达到真正实用需要2-3年,那时候OpenAI又进步了。”

差距的背后是什么?

从技术角度来看,龚业明认为,国内的AI领域在基础理论、算法研究、语料库以及技术人才方面相对滞后。

第一,就语料库而言,龚业明具体解释道,“一个装样子的语料库的构建和获取也许不是特别费劲,但是语料的标注与理解工作比较繁复。目前有很多人工智能专家还认为中文语料质量会影响国产大模型的发展。语言学的长期研究告诉我们,语料库的构建最好不能只局限于简体中文语料库,要能理解多种语言,才能构建一流的中文语料库。所以不要认为靠人海战术和低人力成本建一个简中语料库就能解决语言学问题。”

第二是算法。“GPT对算法的要求特别高。算法要能容纳和分析大数据,个别国产大语言模型出现了过载问题,就是算法处理不了更大的数据,或增加了数据后服务质量没提高。”龚业明说。

第三是运算量。“GPT需要高端显卡和高端芯片。在目前的国际环境中,并不是所有我国企业能获取足量的高端显卡和高端芯片。同时运算量也要求较高的投资。”龚业明也聊到当下的现状,“诚然很多国内厂商对ChatGPT有兴趣,但是他们的兴趣点也很多,跟风投机性强,无法像openAI那样全力以赴,意志坚定。”

最后,“短期内很不容易找到GPT的领军人才,在这个领域领军人才几乎全在美国。”龚业明不无遗憾地总结道,“由于这些关键因素,我不认为能够比较容易地在短期内实现追赶。”

另一方面,“国内缺乏明确的前瞻性生态与商业布局。”龚业明从商业模式角度分析,“现在出现了ChatGPT这样的产品,国内也会出现很多的公司、机构,但在技术路径的复制上面,由于缺乏基础模型积累和大量的训练数据来源,所以复制难度较大。OpenAI在很多年前就理解了GPT的价值,我们到现在别人已经做出来,才知道该这样发展,才理解其中的商业价值,就慢了点。”

ChatGPT商业价值几何?“兵家必争之地”

刘聪认为,这次ChatGPT所带来的革命将会深刻地改变当今世界的生产和生活方式,重构产业格局,是人工智能领域推动工业乃至社会变革的重大战略机遇,是未来发展兵家必争之地。

具体而言,刘聪概括了四个方面的变革。

一是改变现有人机交互模式,未来人们可能用自然对话的方式与智能产品交互。二是改变信息分发获取模式,基于认知智能技术可实现更高效的信息整合和知识推荐等。三是革新内容生产模式,提高生产力。“未来ChatGPT被集成到word、excel、ppt等工具软件后,将提升内容生产效率与丰富度,变革人们的办公方式,成为新的全行业生产力工具。”四是加速“AI for Science”的发展,“随着其学习的科研数据越来越多,未来ChatGPT有可能提供专业的研究建议甚至主动探索发现新的理论,带来整个科学研究范式的全新变化。”

卢言霞则认为,ChatGPT短期内不可能颠覆AI行业格局,其对市场真正的影响在于底层大模型对AI开发模式的转变。

这句话包含了两层判断。

为何ChatGPT短期内不可能颠覆AI行业格局?卢言霞认为,基于GPT-3模型已读取的数据,ChatGPT可以回答用户的问题,甚至可以为用户推荐适配的产品、服务。 其所提供的答案在准确性、广泛性方面仍存在局限,因此现阶段无法直接用于企业特定的场景中以替代之前的AI应用,不可能彻底颠覆搜索市场,也不可能改变人工智能市场格局。”

龚业明则持截然相反的观念,“由于内容可信度还不是特别高,交互成本高,很多市场分析人员认为ChatGPT对市场真正的影响有限,这种看法可能对这个技术的商业价值理解不是特别深刻。目前也只是处在ChatGPT发展的早期,内容可信度会随着训练与算法的提高,逐步解决。”

对于另一个AI开发模式转变的判断,卢言霞进一步解释道,“以前很多AI应用都是直接使用通用AI软件,或者通用AI公有云服务。ChatGPT基于大模型的效果被认知到并且重视以后,将会有越来越多的AI应用或是嵌入大模型,或是直接用基于大模型的AI软件替代。也就是说,这会是已经部署的AI应用更新换代的机会。 ”

“之前AI市场很分散,未来如果大模型发展起来,那么产业链可能的分工是:大厂提供大模型,AI应用厂商基于大厂的大模型开发AI应用。这将是上下游的关系,不再是之前的竞合关系。”卢言霞说。

欧科云链研究院高级研究员蒋照生则对澎湃科技谈到一个新的角度,ChatGPT将加速Web 3.0时代的到来。

“以ChatGPT为代表的生成式AI完全有潜力成为Web 3.0时代的生产力工具,通过从包括链上数据在内的新型生产要素中学习和分析,为Web 3.0创作者和贡献者们提供更可靠和更便捷的生产力工具,解决数字世界的数据资产与内容生产难题,补齐Web 3.0发展中的生产力短板。”蒋照生表示。

龚业明也表达了相似的想法。他认为从长期来看,AIGC(人工智能生成内容)将成为元宇宙生产工具。“ChatGPT等AIGC应用程序将显著提升数字人的制造效率,内容生成快、成本低且可定制。AIGC能显著提高数字人多模态交互中的识别感知和分析决策能力,成为元宇宙世界重要的生产工具。AIGC有望成为元宇宙搭建的重要工具,并推动web 3.0的发展。”

在采访的最后,卢言霞说,未来充满想象,不可预测。

相关资讯

chatGPT,AI时代到来?一文告诉你到底何为GPT!GPT能做什么!

近期chatGPT异常火爆,仅仅用了60 天用户就直接破亿,这是何等可怕的速度!于是乎国内外大厂纷纷追随 AIGC 步伐, ChatGPT 引领 AI 在科技圈一路“狂飙”!由于涉及到太多的专业词汇,开始之前,先通俗易懂的解释这些词汇(图1

HuggingGPT:一个ChatGPT控制所有AI模型,自动帮人完成AI任务

丰色 发自 凹非寺量子位 | 公众号 QbitAI最强组合:HuggingFace+ChatGPT ——HuggingGPT,它来了!只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。它就能帮你自动分析需要哪些AI模型,然

震撼!GPT-4来了,支持多模态,全面吊打ChatGPT,完虐标准化考试

智东西编译 | ZeR0编辑 | 漠影智东西3月15日消息,今日凌晨,万众瞩目的大型多模态模型GPT-4正式发布!OpenAI发文称,GPT-4能接受图像和文本输入,输出文本内容,虽然在许多现实场景中的能力不如人类,但在各种专业和学术基准测

GPT-4重磅发布!ChatGPT炸裂大升级,能考上哈佛,体验后我慌了

今天 OpenAI 宣布推出 ChatGPT 4,ChatGPT Plus 用户在今天就能体验到。OpenAI 称它是「最先进的系统,能生产更安全和更有用的回复」。和上一代相比,GPT-4 拥有了更广的知识面和更强的解决问题能力,在创意、视

ChatGPT的“GPT”是什么意思?三个单词暴露你的英语水平!

当我们还活在睡梦中时,人工智能ChatGPT横空问世,从连续回答问题、生成摘要、翻译文档,到信息分类、写代码、编剧本、做作业和写论文,ChatGPT几乎都能应对自如。两个月时间内,ChatGPT的月活用户已突破1亿,成为史上增长最快的消费者

谷歌版ChatGPT公测炸了!比GPT-4数学能力还强,体验名额发得很快

谷歌吃了大亏之后,这次一声不吭,放了大招:对标ChatGPT的Bard测试版,刚刚正式对外发布。而且这次用户在申请候补名单之后,无需经历漫长的等待时间。没错,量子位也已经拿到了测试资格!(中间只有不到5小时的间隔。)实测之后表示,Bard效

更强大恐怖的GPT-4来了,考试表现优于人类,性能远超ChatGPT

界面新闻记者|李京亚3月15日凌晨2点,OpenAI正式发布了升级后的GPT-4。GPT-4是一个多模态大模型,可以接受文本和图像形式的输入,能使用文本解析并回应这些查询。在ChatGPT Plus上,开发人员可以通过API构建应用程序和

ChatGPT:关于OpenAI的GPT-4工具你需要知道的一切

#头条创作挑战赛#OpenAI 已迅速成为科技界最知名的公司之一。这家人工智能 (AI) 公司制作了逼真的图像生成器、3D 模型创建器,以及现在最著名的 ChatGPT。ChatGPT 有能力通过法律考试、撰写整篇长篇文章,甚至编写完整的网

训练ChatGPT有多烧钱?国产大模型有机会吗?

GPT1.0和GPT2.0是开源的,目前很多国产大语言模型是用开源软件,加上中文语料处理的,差距和GPT3.5可能并不只相差了一代。而现在GPT3.0没有可靠的开源软件。“诚然很多国内厂商对ChatGPT有兴趣,但是他们的兴趣点也很多,跟风

生命科学迎“ChatGPT时刻”!AIGP平台三大功能加速蛋白质生成,6月起向专业公众开放

智东西作者 | ZeR0编辑 | 漠影ChatGPT这把火,已经烧到了生命科学界。智东西3月30日报道,近日,百度创始人李彦宏牵头创立的生命科学平台公司百图生科,正式对外发布其“生命科学版ChatGPT”——由生命科学大模型驱动的AI生成蛋

热闹与隐忧:ChatGPT大火背后,AI留给人类的伦理与可持续难题|钛媒体焦点

跟随科技圈“潮流”,微软宣布将于2023年3月底之前在全球裁员1万人,约占员工总数的5%。这次裁员规模之大,被微软视为应对宏观经济状况和客户优先事项变化的措施。但这种做法似乎不影响这家企业有足够的资金对OpenAI进行新一轮投资。据外媒Se

ChatGPT识别器准确率仅26%,检测AI生成内容为何这么难?

·众多大型语言模型生成的海量内容已经造成了信息爆炸,优质原创高质量内容可能更难被挖掘。滥用ChatGPT的风险还包含散播生成的逼真的虚假信息、新闻,以及AI生成内容本身的合法性风险。美国学校已就ChatGPT沦为作弊工具一事进行了长达数周的

微软盯上ChatGPT,“豪赌”生成式AI

“Web3没那么重要,元宇宙没革命性,人工智能最重要。”当整个科技界对Web3和元宇宙的讨论到最高点的时候,比尔盖茨在美国社交新闻网站Reddit问答帖下的亲自回复,引起了轩然大波。有网友在下面评价:“微软这位47岁的‘互联网老人’无法接受

谷歌最高优先级项目曝光:下一代AI搜索,誓要打败ChatGPT

机器之心报道编辑:泽南、小舟为了应战,「无为而治」多年的谷歌创始人回来抓起了大方向。岁末年初,科技公司似乎集体进入了反思阶段。过去一个月里,谷歌创始人拉里・佩奇、谢尔盖・布林与公司高管一直在开会,讨论新型 AI 聊天机器人。自 11 月 3

行业风口丨ChatGPT打开万亿规模AIGC入口,AI芯片产业链、数据产业链有望加速发展

南方财经全媒体 资讯通研究员彭卓 综合报道 1月31日A股开盘,昨日受ChatGPT相关资讯推动的板块再度上涨。南财金融终端主题库显示,截至发稿,AIGC主题上涨0.76%,成分股中,汉王科技2连板,海天瑞声涨超10%,云从科技、传智教育、

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈青城山旅游攻略瑜伽资讯网景德镇新闻头条网新生儿起名网马蜂窝旅游攻略网谢姓取名大全北京房产信息网四川旅游网水族养鱼器材网西双版纳旅游攻略世纪数藏NFT王森西点学习网曲靖新闻头条网生肖马运势网濮阳新闻头条网
ChatGPT聊天机器人-ChatGPT OpenAI聊天机器人是美国OpenAI研发的聊天机器人程序,ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流。中国版chatGPT、chatGPT中文网、chatgpt安卓下载、ChatGPT国内手机版、ChatGPT注册教程、ChatGPT免费注册账号、ChatGPT微信小程序。
ChatGPT聊天机器人 wnwz.cn ©2022-2028版权所有