时间:2023-04-06 09:25:48 | 浏览:242
《科创板日报》3月19日讯(编辑,宋子乔)十年寒窗无人问,一朝成名天下知。当坐在旧金山先锋大厦的写字楼中埋头写代码的时候,OpenAI首席执行官Sam Altman是否会想到,2023年,自己的面孔将如此频繁地出现在各大科技媒体的封面?
人类是多么喜爱类比思考,如同在互联网2.0时代追问“为什么是苹果?”一样,新问题来了:为什么是OpenAI?
长期以来,谷歌一直占据着人工智能领域的头把交椅,基于这一点,这一问题可被进一步具体化——OpenAI为什么能在和谷歌的较量中胜出?
解谜第一步,了解你的探索对象。
▌大卫挑战歌利亚
ChatGPT的开发商OpenAI一出生便“自带光环”——
2015年12月,美国知名VC机构Y Combinator的合伙人兼总裁山姆•阿尔特曼(Sam Altman)、Linkedin创始人里德•霍夫曼(Reid Hoffman)在旧金山成立了OpenAI,特斯拉CEO埃隆•马斯克(Elon Musk)、PayPal联合创始人彼得•蒂尔(Peter Thiel)、Stripe的CTO布罗克曼(Greg Brockman)等人共同认捐10亿美元。
彼时的人工智能领域,17岁的谷歌独领风骚。3个月后,其收编已有一年的DeepMind,以AlphaGo战胜人类围棋世界冠军,也为人工智能行业注入了一针强心剂。
而OpenAI意气风发,将自己定位为非盈利性组织、承诺将免费分享开发代码,目标很明确——遏制谷歌在人工智能领域的垄断地位。
大卫与歌利亚的对决就此拉开序幕。
2019年初,OpenAI宣布从“非盈利”性质过渡到“封顶营利(capped for profit)”,成立子公司OpenAI LP并“抱上金大腿”——引入了微软的10亿美元投资。阿尔特曼也正是在此时辞去了YC集团(Y Combinator的母公司)总裁职务,全身心投入到OpenAI并担任CEO。
野心有了,但前路荆棘丛生,少年满眼迷茫。
想要成功挑战谷歌在人工智能领域的地位好比蚍蜉撼树,更遑论谷歌CEO桑德•皮查伊(Sundar Pichai)在2016年5月宣布将公司战略转为“人工智能为先”(AI First)。
阿尔特曼曾在2019年被问及OpenAI要如何实现盈利,他坦言,“老实说,我们不知道(honest answer is we have no idea)”。
▌选择大于努力
与其将ChatGPT背后的大模型GPT视作一个颠覆式创新,倒不如说它是站在前人肩膀上的集大成者。
GPT的“T”是指Transformer架构,该架构是其技术底座,由谷歌研发而成,已经开源。特斯拉自动驾驶、预测蛋白质结构的AlphaFold2模型都是在Transformer的基础上构建的。
起点明显低于谷歌,OpenAI要如何翻盘?
阿尔特曼的一句话给出了解谜线索——“无论做什么创业公司都会很辛苦,不如干票大的。”(Startups are very hard no matter what you do , you may as well go after a big opportunity.)
“a big opportunity”是什么?大模型是也。
2015年之前,人工智能的江湖,小模型遍地走。有科技业内人士分析称,国内在ChatGPT上落后的原因,是之前把资源更多地放在产业互联网和B端业务,涉及的是产业端的小模型,而没有把精力放在面向C端的通用人工智能,导致错失了时间窗口机遇。
当然,一直以来,大模型也是谷歌在内的大公司的研究方向。但能做到“孤注一掷”、“钟爱”GPT路线的,只有OpenAI一家。反观谷歌先后推出了BERT、T5、Switch Transformer、PaLM-E等模型,可谓广撒网。
即便在与谷歌的较量中长期落于下风,OpenAI也没有放弃将GPT作为唯一路线——
2018年,OpenAI推出了1.17亿参数的GPT-1,谷歌推出了3亿参数的BERT。结果是,发布更早的GPT-1完败晚4个月发布的BERT。在当时的竞赛排行榜上,阅读理解领域被BERT屠榜了。此后,BERT成为了NLP(自然语言处理)领域最常用的模型。
OpenAI选择“硬刚”,此后几年,在几乎没有改变模型架构的基础上,OpenAI陆续推出参数更大的迭代版本GPT-2、GPT-3。
与谷歌一同在AI的荒野上求索,OpenAI选择了人迹更少的一条路,再次印证“选择有时候比努力更重要” 。
▌被贵人“放养”的义子
10亿美元的启动资金让OpenAI含着金汤匙出生,但奈何其花钱如流水,上千亿规模的大模型光训练费用就要上百万美金。投靠微软后OpenAI丝毫不该本性,前者好比收了一个大手大脚却不争气的义子。
微软选择了“放养”,用金钱为GPT大模型打造一条护城河。但天下没有免费的午餐,微软并不是为了做慈善。
阿尔特曼的作用再次体现,他多次飞去西雅图,为微软CEO萨蒂亚•纳德拉(Satya Nadella)现场展示OpenAI的模型。
经过多次谈判,两者达成了独特的合作模式:
业务上,微软成了OpenAI的唯一云计算供应商和“首要合作伙伴”,其他公司想使用OpenAI的技术,最好的方式是搭上微软的Azure云计算梯子。
利润分配上,微软相当于“租了OpenAI”,一旦OpenAI超额盈利,微软能直接“提现”。即微软新一轮投资完成、OpenAI LP首批投资人收回初始投资后,微软有权获得OpenAI LP 75%利润;微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后,它分享利润的比例从75%降到49%;OpenAI LP产生的利润达到1500亿美元后,投资方的全部股权转让给OpenAI的非营利基金。
这笔买卖,纳德拉并不吃亏。据市场消息,在2019年到2023年之间,微软又投资了20亿美元。
▌再度借势谷歌实现技术跃迁
在通往大模型的路上,OpenAI用七八年的时间只磨一剑,此刻霜刃未试,只需一阵恰如其分的东风。这阵风起于2022年——最新版本的GPT实现了量变到质变的突破,完成了技术跃迁,对手谷歌起到了关键作用。我们可以来回顾这个过程:
如今,GPT大模型被称为暴力美学的典范,验证了“模型越大,性能越好”的逻辑。但曾几何时,这一逻辑长期跑不通。
OpenAI的研究者最开始认为语言模型的性能与模型尺寸的关系可以通过对数线性曲线预测,即模型尺寸呈指数增长时,性能会随之线性增加(见下图)。
在这个阶段,即便最大的 GPT-3,其性能也不能胜过小模型,故NLP的研究聚焦在更小的模型或者高效参数适应,大模型前途一片黯淡。
转机出现在2022年1月。一位谷歌研究员对模型训练方式做出了一个小小的改变,正是这个创新,彻底改变了大模型的命运。
该研究员叫Jason Wei,他提出了“思维链”的概念,一种针对模型训练的离散式提示学习方式。简单来说,就是将问题的“思维过程”提示给模型,指导它获得更好的答案。
标注思维链后,大模型似乎增强了理解力,回答问题的准确性大大提高,进而推翻了推翻上述比例定律,颇有种“山穷水尽疑无路 柳暗花明又一村”的感觉。
借助新的训练方式,当模型尺寸足够大、达到一定规模时,会突然获得小模型不具备的能力,让模型的性能急剧增加、超越比例曲线(见下图)。
之后的故事,如你所见:ChatGPT甫一上线,上百万用户疯狂涌入并在社交媒体上转发对话截图;大洋彼岸的中国,股市里一众板块你方唱罢我登场,而这一切都发生在短短四个月之内。
▌结语
如果非要为OpenAI的成功寻求一个答案,那么你可能得到一句口水话:OpenAI做对选择并坚持了下去,期间找到“贵人”微软相助守住了这份少年意气,没有放弃每一个借力向上的机会。
如今,更有无数追随者正奔赴大模型领域,它们追寻着OpenAI的选择,但是行百里者半九十,能否坚持下去就要看各自的本事了。
今天凌晨,OpenAI 发布了多模态预训练大模型 GPT-4。眼花缭乱的技术迭代和全新功能毫无疑问再次带给我们巨大震撼,但在冷静之后,本次发布的一些细节也让我们感到担忧:这家将“open”写在公司名称里的科技企业,似乎正在朝着close的方
OpenAI是全球最著名的人工智能研究机构,发布了许多著名的人工智能技术和成果,如大语言模型GPT系列、文本生成图片预训练模型DALL·E系列、语音识别模型Whisper系列等。由于这些模型在各自领域都有相当惊艳的表现,引起了全世界广泛的关
谷歌这回,可真是出大糗了。Bard处处不及ChatGPT也就罢了,如今竟然被曝出,为了快速训练这个ChatGPT竞品,他们直接使用了ChatGPT生成的数据。。。数据来自于一个收集ChatGPT对话的公开网站,上面的对话数量超过11万。Th
关注留言点赞,带你了解最流行的软件开发知识与最新科技行业趋势。谷歌否认了这些指控。一份报告称,谷歌一位著名的人工智能研究员辞职是因为该公司正在使用来自 OpenAI 的 ChatGPT 的数据训练其人工智能聊天机器人 Bard。谷歌否认了这
IT之家 3 月 23 日消息,自 ChatGPT 风靡全球后,AI 版权问题就成为近来国外争论不休的一个焦点。据华尔街日报报道,AI 技术的发展已经引发了新闻出版业的不满,他们认为自己的内容被大型科技公司用于训练 AI 模型而没有得到合理
来源:澎湃新闻 聊天机器人ChatGPT爆火,让谷歌向竞品急投4亿美元。当地时间2月3日,根据英国《金融时报》报道,搜索引擎巨头谷歌已向人工智能初创公司Anthropic投资了近4亿美元,后者正在测试OpenAI的热门产品ChatGPT的竞
编辑:LRS【新智元导读】OpenAI到底有多能抢人?ChatGPT一炮而红,彻底把openAI这个创业公司整破圈了,短短5天,全球注册用户就突破100万,至今仍热度不减。但为什么是OpenAI做出了ChatGPT?OpenAI的员工又都是
当我们围观ChatGPT炸开的多场激战时,还有什么是暗流下激战的?今天要关注的,不是违背“非盈利”初心的OpenAI,也不是商业模式面临颠覆的谷歌搜索。把目光从公司层面挪开,看向另一场已经白热化的战争——借着的ChatGPT燎原之势,2月中
ChatGPT的底层技术是Transformer,而Transformer是谷歌于2017年提出的。那时候,OpenAI刚刚成立两年,还没有开始实操项目。那为何OpenAI可以做到后来居上?第一,预训练路线之争语言模型主要有两种技术模式,一
每经记者:文巧 每经编辑:兰素英自ChatGPT风靡全球后,AI版权问题一直是一个担忧。AI模型的训练需要大量数据和内容,但其中许多有版权归属,AI公司是否该为使用这些内容付费,成为近来国外争论不休的一个焦点。据《华尔街日报》3月22日报道
本期内容紧接上篇《ChatGPT 发布,新一波 AI 创业浪潮 |AI 创业公司这次可以和巨头扳手腕了么?》,整理了 OpenAI 成立以来的商业脉络,文章主要分为 5 个小节叙述:屠龙少年,为造福人类而生无法造血,向运营成本妥协背靠微软,
《科创板日报》3月19日讯(编辑,宋子乔)十年寒窗无人问,一朝成名天下知。当坐在旧金山先锋大厦的写字楼中埋头写代码的时候,OpenAI首席执行官Sam Altman是否会想到,2023年,自己的面孔将如此频繁地出现在各大科技媒体的封面?人类
一史无前例的AI军备竞赛正在上演,而AI“老炮儿”谷歌在与后起之秀OpenAI的首轮较量中全面落败:急火火上线的Bard被GPT-4吊打;常年落后的搜索小弟Bing装载了GPT,大有翻盘之势;而谷歌文档整合AI技术的消息,更是直接被微软Of
OpenAI将与支付公司Stripe合作,后者为其ChatGPT等人工智能工具提供支付和订阅服务。Stripe 还将把 OpenAI 的新自然语言技术 GPT-4 融入其产品和服务中。Stripe首席技术官David Singleton表示