时间：2023-04-06 09:32:17 | 浏览：214
ChatGPT的底层技术是Transformer，而Transformer是谷歌于2017年提出的。
那时候，OpenAI刚刚成立两年，还没有开始实操项目。
那为何OpenAI可以做到后来居上？
语言模型主要有两种技术模式，一是“模型预训练+Fine-tuning（微调）”模式，一是“模型预训练+Prompting（提示）”模式。
谷歌与OpenAI，在这里走上了不同的路径。
谷歌用的是模型预训练+Fine-tuning”，第一阶段的预训练，谷歌采用了类似ELMO的双向语言模型。
而OpenAI不同，它采用了“模型预训练+Prompting”模式，在第一阶段，预训练的语言模型为单向的，即只能通过预测单词的上文去推理。
谷歌的模型名为Bert，OpenAI的则命名为GPT。从机制上讲，Bert能够抽取双向的更多的特征，应该比单向的GPT要强。
事实也是如此，在2018—2022年，Bert的表现相比GPT一直遥遥领先，是业界最主流的语言模型的技术路径。所以在当时，谷歌根本没有必要忌惮OpenAI，相反地，OpenAI对单向模型的选择，却是广受争议，不被理解。
到2022年11月30日，ChatGPT推出后，所有人才终于意识到，在训练规模宏大到一定级别后，单向的语言模型并不弱于双向。
语言模型只是第一步，更大的分歧在于第二步，Fine-tuning还是Prompting？在这里，谷歌与OpenAI走上了不同的道路。
Fine-tuning的优势很明显，毕竟现在的大语言模型，规模动辄上千万级，从头训练费时费力，成本高昂。Fine-tuning只需要规模小得多的数据集，操作性好，用到的算力也不太贵，就可以拥有一个“功能定制”的大语言模型。
谷歌的Bert，选择的就是这个模式。
对GPT模型来说，其实在最早时期，也是通过Fine-tuning调整模型。但在2020年，GPT-3横空出世，OpenAI技术路线越来越明显地收敛到Prompting，即通过0次或少次的示例，令大语言模型适应即将执行的具体任务。
自GPT-3出现以来，市面上的大语言模型，几乎都走了“自回归语言模型+Prompting”模式。显然，通过少数示例来使用模型，比Fine-tuning的门槛更低、成本更低，没理由不吸引更多的人进入赛道。
从此，OpenAI一时风头无两，而谷歌的风头则被暂时盖过。不过，下一阶段谁能更高一筹，目前下结论还为时尚早。
以上是伽利略的第28篇笔记。与君共勉。
ChatGPT的底层技术是Transformer，而Transformer是谷歌于2017年提出的。那时候，OpenAI刚刚成立两年，还没有开始实操项目。那为何OpenAI可以做到后来居上？第一，预训练路线之争语言模型主要有两种技术模式，一
今天凌晨，OpenAI 发布了多模态预训练大模型 GPT-4。眼花缭乱的技术迭代和全新功能毫无疑问再次带给我们巨大震撼，但在冷静之后，本次发布的一些细节也让我们感到担忧：这家将“open”写在公司名称里的科技企业，似乎正在朝着close的方
OpenAI是全球最著名的人工智能研究机构，发布了许多著名的人工智能技术和成果，如大语言模型GPT系列、文本生成图片预训练模型DALL·E系列、语音识别模型Whisper系列等。由于这些模型在各自领域都有相当惊艳的表现，引起了全世界广泛的关
谷歌这回，可真是出大糗了。Bard处处不及ChatGPT也就罢了，如今竟然被曝出，为了快速训练这个ChatGPT竞品，他们直接使用了ChatGPT生成的数据。。。数据来自于一个收集ChatGPT对话的公开网站，上面的对话数量超过11万。Th
关注留言点赞，带你了解最流行的软件开发知识与最新科技行业趋势。谷歌否认了这些指控。一份报告称，谷歌一位著名的人工智能研究员辞职是因为该公司正在使用来自 OpenAI 的 ChatGPT 的数据训练其人工智能聊天机器人 Bard。谷歌否认了这
IT之家 3 月 23 日消息，自 ChatGPT 风靡全球后，AI 版权问题就成为近来国外争论不休的一个焦点。据华尔街日报报道，AI 技术的发展已经引发了新闻出版业的不满，他们认为自己的内容被大型科技公司用于训练 AI 模型而没有得到合理
来源：澎湃新闻 聊天机器人ChatGPT爆火，让谷歌向竞品急投4亿美元。当地时间2月3日，根据英国《金融时报》报道，搜索引擎巨头谷歌已向人工智能初创公司Anthropic投资了近4亿美元，后者正在测试OpenAI的热门产品ChatGPT的竞
编辑：LRS【新智元导读】OpenAI到底有多能抢人？ChatGPT一炮而红，彻底把openAI这个创业公司整破圈了，短短5天，全球注册用户就突破100万，至今仍热度不减。但为什么是OpenAI做出了ChatGPT？OpenAI的员工又都是
当我们围观ChatGPT炸开的多场激战时，还有什么是暗流下激战的？今天要
