欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

奇点来临:ChatGPT时代的机遇与挑战

时间:2023-04-06 10:09:54 | 浏览:445

1、引言 2023年新年伊始,ChatGPT风靡全球,朋友圈相关文章持续刷屏,中美股市相关公司股票也是全线飘红。其实我个人从去年11月底OpenAI发布ChatGPT,就持续跟进关注,在我看来,ChatGPT的出现标志着强人工智能时代的来临

1、引言

2023年新年伊始,ChatGPT风靡全球,朋友圈相关文章持续刷屏,中美股市相关公司股票也是全线飘红。其实我个人从去年11月底OpenAI发布ChatGPT,就持续跟进关注,在我看来,ChatGPT的出现标志着强人工智能时代的来临,人类或许将会迎来Ray Kurzweil所说的技术奇点(Singularity)。因此,认真研究ChatGPT,理解其中蕴含的机遇与挑战具有非常重要的意义。

近期恰逢好友孙继伟教授邀请我参加一个活动,分享这个话题的个人看法,虽明知力有不逮,但也斗胆一试。能力有限,错误难免,欢迎大家拍砖。我计划从如下几个问题来展开说明。

2、什么是ChatGPT?

从目前来看,大部分人对ChatGPT的理解是从产品层面,它是一个非常像人的聊天机器人(ChatBOT)。当然这里说的聊天指的不是语音聊天,而是通过文本互动,具体产品界面如下图所示。

与很多聊天机器人不同,ChatGPT追求的不是外形与人类接近,而是让你在聊天中感觉TA真的懂你。TA不仅知识渊博,对你提出的很多问题都可以给出答案(虽然这些答案未必是正确的),更重要的是TA说话的口气方式,非常流畅,完全摆脱了此前聊天机器人的僵硬和教条。根据我自己对ChatGPT的体验,感觉TA真的做到了像人一样聊天,甚至可以像人一样胡说八道(编故事),被指出错误后还会道歉。

而之所以能做到这一点,有赖于产品背后的算法模型,这其实也是ChatGPT的本来含义。按照ChatGPT给出的答案,这是一种由 OpenAI 公司开发的自然语言处理 (NLP) 模型,用于实现对话生成和语言模型预测,通过分析对话历史和当前语境,生成合适的回复文本。在英文中“chat”是聊天的意思,GPT是一种预训练语言模型(Generative Pre-trained Transformer)的缩写, ChatGPT其实就是基于GPT,然后利用人工微调升级的一个新语言模型。

GPT也在持续进化,最新到了3.5版本,GPT-3.5的相关数据并未被公开。从GPT-3公开信息来看,整个神经网络就已经有1750亿个参数。而要对这么多参数进行训练,所需要的数据和算力都是惊人的。

先说数据,GPT和其他大语言模型的数据来源大致包括如下六类,分别是:维基百科、书籍、期刊、Reddit链接、Common Crawl和其他数据集。根据2020O