欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

GPT-4技术为何不公开?竞争对手称OpenAI已经变成完全封闭的公司

2023-04-06 09:54:48 880

摘要:日前,OpenAI 创始人山姆·奥特曼(Sam Altman)表达了对于 ChatGPT 和 GPT-4 的担忧,AI 模型的内容生成能力、以及取代人类工作的潜力让他“有点害怕”。他说,人类历史上的几次技术革命,确实让社会工种发生了很大变化...

日前,OpenAI 创始人山姆·奥特曼(Sam Altman)表达了对于 ChatGPT 和 GPT-4 的担忧,AI 模型的内容生成能力、以及取代人类工作的潜力让他“有点害怕”。他说,人类历史上的几次技术革命,确实让社会工种发生了很大变化,有些工作甚至彻底云消雾散。


但他同时表示,人类仍然是劳动力的重要组成部分,旧的岗位消失、新的岗位源源不断,我们总能找到新工作。因此,ChatGPT 只是人类的工具,而不是人类的替代品。


图 | OpenAI 创始人山姆·奥特曼(Sam Altman)(来源:资料图)


不过,鉴于 ChatGPT 越来越擅长写代码,奥特曼也在担心它是否会被用于网络攻击或大规模炮制虚假信息。尽管 ChatGPT 在很大程度上可以被人为控制,但他认为保不齐会有人用它来做坏事。所以,面对 ChatGPT 以及其他 AI 工具可能产生的负面影响,留给人们作出合宜处理的时间并不多。


当 ChatGPT 面对不该做的任务,它必须拒绝


在 OpenAI 负责研究 AI 政策的桑德希尼·阿加瓦尔(Sandhini Agarwal)说:“我们还有很长的路要走。这个模型仍然很有偏见。是的,ChatGPT 非常擅长拒绝不好的请求,但它也很容易被提示所误导,以至于它没能拒绝我们希望它拒绝的东西。”


OpenAI 声称,其安全测试已经足以让 GPT-4 用于第三方应用程序,同时它也做好了迎接突发事件的准备。OpenAI 首席科学家伊利亚·苏斯克弗(Ilya Sutskever)告诉《麻省理工科技评论》,大语言模型仍然存在根本性的缺陷。


GPT-4 依然会产生带有偏见、虚假和仇恨的内容;它仍然可以被越狱,躲开 OpenAI 设置的保护措施。尽管 OpenAI 改进了它,但还算不上 100% 地成功。


要知道,实现大模型的安全性并不是一蹴而就的,而是一个逐步前进的过程。而且只要 GPT-4 解锁了新能力,在安全防控上就会更加复杂。就连苏斯克弗也认为:“尽管很多情况已经被摸清楚,但我相信其中仍藏着一些令人惊讶的东西。”他甚至觉得放慢新成果的发布速度可能会更好。


此外,在 OpenAI 内部有一支对齐团队——对齐指的是通过引导人工智能系统的行为,使其符合设计者的利益和预期目标。对齐团队的负责人简·莱克(JJan Leike)告诉《麻省理工科技评论》,当用户的提问不够清楚时,ChatGPT 就应该追问,此外它还应该澄清自己只是一个人工智能系统。


也就是说,ChatGPT 不应该假设自己拥有一个不该拥有的身份,也不应该声称自己拥有其实并不拥有的能力。当用户要求它做一个不该做的任务时,它必须拒绝。


(来源:资料图)


OpenAI 新目标:避免 ChatGPT“胡编乱造”,让其生成更多元的内容


在人工智能语言模型研究中,最大的问题之一是如何阻止模型“产生幻觉”,说得更接地气一点就是如何阻止模型“胡编乱造”。ChatGPT 已经被上亿用户使用了几个月,尽管有时也会产生谎言和幻觉,但还不至于太离谱。


这是因为 OpenAI 在 ChatGPT 中使用了一种名为“从人类反馈中强化学习”的技术,它会基于用户反馈改进答案。该技术的工作原理是让人们在不同的输出内容中进行选择,然后根据不同的标准进行排序,比如事实性和真实性。


为了使 ChatGPT 更可靠,OpenAI 一直在清理数据集,并删除那些会让模型产出错误内容的训练数据。自从 ChatGPT 发布以来,人们一直试图对它进行“越狱”,也就是使用一些“技巧”让模型打破束缚自己的规则,从而产生有关种族主义或阴谋论的内容。


OpenAI 已经注意到一些用户的尝试。目前,OpenAI 已经浏览了整个数据库,挑选出了一些会导致不必要内容的提示,以对模型做出改进并阻止它继续蔓延下去。


另外,OpenAI 也会从公众那里收集更多反馈,以便更好地塑造模型。目前,OpenAI 正在探索通过用户调查或建立公民集会(论坛)的方式,来讨论哪些内容应该被完全禁止。例如,如果以艺术为前提,裸体可能不会被认为是粗俗的、不可接受的,但如果在非艺术类课堂上使用 ChatGPT 生成裸体图片就是另外一回事了。


尽管 OpenAI 正在使用数据标注人员的人工反馈来迭代模型,但是这些员工的反馈并不能很好地代表更广泛、多元的世界。因此,该公司希望扩展这些模型所代表的观点和视角。


为此,它开展了一个更具实验性的项目,名为“共识项目”。在这个项目中,OpenAI 正在研究用户对于 ChatGPT 所产生内容的同意或不同意的程度。


举例来说,相比“天空是否是蓝的”这样的单一维度问题,人们可能会对“税收是否是好事”这类问题产生更加多元的回答。而 OpenAI 希望通过一定的训练,让 ChatGPT 可以代表不同的视角和世界观。因此,人们或许可以用它来生成符合自己观点的答案,而不是一刀切的答案。


(来源:资料图)


对于 GPT-4 的核心秘密,OpenAI 为何“守口如瓶”?


很多人都已经知道,ChatGPT 使用的是 GPT-3.5 的一个微调版本。而在最近,GPT-4——一种多模态大型语言模型也已经横空出世。


使用 GPT-4 时,它可以同时对文本和图像给出回应。比如当你打开冰箱,拍一张番茄的照片然后发给它,问它用番茄能做什么菜,这时 GPT-4 就会尝试制作和番茄相关的食谱。它也很擅长解释笑话,如果你给它看一个表情包,它能向你解释里面有什么有趣的梗。


目前 GPT-4 仅开放给 ChatGPT Plus 的付费用户,要么就是以 API 开发者的身份加入等待名单。并且,当前所有用户都只能使用文本模式。


作为业内同行,开源大语言模型 BLOOM 背后的联合创始人托马斯·沃尔夫(Thomas Wolf)说,一款优秀的多模态大模型一直是诸多大型技术实验室所追求的目标。理论上,文本和图像的结合可以让多模态模型更好地理解世界。但是,GPT-4 仍然难遥不可及。不过,沃尔夫认为 GPT-4 或许能解决传统语言模型的弱点比如空间推理的难题。


根据 OpenAI 的说法,GPT-4 之所以比 ChatGPT 表现更好,是因为它是一个拥有更多参数的大模型。在 OpenAI 之前的模型迭代中,参数的增加是一个重要趋势。


参与开发 GPT-4 的工程师雅库布·帕乔基(Jakub Pachocki)告诉《麻省理工科技评论》:“这个基本公式多年来并没有发生太大改变。但这就像建造一艘宇宙飞船,你需要把所有小部件都做好,并确保没有一个会损坏。”


比如,GPT-3 的性能优于 GPT-2,因为它的参数量是 1750 亿,而 GPT-2 的参数量只有 15 亿,两者相差 100 多倍。


对于 GPT-3,OpenAI 创始人奥特曼此前曾告诉《麻省理工科技评论》:“GPT-3 是人们第一次真正感受到一个系统的智能。GPT-3 可以做人类所做的事。我认为,这让那些以前根本不相信通用人工智能的人开始认真对待它,并在之后发生了一些我们都没有预料到的事情。”


如果说 GPT 的前几代都是科研成果的话,GPT-4 更像一个成熟的产品。同时,GPT-4 也是 OpenAI 有史以来最神秘的新成果发布,标志着 OpenAI 从非营利性研究实验室全面过渡到营利性公司。


但是 OpenAI 这次并未透露 GPT-4 的参数量,不过奥特曼曾表示 GPT-4 是迄今为止 OpenAI 最大的模型。


同时,OpenAI 也并不打算公布 GPT-4 到底好在哪里。GPT-4 发布之后,《麻省理工科技评论》与其开发团队进行视频电话时,OpenAI 首席科学家伊利亚·苏斯克弗(Ilya Sutskever)表示:“你知道,有些事我们现在还不能评论。外面到处都是竞争对手。”


关于这一话题,正在看同类项目的投资人非常有发言权。投资公司 Tola Capital 的联合创始人希拉·古拉蒂(Sheila Gulati)说:“对大多数公司来说,创建类似规模的模型的成本是无法承受的,但是 OpenAI 采用的方法让初创公司非常容易接入大型语言模型,这将促进基于 GPT-4 的巨大创新。”


除了不公布参数量之外,OpenAI 也没有透露 GPT-4 的构建方式,更没有透露所使用的数据和算力。


这让作为同行的沃尔夫不禁吐槽:“OpenAI 现在成了一家完全封闭的公司,所做的科学交流也越来越类似新产品的新闻稿。”不过这似乎也可以理解,毕竟 OpenAI 已经变成盈利性公司,自然要通过技术保密来维护利益。


北京智源研究院院长黄铁军教授认为:“OpenAI 成立的时候是开放的,只不过为了训练大模型必须有很多资金的投入,但是他并没有放弃开放的梦想。目前可能是比较现实的选择。”


但 OpenAI 也并非绝对地守口如瓶,在 GPT-4 所使用的技术上,它也做了一定的透露。其表示,通过使用与 ChatGPT 相同的方法,即借助于人类反馈的强化学习技术,GPT-4 实现了诸如在律考中取得高分成绩、以及识别梗图等功能。


在运用基于人类反馈的强化学习技术时,OpenAI 会要求真人评分者对模型的不同反应进行评分,以此来提升 GPT-4 的输出质量。而且上一代 GPT 也使用了这款技术,因此这并不是一个“秘密武器”。


另外,OpenAI 还使用反向方法来让 GPT-4 进行自我改进,即让它产生可能会导致偏见、不准确的或者攻击性的回复,然后再借此修复模型,以便让它以后可以自行拒绝这种输入。


虽说 GPT-4 的表现可圈可点,但也并非没有竞品,比如 DeepMind 也有一款大模型 Flamingo;法国公司 Hugging Face 也正在开发一种开源的多模态模型,预计将免费提供给用户。


因此虽说已经遥遥领先,但可以看出 OpenAI 颇有如临大敌之感。面对这样的竞争环境,OpenAI 并没有把 GPT-4 当成一项研究成果,而是作为一次新产品的试水。也正因此,在官宣 GPT-4 的博客文章里,OpenAI 特意展示了 GPT-4 的几个应用案例,比如用于多邻国软件的语言学习、用于冰岛政府的语言保护等。


不过,虽然 GPT-4 和 ChatGPT 的应用场景相当之多,但是当地时间 3 月 16 日,美国版权局发布新规称,通过 Midjourney、Stability AI、ChatGPT 等平台自动生成的作品不受版权法保护。对于 OpenAI 来说,版权问题也将是它接下来不得不面对的事情。


支持:Ren


参考资料:

https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/

https://www.technologyreview.com/2022/12/16/1065005/generative-ai-revolution-art/

https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/

https://www.technologyreview.com/2023/02/21/1068893/how-openai-is-trying-to-make-chatgpt-safer-and-less-biased/

https://abcnews.go.com/Technology/video/openai-ceo-cto-risks-ai-reshape-society-97949497

https://www.technologyreview.com/2022/12/16/1065255/sam-altman-openai-lessons-from-dall-e-2/

版权声明:本站所有文章皆是来自互联网,如内容侵权可以联系我们( 微信:bisheco )删除!

相关推荐

友情链接
币圈社群欧易官网