欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

OpenAI官方推出AI生成内容识别器,成功率26%,不如论文查重工具

时间:2023-02-06 14:27:52 | 浏览:518

机器之心报道编辑:泽南、杜伟很多人也许已经忘记,ChatGPT 正式发布时间是去年 11 月底,到现在才刚刚两个月,但它掀起的热潮却已引发科技公司纷纷跟进,催生了独角兽创业公司,还让学术界修改了论文接收的要求。在 ChatGPT 引发 AI

机器之心报道

编辑:泽南、杜伟

很多人也许已经忘记,ChatGPT 正式发布时间是去年 11 月底,到现在才刚刚两个月,但它掀起的热潮却已引发科技公司纷纷跟进,催生了独角兽创业公司,还让学术界修改了论文接收的要求。

在 ChatGPT 引发 AI 领域「是否要禁用」大讨论之后,OpenAI 的真假鉴别工具终于来了。

1 月 31 日,OpenAI 官宣了区分人类作品和 AI 生成文本的识别工具上线,该技术旨在识别自家的 ChatGPT、GPT-3 等模型生成的内容。然而分类器目前看起来准确性堪忧:OpenAI 在博客里指出 AI 识别 AI 高置信度正确率约为 26%。但该机构认为,当它与其他方法结合使用时,可以有助于防止 AI 文本生成器被滥用。

「我们提出分类器的目的是帮助减少人工智能生成的文本造成的混淆。然而它仍然有一些局限性,因此它应该被用作其他确定文本来源方法的补充,而不是作为主要的决策工具,」OpenAI 发言人通过电子邮件对媒体介绍道。「我们正通过这个初始分类器获取有关此类工具是否有用的反馈,并希望在未来分享改进的方法。」

最近科技领域随着围绕生成式 AI,尤其是文本生成 AI 的热情正在不断增长,但相对的是人们对于滥用的担忧,批评者呼吁这些工具的创造者应该采取措施减轻其潜在的有害影响。

面对海量的 AI 生成内容,一些行业立刻作出了限制,美国一些最大的学区已禁止在其网络和设备上使用 ChatGPT,担心会影响学生的学习和该工具生成的内容的准确性。包括 Stack Overflow 在内的网站也已禁止用户共享 ChatGPT 生成的内容,称人工智能会让用户在正常的讨论中被无用内容淹没。

这些情况突出了 AI 识别工具的必要性。虽然效果不尽如人意,但 OpenAI AI 文本分类器(OpenAI AI Text Classifier)在架构上实现了和 GPT 系列的对标。它和 ChatGPT 一样是一种语言模型,是根据来自网络的许多公开文本示例进行训练的。与 ChatGPT 不同的是,它经过微调可以预测一段文本由 AI 生成的可能性 —— 不仅来自 ChatGPT,也包括来自任何文本生成 AI 模型的内容。

具体来说,OpenAI 在来自五个不同组织(包括 OpenAI 自己)的 34 个文本生成系统的文本上训练了 AI 文本分类器。这些内容与维基百科中相似(但不完全相同)的人工文本、从 Reddit 上共享的链接中提取的网站以及为 OpenAI 文本生成系统收集的一组「人类演示」配对。

需要注意的是,OpenAI 文本分类器不适用于所有类型的文本。被检测的内容至少需要 1000 个字符,或大约 150 到 250 个单词。它没有论文检测平台那样的查重能力 —— 考虑到文本生成人工智能已被证明会照抄训练集里的「正确答案」,这是一个非常难受的限制。OpenAI 表示,由于其英语前向数据集,它更有可能在儿童或非英语语言书写的文本上出错。

在评估一段给定的文本是否由 AI 生成时,检测器不会正面回答是或否。根据其置信度,它会将文本标记为「非常不可能」由 AI 生成(小于 10% 的可能性)、「不太可能」由 AI 生成(在 10% 到 45% 之间的可能性)、「不清楚它是否是」AI 生成(45% 到 90% 的机会)、「可能」由 AI 生成(90% 到 98% 的机会)或「很有可能」由 AI 生成(超过 98% 的机会)。

看起来和图像识别的 AI 很像,除了准确程度。根据 OpenAI 的说法,分类器错误地将人类编写的文本标记为 AI 编写的文本的概率为 9%。

一番试用之后,效果的确不大行

OpenAI 宣称其 AI 文本分类器的成功率约为 26%,一些网友上手试用之后,发现识别效果果然不行。

知名 ML 和 AI 研究人员 Sebastian Raschka 试用之后,给出了「It does not work」的评价。他使用其 2015 年初版的 Python ML 书籍作为输入文本,结果显示如下。

    Randy Olson 的 foreword 部分被识别为不清楚是否由 AI 生成(unclear)

    他自己的 preface 部分被识别为可能由 AI 生成(possibly AI)

    第一章的段落部分被识别为很可能由 AI 生成(likely AI)

Sebastian Raschka 对此表示,这是一个有趣的例子,但自己已经为将来可能因离谱的论文识别结果而受到惩罚的学生感到难过了。

因此他提议,如果要部署这样的模型,请共享一个混淆矩阵。不然如果教育者采用这一模型进行评分,则可能会对现实世界造成伤害。此外还应该增加一些有关误报和漏报的透明度。

此外,Sebastian Raschka 输入了莎士比亚《麦克白》第一页的内容,OpenAI AI 文本分类器给出的结果竟然是很可能由 AI 生成。简直离谱!

还有人上传了 AI 写作工具 Easy-Peasy.AI 创作的内容,结果 OpenAI AI 文本分类器判定为由 AI 生成的可能性非常小。

最后,有人用上了反复翻译大法,把文本让 GPT3 重写一遍,也能骗过识别器。

总结一下的话就是正向识别不准,反向识别出错,也无法识破一些改论文的技巧。看来,起码在 AI 文本内容识别这一领域,OpenAI 还需努力。

参考内容:

https://techcrunch.com/2023/01/31/openai-releases-tool-to-detect-ai-generated-text-including-from-chatgpt/

https://openai.com/blog/chatgpt/

相关资讯

OpenAI官方推出AI生成内容识别器,成功率26%,不如论文查重工具

机器之心报道编辑:泽南、杜伟很多人也许已经忘记,ChatGPT 正式发布时间是去年 11 月底,到现在才刚刚两个月,但它掀起的热潮却已引发科技公司纷纷跟进,催生了独角兽创业公司,还让学术界修改了论文接收的要求。在 ChatGPT 引发 AI

快评GPT-4:OpenAI不open了,机器视觉不存在了

今天凌晨,OpenAI 发布了多模态预训练大模型 GPT-4。眼花缭乱的技术迭代和全新功能毫无疑问再次带给我们巨大震撼,但在冷静之后,本次发布的一些细节也让我们感到担忧:这家将“open”写在公司名称里的科技企业,似乎正在朝着close的方

OpenAI是一家什么样的企业——OpenAI介绍与成果总结

OpenAI是全球最著名的人工智能研究机构,发布了许多著名的人工智能技术和成果,如大语言模型GPT系列、文本生成图片预训练模型DALL·E系列、语音识别模型Whisper系列等。由于这些模型在各自领域都有相当惊艳的表现,引起了全世界广泛的关

回顾|OpenAI入门(二)-用Blazor构建OpenAI应用

产品检测时这些测量工具你都认识吗,测量工具分类和常见工具介绍

点击上方“机械设计一点通”关注我们,每天学习一个机械设计相关知识点尺寸在生产过程中是最基本也是最重要的控制要素之一,尺寸测量要素、测量的方法、测量精度、测量标准、测量设备、测量工具工装、测量环境、测量人员、测量频次、测量成本是在产品策划或试

ChatGPT:关于OpenAI的GPT-4工具你需要知道的一切

#头条创作挑战赛#OpenAI 已迅速成为科技界最知名的公司之一。这家人工智能 (AI) 公司制作了逼真的图像生成器、3D 模型创建器,以及现在最著名的 ChatGPT。ChatGPT 有能力通过法律考试、撰写整篇长篇文章,甚至编写完整的网

马斯克炮轰微软:OpenAI不是你的工具人

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI微软获OpenAI GPT-3独家授权,马斯克不高兴了。就在微软官宣GPT-3后一天,马斯克在社交媒体上吐槽此事:“这看起来像是与‘开放’相悖。OpenAI本质上已经被微软‘控制’了。

支持Python3.10,OpenAI强化学习工具包Gym迎来史上最大更新

机器之心报道编辑:杜伟OpenAI 创建的 Gym 是开源的 Python 库,通过提供一个用于在学习算法和环境之间通信的标准 API 以及一组符合该 API 的标准环境,来开发和比较强化学习(DL)算法。自推出以来,Gym 的 API 已

OpenAI与支付公司Stripe合作,将ChatGPT商业化

OpenAI将与支付公司Stripe合作,后者为其ChatGPT等人工智能工具提供支付和订阅服务。Stripe 还将把 OpenAI 的新自然语言技术 GPT-4 融入其产品和服务中。Stripe首席技术官David Singleton表示

OpenAI发布新语音系统「Whisper」,英文识别能力可接近人类水平

OpenAI入门(三)|构建自己的VisualStudioCodeCopilot组件

为何要学会使用工具书,如何挑选工具书?这篇文章说得清清楚楚!

主页君经常在微信后台、头条号后台收到一些读者的问题,其中比较常见的问题包括字的读音、笔顺、字义的解释等。逐渐地,主页君发现,有不少家长、学生有一件事情没有做好,那就是使用工具书。工具书是无言的老师,它的解释权威、准确,是解决一些学习疑问最高

女生的工具箱可以有多酷?——家用五金、木工、皮具工具大盘点

本内容来源于@什么值得买APP,观点仅代表作者本人 |作者:是甜菜啊创作立场声明:以下所有工具均为楼主购买,感谢家属友情出镜。楼主和家属都酷爱手工diy,家里但凡能自己动手的活儿,基本不会请工人,能自己diy的家具,也很少买过成品。先来看看

借用在线翻译工具菜鸟也能懂英文几款免费在线翻译工具比较

英语真是个头疼的东西,死都学不会。连国家都考虑菜鸟们的感受,准备取消职称外语考试了!但英语这东西并不是一无是处,有时出个国旅游一下,或者是查个资料偏偏是英文的,临时抱佛脚再来学肯定是来不及了。怎么办?人类与动物最大的区别是啥?就在于人类会制

机械厂里用到的测量工具,测量工具的分类和选用,你都会吗?

一、测量器具的分类测量器具是一种具有固定形态、用以复现或提供一个或多个已知量值的器具。按用途的不同量具可分为以下几类:1、单值量具只能体现一个单一量值的量具。可用来校对和调整其它测量器具或作为标准量与被测量直接进行比较,如量块、角度量块等。

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈梵净山旅游攻略今日驻马店野生何首乌网索尼电视评测网海天味业A股安踏体育港股稻城亚丁游玩攻略李嘉诚创业故事今日威海理财投资网新西兰旅游网门窗品牌网巴哥犬资讯网帝舵手表收藏王者荣耀游戏网
ChatGPT聊天机器人-ChatGPT OpenAI聊天机器人是美国OpenAI研发的聊天机器人程序,ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流。中国版chatGPT、chatGPT中文网、chatgpt安卓下载、ChatGPT国内手机版、ChatGPT注册教程、ChatGPT免费注册账号、ChatGPT微信小程序。
ChatGPT聊天机器人 wnwz.cn ©2022-2028版权所有