OpenAI于2022年11月发布了ChatGPT的第一个公开版本。此后不久,学校开始禁止使用该版本,因为担心学生会使用AI作弊。主要问题是ChatGPT能够在几秒钟内生成任何主题的文本,这为作弊开辟了道路。学生可以撰写任何主题的论文并提交,而不必担心被抓住。OpenAI没有可以识别AI生成的文本的工具。
此后两年,OpenAI开发了一款ChatGPT“文本水印”工具。有报道称,该工具至少已经准备就绪一年,可以以99.9%的准确率检测ChatGPT文本。然而,一项调查显示,如果实施反作弊措施,大约三分之一的ChatGPT用户将停止使用该聊天机器人,因此OpenAI不敢发布该工具。
这篇报道来自《华尔街日报》,该报看到了描述该工具的文件。其中一位知情人士告诉该报,使用该工具只需“按下按钮”即可。
该工具非常有效。它能够检测99.9%的ChatGPT生成的文本。该工具会以人类无法辨别的方式给文本添加水印:
ChatGPT由一个人工智能系统驱动,该系统可以预测句子中接下来应该出现什么单词或单词片段(称为token)。OpenAI正在讨论的反作弊工具将略微改变token的选择方式。这些变化将留下一种称为水印的模式。
报告解释称,OpenAI于2023年4月委托开展了一项研究,结果显示全球范围内都支持一款能够检测ChatGPT文本的工具。调查中,有四人希望有这样一款工具,而另一人则不愿意。
然而,同月另一项OpenAI研究显示,69%的ChatGPT用户发现作弊检测技术会导致虚假指控。更重要的是,30%的受访者表示,如果ChatGPT部署了竞争对手AI聊天机器人所没有的水印系统,他们将减少使用ChatGPT。
自那时起,OpenAI员工一直在讨论向公众提供反作弊工具的优点。这不仅仅是为了扩大ChatGPT用户群。
另外,OpenAI发现反作弊工具不会影响ChatGPT文本生成的质量。这可能是避免向公众发布该工具的一个原因。
据《华尔街日报》报道,一个挑战是确定谁有权使用该工具。如果太多人拥有该工具,坏人就会发现水印技术。那么,它基本上就没用了。一个建议是让教育工作者或公司可以使用该工具,帮助学校识别人工智能编写的内容。
OpenAI告诉《华尔街日报》,其ChatGPT反作弊工具将影响某些人群,例如非英语母语人士。这是OpenAI在5月份博客文章更新中提出的观点,该文章介绍了使用其AI模型生成的图像水印。该更新是在《华尔街日报》报道之后发布的。
OpenAI解释说,其水印工具很容易被防御,并提供了如何禁用它的示例:
虽然它在抵御局部篡改(例如释义)方面具有很高的准确性,甚至很有效,但它对全局篡改的防御能力较弱;例如使用翻译系统,用另一个生成模型改写,或者要求模型在每个单词之间插入一个特殊字符,然后删除该字符——这使得恶意行为者可以轻松规避。
该公司表示,正在开发用于ChatGPT生成的文本的文本元数据水印工具:
例如,与水印不同,元数据是经过加密签名的,这意味着不会出现误报。我们预计,随着生成的文本量增加,这一点将变得越来越重要。虽然文本水印的误报率较低,但将其应用于大量文本会导致大量的误报。
不过,目前还不清楚OpenAI何时会发布这样的工具。与此同时,谷歌有一个水印工具,可以检测用GeminiAI编写的文本。它被称为SynthID,但尚未广泛使用。毕竟,谷歌刚刚告诉孩子们,使用GeminiAI制作每个人都讨厌的奥运会广告的完美字母是可以的。在遭到强烈反对后,谷歌撤下了那则广告。
这些公司还在致力于标记视觉AI生成的内容。上述更新的OpenAI博客文章重点介绍了图像水印。这是可以理解的,因为AI生成的照片可用于误导目的。但希望所有genAI聊天机器人都能很快将这种水印技术也作为文本的标准。