GPTZero

https://gptzero.me/

什么是 GPTZero ？

GPTZero 是一种预测文档是否由大型语言模型编写的分类模型，提供句子、段落和文档级别的预测。GPTZero 在大量不同的人工和 AI 生成文本语料库上进行了训练，重点是英语散文。

我应该何时以及如何使用 GPTZero ？

我们的用户已经看到人工智能生成的文本在教育、认证、招聘和招聘、社交写作平台、虚假信息等领域的使用激增。我们创建了 GPTZero 作为一种工具，以突出 AI 在编写文本中的可能用途。特别是，我们专注于对散文中的 AI 使用进行分类。

我们的分类器返回文档级分数，completely_generated_prob指定整个文档由 AI 生成的概率。在决定是否大量使用 AI 生成文本时，我们建议使用此分数。

当我们的分类器识别出 AI 生成的内容和人工编写的内容的混合时，应使用句子级分类（例如，突出显示的文本）。换句话说，当一个句子被突出显示为 AI 生成时，不应使用它来表示一篇文章部分由 AI 生成。相反，当文档的大部分被识别为 AI 生成时，突出显示的句子将指示我们认为这发生在文档中的哪个位置。

总的来说，我们的分类器旨在用于标记可以开始对话的情况（例如，教育者和学生之间），以推动进一步的调查并传播对在书面作业中使用 AI 的风险的认识。

我如何将 API 中的概率转化为结果？
作为参考，我们的 API在此处有详细说明。

我们建议使用completely_generated_prob 来了解文档是否完全由 AI 生成。completely_generated_prob 在我们的验证数据集上，当您将所有低于阈值的文档设置为人类，高于阈值的文档设置为 AI时，结果如何变化：

在 0.65 的阈值下，85% 的 AI 文档被归类为 AI，99% 的人类文档被归类为人类
在阈值为 0.16 时，96% 的 AI 文档被归类为 AI，96% 的人类文档被归类为人类
我们建议使用 0.65 或更高的阈值来最大程度地减少误报的数量，因为我们认为目前将人类书写错误检测为 AI 比反之更有害。

分类器的局限性是什么？
人工智能生成内容的性质在不断变化。虽然我们为 GPTZero 构建了更强大的模型，但我们建议教育工作者将这些结果作为对学生工作进行整体评估的众多部分之一。这两种情况总是存在边缘情况，其中 AI 被归类为人类，而人类被归类为 AI。

随着向模型提交的文本越来越多，我们模型的准确性也会提高。因此，模型在文档级分类上的准确性将大于段落级的准确性，而段落级的准确性又大于句子级的准确性。

对于与我们的数据集性质相似的文本，我们模型的准确性也会提高。虽然我们在一组高度多样化的人类和 AI 生成的文本上进行训练，但我们的大部分数据集都是由成人撰写的英文散文。

我们的分类器没有经过训练来识别 AI 生成的文本，因为它在生成后经过大量修改（尽管我们估计这只是目前 AI 生成的一小部分用途）。

目前，我们的分类器有时可以将其他机器生成的或高度程序化的文本标记为 AI 生成的，因此，应该用于文本的更具描述性的部分。

你用什么数据训练你的分类器？
我们在一个由人工编写和人工智能生成的文本配对的数据集上训练了我们的模型。我们的人工文本涵盖学生撰写的文章、新闻文章以及跨越科学和人文学科多个学科的问答数据集。对于每篇人工编写的文章，我们都会用 AI 生成相应的文章，以确保我们的数据集中没有主题级别的偏差。最后，我们用人类和 AI 撰写的文章的平衡来训练我们的模型。

你怎么知道你的模型有效？
我们在一组从未见过的人类和 AI 文章上测试我们的模型，这些文章来自我们的大规模数据集的一部分，此外还有一小部分在其训练分布之外的具有挑战性的文章。我们的分类器获得了 0.98 的 AUC 分数（定义）。当我们将 API 返回的阈值设置为 0.65 时completely_generated_prob （如果低于人类，如果高于人工智能），我们正确分类了 99% 的人类撰写的文章，以及 85% 的人工智能生成的文章。

为什么 GPTZero 优于其他检测模型？
我们的模型在大量不同的人类和 AI 生成的文本数据集上进行训练，并经过训练将整个文档归类为 AI 生成的。这与在单个数据集上训练的其他模型形成对比，或者训练将单个句子分类为 AI 生成的模型。