GPT-NEO

27亿参数的“野生版”GPT-3开源，GitHub项目2.9K Star量

项目地址：https://github.com/EleutherAI/gpt-neo

训练数据集

EleutherAI 承认，由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节，因此 GPT-Neo 与原版 GPT-3 相比必然会存在一些偏差。此外，还有一些偏差可能来自 EleutherAI 计划使用的训练数据集，该数据集是由来自 EleutherAI 的 10 人小组策划的。

像 GPT-3 这样的语言模型通常会放大数据中存在的偏见。例如，OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会存在关联，著名预训练语言模型 BERT 也曾被指存在偏见。

EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛偏见分析」，并做出了一些消除偏见的决定，以排除他们认为对某些群体或观点「造成不可接受的负面偏见」的某些数据集。该项目使用一个 825 GiB 的多样开源语言建模数据集，它对于大型语言模型的训练和基准测试都很有效。

数据集：https://pile.eleuther.ai/

GPT-3 可以变得更小吗？

EleutherAI 计划利用项目团队使用的架构来训练 GPT-Neo，使其达到和 GPT-3 在相同模型大小时「相同」的性能。在未来，他们还计划将模型减小一个数量级甚至更多。

如果这样的模型被认为具备实用化的条件，其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查，自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成相同的识别准确度，其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比，算力的使用仍然是个开放问题。

「要想让性能继续提高，模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的能力对于小模型来说是遥不可及的，这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的性能，拥有算力的公司就会具备优势，就这么简单。」

EleutherAI 是一个致力于开源 AI 研究的团队。Leahy 表示：「我们致力于允许更多资源匮乏的用户（尤其是研究者）使用相关技术，以期在相关领域涌现更多更好的研究，并在此基础上进行我们以安全为重点的研究，而不是将其锁定在行业实验室内。毕竟，这些技术仍然在发展阶段，当此类模型在生产中按原样使用而没有进行更广泛的调查时，自然会产生存在偏见等问题，我们希望这些模型能够开放更多的可用性。」