Falcon LLM（TII）

Falcon LLM

Falcon LLM 是 TII 大型语言模型的旗舰系列，使用自定义数据管道和分布式训练库从头开始构建。

为了促进合作和推动创新，我们开源了许多产品：

• Falcon -180B 预训练和聊天模型，根据Falcon-180B TII 许可证。Falcon-180B 是目前最大、最强大的开放式型号。
• Falcon -7/40B 在 Apache 2.0 软件许可证下预训练和指导模型。Falcon-7B/40B 模型的尺寸是最先进的，在 NLP 基准测试中优于其他开源模型。
• RefinedWeb数据集是一个具有严格过滤和大规模重复数据删除功能的海量 Web 数据集，使仅基于 Web 数据训练的模型能够匹配或优于基于精选语料库训练的模型。请参阅 📓论文了解更多信息。RefinedWeb 根据 ODC-By 1.0 获得许可。

Hugging Face：https://huggingface.co/tiiuae