Skywork-13B-Base-8bits

Skywork-13B-Base-8bits

Skywork-13B-Base-8bits 模型为 Skywork-13B-Base 的8bits量化版，支持用户在消费级显卡上进行进行部署和推理。

Hugging Face：https://huggingface.co/Skywork/Skywork-13B-base
GitHub：https://github.com/SkyworkAI/Skywork

训练数据（Training Data）

我们精心搭建了数据清洗流程对文本中的低质量数据、有害信息、敏感信息进行清洗过滤。我们的Skywork-13B-Base模型是在清洗后的3.2TB高质量中、英、代码数据上进行训练，其中英文占比52.2%，中文占比39.6%，代码占比8%，在兼顾中文和英文上的表现的同时，代码能力也能有保证。

要求（Requirements）

• python 3.8及以上版本
• pytorch 1.12及以上版本，推荐2.0及以上版本
• 建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）

依赖项 (Dependency)

快速使用（Quickstart）