Chinese-Vicuna

Chinese-Vicuna

一个中文低资源的llama+lora方案，鉴于llama,alpaca,guanaco等羊驼模型的研发成功，我们希望基于LLaMA+instruction数据构建一个中文的羊驼模型，并帮助大家能快速学会使用引入自己的数据，并训练出属于自己的小羊驼（Vicuna）。

我们的方案的优势是参数高效，显卡友好，部署简易：

• 在一张2080Ti（11G）上可以对Llama-7B进行指令微调 (7b-instruct)
• 在一张3090（24G）上可以对Llama-13B进行指令微调 (13b-instruct)
• 即使是长度为2048的对话，在3090上也可以完成Llama-7B的微调；使用5万条数据即可有不错效果 (chatv1)
• 领域微调的例子：医学问答 和 法律问答。(medical and legal)
• 支持qlora-4bit，使用4bit可以在2080Ti上完成13B的训练
• 可在 2080Ti/3090 上轻松部署，支持多卡同时推理，可进一步降低显存占用

• Hugging Face：
  https://huggingface.co/Chinese-Vicuna

• GitHub：
  https://github.com/Facico/Chinese-Vicuna
  https://github.com/Facico/Chinese-Vicuna/blob/master/docs/readme-zh.md