DB-GPT: 用私有化LLM技术定义数据库下一代交互方式
https://github.com/eosphoros-ai/DB-GPT
DB-GPT 是什么 ?
随着大模型的发布迭代,大模型变得越来越智能,在使用大模型的过程当中,遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里,完全可控,避免任何的数据隐私泄露以及安全风险。基于此,我们发起了DB-GPT项目,为所有以数据库为基础的场景,构建一套完整的私有大模型解决方案。 此方案因为支持本地部署,所以不仅仅可以应用于独立私有环境,而且还可以根据业务模块独立部署隔离,让大模型的能力绝对私有、安全、可控。我们的愿景是让围绕数据库构建大模型应用更简单,更方便。
DB-GPT 是一个开源的以数据库为基础的GPT实验项目,使用本地化的GPT大模型与您的数据和环境进行交互,无数据泄露风险,100% 私密
特性一览
目前我们已经发布了多种关键的特性,这里一一列举展示一下当前发布的能力。
私域问答&数据处理
支持内置、多文件格式上传、插件自抓取等方式自定义构建知识库,对海量结构化,非结构化数据做统一向量存储与检索
多数据源&可视化
支持自然语言与Excel、数据库、数仓等多种数据源交互,并支持分析报告。
自动化微调
围绕大语言模型、Text2SQL数据集、LoRA/QLoRA/Pturning等微调方法构建的自动化微调轻量框架, 让TextSQL微调像流水线一样方便。详见: DB-GPT-Hub
Multi-Agents&Plugins
支持自定义插件执行任务,原生支持Auto-GPT插件模型,Agents协议采用Agent Protocol标准
多模型支持与管理
海量模型支持,包括开源、API代理等几十种大语言模型。如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱等。
- 支持多种大语言模型, 当前已支持如下模型:
- Vicuna
- vicuna-13b-v1.5
- LLama2
- baichuan2-13b
- baichuan-7B
- chatglm-6b
- chatglm2-6b
- falcon-40b
- internlm-chat-7b
- Qwen-7B-Chat/Qwen-14B-Chat
- RWKV-4-Raven
- CAMEL-13B-Combined-Data
- dolly-v2-12b
- h2ogpt-gm-oasst1-en-2048-open-llama-7b
- fastchat-t5-3b-v1.0
- mpt-7b-chat
- gpt4all-13b-snoozy
- Nous-Hermes-13b
- codet5p-6b
- guanaco-33b-merged
- WizardLM-13B-V1.0
- WizardLM/WizardCoder-15B-V1.0
- Llama2-Chinese-13b-Chat
- OpenLLaMa OpenInstruct
- 支持在线代理模型
隐私安全
通过私有化大模型、代理脱敏等多种技术保障数据的隐私安全。
支持数据源
DataSource | support | Notes |
---|---|---|
MySQL | Yes | |
PostgresSQL | Yes | |
Spark | Yes | |
DuckDB | Yes | |
Sqlite | Yes | |
MSSQL | Yes | |
ClickHouse | Yes | |
Oracle | No | TODO |
Redis | No | TODO |
MongoDB | No | TODO |
HBase | No | TODO |
Doris | No | TODO |
DB2 | No | TODO |
Couchbase | No | TODO |
Elasticsearch | No | TODO |
OceanBase | No | TODO |
TiDB | No | TODO |
StarRocks | No | TODO |
架构方案
DB-GPT基于 FastChat 构建大模型运行环境。此外,我们通过LangChain提供私域知识库问答能力。同时我们支持插件模式, 在设计上原生支持Auto-GPT插件。我们的愿景是让围绕数据库和LLM构建应用程序更加简便和便捷。
整个DB-GPT的架构,如下图所示
参考资料
https://db-gpt.readthedocs.io/projects/db-gpt-docs-zh-cn/zh-cn/latest/getting_started/install/deploy.html
DB-GPT 框架: https://github.com/eosphoros-ai
Text2SQL 微调:https://github.com/eosphoros-ai/DB-GPT-Hub
Awesome-Text2SQL:https://github.com/eosphoros-ai/Awesome-Text2SQL
DB-GPT-WEB: https://github.com/eosphoros-ai/DB-GPT-Web
Huggingface :https://huggingface.co/eosphoros
Healthy13/Text2SQL:https://huggingface.co/datasets/Healthy13/Text2SQL/tree/main
最后编辑:Jeebiz 更新时间:2025-05-12 09:20