4.1、Ollama + Docker 部署本地大模型

Ollama + Docker 部署本地大模型

1、操作系统

这里我们使用的操作系统为Centos 7.9，配置为4核8G，大家也可以使用其他的Linux发行版本，或者使用Windows。

使用 LinuxMirrors 安装 Docker

GNU/Linux 更换系统软件源脚本及 Docker 安装与换源脚本

• GNU/Linux 更换系统软件源

  bash <(curl -sSL https://linuxmirrors.cn/main.sh)

• Docker 安装与换源

  bash <(curl -sSL https://linuxmirrors.cn/docker.sh)

• Docker 更换镜像加速器

  bash <(curl -sSL https://linuxmirrors.cn/docker.sh) --only-registry

2、镜像准备

如果已经安装了Docker，可以提前准备好镜像，ollama/ollama，镜像比较大，拉取会耗一些时间。

2、启动Ollama

① 启动Ollama容器

docker run -itd -v ollama:/root/.ollama -p 11434:11434 –name ollama ollama/ollama
docker run 运行一个新的 Docker 容器

-itd 组合多个选项：

✅ -i（保持标准输入）

✅ -t（分配终端）

✅ -d（后台运行容器）

-v ollama:/root/.ollama 挂载数据卷，把 ollama 这个 Docker 数据卷 绑定到容器的 /root/.ollama 目录，确保数据持久化（如下载的模型不会丢失）。

-p 11434:11434 端口映射，把 宿主机（本机）的 11434 端口 映射到 容器 内部的 11434 端口，这样宿主机可以通过 http://localhost:11434 访问 Ollama 服务。

–name ollama 指定 容器名称 为 ollama，方便管理和启动。

ollama/ollama 使用的 Docker 镜像，这里是 官方的 Ollama 镜像。

如果是使用GPU运行，则用下面的命令启动

docker run -itd –name ollama –gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

② 查看Ollama容器

docker ps
图片

3、拉取Deepseek大模型

① 进入到容器中

docker exec -it ollama /bin/bash
② 拉取模型

ollama pull deepseek-r1:7b
图片
在官网中，有许多Deepseek的模型，这里主要是演示，所以拉取了一个较小的模型。

官网地址：https://ollama.com/library/deepseek-r1