4、Ollama 安装说明（Docker）

Ollama 环境安装：Ollama 在 Docker 环境下的运行及设置

https://blog.csdn.net/weixin_62798503/article/details/140658151

Ollama 现已提供官方 Docker 镜像

Ollama 现已作为官方 Docker 赞助的开源镜像提供，这使得使用 Docker 容器启动和运行大型语言模型变得更加简单。

使用 Ollama，您与大型语言模型的所有交互都在本地进行，而无需将私人数据发送给第三方服务。

在 Mac 上

Ollama 使用 GPU 加速来运行模型。它提供了一个简单的 CLI 以及一个用于与您的应用程序交互的 REST API。

要开始，只需下载并安装 Ollama。

我们建议在 macOS 上同时运行 Ollama 和 Docker Desktop，以便 Ollama 能够为模型启用 GPU 加速。

在 Linux 上

Ollama 可以在 Nvidia GPU 的 Docker 容器内使用 GPU 加速运行。

要开始使用 Docker 映像，请使用以下命令。

仅 CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

安装 NVIDIA 容器工具包⁠。

使用 Apt 安装

配置存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

安装 NVIDIA Container Toolkit 软件包

sudo apt-get install -y nvidia-container-toolkit

使用 Yum 或 Dnf 安装

配置存储库

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

安装 NVIDIA Container Toolkit 软件包

sudo yum install -y nvidia-container-toolkit

配置 Docker 以使用 Nvidia 驱动程序

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

启动容器

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

AMD GPU

要使用带有 AMD GPU 的 Docker 运行 Ollama，请使用标签rocm和以下命令：

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

运行模型

现在您可以在容器内运行像 Qwen2 这样的模型。

docker exec -it ollama ollama run qwen2:0.5b

您可以在 Ollama 库 中找到更多模型。

参考资料：

• https://ollama.com/blog/ollama-is-now-available-as-an-official-docker-image