2、Ollama 安装说明（macOS）

Ollama 环境安装：Ollama 在 macOS 系统下的安装及设置

Ollama 现已在 macOS 上提供正式版，让您能够以全新的原生 Windows 体验拉取、运行和创建大型语言模型。macOS 上的 Ollama 包括内置 GPU 加速、完整模型库访问权限以及包括 OpenAI 兼容性的 Ollama API 。

• 官方网站：https://ollama.com/

硬件加速

Ollama 使用 NVIDIA GPU 以及现代 CPU 指令集（如 AVX 和 AVX2，如果可用）来加速运行模型。无需配置或虚拟化！

完全访问模型库

完整的 Ollama 模型库可在 macOS 上运行，包括视觉模型。运行LLaVA 1.6等视觉模型时，可以将图像拖放到 ollama run 消息中。

始终开启 Ollama API

Ollama 的 API 自动在后台运行，服务于http://localhost:11434。工具和应用程序无需任何额外设置即可连接到它。

例如，以下是使用 命令窗口 调用 Ollama 的 API 的方法：

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

macOS 上的 Ollama 也支持与其他平台相同的OpenAI 兼容性，从而可以通过 Ollama 将为 OpenAI 构建的现有工具与本地模型一起使用。

下载安装

要开始使用 macOS 中的 Ollama：

• 在 macOS 上，下载 Ollama
• 解压 Ollama-darwin.zip 到当前目录
  
• 解压完成后，可见文件 Ollama.app
  
• 移动ollama.app 到应用程序目录，双击打开
  
• 安装后，打开您喜欢的终端并运行ollama run llama3以运行模型

环境设置

在 Ollama 中，环境变量赋予了我们调整和定制这个强大工具的能力。就像一位指挥家调整乐队的每一件乐器，通过精心设置这些环境变量，我们可以让Ollama完美地适应我们的需求，奏出最和谐的数据交响曲。

可以设置的环境变量有哪些？

• OLLAMA_HOST：设置网络监听端口。当我们设置OLLAMA_HOST为0.0.0.0时，就相当于开放端口，可以让人意外部网络访问。
• OLLAMA_MODELS：设置模型的存储路径。当我们设置OLLAMA_MODELS=E:\Ollama\models，就相当于给模型们在E盘建了一个仓库，让它们远离C盘。
• OLLAMA_KEEP_ALIVE： 它决定了我们的模型们可以在内存里的存活时间。设置 OLLAMA_KEEP_ALIVE=24h，就好比给模型们装上了一块超大容量电池，让它们可以连续工作24小时，时刻待命。
• OLLAMA_PORT：用来修改ollama的默认端口，默认是11434，可以在这里改为你想要的端口。
• OLLAMA_NUM_PARALLEL：限制了Ollama可以同时加载的模型数量。
• OLLAMA_MAX_LOADED_MODELS：可以确保系统资源得到合理分配。

环境变量的设置看似简单，但却是驾驭 Ollama 的关键。它们让 Ollama 从一个普通的工具，变成了我们可以随心调教的得力助手。

在 Mac 上设置环境变量

这里我们以OLLAMA_HOST和OLLAMA_MODELS两个环境变量为例，开放外部端口访问和自定义模型存储路径

如果 Ollama 作为 macOS 应用程序运行，则应使用以下命令设置环境变量launchctl：

对于每个环境变量，调用 launchctl setenv。

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_MODELS "/Users/{user}/Ollama/models"

注意：这里的 {user} 指的是你的用户目录

重新启动 Ollama 应用程序。

验证 Ollama 环境变量是否有效

• 1、拉取一个本地没有的模型，例：ollama pull qwen2:0.5b，等待拉取成功。
  
• 3、进入 /Users/{user}/Ollama/models 目录，查看刚拉取的新模型已经存在
• 4、使用 ollama run qwen2:0.5b 命令运行模型并进行对话

参考资料：

• Windows preview：https://ollama.com/blog/windows-preview
• https://github.com/ollama/ollama/blob/main/docs/faq.md