2、模型文件（Modelfile）

Ollama 快速入门：模型文件（Modelfile）

在使用 Ollama 进行本地部署和运行大型语言模型时，Modelfile 扮演着至关重要的角色。它是一个文本文件，用于定义和配置模型的行为和特性。

什么是 Modelfile？

Modelfile 是使用 Ollama 创建和共享模型的方案。它包含了构建模型所需的所有指令和参数，使得模型的创建和部署变得简单而直接。

格式

Modelfile 的格式:

# comment
INSTRUCTION arguments

示例

基础 Modelfile

创建 mario 的 Modelfile 示例:

FROM llama3
# sets the temperature to 1 [higher is more creative, lower is more coherent]
# 将温度设置为 1 [越高越有创意，越低越连贯]
PARAMETER temperature 1
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
# 将上下文窗口大小设置为 4096，这控制了 LLM 可以使用多少个 token 作为上下文来生成下一个 token
PARAMETER num_ctx 4096

# sets a custom system message to specify the behavior of the chat assistant
# 设置自定义系统消息来指定聊天助手的SYSTEM行为
SYSTEM You are Mario from super mario bros, acting as an assistant.

按下面操作:

1. 将其保存为文件 (e.g. Modelfile)
2. ollama create choose-a-model-name -f <location of the file e.g. ./Modelfile>'
3. ollama run choose-a-model-name
4. 开始使用该模型!

要查看给定模型的模型文件，请使用 ollama show --modelfile 命令。

> ollama show --modelfile llama3

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM llama3:latest

FROM E:\Ollama\models\blobs\sha256-6a0746a1ec1aef3e7ec53868f220ff6e389f6f8ef87a01d77c96807de94ca2aa
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER num_keep 24

指令

FROM (必须)

FROM 指令定义了创建模型时要使用的基础模型。

FROM <model name>:<tag>

从 llama3 构建

FROM llama3

可用基础模型列表： https://github.com/ollama/ollama#model-library

从 bin 文件构建

FROM ./ollama-model.bin

该 bin 文件位置应指定为绝对路径或相对于该Modelfile位置的路径。

PARAMETER

PARAMETER 指令定义了模型运行时可以设置的参数。

PARAMETER <parameter> <parametervalue>

有效参数和值

TEMPLATE

TEMPLATE 传递到模型中的完整提示模板。它可能包括（可选）系统消息、用户消息和模型的响应。注意：语法可能特定于模型。

模板变量

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM

SYSTEM 指令指定模板中要使用的系统消息。

SYSTEM """<system message>"""

ADAPTER

ADAPTER 指令是可选指令，用于指定应应用于基础模型的任何 LoRA 适配器。该指令的值应为绝对路径或相对于 Modelfile 的路径，并且文件必须采用 GGML 文件格式。应根据基础模型调整适配器，否则行为将不明确。

ADAPTER ./ollama-lora.bin

LICENSE

LICENSE 指令允许您指定与此 Modelfile 一起使用的模型在何种合法许可证下共享或分发。

LICENSE """
<license text>
"""

MESSAGE

MESSAGE 指令允许您指定模型在响应时使用的消息历史记录。使用 MESSAGE 命令的多次迭代来构建对话，这将引导模型以类似的方式回答。

MESSAGE <role> <message>

有效角色

对话示例

MESSAGE user Is Toronto in Canada?
MESSAGE assistant yes
MESSAGE user Is Sacramento in Canada?
MESSAGE assistant no
MESSAGE user Is Ontario in Canada?
MESSAGE assistant yes

提示

• Modelfile不区分大小写. 在示例中，使用大写指令是为了更容易与参数区分开来。
• 指令可以按任意顺序排列。在示例中，FROM 指令排在最前面，以保持易读性。