Mistral AI Chat
Spring AI 支持来自 Mistral AI 的各种 AI 语言模型。您可以与 Mistral AI 语言模型交互,并基于 Mistral 模型创建多语言会话助手。
前提条件(Prerequisites)
您需要使用 Mistral AI 创建一个 API 来访问 Mistral AI 语言模型。
在 MistralAI 注册页面 创建帐户并在 API Keys 页面 生成令牌。
Spring AI 项目定义了一个名为
spring.ai.mistralai.api-key
的配置属性,您应该将其设置为从console.mistral.ai
获取的 API Key 的值。
您可以在 application.properties 文件中设置此配置属性:
spring.ai.mistralai.api-key=<your-mistralai-api-key>
为了提高处理 API 密钥等敏感信息时的安全性,可以使用 Spring 表达式语言 (SpEL) 来引用自定义环境变量:
# In application.yml
spring:
ai:
mistralai:
api-key: ${MISTRALAI_API_KEY}
# In your environment or .env file
export MISTRALAI_API_KEY=<your-mistralai-api-key>
您还可以在 application 代码中以编程方式设置此配置:
// Retrieve API key from a secure source or environment variable
String apiKey = System.getenv("MISTRALAI_API_KEY");
添加存储库和 BOM
Spring AI 工件发布在 Spring Milestone
和 Snapshot
存储库中。请参阅存储库部分将这些存储库添加到您的构建系统中。
为了帮助进行依赖管理,Spring AI 提供了 BOM(物料清单),以确保在整个项目中使用一致的 Spring AI 版本。请参阅依赖管理部分将 Spring AI BOM 添加到您的构建系统。
自动配置(Auto-configuration)
Spring AI 为 Mistral AI 聊天模型提供 Spring Boot 自动配置。要启用它,请在项目的 Maven pom.xml
文件中添加以下依赖项:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-mistral-ai</artifactId>
</dependency>
或者,在你的 Gradle 构建文件 build.gradle
中添加:
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-mistral-ai'
}
聊天属性(Chat Properties)
Retry 属性(Retry Properties)
前缀 spring.ai.retry
用作属性前缀,允许您为 Mistral AI 模型配置 retry 机制。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.retry.max-attempts |
最大重试次数。 | 10 |
spring.ai.retry.backoff.initial-interval |
指数退避策略的初始睡眠持续时间。 | 2 sec. |
spring.ai.retry.backoff.multiplier |
退避间隔乘数。 | 5 |
spring.ai.retry.backoff.max-interval |
最大退避持续时间。 | 3 min. |
spring.ai.retry.on-client-errors |
如果为false,抛出NonTransientAiException,并且不会对4xx 客户端错误码进行重试。 |
false |
spring.ai.retry.exclude-on-http-codes |
不应触发重试的HTTP状态码列表(例如抛出NonTransientAiException)。 | empty |
spring.ai.retry.on-http-codes |
应触发重试的HTTP状态码列表(例如抛出TransientAiException)。 | empty |
连接属性(Connection Properties)
前缀是 spring.ai.mistralai
的属性,用于配置 Mistra AI 的链接。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.mistralai.base-url | Mistral AI API 连接地址 | api.mistral.ai |
spring.ai.mistralai.api-key | Mistral AI API 访问密钥 | - |
配置属性(Configuration Properties)
前缀是 spring.ai.mistralai.chat
的属性,用于配置 Mistra AI 的 ChatModel 实现。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.mistralai.chat.enabled (已移除且不再有效) | 启用Mistral AI聊天模型 | true |
spring.ai.model.chat | 启用Mistral AI聊天模型 | mistral |
spring.ai.mistralai.chat.base-url | 可选覆盖spring.ai.mistralai.base-url 属性,提供聊天专用URL |
- |
spring.ai.mistralai.chat.api-key | 可选覆盖spring.ai.mistralai.api-key ,提供聊天专用API密钥 |
- |
spring.ai.mistralai.chat.options.model | 使用的Mistral AI聊天模型 | open-mistral-7b , open-mixtral-8x7b , open-mixtral-8x22b , mistral-small-latest , mistral-large-latest |
spring.ai.mistralai.chat.options.temperature | 控制生成内容创造性的采样温度。值越高输出越随机,值越低结果越集中和确定。不建议同时修改temperature 和top_p |
0.8 |
spring.ai.mistralai.chat.options.maxTokens | 聊天补全中生成的最大token数。输入token和生成token的总长度受模型上下文长度限制 | - |
spring.ai.mistralai.chat.options.safePrompt | 指示是否在所有对话前注入安全提示 | false |
spring.ai.mistralai.chat.options.randomSeed | (Beta功能)如果指定,系统将尽力确定性采样,相同seed和参数的重复请求应返回相同结果 | - |
spring.ai.mistralai.chat.options.stop | 如果检测到此token则停止生成。当提供数组时,检测到任一token即停止 | - |
spring.ai.mistralai.chat.options.topP | 温度采样的替代方法-核心采样,模型考虑具有top_p概率质量的token结果。0.1表示只考虑概率质量前10%的token。建议修改此参数或temperature 但不要同时修改 |
- |
spring.ai.mistralai.chat.options.responseFormat | 指定模型输出格式的对象。设置为{ "type": "json_object" } 可启用JSON模式,保证模型生成的消息是有效JSON |
- |
spring.ai.mistralai.chat.options.tools | 模型可能调用的工具列表。目前仅支持函数作为工具 | - |
spring.ai.mistralai.chat.options.toolChoice | 控制模型调用哪个(如果有)函数。none 表示不调用函数而生成消息;auto 表示模型可选择生成消息或调用函数;通过{"type":"function","function":{"name":"my_function"}} 指定特定函数会强制调用该函数。无函数时默认为none ,有函数时默认为auto |
- |
spring.ai.mistralai.chat.options.functions | 函数名称列表,用于在单个提示请求中启用函数调用。这些名称的函数必须存在于functionCallbacks注册表中 | - |
spring.ai.mistralai.chat.options.functionCallbacks | 注册到ChatModel的Mistral AI工具函数回调 | - |
spring.ai.mistralai.chat.options.proxy-tool-calls | 如果为true,Spring AI不会内部处理函数调用而是代理给客户端处理;如果为false(默认),Spring AI会内部处理函数调用。仅适用于支持函数调用的聊天模型 | false |
运行时选项(Runtime Options )
MistralAiChatOptions.java 提供模型配置,例如要使用的 temperature、maxToken、topP 等。
在启动时,可以使用 MistralAiChatModel (api,options)
构造函数或 spring.ai.mistralai.chat.options.*
属性来配置默认选项。
在运行时,您可以通过在 Prompt 调用中添加新的、特定请求的选项来覆盖默认选项。例如,为特定请求覆盖默认型号和温度:
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
MistralAiChatOptions.builder()
.model(MistralAiApi.ChatModel.LARGE.getValue())
.temperature(0.5)
.build()
));
工具 / 功能调用(Tool/Function Calling)
您可以使用 MistralAiChatModel 注册自定义 Java 函数,并让 Mistral AI 模型智能地选择输出一个包含参数的 JSON 对象来调用一个或多个注册的函数。这是一种将 LLM 功能与外部工具和 API 连接起来的强大技术。详细了解工具调用。
多模态(Multimodal )
多模态是指模型同时理解和处理来自不同来源信息的能力,包括文本、图像、音频和其他数据格式。Mistral AI 支持文本和视觉模态。
视觉(Vision)
提供视觉多模态支持的 Mistral AI 模型包括 pixtral-large-latest。更多信息请参阅 Vision 指南。
Mistral AI 用户消息 API 可以将 base64 编码的图像或图像 URL 列表与消息结合起来。Spring AI 的消息接口通过引入媒体类型来促进多模态 AI 模型。这种类型包含消息中媒体附件的数据和详细信息,使用 Spring 的 org.springframework.util.MimeType
和 org.springframework.core.io
。原始媒体数据的资源。
下面是一个来自 MistralAiChatModelIT.java 的代码示例,说明了用户文本与图像的融合。
var imageResource = new ClassPathResource("/multimodal.test.png");
var userMessage = new UserMessage("Explain what do you see on this picture?",
new Media(MimeTypeUtils.IMAGE_PNG, this.imageResource));
ChatResponse response = chatModel.call(new Prompt(this.userMessage,
ChatOptions.builder().model(MistralAiApi.ChatModel.PIXTRAL_LARGE.getValue()).build()));
或者传递等效的图像 URL:
var userMessage = new UserMessage("Explain what do you see on this picture?",
new Media(MimeTypeUtils.IMAGE_PNG,
URI.create("https://docs.spring.io/spring-ai/reference/_images/multimodal.test.png")));
ChatResponse response = chatModel.call(new Prompt(this.userMessage,
ChatOptions.builder().model(MistralAiApi.ChatModel.PIXTRAL_LARGE.getValue()).build()));
示例展示了一个模型将 multimodal.test.png 图像作为输入:
与文本消息 “解释一下你在这张照片上看到了什么?” 一起,产生如下回复:
This is an image of a fruit bowl with a simple design. The bowl is made of metal with curved wire edges that
create an open structure, allowing the fruit to be visible from all angles. Inside the bowl, there are two
yellow bananas resting on top of what appears to be a red apple. The bananas are slightly overripe, as
indicated by the brown spots on their peels. The bowl has a metal ring at the top, likely to serve as a handle
for carrying. The bowl is placed on a flat surface with a neutral-colored background that provides a clear
view of the fruit inside.
OpenAI API 兼容性
Mistral 与 OpenAI API 兼容,你可以使用 Spring AI OpenAI 客户端与 mistral 通话。为此,你需要配置 OpenAI 基础 URL 到 mistral AI 平台:spring.ai.openai.chat.base-url=https://api.mistral.ai
, 并选择一个 mistral 模型:spring.ai.openai.chat.options.model=mistral-small-latest,
并设置 mistral AI API 密钥:spring.ai.openai.chat.api-key=<YOUR Mistral API Key
。
示例控制器(Sample Controller)
创建一个新的 Spring Boot 项目,并将 spring-ai-starter-model-mistral-ai
添加到 pom (或 gradle) 依赖项中。
在 src/main/resources 目录下添加 application.properties 文件,以启用和配置 Hugging Face 聊天模型:
spring.ai.mistralai.api-key=YOUR_API_KEY
spring.ai.mistralai.chat.options.model=mistral-small
spring.ai.mistralai.chat.options.temperature=0.7
这将创建一个 MistralAiChatModel
的实现,你可以将其注入到你的类中。下面是一个简单的 @Controller 类的示例,它使用聊天模型进行文本生成。
@RestController
public class ChatController {
private final MistralAiChatModel chatModel;
@Autowired
public ChatController(MistralAiChatModel chatModel) {
this.chatModel = chatModel;
}
/**
* 文本生成
* @param message
* @return
*/
@GetMapping("/ai/generate")
@Operation(summary = "文本生成")
public Map<String, Object> generate(@RequestParam(value = "message", defaultValue = "你好!") String message) {
try {
String response = chatModel.call(message);
return Map.of(
"success", true,
"generation", response,
"message", "Generated successfully"
);
} catch (Exception e) {
return Map.of(
"success", false,
"error", e.getMessage(),
"message", "Generation failed"
);
}
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return this.chatModel.stream(prompt);
}
}
手动配置(Manual Configuration)
MistralAiChatModel 实现 ChatModel 接口,并使用 [low-level-api] 连接到 HuggingFace 推理端点。
要启用它,添加 spring-ai-mistral-ai
依赖到你的项目 Maven pom.xml
文件:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-mistral-ai</artifactId>
</dependency>
或者,在你的 Gradle 构建文件 build.gradle
中添加:
dependencies {
implementation 'org.springframework.ai:spring-ai-mistral-ai'
}
接下来,创建一个 MistralAiChatModel
并将其用于文本生成:
var mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));
var chatModel = new MistralAiChatModel(this.mistralAiApi, MistralAiChatOptions.builder()
.model(MistralAiApi.ChatModel.LARGE.getValue())
.temperature(0.4)
.maxTokens(200)
.build());
ChatResponse response = this.chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(
new Prompt("Generate the names of 5 famous pirates."));
最后编辑:Jeebiz 更新时间:2025-08-31 23:07