VertexAI Gemini Chat

Vertex AI Gemini API 允许开发人员使用 Gemini 模型构建生成式 AI 应用程序。Vertex AI Gemini API 支持多模态提示符作为输入和输出文本或代码。多模态模型是一种能够处理来自多种模式的信息的模型，包括图像、视频和文本。例如，你可以向模型发送一盘饼干的照片，并要求它给出这些饼干的食谱。

Gemini 是由 Google DeepMind 开发的一系列生成式 AI 模型，专为多模态使用案例设计。Gemini API 允许您访问 Gemini 2.0 Flash 和 Gemini 2.0 Flash-Lite。有关 Vertex AI Gemini API 模型的规格，请参阅模型信息。

Gemini API 参考

前提条件（Prerequisites）

• 安装适合您操作系统的 gcloud CLI。
• 运行以下命令进行身份验证。将 PROJECT_ID 替换为您的 Google Cloud project ID, 并将 ACCOUNT 替换为您的 Google Cloud username 。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

自动配置（Auto-configuration）

Spring AI 为 VertexAI Gemini 聊天模型提供 Spring Boot 自动配置。要启用它，请在项目的 Maven pom.xml 文件中添加以下依赖项：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-gemini</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-gemini'
}

聊天属性（Chat Properties）

连接属性（Connection Properties）

前缀 spring.ai.vertex.ai.gemini 属性用作允许您连接到 VertexAI 。

配置属性（Configuration Properties）

前缀是 spring.ai.vertex.ai.gemini.chat 的属性，用于配置 VertexAI Gemini Chat 的 ChatModel 实现。

运行时选项（Runtime Options ）

VertexAiGeminiChatOptions.java 提供模型配置，例如要使用的 temperature、maxToken、topP 等。

在启动时，可以使用 VertexAiGeminiChatModel (api，options) 构造函数或 spring.ai.vertex.ai.chat.options.* 属性来配置默认选项。

在运行时，您可以通过在 Prompt 调用中添加新的、特定请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认温度：

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        VertexAiGeminiChatOptions.builder()
            .temperature(0.4)
        .build()
    ));

工具 / 功能调用（Tool/Function Calling）

Vertex AI Gemini 模型支持工具调用 (在 Google Gemini 环境中称为函数调用) 功能，允许模型在对话中使用工具。以下是如何定义和使用基于 @Tool 的工具的示例：

public class WeatherService {

    @Tool(description = "Get the weather in location")
    public String weatherByLocation(@ToolParam(description= "City or state name") String location) {
        ...
    }
}

String response = ChatClient.create(this.chatModel)
        .prompt("What's the weather like in Boston?")
        .tools(new WeatherService())
        .call()
        .content();

你也可以使用 java.util.function Bean 作为工具：

@Bean
@Description("Get the weather in location. Return temperature in 36°F or 36°C format.")
public Function<Request, Response> weatherFunction() {
    return new MockWeatherService();
}

String response = ChatClient.create(this.chatModel)
        .prompt("What's the weather like in Boston?")
        .toolNames("weatherFunction")
        .inputType(Request.class)
        .call()
        .content();

多模态（Multimodal ）

多模态是指模型同时理解和处理来自不同来源信息的能力，包括文本、图像、视频、pdf、doc、html、md 和更多数据格式。

图像、音频和视频（Image, Audio, Video）

谷歌的 Gemini AI 模型通过理解和整合文本、代码、音频、图像和视频来支持这种能力。更多详细信息，请参阅博客文章 “介绍 Gemini”。

Spring AI 的 Message 接口通过引入媒体类型来支持多模态 AI 模型。这种类型使用 Spring 的 org.springframework.util.MimeType 和 java.lang.Object 来包含原始媒体数据的数据和关于消息中媒体附件的信息。

下面是从 VertexAiGeminiChatModelIT#multiModalityTest () 中提取的一个简单代码示例，演示了用户文本与图像的组合。

byte[] data = new ClassPathResource("/vertex-test.png").getContentAsByteArray();

var userMessage = new UserMessage("Explain what do you see on this picture?",
        List.of(new Media(MimeTypeUtils.IMAGE_PNG, this.data)));

ChatResponse response = chatModel.call(new Prompt(List.of(this.userMessage)));

PDF

最新 Vertex Gemini 支持 PDF 输入类型。使用 application/pdf 媒体类型将 PDF 文件附加到消息中：

var pdfData = new ClassPathResource("/spring-ai-reference-overview.pdf");

var userMessage = new UserMessage(
        "You are a very professional document summarization specialist. Please summarize the given document.",
        List.of(new Media(new MimeType("application", "pdf"), pdfData)));

var response = this.chatModel.call(new Prompt(List.of(userMessage)));

示例控制器（Sample Controller）

创建一个新的 Spring Boot 项目，并将 spring-ai-starter-model-vertex-ai-gemini 添加到 pom (或 gradre) 依赖项中。

在 src/main/resources 目录下添加 application.properties 文件，以启用和配置 VertexAi 聊天模型：

spring.ai.vertex.ai.gemini.project-id=PROJECT_ID
spring.ai.vertex.ai.gemini.location=LOCATION
spring.ai.vertex.ai.gemini.chat.options.model=gemini-2.0-flash
spring.ai.vertex.ai.gemini.chat.options.temperature=0.5

这将创建一个 VertexAiGeminiChatModel 的实现，你可以将其注入到你的类中。下面是一个简单的 @Controller 类的示例，它使用聊天模型进行文本生成。

@RestController
public class ChatController {

    private final VertexAiGeminiChatModel chatModel;

    @Autowired
    public ChatController(VertexAiGeminiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    /**
     * 文本生成
     * @param message 提示词
     * @return 响应结果
     */
    @GetMapping("/ai/generate")
    @Operation(summary = "文本生成")
    public Map<String, Object> generate(@RequestParam(value = "message", defaultValue = "你好！") String message) {
        try {
            String response = chatModel.call(message);
            return Map.of(
                "success", true,
                "generation", response,
                "message", "Generated successfully"
            );
        } catch (Exception e) {
            return Map.of(
                "success", false,
                "error", e.getMessage(),
                "message", "Generation failed"
            );
        }
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }

}

手动配置（Manual Configuration）

VertexAIGeminiChatModel 实现 ChatModel, 并使用 VertexAI 连接到 Vertex AI Gemini 服务。

要启用它，添加 spring-ai-vertex-ai-gemini 依赖到你的项目 Maven pom.xml 文件:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-gemini</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-gemini'
}

接下来，创建一个 VertexAiGeminiChatModel 并将其用于文本生成：

VertexAI vertexApi =  new VertexAI(projectId, location);

var chatModel = new VertexAiGeminiChatModel(this.vertexApi,
    VertexAiGeminiChatOptions.builder()
        .model(ChatModel.GEMINI_2_0_FLASH)
        .temperature(0.4)
    .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

轻量级 VertexAI 客户端

以下类图说明了 Vertex AI Gemini 原生 Java API: