Ollama Chat

通过 Ollama，我们可以在本地运行各种大型语言模型 (LLM) 并从中生成文本。 Spring AI 通过 OllamaChatClient 支持 文本生成。

先决条件

您首先需要在本地计算机上运行 Ollama。请参阅官方 Ollama 项目自述文件，开始在本地计算机上运行模型。

注意: 安装 ollama run llama2 将下载一个 4GB 的 docker 镜像。

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅存储库部分将这些存储库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了 BOM（物料清单），以确保在整个项目中使用一致的 Spring AI 版本。请参阅依赖管理部分将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 为 Ollama 聊天客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}

Chat 属性

spring.ai.ollama 前缀的属性，可让您配置 Ollama Chat 客户端的连接。

spring.ai.ollama.chat.options 前缀的属性，可让您配置 Ollama Chat 客户端的连接。

这些options 属性基于 Ollama 有效参数和值 以及 Ollama 类型。默认值基于：Ollama type defaults。

提示: 所有 spring.ai.ollama.chat.options 前缀的属性， 可以在运行期间通过添加特定请求参数到 Prompt 调用 实现覆盖.

聊天选项

OllamaOptions.java 提供模型配置，例如：要使用的模型、温度等。

启动时，可以使用 OllamaChatClient(api, options) 构造函数 或 spring.ai.ollama.chat.options.* 属性配置默认选项。

在运行时，您可以通过向调用添加新的、特定于请求的选项来覆盖默认选项Prompt。例如，要覆盖特定请求的默认型号和温度：

ChatResponse response = chatClient.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OllamaOptions.create()
            .withModel("llama2")
            .withTemperature(0.4)
    ));

提示: 除了特定于模型的 OllamaOptions 之外，您还可以使用通过 ChatOptionsBuilder#builder() 创建的可移植 ChatOptions 实例。

Sample Controller （自动配置）

创建 一个新的 Spring Boot 项目并将其添加 spring-ai-ollama-spring-boot-starter 到您的 pom（或 gradle）依赖项中。

在 src/main/resources目录下添加一个application.properties文件，以启用和配置 OpenAi Chat 客户端：

spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.options.model=mistral
spring.ai.ollama.chat.options.temperature=0.7

提示: 将 base-url 替换为您的 Ollama 服务器 URL。

这将创建一个可以注入到您的类中的 OllamaChatClient 实现。下面是一个@Controller使用聊天客户端生成文本的简单类的示例。

@RestController
public class ChatController {

    private final OllamaChatClient chatClient;

    @Autowired
    public ChatController(OllamaChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatClient.call(message));
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatClient.stream(prompt);
    }

}

手动配置

如果你不想使用 Spring Boot 自动装配，你可以在你的应用里手动初始化 OllamaChatClient，OllamaChatClient 实现 ChatClient 和 StreamingChatClient， 并使用低级 OpenAi Api 客户端连接到 Ollama 服务。

添加 spring-ai-ollama 依赖到你的项目 Maven pom.xml 文件:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama'
}

接下来，创建一个 OllamaChatClient 实例并将其用于文本生成请求：

var ollamaApi = new OllamaApi();

var chatClient = new OllamaChatClient(ollamaApi).withModel(MODEL)
        .withDefaultOptions(OllamaOptions.create()
                .withModel(OllamaOptions.DEFAULT_MODEL)
                .withTemperature(0.9f));

ChatResponse response = chatClient.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = chatClient.stream(
    new Prompt("Generate the names of 5 famous pirates."));

• OllamaOptions 提供聊天请求的配置信息.

轻量级 OpenAiApi 客户端

OllamaApi 为 Ollama Chat Completion API 提供了轻量级 Java 客户端。

以下类图说明了 OllamaApi 聊天接口和构建块：

以下是如何以编程方式使用 api 的简单片段：

OllamaApi ollamaApi =
    new OllamaApi("YOUR_HOST:YOUR_PORT");

// Sync request
var request = ChatRequest.builder("orca-mini")
    .withStream(false) // not streaming
    .withMessages(List.of(
            Message.builder(Role.SYSTEM)
                .withContent("You are a geography teacher. You are talking to a student.")
                .build(),
            Message.builder(Role.USER)
                .withContent("What is the capital of Bulgaria and what is the size? "
                        + "What is the national anthem?")
                .build()))
    .withOptions(OllamaOptions.create().withTemperature(0.9f))
    .build();

ChatResponse response = ollamaApi.chat(request);

// Streaming request
var request2 = ChatRequest.builder("orca-mini")
    .withStream(true) // streaming
    .withMessages(List.of(Message.builder(Role.USER)
        .withContent("What is the capital of Bulgaria and what is the size? " + "What is the national anthem?")
        .build()))
    .withOptions(OllamaOptions.create().withTemperature(0.9f).toMap())
    .build();

Flux<ChatResponse> streamingResponse = ollamaApi.streamingChat(request2);