Ollama Embeddings

通过 Ollama，您可以在本地运行各种大型语言模型 (LLM) 并从中生成嵌入。 Spring AI 通过 OllamaEmbeddingClient 支持文本嵌入。

嵌入是浮点数的向量（列表）。两个向量之间的距离衡量它们的相关性。距离小表明相关性高，距离大表明相关性低。

先决条件

您首先需要在本地计算机上运行 Ollama。请参阅官方 Ollama 项目自述文件，开始在本地计算机上运行模型。

注意: 安装 ollama run llama2 将下载一个 4GB 的 docker 镜像。

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅存储库部分将这些存储库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了 BOM（物料清单），以确保在整个项目中使用一致的 Spring AI 版本。请参阅依赖管理部分将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 为 Ollama 聊天客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}

spring.ai.ollama.embedding.options.* 属性用于配置用于所有嵌入请求的默认选项。（它用作OllamaEmbeddingClient#withDefaultOptions()实例）。

Embedding 属性

spring.ai.ollama 前缀的属性，可让您配置 Ollama Chat 客户端的连接。

spring.ai.ollama.embedding.options 前缀的属性，可让您配置 Ollama 的 EmbeddingClient 实现。

NOTE: The spring.ai.ollama.embedding.options.* properties are based on the https://github.com/jmorganca/ollama/blob/main/docs/modelfile.md#valid-parameters-and-values[Ollama Valid Parameters and Values] and https://github.com/jmorganca/ollama/blob/main/api/types.go[Ollama Types]

提示: 这些spring.ai.ollama.embedding.options.*属性基于 Ollama 有效参数和值以及 Ollama 类型

提示: 通过向 EmbeddingRequest 调用添加请求特定的嵌入选项，可以在运行时覆盖所有 spring.ai.ollama.embedding.options 前缀的属性。

Embedding 选项

OllamaOptions.java 提供 Ollama 配置，例如要使用的模型、低级 GPU 和 CPU 调整等。

spring.ai.ollama.embedding.options 的属性可用作为配置默认选项

在启动时使用 OllamaEmbeddingClient#withDefaultOptions() 配置用于所有嵌入请求的默认选项。在运行时，您可以使用 OllamaOptions 实例作为 EmbeddingRequest 的一部分覆盖默认配置.

例如，要覆盖特定请求的默认模型名称：

EmbeddingResponse embeddingResponse = embeddingClient.call(
    new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),
        OllamaOptions.create()
            .withModel("Different-Embedding-Model-Deployment-Name"));

Sample Controller （自动配置）

这将创建一个可以注入到您的类中的 EmbeddingClient 实现。下面是一个@Controller使用 EmbeddingClient 的简单示例。

@RestController
public class EmbeddingController {

    private final EmbeddingClient embeddingClient;

    @Autowired
    public EmbeddingController(EmbeddingClient embeddingClient) {
        this.embeddingClient = embeddingClient;
    }

    @GetMapping("/ai/embedding")
    public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        EmbeddingResponse embeddingResponse = this.embeddingClient.embedForResponse(List.of(message));
        return Map.of("embedding", embeddingResponse);
    }
}

手动配置

如果您不使用 Spring Boot，则可以手动配置 OllamaEmbeddingClient。为此，请将 spring-ai-ollama 依赖项添加到项目的 Maven pom.xml文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-ollama'
}

接下来，创建一个 OllamaEmbeddingClient实例并使用它来计算两个输入文本之间的相似度：

var ollamaApi = new OllamaApi();

var embeddingClient = new OllamaEmbeddingClient(ollamaApi)
    .withDefaultOptions(OllamaOptions.create()
            .withModel(OllamaOptions.DEFAULT_MODEL)
            .toMap());

EmbeddingResponse embeddingResponse = embeddingClient
    .embedForResponse(List.of("Hello World", "World is big and salvation is near"));

• OllamaOptions 提供嵌入请求的配置信息.