Redis

Redis

本部分将引导您完成 RedisVectorStore 设置，以存储文档嵌入并执行相似性搜索。

Redis 是什么？

Redis 是一种开源（BSD 许可）内存中数据结构存储，用作数据库、缓存、消息代理和流引擎。 Redis 提供数据结构，例如字符串、哈希、列表、集合、带有范围查询的排序集、位图、超级日志、地理空间索引和流。

Redis Vector Search 是什么？

Redis Search and Query 扩展了 Redis OSS 的核心功能，允许您将Redis用作矢量数据库：

• 在哈希或 JSON 文档中存储向量和相关元数据
• 检索向量
• 执行向量搜索

先决条件

• 计算文档嵌入的 EmbeddingClient 实例。有多种选择
  • Transformers Embedding - 在本地环境中计算 embedding。请遵循 ONNX Transformers Embedding 说明。
  • OpenAI Embedding - 如果你使用 OpenAI 来创建文档嵌入，你还需要在 OpenAI 注册处创建帐户并在 API Keys 处生成令牌。
  • 您还可以使用 Azure OpenAI Embedding.
• Redis Stack 实例
  • Redis Cloud (推荐)
  • Docker 镜像 ： redis/redis-stack:latest

依赖项

将这些依赖项添加到您的项目中：

• 嵌入客户端启动程序，计算所需嵌入。
• Transformers Embedding（本地）并遵循 ONNX Transformers 嵌入说明。

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-transformers-spring-boot-starter</artifactId>
</dependency>

或使用 OpenAI（云）

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

此外，您还需要提供 OpenAI API 密钥。将其设置为环境变量，如下所示：

export SPRING_AI_OPENAI_API_KEY='Your_OpenAI_API_Key'

• 添加 Redis Vector Store 和 Jedis 依赖项

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-redis</artifactId>
</dependency>

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>5.1.0</version>
</dependency>

用例

创建一个连接到 Redis 数据库的 RedisVectorStore 实例：

@Bean
public VectorStore vectorStore(EmbeddingClient embeddingClient) {
  RedisVectorStoreConfig config = RedisVectorStoreConfig.builder()
     .withURI("redis://localhost:6379")
     // Define the metadata fields to be used
     // in the similarity search filters.
     .withMetadataFields(
        MetadataField.tag("country"),
        MetadataField.numeric("year"))
     .build();

  return new RedisVectorStore(config, embeddingClient);
}

注意：
将 RedisVectorStore 创建为 Bean 更方便，也是首选。
但如果您决定手动创建它，则必须在RedisVectorStore#afterPropertiesSet()设置属性之后、使用客户端之前调用 。

注意：
您必须显式列出过滤器表达式中使用的任何元数据字段的所有元数据字段名称和类型 (TAG, TEXT 或 NUMERIC)
通过 withMetadataFields 注册了可过滤的元数据字段: country of type TAG, year of type NUMERIC.

然后在您的主代码中创建一些文档：

List<Document> documents = List.of(
   new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("country", "UK", "year", 2020)),
   new Document("The World is Big and Salvation Lurks Around the Corner", Map.of()),
   new Document("You walk forward facing the past and you turn back toward the future.", Map.of("country", "NL", "year", 2023)));

现在将文档添加到您的向量存储中：

vectorStore.add(documents);

最后，检索类似于查询的文档：

List<Document> results = vectorStore.similaritySearch(
   SearchRequest
      .query("Spring")
      .withTopK(5));

如果一切顺利，您应该检索包含文本“Spring AIrocks!!”的文档。

元数据过滤

您可以通过 RedisVectorStore 使用通用、可移植的元数据过滤器。

例如，您可以使用文本表达语言：

vectorStore.similaritySearch(
   SearchRequest
      .query("The World")
      .withTopK(TOP_K)
      .withSimilarityThreshold(SIMILARITY_THRESHOLD)
      .withFilterExpression("country in ['UK', 'NL'] && year >= 2020"));

或者以编程方式使用表达式 DSL：

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(
   SearchRequest
      .query("The World")
      .withTopK(TOP_K)
      .withSimilarityThreshold(SIMILARITY_THRESHOLD)
      .withFilterExpression(b.and(
         b.in("country", "UK", "NL"),
         b.gte("year", 2020)).build()));

可移植的过滤器表达式会自动转换为 Redis 搜索查询。

例如，以下可移植过滤器表达式：

country in ['UK', 'NL'] && year >= 2020

转换成Redis查询：

@country:{UK | NL} @year:[2020 inf]