Azure AI Service

Azure AI Service

本部分将引导你完成AzureVectorStore的设置来存储文档嵌入并使用 Azure AI 搜索服务执行相似性搜索。

Azure AI 搜索是一种多功能的云托管云信息检索系统，是 Microsoft 更大的 AI 平台的一部分。除其他功能外，它还允许用户使用基于向量的存储和检索来查询信息。

先决条件

• Azure 订阅：您需要 Azure 订阅才能使用任何 Azure 服务。
• Azure AI 搜索服务：创建AI 搜索服务。创建服务后，从Keys以下部分获取 admin apiKey，并从该部分下的字段Settings检索端点。
• （可选）Azure OpenAI 服务：创建 Azure OpenAI 服务。注意：您可能需要填写单独的表格才能访问 Azure 开放 AI 服务。创建服务后，从 Resource Management 下面的 Keys and Endpoint 获取 endpoint 和 apiKey 。

配置

• 启动时，AzureVectorStore 将尝试在 AI 搜索服务实例中创建新索引。或者，您可以手动创建索引。
• 要设置 AzureVectorStore，您需要从上述先决条件中检索到的设置以及索引名称：
  • Azure AI Search Endpoint
  • Azure AI Search Key
  • (optional) Azure OpenAI API Endpoint
  • (optional) Azure OpenAI API Key

您可以提供这些值作为操作系统环境变量。

export AZURE_AI_SEARCH_API_KEY=<My AI Search API Key>
export AZURE_AI_SEARCH_ENDPOINT=<My AI Search Index>
export OPENAI_API_KEY=<My Azure AI API Key> (Optional)

注意：
您可以将 Azure Open AI 实现替换为支持嵌入接口的任何有效 OpenAI 实现。例如，您可以使用 Spring AI 的 Open AI 或 TransformersEmbedding 嵌入实现来代替 Azure 实现。

依赖

将这些依赖项添加到您的项目中：

1、选择 Embeddings 接口实现。您可以选择：

• OpenAI Embedding:

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

• 或 Azure AI Embedding:

<dependency>
 <groupId>org.springframework.ai</groupId>
 <artifactId>spring-ai-azure-openai-spring-boot-starter</artifactId>
</dependency>

• 或本地化 Transformers Embedding:

<dependency>
 <groupId>org.springframework.ai</groupId>
 <artifactId>spring-ai-transformers-spring-boot-starter</artifactId>
</dependency>

2. Azure (AI Search) 向量存储

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-azure-vector-store</artifactId>
</dependency>

提示: 请参阅依赖管理部分将 Spring AI BOM 添加到您的构建文件中。

示例代码

你可以使用下面的代码在你的应用中初始化一个 Azure SearchIndexClient :

@Bean
public SearchIndexClient searchIndexClient() {
  return new SearchIndexClientBuilder().endpoint(System.getenv("AZURE_AI_SEARCH_ENDPOINT"))
    .credential(new AzureKeyCredential(System.getenv("AZURE_AI_SEARCH_API_KEY")))
    .buildClient();
}

要创建向量存储，您可以使用以下代码，通过注入上述示例中创建的 SearchIndexClient Bean 以及 Spring AI 库提供的 EmbeddingClient 实现所需 Embeddings 接口的 bean。

@Bean
public VectorStore vectorStore(SearchIndexClient searchIndexClient, EmbeddingClient embeddingClient) {
  return new AzureVectorStore(searchIndexClient, embeddingClient,
    // Define the metadata fields to be used
    // in the similarity search filters.
    List.of(MetadataField.text("country"),
            MetadataField.int64("year"),
            MetadataField.bool("active")));
}

注意：
您必须显式列出过滤器表达式中使用的任何元数据键的所有元数据字段名称和类型。上面的列表注册了可过滤的元数据字段：文本类型的country、Int64 类型的year 和 布尔类型的 active。

如果可过滤元数据字段随新条目扩展，您必须使用此元数据（重新）上传/更新文档。

在您的主代码中，创建一些文档：

List<Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("country", "BG", "year", 2020)),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("country", "NL", "year", 2023)));

将文档添加到您的向量存储中：

vectorStore.add(List.of(document));

最后，检索类似于查询的文档：

List<Document> results = vectorStore.similaritySearch(
    SearchRequest
      .query("Spring")
      .withTopK(5));

如果一切顺利，您应该检索到包含文本“Spring AIrocks!!”的文档。

元数据过滤

您可以通过使用 AzureVectorStore 实现 可移植的元数据筛选器。

例如，您可以使用文本表达语言：

vectorStore.similaritySearch(
   SearchRequest
      .query("The World")
      .withTopK(TOP_K)
      .withSimilarityThreshold(SIMILARITY_THRESHOLD)
      .withFilterExpression("country in ['UK', 'NL'] && year >= 2020"));

或者以编程方式使用 DSL表达式 ：

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(
    SearchRequest
      .query("The World")
      .withTopK(TOP_K)
      .withSimilarityThreshold(SIMILARITY_THRESHOLD)
      .withFilterExpression(b.and(
         b.in("country", "UK", "NL"),
         b.gte("year", 2020)).build()));

可移植的筛选器表达式会自动转换为专有的 Azure Search OData 筛选器。例如，以下可移植过滤器表达式：

country in ['UK', 'NL'] && year >= 2020

is converted into the following Azure OData link:https://learn.microsoft.com/en-us/azure/search/search-query-odata-filter[filter expression]:

$filter search.in(meta_country, 'UK,NL', ',') and meta_year ge 2020