Milvus（开源）

Milvus

Milvus 是一款开源的向量数据库，在数据科学和机器学习领域引起了广泛关注。其显著特点之一在于对向量索引与查询的强大支持。Milvus 采用最前沿的尖端算法加速搜索过程，使其在处理大规模数据集时，也能异常高效地检索相似向量。

先决条件

• 运行 Milvus 实例。可以使用以下选项：
  • Milvus 单机版：Docker、Operator、Helm、DEB/RPM、Docker Compose。
  • Milvus Cluster：Operator, Helm。
• 如果需要， 可以给 EmbeddingClient 配置 API 密钥，生成嵌入结果并通过 MilvusVectorStore存储.

依赖项

然后将 Milvus VectorStore 启动器依赖项添加到您的项目中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-vector-store-milvus</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-vector-store-milvus'
}

向量存储的实现可以为您初始化所需的架构，但您必须通过指定构造函数中的 initializeSchema 布尔值或在 application.properties 文件中设置 initialize-schema=true 来选择启用。

要连接到并配置MilvusVectorStore，您需要提供实例的访问详细信息。可以通过 Spring Boot 提供简单的配置 application.yml

spring:
    ai:
        vectorstore:
            milvus:
                client:
                    host: "localhost"
                    port: 19530
                    username: "root"
                    password: "milvus"
                databaseName: "default"
                collectionName: "vector_store"
                embeddingDimension: 1536
                indexType: IVF_FLAT
                metricType: COSINE

现在您可以在应用程序中自动连接 Milvus Vector Store 并使用它

@Autowired VectorStore vectorStore;

// ...

List <Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to Milvus Vector Store
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());

手动配置

不使用 Spring Boot 的自动配置，您可以手动配置 MilvusVectorStore。将以下依赖项添加到您的项目中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-milvus-store</artifactId>
</dependency>

要在您的应用程序中配置 MilvusVectorStore，可以使用以下设置：

    @Bean
    public VectorStore vectorStore(MilvusServiceClient milvusClient, EmbeddingModel embeddingModel) {
        return MilvusVectorStore.builder(milvusClient, embeddingModel)
                .collectionName("test_vector_store")
                .databaseName("default")
                .indexType(IndexType.IVF_FLAT)
                .metricType(MetricType.COSINE)
                .batchingStrategy(new TokenCountBatchingStrategy())
                .initializeSchema(true)
                .build();
    }

    @Bean
    public MilvusServiceClient milvusClient() {
        return new MilvusServiceClient(ConnectParam.newBuilder()
            .withAuthorization("minioadmin", "minioadmin")
            .withUri(milvusContainer.getEndpoint())
            .build());
    }

元数据过滤

您可以在 Milvus 存储中使用通用的、可移植的 元数据过滤器 。

例如，您可以使用文本表达式语言：

vectorStore.similaritySearch(
    SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression("author in ['john', 'jill'] && article_type == 'blog'").build());

或通过编程方式使用 Filter.Expression DSL：

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression(b.and(
        b.in("author","john", "jill"),
        b.eq("article_type", "blog")).build()).build());

使用 MilvusSearchRequest

MilvusSearchRequest 继承自 SearchRequest，使您能够使用 Milvus 特有的搜索参数，如原生表达式和搜索参数 JSON。

MilvusSearchRequest request = MilvusSearchRequest.milvusBuilder()
    .query("sample query")
    .topK(5)
    .similarityThreshold(0.7)
    .nativeExpression("metadata[\"age\"] > 30") // Overrides filterExpression if both are set
    .filterExpression("age <= 30") // Ignored if nativeExpression is set
    .searchParamsJson("{\"nprobe\":128}")
    .build();
List results = vectorStore.similaritySearch(request);

原生表达式与搜索参数 JSON 在 MilvusSearchRequest 中的重要性

这两个参数提升了 Milvus 搜索的精确度，并确保了查询性能的最优化。

NativeExpression：启用使用 Milvus 原生过滤表达式进行额外过滤的功能。Milvus 过滤

示例：

MilvusSearchRequest request = MilvusSearchRequest.milvusBuilder()
    .query("sample query")
    .topK(5)
    .nativeExpression("metadata['category'] == 'science'")
    .build();

SearchParamsJson：在使用 Milvus 默认索引 IVF_FLAT 时，用于调优搜索行为的关键参数。Milvus 向量索引

默认情况下，IVF_FLAT 需要设置 nprobe 以确保结果准确。如果未指定，nprobe 默认为 1，这可能导致召回率低甚至搜索结果为零。

示例：

MilvusSearchRequest request = MilvusSearchRequest.milvusBuilder()
    .query("sample query")
    .topK(5)
    .searchParamsJson("{\"nprobe\":128}")
    .build();

使用原生表达式（nativeExpression）能确保高级过滤，而搜索参数 JSON（searchParamsJson）则避免了因默认 nprobe 值过低导致的搜索效率低下问题。

Milvus 向量存储属性

您可以在 Spring Boot 配置中使用以下属性来定制 Milvus 向量存储。

启动 Milvus 存储

在 src/test/resources/ 目录下运行:

docker-compose up

清理环境：

docker-compose down; rm -Rf ./volumes

然后向量存储连接地址：http://localhost:19530， 管理地址：http://localhost:9001 （用户：minioadmin，传递：minioadmin）

故障排除

如果 Docker 报告资源问题，请执行：

docker system prune --all --force --volumes

访问原生客户端

Milvus 向量存储实现通过 getNativeClient () 方法提供了对底层原生 Milvus 客户端（MilvusServiceClient）的访问：

MilvusVectorStore vectorStore = context.getBean(MilvusVectorStore.class);
Optional<MilvusServiceClient> nativeClient = vectorStore.getNativeClient();

if (nativeClient.isPresent()) {
    MilvusServiceClient client = nativeClient.get();
    // Use the native client for Milvus-specific operations
}

原生客户端让您能够访问可能未通过 VectorStore 接口公开的 Milvus 特定功能和操作。