PGvector

PGvector

本节将引导您完成 PGvector VectorStore 设置，以存储文档嵌入并执行相似性搜索。

PGvector 是 PostgreSQL 的开源扩展，可以存储和搜索机器学习生成的嵌入。它提供了不同的功能，让用户可以识别精确的和近似的最近邻居。它旨在与其他 PostgreSQL 功能无缝协作，包括索引和查询。

先决条件

首先，您需要访问 PostgreSQL 实例，启用 vector, hstore 和 uuid-ossp 扩展 。

启动时，PgVectorStore 将尝试安装所需的数据库扩展并 vector_store 使用索引创建所需的表。

或者，您可以手动执行此操作，如下所示：

CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS hstore;
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";

CREATE TABLE IF NOT EXISTS vector_store (
    id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
    content text,
    metadata json,
    embedding vector(1536) // 1536 is the default embedding dimension
);

CREATE INDEX ON vector_store USING HNSW (embedding vector_cosine_ops);

提示：如果你使用不同的维度数，你需要使用你实际使用的嵌入维度数替换1536。

接下来，如果需要，可以使用 EmbeddingClient 的 API 密钥来生成 PgVectorStore.

依赖项

然后将 PgVectorStore 启动器依赖项添加到您的项目中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-pgvector-store-spring-boot-starter'
}

向量存储还需要一个 EmbeddingClient 实例来计算文档的嵌入。您可以选择可用的 EmbeddingClient 实现之一。

例如，要使用 OpenAI EmbeddingClient，请将以下依赖项添加到您的项目中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}

要连接到并配置 PgVectorStore，您需要提供实例的访问详细信息。可以通过 Spring Boot 提供简单的配置 application.yml

spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/postgres
    username: postgres
    password: postgres
  ai:
    vectorstore:
      pgvector:
        index-type: HNSW
        distance-type: COSINE_DISTANCE
        dimension: 1536

现在您可以在应用程序中自动连接 PgVector 并使用它

@Autowired VectorStore vectorStore;

// ...

List <Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to PGVector
vectorStore.add(List.of(document));

// Retrieve documents similar to a query
List<Document> results = vectorStore.similaritySearch(SearchRequest.query("Spring").withTopK(5));

手动配置

除了使用 Spring Boot 自动配置，你还可以手动配置 PgVectorStore . 您需要将 PostgreSQL 连接和 JdbcTemplate 自动配置依赖项添加到您的项目中：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <scope>runtime</scope>
</dependency>

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-pgvector-store</artifactId>
</dependency>

要在应用程序中配置 PgVector，您可以使用以下设置：

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingClient embeddingClient) {
    return new PgVectorStore(jdbcTemplate, embeddingClient);
}

元数据过滤

您可以将通用、可移植的元数据过滤器与 PgVector 存储结合使用。

例如，您可以使用文本表达语言：

vectorStore.similaritySearch(
    SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression("author in ['john', 'jill'] && article_type == 'blog'"));

或者使用Filter.Expression DSL 的编程方式：

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression(b.and(
        b.in("john", "jill"),
        b.eq("article_type", "blog")).build()));

注意: 这些过滤器表达式被转换为等效的 PgVector 过滤器。

PgVectorStore 属性

您可以在 Spring Boot 配置中使用以下属性来自定义 PGVector 向量存储。

在本地运行 Postgres 和 PGVector DB

docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres ankane/pgvector

您可以像这样连接到该服务器：

psql -U postgres -h localhost -p 5432