Moonshot AI

Moonshot AI

https://www.moonshot.cn/

主要概念

文本生成模型

Moonshot的文本生成模型（指moonshot-v1）是训练用于理解自然语言和书面语言的，它可以根据输入生成文本输出。对模型的输入也被称为“prompt”。通常我们建议您提供明确的指令以及给出一些范例，来让模型能够完成既定的任务，设计 prompt 本质上就是学会如何“训练”模型。moonshot-v1模型可以用于各种任务，包括内容或代码生成、摘要、对话、创意写作等。

语言模型推理服务

语言模型推理服务是一个基于我们 (Moonshot AI) 开发和训练的预训练模型的 API 服务。在设计上，我们对外主要提供了一个 Chat Completions 接口，它可以用于生成文本，但是它本身是不支持访问网络、数据库等外部资源，也不支持执行任何代码。

Token

文本生成模型以 Token 为基本单位来处理文本。Token 代表常见的字符序列。例如，单个汉字”夔”可能会被分解为若干 Token 的组合，而像”中国”这样短且常见的短语则可能会使用单个 Token 。大致来说，对于一段通常的中文文本，1 个 Token 大约相当于 1.5-2 个汉字。

需要注意的是，对于我们的文本模型，Input 和 Output 的总和长度不能超过模型的最大上下文长度。

速率限制

这些速率限制是如何工作的？

速率限制通过4种方式衡量：并发、RPM（每分钟请求数）、TPM（每分钟 Token 数）、TPD（每天 Token 数）。速率限制可能会在任何一种选项中达到，取决于哪个先发生。例如，你可能向 ChatCompletions 发送了 20 个请求，每个请求只有 100 个 Token ，那么你就达到了限制（如果你的 RPM 限制是 20），即使你在这些 20 个请求中没有发满 200k 个 Token （假设你的TPM限制是 200k）。

对网关，出于方便考虑，我们会基于请求中的 max_tokens 参数来计算速率限制。这意味着，如果你的请求中包含了 max_tokens 参数，我们会使用这个参数来计算速率限制。如果你的请求中没有包含 max_tokens 参数，我们会使用默认的 max_tokens 参数来计算速率限制。当你发出请求后，我们会基于你请求的 token 数量加上你 max_tokens 参数的数量来判断你是否达到了速率限制。而不考虑实际生成的 token 数量。

而在计费环节中，我们会基于你请求的 token 数量加上实际生成的 token 数量来计算费用。

其他值得注意的重要事项：

• 速率限制是在用户级别而非密钥级别上实施的。
• 目前我们在所有模型中共享速率限制。

模型列表

你可以使用我们的 List Models API 来获取当前可用的模型列表。

当前的，我们支持的模型有：

• moonshot-v1-8k: 它是一个长度为 8k 的模型，适用于生成短文本。
• moonshot-v1-32k: 它是一个长度为 32k 的模型，适用于生成长文本。
• moonshot-v1-128k: 它是一个长度为 128k 的模型，适用于生成超长文本。

以上模型的区别在于它们的最大上下文长度，这个长度包括了输入消息和生成的输出，在效果上并没有什么区别。这个主要是为了方便用户选择合适的模型。

使用指南

获取 API 密钥

你需要一个 API 密钥来使用我们的服务。你可以在我们的控制台中创建一个 API 密钥。

发送请求

你可以使用我们的 Chat Completions API 来发送请求。你需要提供一个 API 密钥和一个模型名称。你可以选择是否使用默认的 max_tokens 参数，或者自定义 max_tokens 参数。可以参考 API 文档中的调用方法。

处理响应

通常的，我们会设置一个 5 分钟的超时时间。如果单个请求超过了这个时间，我们会返回一个 504 错误。如果你的请求超过了速率限制，我们会返回一个 429 错误。如果你的请求成功了，我们会返回一个 JSON 格式的响应。

如果是为了快速处理一些任务，你可以使用我们的 Chat Completions API 的非 streaming 模式。这种模式下，我们会在一次请求中返回所有的生成文本。如果你需要更多的控制，你可以使用 streaming 模式。在这种模式下，我们会返回一个 SSE 流，你可以在这个流中获取生成的文本，这样用户体验可能会更好，并且你也可以在任何时候中断请求，而不会浪费资源。

扩展 Spring AI 支持 Moonshot AI 的 AI 语言模型 Kimi。

先决条件

您需要使用 Moonshot AI 创建 API 来访问 Kimi 模型。

在 Moonshot AI 登录注册界面 创建帐户。

并在API Key 管理页面 生成令牌。 Spring AI 项目定义了一个名为 spring.ai.moonshotai.api-key 的配置属性，您应该将其设置为从 zhipu.com 获取的api-key值。

导出环境变量是设置该配置属性的一种方法：

export SPRING_AI_ZHIPUAI_API_KEY=<INSERT KEY HERE>

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅存储库部分将这些存储库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了 BOM（物料清单），以确保在整个项目中使用一致的 Spring AI 版本。请参阅依赖管理部分将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 为 OpenAI 聊天客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-zhipuai-spring-boot-starter</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-zhipuai-spring-boot-starter'
}

Chat 属性

重试属性

spring.ai.retry 前缀的属性，可让您配置 OpenAI Chat 客户端的重试机制。

连接属性

spring.ai.zhipuai 前缀的属性，可让您配置 OpenAI Chat 客户端的连接。

配置属性

spring.ai.zhipuai.chat 前缀的属性，可让您配置 智普AI 的 ChatClient 实现。

https://open.bigmodel.cn/dev/api#glm-3-turbo

注意:

• 你可以覆盖 ChatClient 和 EmbeddingClient 的 通用参数 spring.ai.openai.base-url 和 spring.ai.openai.api-key。
• 如果设置了 spring.ai.openai.chat.base-url 和 spring.ai.openai.chat.api-key 属性，则优先于公共属性。
• 如果您想对不同的模型和不同的模型端点使用不同的 OpenAI 帐户，这非常有用。

提示: 所有 spring.ai.openai.chat.options 前缀的属性， 可以在运行期间通过添加特定请求参数到 Prompt 调用 实现覆盖.

对话选项

OpenAiChatOptions.java 提供模型配置，例如：要使用的模型、温度、频率惩罚等。

启动时，可以使用 OpenAiChatClient(api, options) 构造函数或 spring.ai.openai.chat.options.* 属性配置默认选项。

在运行时，您可以通过向调用添加新的、特定于请求的选项来覆盖默认选项Prompt。例如，要覆盖特定请求的默认型号和温度：

ChatResponse response = chatClient.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .withModel("gpt-4-32k")
            .withTemperature(0.4)
        .build()
    ));

提示: 除了特定于模型的 OpenAiChatOptions 之外，您还可以使用通过 ChatOptionsBuilder#builder() 创建的可移植 ChatOptions 实例。

Function Calling（函数调用）

您可以使用 OpenAiChatClient 注册自定义 Java 函数，并让 OpenAI 模型智能地选择输出包含调用一个或多个注册函数的参数的 JSON 对象。这是一种将 LLM 功能与外部工具和 API 连接起来的强大技术。阅读有关OpenAI 函数调用的更多信息。

Sample Controller （自动配置）

创建 一个新的 Spring Boot 项目并将其添加 spring-ai-openai-spring-boot-starter 到您的 pom（或 gradle）依赖项中。

在 src/main/resources目录下添加一个application.properties文件，以启用和配置 OpenAi Chat 客户端：

spring.ai.openai.api-key=YOUR_API_KEY
spring.ai.openai.chat.options.model=gpt-3.5-turbo
spring.ai.openai.chat.options.temperature=0.7

提示: 替换api-key为您的 OpenAI 凭据。

这将创建一个可以注入到您的类中的 OpenAiChatClient 实现。下面是一个@Controller使用聊天客户端生成文本的简单类的示例。

@RestController
public class ChatController {

    private final OpenAiChatClient chatClient;

    @Autowired
    public ChatController(OpenAiChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatClient.call(message));
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatClient.stream(prompt);
    }
}

手动配置

OpenAiChatClient 实现 ChatClient 和 StreamingChatClient， 并使用 轻量级 Api 连接到 OpenAI 服务。

添加 spring-ai-openai 依赖到你的项目 Maven pom.xml 文件:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或者，在你的 Gradle 构建文件 build.gradle 中添加：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}

接下来, 创建一个 OpenAiChatClient 并将其用于文本生成：

var openAiApi = new OpenAiApi(System.getenv("OPENAI_API_KEY"));

var chatClient = new OpenAiChatClient(openAiApi)
    .withDefaultOptions(OpenAiChatOptions.builder()
            .withModel("gpt-35-turbo")
            .withTemperature(0.4)
            .withMaxTokens(200)
        .build());

ChatResponse response = chatClient.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = chatClient.stream(
    new Prompt("Generate the names of 5 famous pirates."));

• OpenAiChatOptions 提供聊天请求的配置信息.
• OpenAiChatOptions.Builder 流式的选项生成器.

轻量级 OpenAiApi 客户端

OpenAiApi 为 OpenAI Chat API 提供了轻量级 Java 客户端。

以下类图说明了 OpenAiApi 聊天接口和构建块：

以下是如何以编程方式使用 api 的简单片段：

OpenAiApi openAiApi =
    new OpenAiApi(System.getenv("OPENAI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = openAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(chatCompletionMessage), "gpt-3.5-turbo", 0.8f, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = openAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(chatCompletionMessage), "gpt-3.5-turbo", 0.8f, true));

请关注 OpenAiApi.java 的 JavaDoc 以获取更多信息。