10、编码助手（Coding Copilot）

Ollama 应用实践：如何选择合适的 Coding 模型？

选择合适的 Embedding 模型对于文本分析、语义搜索、问答系统等应用至关重要。Ollama 提供了一系列专业的 Embedding 模型，每种模型都有其特定的优势和应用场景。以下是选择合适 Embedding 模型的一些关键因素：

应用场景

• 确定您的应用是否需要特定领域的优化或多语言支持。例如，shaw/dmeta-embedding-zh 适合中文场景。

模型性能

• 考虑模型在相关基准测试（如 MTEB）上的表现，选择性能最优的模型。

参数大小与推理成本

• 根据可用的计算资源，选择合适大小的模型。较小的模型（如 shaw/dmeta-embedding-zh-small）可能具有更快的推理速度。

上下文窗口长度

• 对于需要处理长文本的应用，选择支持较长上下文窗口的模型。

社区反馈与支持

• 选择有良好社区支持和详细文档的模型，以便快速解决问题并获取帮助。

Ollama Embedding 模型概览

• shaw/dmeta-embedding-zh：小型中文 Embedding 模型，适合多种场景，特别是在语义检索和 RAG 应用中表现出色。参数大小仅 400MB，支持上下文窗口长度达到 1024，推理成本较低。
• mxbai-embed-large：截至 2024 年 3 月，在 MTEB 上创下了 Bert-large 尺寸模型的 SOTA 性能记录，具有很好的泛化能力。
• nomic-embed-text：大上下文长度文本编码器，超越了 OpenAI text-embedding-ada-002，在短上下文和长上下文任务上表现优异。
• snowflake-arctic-embed：专注于性能优化的高质量检索模型，提供不同参数大小的版本以适应不同的性能和资源需求。

使用步骤

1. 访问官网：了解模型详细信息。
2. 选择并下载模型：根据需求选择合适的模型，并使用 ollama pull 命令下载。
3. 调用 API：通过 REST API、Python 库、Javascript 库或 Java 库调用 Embedding API。

注意事项

• Windows 用户启动 Ollama 后，系统托盘会出现图标，表明服务已启动。
• 访问 Embedding 服务时无需运行 ollama run，仅在需要 chat 功能时才需启动大模型。

结论

Ollama 为我们带来了类似 OpenAI 的中文 AI 体验，简单易用，支持热切换模型，推荐所有中文 AI 开发者使用。通过简单的步骤就可以搭建一个功能强大的中文 AI 应用。

请注意，上述内容基于您提供的原文进行了适当的调整和补充，以确保信息的准确性和完整性。

参考资料

• How to prompt Code Llama：https://ollama.com/blog/how-to-prompt-code-llama
• Run Code Llama locally：https://ollama.com/blog/run-code-llama-locally
• Run Llama 2 uncensored locally： https://ollama.com/blog/run-llama2-uncensored-locally