Ollama 应用实践

Ollama 应用实践

• Ollama 应用实践：如何选择合适的本地大模型？
• Ollama 应用实践：文本生成（Chat Completion API）
• Ollama 应用实践：多轮对话（Chat Completion API）
• Ollama 应用实践：提示工程（Prompts）
• Ollama 应用实践：函数调用（Function Calling）
• Ollama 应用实践：文本嵌入（Embeddings）
• Ollama 应用实践：多模态模型（Multimodal）
• Ollama 应用实践：模型微调（Fine-tuning）
• Ollama 应用实践：编码助手（Coding Copilot）
• Ollama 应用实践：信息提取（Information Extraction）
• Ollama 应用实践：文本转语音（ChatTTS）
• Ollama 应用实践：文本转语音（Edge-TTS）
• Ollama 应用实践：语音助手（Voice Assistant）
• Ollama 应用实践：Ollama 接入对话客户端 Dify
• Ollama 应用实践：Ollama 接入对话客户端 ChatNextWeb
• Ollama 应用实践：Ollama 接入对话客户端 ChatALL
• Ollama 应用实践：Ollama 接入对话客户端 ChatBox
• Ollama 应用实践：生成式人工智能堆栈（GenAI Stack）
• Ollama 应用实践：Ollama && AnythingLLM 搭建本地AI知识库
• Ollama 应用实践：Ollama && FastGPT 搭建本地AI知识库

Q：怎样在 LangChain 和 LlamaIndex 中使用 Yi Model API？

A：

对于 LangChain，你需要从 langchain_openai 库导入 ChatOpenAI，并设置相应的 api_base、api_key 和 model 参数。

from langchain_openai import ChatOpenAI
llm = ChatOpenAI(openai_api_base=”https://api.lingyiwanwu.com/v1", openai_api_key=”your-01ai-key”, model=”yi-34b-chat-0205”)

print(llm.invoke(“hi, who are you?”))

对于 LlamaIndex，你需要从 llama_index.llms.openai_like 和 llama_index.core.llms 导入 OpenAILike 和ChatMessage，并设置相应的 api_base、api_key 和 model 参数。

from llama_index.llms.openai_like import OpenAILike
from llama_index.core.llms import ChatMessage

model = OpenAILike(api_base=”https://api.lingyiwanwu.com/v1", api_key=”your-01ai-key”, model=”yi-34b-chat-0205”, is_chat_model=True)
response = model.chat(messages=[ChatMessage(content=”Hi, Who are you?”)])
print(response)
这样，你就成功地将 LangChain 和 LlamaIndex 与 Yi Model API 进行集成，可以通过这两个工具库来调用 Yi Model API，从而进行各种自然语言处理任务。