LangSmith 简介

LangSmith：LLM应用的观察和分析解决方案

概述

LangSmith 是一个用于构建生产级 LLM 应用程序的平台。

它可以让您调试、测试、评估和监控基于任何LLM框架构建的链和智能代理，并与LangChain无缝集成，LangChain是使用LLM构建的首选开源框架。

LangSmith 由 LangChain 开发，该公司是开源 LangChain 框架背后的公司。

• 官方网站：https://langfuse.com/
• 项目地址：https://github.com/langfuse

核心平台功能

发展

• 可观察性：检测您的应用程序并开始将跟踪记录引入 Langfuse（快速入门、跟踪）
  • 跟踪应用程序中的所有 LLM 调用和所有其他相关逻辑
  • 适用于 Python 和 JS/TS 的异步 SDK以及API
  • OpenAI SDK、Langchain、LlamaIndex、LiteLLM、Flowise 和 Langflow 的集成
• Langfuse UI：检查和调试复杂的日志和用户会话（演示、跟踪、会话）
• 提示：从 Langfuse 内部管理、版本控制和部署提示（提示管理）

监视器

• 分析：跟踪指标（LLM 成本、延迟、质量）并从仪表板和数据导出中获取见解（分析）
• 评估：收集并计算您完成 LLM 的分数（分数和评估）
  • 运行基于模型的评估
  • 收集用户反馈
  • 在 Langfuse 中手动对观察结果进行评分

测试

• 实验：在部署新版本之前跟踪和测试应用程序行为
  • 数据集可让您在部署之前测试预期的输入和输出对以及基准性能
  • 跟踪应用程序中的版本和发布（实验、提示管理）