LangFuse 简介

LangFuse：LLM应用的观察和分析解决方案

概述

LangFuse 是一个开源 LLM 工程平台，可帮助团队协作调试、分析和迭代其 LLM 应用程序。

• 官方网站：https://langfuse.com/
• 项目地址：https://github.com/langfuse

核心平台功能

发展

• 可观察性：检测您的应用程序并开始将跟踪记录引入 Langfuse（快速入门、跟踪）
  • 跟踪应用程序中的所有 LLM 调用和所有其他相关逻辑
  • 适用于 Python 和 JS/TS 的异步 SDK以及API
  • OpenAI SDK、Langchain、LlamaIndex、LiteLLM、Flowise 和 Langflow 的集成
• Langfuse UI：检查和调试复杂的日志和用户会话（演示、跟踪、会话）
• 提示：从 Langfuse 内部管理、版本控制和部署提示（提示管理）

监视器

• 分析：跟踪指标（LLM 成本、延迟、质量）并从仪表板和数据导出中获取见解（分析）
• 评估：收集并计算您完成 LLM 的分数（分数和评估）
  • 运行基于模型的评估
  • 收集用户反馈
  • 在 Langfuse 中手动对观察结果进行评分

测试

• 实验：在部署新版本之前跟踪和测试应用程序行为
  • 数据集可让您在部署之前测试预期的输入和输出对以及基准性能
  • 跟踪应用程序中的版本和发布（实验、提示管理）