跳到主要内容

v1.19.0 版本发布

· 阅读需 3 分钟

重大更新（Breaking Changes）​

重大更新

Lighthouse 的「LLM 应用」模块，正式推出「人工评估」、「Prompt 管理」两大功能。

  • 人工评估：

不同的 LLM 应用 ，有不同的业务目标，企业通常根据 LLM 应用的 input 和 output 内容来判断模型输出效果是否符合预期。Lighthouse 的人工评估功能，可以自定义评估维度（如准确性、简洁性、安全性等），并对每条 Trace、Span 数据进行多维度评分。帮助开发团队深入了解模型表现、识别问题、并持续优化模型质量，确保企业推出真正符合业务目标的优质 LLM 应用。

  • Prompt 管理：

在开发 LLM 应用时，提示词版本混乱、缺乏效果追踪、缺少数据回溯、团队协作困难等问题，会拉低调试 Prompt 的工作效率。Lighthouse 的 Prompt 管理功能，提供 Prompt 的集中式存储库，可以对 Prompt 进行版本控制、数据对比、高效维护，显著提升 LLM 应用的质量及开发效率。

新增特性（Feature）​

  1. LLM 应用：
    1. 丰富分析应用分析看板，涵盖性能分析、Token 分析、模型分析维度。
    2. 兼容 LiteLLM 数据上报。
  2. 其他：
    1. 平台可以一键跳转官方帮助文档。
    2. 基础设施模块列表支持正倒排序，可自由切换。

缺陷修复（Bugfix）​

  1. 修复仪表板，多图例图表编辑状态下，部分交互失效的问题。
  2. 修复部署完 light-agent，基础设施主机模块数据没有立即上报数据的问题。
  3. 修复 LLM 应用删除时偶发失败的问题。
  4. 修复 LLM 响应时间统计错误的问题。
  5. 修复 LLM Trace 详情页，Session 时长统计的问题。
  6. 修复 LLM Trace 详情页，历史记录数量标识错误的问题。
  7. 修复 LLM Metadata 里数据展示错误的问题。
  8. 修复上报地址保存不生效的问题。
  9. 修复 License 偶发点击错误的问题。