Skip to main content

v1.21.1 版本发布

· One min read

缺陷修复(Bugfix)

  1. 修复 v1.21.0 版本全新安装过程中安装失败的问题。

v1.21.0 版本发布

· 4 min read

本次版本更新聚焦于「LLM 可观测」模块,以下若无特殊说明,均为「LLM 可观测」相关功能。

新增特性(Feature)

  1. 「数据集 - 实验」模块,新增多个实验对比功能:
    1. 对比多个实验,同一个评估维度的平均分,进行整体评估。
    2. 对比同一范例不同实验的 Output 内容、自动评估结果对比。
  2. 「Prompt 管理」:同一个 Prompt 的不同版本,可以一键对比 Prompt 内容的差异。
  3. 「应用分析」模块:新增「关联功能」页面,快速展示当前应用的数据都被哪些功能所使用。
  4. 「人工评估」、「自动评估」、和「Prompt 管理」模块的列表,新增与之相关的“关联应用”或“关联数据集”。使得不同模块之间的数据关联更加清晰。

v1.20.1 版本发布

· One min read

缺陷修复(Bugfix)

  1. 修复主机部分容器没有展示出来的问题。
  2. 修复内置应用 License 也统计的问题。
  3. 修复前端页面展示英文的问题。
  4. 修复 Dify 上报数据兼容性的问题。

v1.21.0 版本发布

· 5 min read

重大更新(Breaking Changes)

重大更新

Lighthouse 的「LLM 可观测」模块,正式推出「自动评估」、「数据集与实验」、「Prompt 调试」三大功能。

  • 自动评估

Lighthouse 的 LLM 可观测模块的自动评估功能,是基于评估器(Evaluator)实现的。通过评估器,可以配置评估的目标数据、评估模型、评估维度,按照设定的规则,对目标数据进行自动给出合适的评分值。有效解决了人工评估效率低、准确性不足的问题。帮助企业在开发和优化 LLM 应用过程中精准定位需求,快速调整策略,从而加速产品迭代,确保应用的性能和功能符合业务目标。

目前,Lighthouse 支持对应用的 Trace 数据、数据集进行自动评估。同时,系统内置了多种常用的评估维度模板,提高用户上手速度。

  • 数据集与实验

「数据集」指的是一组用于评估大模型在特定任务上的输出表现,这些数据集通常包含一系列的输入内容(Input)和输出参考答案(Reference Output)。其作用是帮助开发者评估 LLM 应用,是否达到预期效果。

基于数据集,便可以进行「实验」。实验是指,通过组合数据集、Prompt、模型设置、评估器(可选),实现在给定的 Prompt 下,对模型输入范例的 Input 内容,得到模型返回的 Output 内容。若配置了评估器,还会对每条数据进行评估,并给出评分值。通过分析实验结果,可以找到优化 LLM 应用效果的方向,获得有助于业务决策的信息。

  • Prompt 调试

在开发 LLM 应用的过程中,高质量的提示词(Prompt)是至关重要的一环。Prompt 内容和模型的合理搭配,可以最大限度地激发模型的潜能,满足多样化、个性化的应用场景。

Lighthouse 的「Prompt 调试」功能,可以让您无需切换工具或编写代码,便可轻松调试和优化您的 Prompt。通过调整 Prompt 内容和模型设置,可以实时查看不同模型对不同 Prompt 变更的响应,从而快速找到优化方向,极大提高工作效率。

v1.19.1 版本发布

· One min read

缺陷修复(Bugfix)

  1. 修复安装过程中检测端口号异常的问题。
  2. 修复启动脚本指定服务重启命令失效的问题。

v1.19.0 版本发布

· 3 min read

重大更新(Breaking Changes)

重大更新

Lighthouse 的「LLM 应用」模块,正式推出「人工评估」、「Prompt 管理」两大功能。

  • 人工评估

不同的 LLM 应用 ,有不同的业务目标,企业通常根据 LLM 应用的 input 和 output 内容来判断模型输出效果是否符合预期。Lighthouse 的人工评估功能,可以自定义评估维度(如准确性、简洁性、安全性等),并对每条 Trace、Span 数据进行多维度评分。帮助开发团队深入了解模型表现、识别问题、并持续优化模型质量,确保企业推出真正符合业务目标的优质 LLM 应用。

  • Prompt 管理

在开发 LLM 应用时,提示词版本混乱、缺乏效果追踪、缺少数据回溯、团队协作困难等问题,会拉低调试 Prompt 的工作效率。Lighthouse 的 Prompt 管理功能,提供 Prompt 的集中式存储库,可以对 Prompt 进行版本控制、数据对比、高效维护,显著提升 LLM 应用的质量及开发效率。

v1.18.0 版本发布

· 4 min read

新增特性(Feature)

  1. 管理:
    1. 新增「License 管理」模块:对不同模块核心资源量的使用进行管控和统计。

      注意:从1.17.0及之前的版本,直接升级到 1.18.0及以上版本,需要提前手动清空所有数据才可正常使用。如遇此情况,请联系技术支持。

    2. 新增「数据上报地址」模块:可以统一修改平台多个模块的数据配置信息,用于解决自动识别的数据上报地址与实际不符的情况。
  2. 仪表板:
    1. 数字概览图表,可以配置映射规则,对查询值赋值、并配色。
    2. 折线图、柱形图图表,可以配置阈值标记、并配色。
    3. 仪表板列表支持批量导出 JSON。
  3. LLM:
    1. 「会话分析」新增「Spans 列表」页面:展示每条 Span 的基本信息与性能数据,单击即可查看详情信息。
    2. 「会话分析」的 Traces 和 Spans 列表页,增加快捷筛选,可以根据类型、名称、使用模型、状态快速筛选出目标数据。

v1.17.0 版本发布

· 4 min read

新增特性(Feature)

  1. APM:
    1. 新增「自定义业务接口聚合规则」:可以将多个接口调用识别为同一个接口,有效地帮助客户从技术视角切换到业务功能视角,去观测接口的性能问题。
  2. LLM:
    1. 新增「拓扑」模块: 为 LLM 应用提供了一个全面且直观的调用关系、性能状况全景图。通过展示所有 Span 节点之间的调用关系及聚合后的性能指标,能够快速洞察 LLM 应用的整体运行状况、聚焦问题节点,精准定位问题,从而实现高效优化与管理。

v1.16.0 Release

· 2 min read

Features

  • Dashboard:
    • Support querying LLM data and creating various custom charts.
    • Added view variables to enable switching variable values in dashboards, which can be applied in real-time to multiple charts. This helps users customize quick filtering and data analysis.
    • Support for PromQL query statements.
    • Added new chart type: Leaderboard.

v1.15.0 Release

· 2 min read

Features

  • Logs: Support full-text and fuzzy search for log messages. Searched content will be highlighted in blue within the log list or hover tooltips.
  • Dashboard:
    • New chart types: Number Overview, Pie Chart, and Text.
    • When selecting metrics, field names and metric descriptions are displayed simultaneously to help users quickly select desired data metrics.
    • Automatically matches appropriate units after metric selection. When users manually modify units, appropriate data conversion is performed.
    • Support for custom fill colors.
  • RUM: Quick filtering and search capabilities for performance event information in the View details page.
  • Alerts: Alert policy details page now includes statistics and filtering capabilities for different severity levels of alert records.
  • Added settings buttons to Dashboard, RUM, and LLM applications for quick access to settings pages.

v1.14.0 Release

· 2 min read

Features

  • Metrics Management: Added "Metrics Management" module to display all collected metric data. Currently supports metrics from the infrastructure monitoring module.
  • ITIM: Added performance trend charts to host, container, and process detail pages for intuitive performance monitoring. Container and process detail pages also show performance metrics of associated hosts.
  • Alert: Added alert policy detail page to display policy attributes, alert records, and latest configuration information.

v1.13.0 Release Notes

· One min read

New Features

  • APM:
  1. Added error information display to the topology graph in the "Resource Analysis" module.
  2. Added multiple user experience improvements. img

Bug Fixes

  1. Fixed an issue where clicking on log alert record details in "Smart Alerts" resulted in an error.
  2. Fixed incorrect unit display in the application list of "LLM Applications".
  3. Fixed an issue where the application list in "LLM Applications" was not filtering by custom time range.
  4. Fixed an issue where the Top 10 list in "LLM Applications" was not filtering by custom time range.
  5. Fixed incorrect trace count display on the probability page in "LLM Applications".
  6. Fixed abnormal trace filtering issues in "Service Details".
  7. Fixed incorrect duration display for top-level spans in some "APM" flame graphs.
  8. Fixed an issue where clicking on the honeycomb chart in "Infrastructure Monitoring" cleared the left-side filters.

v1.11.3 Release Notes

· One min read

Bug Fixes

  1. Fixed an issue where CPU load statistics failed to calculate for hosts in "Infrastructure Monitoring".

v1.12.0 Release Notes

· 3 min read

Breaking Changes

Breaking Changes

Lighthouse explores LLM application observability and officially launches the "LLM Applications" module, aiming to help enterprises monitor LLM application performance, identify performance bottlenecks, and optimize resource utilization.

Currently, Lighthouse can observe performance data and usage of LLM applications in the system at Session and Trace dimensions, such as input, output, response time, token consumption, etc.

imgimg

Features

  • APM: "Resource Analysis" module, added performance metrics display on hover for topology connection lines, showing metrics like call percentage, call count.
  • LOG: One-click navigation from single log details to associated trace details page.

v1.11.2 Release

· One min read

Bug Fixes

Fixed an issue where host statistics for infrastructure monitoring were failing.

v1.11.1 Release

· One min read

Bug Fixes

  1. Fixed the issue where users could not log in to the Lighthouse platform between 11 PM and 8 AM.

v1.11.0 Release

· 3 min read

New Features

  • APM:
  1. Added "Service Dependencies" module, displaying collected resource performance data and call relationship topology.
  2. Added associated log list display in trace detail page.
imgimg

v1.9.0 Release

· One min read

Features

  • RUM:
  1. Application creation page: Added two-way binding between input fields and default code.
  2. Added support for collecting and displaying geographical location fields, including country, province, and city.