跳到主要内容

Prompt 管理

在开发 LLM 应用时,提示词版本混乱、缺乏效果追踪、缺少数据回溯、团队协作困难等问题,会拉低调试 Prompt 的工作效率。Lighthouse 的 Prompt 管理功能,提供 Prompt 的集中式存储库,可以对 Prompt 进行版本控制、数据对比、高效维护,显著提升 LLM 应用的质量及开发效率。

业务 Prompt

业务 Prompt 列表

img

⬆️ 上方搜索框,可以通过 Prompt 名称快速筛选出目标数据。

⬅️ 左侧快捷筛选,可以根据类型、关联应用,快速筛选出目标数据。

➡️ 右侧数据列表,默认展示 Prompt 的名称、类型、版本数量、关联数据量、最后更新时间。拥有权限的成员,可以删除 Prompt。

注意

删除 Prompt 及相关记录,将无法恢复。代码中正在引用当前 Prompt 的数据将会报错。

新建业务 Prompt

↗️ 单击「+ 新建 Prompt」后,最少两步即可完成创建(填写 Prompt 名称和内容)。

注意

Prompt 创建成功后,不可修改。

img

业务 Prompt 详情

在「Prompt 列表页」单击某个 Prompt,即可进入对应详情页。

img

⬆️ 上方搜索框,可以通过版本号或 Prompt 内容快速筛选出目标数据。

⬅️ 左侧展示当前 Prompt 所有版本列表,默认按照版本号进行倒排。

  • 标签:用于区分不同场景下的 Prompt。
    • 一个标签只能对应一个版本号,一个版本可以拥有多个标签。
    • productionlatest 标签是系统自带的,不可删除和重复新建;其中 latest 永远指向最新版本号。
    • 目前,自定义新建的标签暂不支持删除。
  • 对比:可以选择两个不同版本的 Prompt 进行内容对比。

:::

➡️ 右侧展示所选中版本的 Prompt 内容、关联数据、引用方式。

  • Prompt 内容:展示所选中版本的 Prompt 内容。

  • 关联数据:展示采用当前 Prompt、所选中版本的 Span 数据。

  • 引用方式:展示 Python、JS/TS 香相关代码内容。

    引用方式

    当前支持 Langfuse SDK 引入方式,其他方式正在接入中。

新建版本

↗️ 单击「+ 新建版本」,会自动填充当前所选版本的 Prompt 内容,便于用户在此基础上进行修改。创建成功后,该版本即成为当前 Prompt 的最新版本。

评估 Prompt

评估 Prompt 列表

img

⬆️ 上方搜索框,可以通过评估 Prompt 名称快速筛选出目标数据。

⬇️ 下方数据列表,默认展示评估 Prompt 的名称、版本数量、最后更新时间。拥有权限的成员,可以删除 Prompt。

Lighthouse 平台内置了一些常见的评估 Prompt 供您使用,内置的不可删除。

注意

删除评估 Prompt 及相关记录,将无法恢复。评估器中正在引用当前评估 Prompt 的数据将会报错。

新建评估 Prompt

img

↗️ 单击「+ 新建评估 Prompt」后,两步即可完成创建(填写 Prompt 名称和内容)。

注意

Prompt 创建成功后,不可修改。

业务 Prompt 详情

在「Prompt 列表页」单击某个 Prompt,即可进入对应详情页。

img

⬆️ 上方搜索框,可以通过版本号或 Prompt 内容快速筛选出目标数据。

⬅️ 左侧展示当前 Prompt 所有版本列表,默认按照版本号进行倒排。

  • 标签:用于区分不同场景下的 Prompt。
    • 一个标签只能对应一个版本号,一个版本可以拥有多个标签。
    • productionlatest 标签是系统自带的,不可删除和重复新建;其中 latest 永远指向最新版本号。
    • 目前,自定义新建的标签暂不支持删除。
  • 对比:可以选择两个不同版本的 Prompt 进行内容对比。

:::

➡️ 右侧展示所选中版本的 Prompt 内容、关联数据、引用方式。

  • Prompt 内容:展示所选中版本的 Prompt 内容。

  • 关联数据:展示采用当前 Prompt、所选中版本的 Span 数据。

  • 引用方式:展示 Python、JS/TS 香相关代码内容。

    引用方式

    当前支持 Langfuse SDK 引入方式,其他方式正在接入中。

新建版本

↗️ 单击「+ 新建版本」,会自动填充当前所选版本的 Prompt 内容,便于用户在此基础上进行修改。创建成功后,该版本即成为当前 Prompt 的最新版本。