Prompt 管理
在开发 LLM 应用时,提示词版本混乱、缺乏效果追踪、缺少数据回溯、团队协作困难等问题,会拉低调试 Prompt 的工作效率。Lighthouse 的 Prompt 管理功能,提供 Prompt 的集中式存储库,可以对 Prompt 进行版本控制、数据对比、高效维护,显著提升 LLM 应用的质量及 开发效率。
业务 Prompt
业务 Prompt 列表
⬆️ 上方搜索框,可以通过 Prompt 名称快速筛选出目标数据。
⬅️ 左侧快捷筛选,可以根据类型、关联应用,快速筛选出目标数据。
➡️ 右侧数据列表,默认展示 Prompt 的名称、类型、版本数量、关联数据量、最后更新时间。拥有权限的成员,可以删除 Prompt。
删除 Prompt 及相关记录,将无法恢复。代码中正在引用当前 Prompt 的数据将会报错。
新建业务 Prompt
↗️ 单击「+ 新建 Prompt」后,最少两步即可完成创建(填写 Prompt 名 称和内容)。
Prompt 创建成功后,不可修改。
业务 Prompt 详情
在「Prompt 列表页」单击某个 Prompt,即可进入对应详情页。
⬆️ 上方搜索框,可以通过版本号或 Prompt 内容快速筛选出目标数据。
⬅️ 左侧展示当前 Prompt 所有版本列表,默认按照版本号进行倒排。
- 标签:用于区分不同场景下的 Prompt。
- 一个标签只能对应一个版本号,一个版本可以拥有多个标签。
production
和latest
标签是系统自带的,不可删除和重复新建;其中latest
永远指向最新版本号。- 目前,自定义新建的标签暂不支持删除。
- 对比:可以选择两个不同版本的 Prompt 进行内容对比。
:::
➡️ 右侧展示所选中版本的 Prompt 内容、关联数据、引用方式。
-
Prompt 内容:展示所选中版本的 Prompt 内容。
-
关联数据:展示采用当前 Prompt、所选中版本的 Span 数据。
-
引用方式:展示 Python、JS/TS 香相关代码内容。
引用方式当前支持 Langfuse SDK 引入方式,其他方式正在接入中。
新建版本
↗️ 单击「+ 新建版本」,会自动填充当前所选版本的 Prompt 内容,便于用户在此基础上进行修改。创建成功后,该版本即成为当前 Prompt 的最新版本。
评估 Prompt
评估 Prompt 列表
⬆ ️ 上方搜索框,可以通过评估 Prompt 名称快速筛选出目标数据。
⬇️ 下方数据列表,默认展示评估 Prompt 的名称、版本数量、最后更新时间。拥有权限的成员,可以删除 Prompt。
Lighthouse 平台内置了一些常见的评估 Prompt 供您使用,内置的不可删除。
删除评估 Prompt 及相关记录,将无法恢复。评估器中正在引用当前评估 Prompt 的数据将会报错。
新建评估 Prompt
↗️ 单击「+ 新建评估 Prompt」后,两步即可完成创建(填写 Prompt 名称和内容)。
Prompt 创建成功后,不可修改。
业务 Prompt 详情
在「Prompt 列表页」单击某个 Prompt,即可进入对应详情页。
⬆️ 上方搜索框,可以通过版本号或 Prompt 内容快速筛选出目标数据。
⬅️ 左侧展示当前 Prompt 所有版本列表,默认按照版本号进行倒排。
- 标签:用于区分不同场景下的 Prompt。
- 一个标签只能对应一个版本号,一个版本可以拥有多个标签。
production
和latest
标签是系统自带的,不可删除和重复新建;其中latest
永远指向最新版本号。- 目前,自定义新建的标签暂不支持删除。
- 对比:可以选择两个不同版本的 Prompt 进行内容对比。
:::
➡️ 右侧展示所选中版本的 Prompt 内容、关联数据、引用方式。
-
Prompt 内容:展示所选中版本的 Prompt 内容。
-
关联数据:展示采用当前 Prompt、所选中版本的 Span 数据。
-
引用方式:展示 Python、JS/TS 香相关代码内容。
引用方式当前支持 Langfuse SDK 引入方式,其他方式正在接入中。
新建版本
↗️ 单击「+ 新建版本」,会自动填充当前所选版本的 Prompt 内容,便于用户在此基础上进行修改。创建成功后,该版本即成为当前 Prompt 的最新版本。