LLM 可观测

近两年来，LLM（Large Language Model，大语言模型）以其惊人的语言生成与理解能力，正引领着一场技术革命，许多企业纷纷将 LLM 应用到自己的业务中。LLM 通常涉及复杂的自然语言处理任务，但模型的运行缺像是在黑盒中进行一般，很难被外部理解和验证，企业很难对 LLM 应用进行有效的监控和优化。

对于 LLM 而言，可观测性代表从外部理解模型做出特定决策的过程。通过 Prompt 输入输出交互信息、Token 消耗、模型响应时间、异常错误、Agent workflow 和用户反馈等信息，完成对模型内部工作机制的深度洞察。

LLM 可观测性不仅能够提高模型的透明度，还能够及时发现并纠正潜在的问题，确保模型的安全及准确性，减少错误，提高用户信任，从而推动人工智能技术走上安全且可持续发展的道路。