更新Skill的Prompt后如何评测其实际效果？

## 作用 更新 Skill 的 Prompt 后，需要通过可复现的评测来判断这次更新是否真的提升了 Agent 表现，而不是只凭单次对话的主观感受。评测目标通常包括： - **正确性（Correctness）**：任务结果是否正确，是否解决了用户问题。 - **有效性（Effectiveness）**：Agent 是否选择了合适的步骤、工具和执行路径。 - **效率成本**：Token 消耗、执行时间、调用次数是否合理。 - **稳定性**：在多个任务、多个运行环境或 Agent Harness 中是否都有提升。 - **回归风险**：新 Prompt 是否让原有能力下降，或在不相关任务中产生误触发。 ## 原理 可以使用类似 SkillEvaluator 的评测方式，把 Prompt 更新前后的 Skill 当作两个版本进行对照评测： 1. **先做静态检查** - 检查 Skill 描述是否清晰说明“这个 Skill 能做什么、什么时候使用、如何调用”。 - 检查指令、示例、工具说明、参数约束和边界条件是否完整。 - 确认没有明显的冲突、歧义或安全问题。 2. **构造真实任务集** - 准备一组覆盖典型使用场景、边缘情况和容易失败场景的任务。 - 任务应尽量来自真实使用流程，而不是只测简单问答。 3. **进行 A/B 对照运行** - 在相同任务、相同模型和相近配置下，分别运行： - 不安装或不启用该 Skill； - 使用旧版 Prompt 的 Skill； - 使用更新后 Prompt 的 Skill。 - 对每个任务多次运行，以降低模型随机性的影响。 4. **计算 Skill Lift** - 对比启用 Skill 前后的评分差异，衡量 Prompt/skill 带来的提升。 - 可以分别统计正确性、有效性等维度的分数变化。 - 如果只比较新 Prompt 与无 Skill，而不比较旧 Prompt，就无法确认更新本身是否带来改进。 5. **记录执行轨迹和成本** - 检查 Agent 是否在正确时机调用 Skill。 - 分析中间步骤是否减少、是否少走弯路。 - 同时统计执行时间、Token 用量和工具调用次数。 - 某些 Skill 可能提升正确率但增加 Token，或显著降低成本但效果有限，需要综合判断。 6. **跨环境验证** - 最好在多个 Agent Harness 或实际宿主环境中运行同一批评测任务。 - 因为同一 Prompt 在不同 Agent、工具调用机制和产品领域下，提升幅度可能差异很大。 7. **人工复核失败案例** - 对分数下降、未调用 Skill、误调用、结果格式错误等案例进行归因。 - 根据失败原因继续修改 Prompt、示例、触发条件或工具说明，然后重新跑完整评测。 最终应形成一个更新前后可对比的报告，至少包含：任务通过率、正确性和有效性评分、典型失败案例、Token/耗时变化，以及是否存在回归。只有在新版本相对旧版本有稳定正向提升，且没有明显副作用时，才适合发布。