测一家
首页/故障案例/同一条 prompt,这周的回答明显变差
CASE / 模型验证

同一条 prompt,这周的回答明显变差

提示词没改,输出风格变了、变短了、或者开始拒绝以前能答的问题。

症状模式可复现步骤证据优先

这个症状不能证明什么

先排除误判

变差不等于被换模型。供应商自己也会更新模型版本、调整安全策略。

按这个顺序验证

4 STEPS
  1. 看响应里的 model 字段有没有变(带日期后缀的版本号)。
  2. 跑 tokenizer 比例,确认家族没变。
  3. 把同样的 prompt 在官方端点跑一遍作对照。
  4. 查供应商的更新日志,看这周有没有版本发布。

什么证据才算数

EVIDENCE

两周的响应样本、model 字段、token 比例、供应商 changelog。

结论怎么写

CONCLUSION

官方端点也变差 → 供应商更新;只有中转站变差 → 站点换了后端。

接下来做什么

ACTION

把关键 prompt 做成回归集,定期跑;版本变化时先评估再切。

案例是症状模式,不是对任何具体站点的结论。写报告时请引用你记录到的请求 ID、时间戳和响应原文,不要引用本页。