测一家
首页/故障案例/高峰期首 token 从 0.8 秒变成 6 秒
CASE / 性能

高峰期首 token 从 0.8 秒变成 6 秒

白天正常,工作日下午开始首 token 明显变慢,总时长也随之拉长,但没有报错。

症状模式可复现步骤证据优先

这个症状不能证明什么

先排除误判

慢不等于被限速,也不等于模型被换。排队、上游负载、分组并发都可能造成同样的现象。

按这个顺序验证

4 STEPS
  1. 同一提示词在 09:00 和 15:00 各跑 10 次,记录每次的首 token 时间与总时长,不要只记平均。
  2. 换一个模型再测。如果只有大模型慢、小模型正常,说明是上游容量问题而不是你的网络。
  3. 换一个分组或渠道再测。如果换了就恢复,说明你所在的分组并发被占满。
  4. 看响应头里有没有排队相关的字段(部分站点会带 queue time 或 retry-after)。

什么证据才算数

EVIDENCE

两组各 10 次的首 token 时间序列、对应的模型 ID、请求时间戳、以及换组后的对照组。

结论怎么写

CONCLUSION

如果只有高峰期慢、换组恢复,结论是分组容量不足;如果全天都慢且换组无效,才需要怀疑链路或上游。

接下来做什么

ACTION

把批量任务挪到低谷;向站点确认分组的并发上限;对交互类应用设首 token 预算,超过就降级到小模型。

案例是症状模式,不是对任何具体站点的结论。写报告时请引用你记录到的请求 ID、时间戳和响应原文,不要引用本页。