这个症状不能证明什么
先排除误判慢不等于被限速,也不等于模型被换。排队、上游负载、分组并发都可能造成同样的现象。
按这个顺序验证
4 STEPS- 同一提示词在 09:00 和 15:00 各跑 10 次,记录每次的首 token 时间与总时长,不要只记平均。
- 换一个模型再测。如果只有大模型慢、小模型正常,说明是上游容量问题而不是你的网络。
- 换一个分组或渠道再测。如果换了就恢复,说明你所在的分组并发被占满。
- 看响应头里有没有排队相关的字段(部分站点会带 queue time 或 retry-after)。
什么证据才算数
EVIDENCE两组各 10 次的首 token 时间序列、对应的模型 ID、请求时间戳、以及换组后的对照组。
结论怎么写
CONCLUSION如果只有高峰期慢、换组恢复,结论是分组容量不足;如果全天都慢且换组无效,才需要怀疑链路或上游。
接下来做什么
ACTION把批量任务挪到低谷;向站点确认分组的并发上限;对交互类应用设首 token 预算,超过就降级到小模型。
案例是症状模式,不是对任何具体站点的结论。写报告时请引用你记录到的请求 ID、时间戳和响应原文,不要引用本页。