为什么首字延迟比总耗时更重要
用户感知的是「多久看到第一个字」，不是「总共花了多久」。这篇讲清两者的区别和优化方向。
更新 2026-10-28约 1 分钟
两个指标
| 指标 | 含义 | 用户感受 |
|---|---|---|
| 首字延迟（TTFT） | 发请求到收到第一个 token | 「卡不卡」 |
| 总耗时 | 到最后一个 token | 「长不长」 |
首字 8 秒 + 总共 10 秒，比首字 1 秒 + 总共 20 秒更让人烦躁。
首字延迟由什么决定
- 网络 RTT（跨境尤其明显）
- 上游排队
- 提示词处理时间（提示词越长越慢）
- 模型本身的 prefill 速度
怎么优化
- 开流式：让用户先看到字，感知上快很多
- 缩短系统提示词：每减 1000 token，首字快一点
- 选低延迟站点：看实测数据里的首字指标
- 缓存系统提示词：命中缓存能跳过 prefill
选站时看哪个
看 P50 首字延迟，不看平均值。平均值会被少数慢请求拉高。
我们的中转站实测页把延迟和在线率分开展示，就是为了让你按需选。