推理优化 · 学习索引

推理优化是专项能力。先用下面五个专题建立判断框架；需要算法细节、公式或命令时，再查阅全量笔记。

复习顺序

1. KV Cache 与批处理 — 先理解显存、调度和吞吐的关系。
2. 推测解码 — 理解它为什么只在合适负载下有效。
3. 性能指标与诊断 — 能区分 TTFT、TPOT、吞吐和 P95。
4. 推理框架选型 — 用真实负载比较 vLLM、SGLang、TensorRT-LLM 与 Ollama。
5. PD 分离 — 只在 Prefill 与 Decode 互相干扰时再考虑。

所有性能数字都应以当前模型、版本、硬件、上下文和并发压测为准。