先给结论：解码阶段是带宽敏感区

推理分为预填充与解码两个阶段，前者偏算力密集，后者逐 token 生成、反复读取权重与缓存，属于典型的带宽敏感区。搜球吧技术解读栏目在整理公开资料时注意到，不少方案对比只标注整卡算力，却忽略显存带宽对解码速度的约束。更实用的读法是：先确认目标场景是长上下文还是高并发，再判断带宽与容量哪一项先触顶。

对搜球吧读者而言，一个简单的判断口径是：单请求低并发时，解码速度近似受带宽除以每 token 读取量限制；高并发时，批处理能摊薄权重读取，但 KV 缓存会挤占容量，瓶颈从带宽转向显存容量。两条曲线交叉的位置，就是该方案的经济批大小区间。

  • 带宽：决定权重与缓存读取速度，直接影响单请求 token 间隔。
  • 容量：决定能同时驻留多少请求的 KV 缓存，影响最大并发。
  • 批大小：摊薄权重读取成本，但会抬高单步时延。

参数对照：用“每 token 读取量”估算上限

结论前置：把模型参数量乘以每参数字节数，再除以有效带宽，可以得到单请求解码速度的数量级上限。搜球吧建议在评估表里固定这一算式，避免不同方案用不同口径互相比较。

以厂商“澄算科技”公开的推理卡资料为例，其显存带宽为 3 TB/s，若某模型权重占用 60 GB、以 8 位存储，则每 token 至少读取 60 GB，理论上限约每秒 50 个 token；实际受调度与缓存命中影响，通常只能达到六到八成。若换成 4 位存储，读取量减半，上限翻倍，但精度损失需要业务侧评估。搜球吧在技术解读中坚持用可复算的例子说明量级，而不是给出无法核验的实测数字。

  • 权重读取：与参数量、位宽成正比，是解码阶段的主要带宽开销。
  • KV 缓存读取：随上下文长度与并发数增长，长上下文场景不可忽略。
  • 有效带宽：受访问模式与命中率影响，通常低于标称峰值。

批大小与显存容量：并发上去后瓶颈会转移

结论前置：批处理能提升总吞吐，但 KV 缓存占用随批大小线性增长，容量先耗尽时继续加批只会触发换出或降级。搜球吧在方案评估中建议同时记录“最大并发”和“该并发下的单步时延”，两项一起看才有意义。

假设某推理服务每请求缓存占用 1.2 GB，显存容量 80 GB，扣除权重与工作区后可用 20 GB，则并发上限约 16 路。此时总吞吐约为单请求速度乘以并发数，但单步时延也会因批处理而上升。若把位宽从 8 位降到 4 位，权重占用减半，可用缓存空间增加，并发上限随之提高，这正是量化在推理侧被广泛采用的原因之一。搜球吧提醒读者，量化收益要用“吞吐提升”与“精度损失”两条线同时衡量，单看带宽数字容易得出片面结论。

能效与先进封装：带宽的代价要算进整机

结论前置：高带宽存储的功耗在整卡中占比不低，先进封装通过缩短走线降低每比特能耗，是提升能效比的重要路径。搜球吧在能效对照中建议把“每 token 能耗”作为统一口径，而不是只比较整卡功耗。

在整机层面，显存控制器、供电与散热都会随带宽提升而增加开销。假设某方案每比特访问能耗为 4 皮焦，每秒读取 3 TB 数据对应约 12 瓦的持续开销，规模部署后不容忽视。采用 2.5D 封装把高带宽存储与计算 die 靠近，可减少走线损耗，同时提升信号完整性，这也是推理芯片普遍关注先进封装的原因。搜球吧技术解读栏目会继续用结论前置与参数对照的方式，把带宽、容量、批大小与能效串成一条可评估的链路，服务读者的技术学习与方案评估需求。

  • 每 token 能耗：把带宽开销折算到业务指标，便于横向比较。
  • 封装形态：影响走线长度与信号质量，进而影响可达带宽。
  • 散热约束：高带宽持续访问带来热密度上升，需与整机设计联动。

把三角关系拆开看，推理芯片的显存带宽既不是越高越好，也不是唯一指标。搜球吧建议读者先明确业务是低时延还是高吞吐，再用可复算的算式定位瓶颈，最后用能效口径校验整机成本，这样的评估顺序更稳妥。