为什么按 Token 计费?大模型的推理成本究竟是什么? Token 是推理计算量的精确代理变量;推理成本的三个层次:模型参数的静态显存占用、KV Cache 的动态显存占用、以及显存带宽而非算力是瓶颈;输入可并行而输出不可,决定了两者的定价差异。 # 10:42 / #拾知 / #llm / #gpu / #infra / #pricing