岩山科技联合港科大、CMU 开源 EdgeRock-4B：KV 缓存压缩 99.1%，单卡吞吐 12124 tokens/s

量子位在 10 月 26 日报道了岩山科技与香港科技大学、CMU 联合推出并开源的 EdgeRock-4B。页面给出的四个数字是：KV 缓存压缩 99.1%，单卡吞吐 12124 tokens/s、为对照方案的 6.42 倍，在 256K 上下文下缓存固定为 72MiB，AIME 通过率 82.9%。

KV 缓存是当前长上下文推理最硬的墙。上下文越长，缓存占用越大，能同时服务的请求数与可用的上下文窗口就同时受限；把缓存量压缩到固定 72MiB 量级，理论上可以让单卡承载更长的上下文而不牺牲并发，这也是推理成本下降最直接的一条路。压缩与精度之间的取舍要看 AIME 这类任务分数是否守住，82.9% 是页面给出的口径。

这条方向在本月动作密集：10 月 19 日小米上线输出速度提升约 10 倍的 MiMo-V2.6-Pro-UltraSpeed，10 月 20 日 DeepSeek 把支撑其大规模线上推理的框架 DeepInfer 全面开源，10 月 21 日谷歌与 Meta 开源原生 TPU 软件栈 TorchTPU。推理效率正在成为与模型能力同等分量的公开议题。