llama.cpp b12477 的 K/V 分块读取顺序和长上下文有什么关系?
llama.cpp b12477 调整了多阶段 CUDA 内核读取 K/V 分块的顺序。这个优化涉及缓存复用,长前缀任务的实测结果需要按测试条件来读。

改变的是哪一段读取逻辑
使用 stream-K 时,共享同一 K/V 缓存的 CUDA 线程块可以同时读取不同的分块,从而减少二级缓存的复用机会。b12477 的实现为多阶段 FP16 MMA Flash Attention 调整分块读取顺序,使不同线程块更容易重用现有缓存。

哪些内核不在这次改动范围内
维护者在单阶段内核中观察到退化,因此未把轮转策略用于单阶段。发布提供了不同平台的构建,但该优化针对 CUDA 的特定注意力计算路径。仅凭是否用了 b12477 无法推导出 CPU、其他 GPU 后端或所有 CUDA 调用都会获益。
如何解读维护者的长上下文基准
维护者在 GeForce RTX 5090 和 Qwen3.8-27B-UD-Q4_K_M.gguf 上给出预填充对照。表中 131072 和 65536 的深度下提升明显,多个较短深度的成绩近似持平。表中数值属于这套 GPU、模型及预填充条件,不代表其他模型或生成阶段的统一加速比。
LiteLLM CVE-2026-40217 涉及哪个 API,为什么公告建议升级到 1.83.11?
2026-11-18 00:06:46
Codex 0.171.0-alpha.8 预发行如何用令牌连接应用服务器?
2026-11-17 20:32:33
Cursor Close 插件 1.0.0 为何读取线索和更新记录的授权不同?
2026-11-17 20:26:18
Ducter v0.0.68 与 v0.0.69 的 Agent 消息会投递到哪里?
2026-11-17 20:11:59
OpenCode PTY 0.6.0 怎样判断 shell 子进程会不会被清理?
2026-11-17 16:35:01
