llama.cpp b12470 的 SYCL 掩码广播错误会有哪些表现?

作者:清欢时间:2026-11-17 20:15:20浏览:631

llama.cpp b12470 预发布中的修复针对 MKL Flash Attention 使用广播掩码时的越界。官方变更记录关联了 f16 K/V 的设备丢失和 q8_0 K/V 的 NaN。

llama.cpp 软件封面

有多组掩码时为何会越界

当掩码按注意力头或批次复用时,查询的头数或批次数可能多于实际掩码。旧路径以更大的查询索引直接读取,小维度的掩码就可能被越界访问。

llama.cpp b12470 预发布记录中的 SYCL 掩码广播修复

如何理解这两种不同错误

f16 和 q8_0 是维护者用来复现的 K/V 类型。设备丢失与 NaN 在这里指向同一个广播索引问题,是否适用仍要结合 SYCL 和 MKL 的执行路径。

修复的发布范围

修复收录在 llama.cpp b12470 预发布构建中,覆盖上述 MKL Flash Attention 场景。

作者最新文章