llama.cpp b12474 的 Qwen3-Next 输出投影如何纳入缩放张量?
作者:开源拾贝时间:2026-11-17 22:17:31浏览:466
llama.cpp b12474 修改 Qwen3-Next 的线性注意力输出投影,令矩阵乘法调用接收已有的 ssm_out_s。这样缩放与当前层的输出权重对应。

先得到注意力输出,再进入投影
线性注意力计算先生成 final_output。随后用 ssm_out 投影,调用的结果仍作为 linear_attn_out 记录。变化发生在投影调用参数。

代码差异中的新增参数
在 build_layer_attn_linear 里,build_lora_mm 现在多接收 model.layers[il].ssm_out_s。这对应不同层各自持有的权重缩放。

运行范围看构建和架构
llama.cpp b12474 为预发布构建。该说明只核实 Qwen3-Next 的此处计算路径,公告未附推理效果比较。
作者最新文章
Opera Developer 141.0.6087.0(Chromium 158.0.8117.1)会继续跟随系统主题吗?
2026-11-17 22:35:05
JS兼容性排查:Safari与IE常见引擎差异及修复方法
2026-11-17 21:06:15
Hospitable 1.0.0 在 Cursor 里能读取和修改哪些预订?
2026-11-17 20:30:51
llama.cpp b12458为何要按槽位保存YuE2-3B的采样分数
2026-11-17 14:04:36
JS使用JSON.stringify将对象转换为JSON字符串
2026-11-17 10:54:18
