微调1.5B模型loss下降但输出崩溃？行为漂移检测器

微调模型训练中的行为漂移：Loss下降，输出却崩了

事情是这样的。

在此之前，已经在Agent系统质量门禁上折腾了不少时间——训练前的环境自检、训练中的停滞检测、产出后的行为对比、实验审计日志。四道门，从Agent推理管线一路覆盖到模型微调管线。

于是，直接用 Qwen2.5-1.5B-Instruct 跑了一轮 LoRA 微调。80条中文指令数据，loss从9.13降到了8.78。

然后行为对比直接教做人。

微调模型在三个prompt上直接输出纯数字序列。不是"回答得不好"，是纯数字。199999...那种。

loss降了，模型崩了。

loss根本不会告诉你模型在说什么。它只看下一个token的概率分布，但如果模型被训成了一个重复输出数字的机器，从概率角度看，它甚至可能"更确定"了。

引入三个行为漂移指标

基于此，训练流程中加入了三个行为漂移指标：

• self-BLEU：同一batch内所有输出的相似度。超过0.8就报警——模型在collapse。
• digit density：输出中数字字符占比。超过0.3就报警——退化成了数字复读机。
• repetition ratio：unique token / total token。低于0.3就报警——在循环。

三个指标乘在一起，构成了loss曲线完全看不到的维度。在那个实验中，loss明明在下降，但 behavioral test 通过率直接掉到了0.0。

两种质量门禁的桥段

这就是桥段：Agent质量门禁告诉你"推理有没有跑歪"，微调质量门禁告诉你"模型有没有学歪"。问题结构一样，检查对象从推理输出变成了模型参数。