Redis作者驳斥“中国模型靠API蒸馏美国模型”论

最近，Redis之父antirez又说起这事儿了，核心观点很明确——他坚决反对“中国模型之所以强，主要是因为通过API蒸馏了美国模型”这个论调。

在他看来，把中国开源或闭源模型的进步，简单粗暴地归结为“偷偷用GPT/Claude的API生成数据来蒸馏”，这在严格的机器学习原理上根本站不住脚。

antirez的论证，主要围绕三个层次展开

首先，所谓的“API蒸馏”在严格意义上的“软蒸馏/白盒蒸馏”面前，几乎不可能实现。真正的知识蒸馏，是需要完整访问Teacher模型的logits（概率分布）、思维链推理轨迹以及内部表示的。而商业API只给你返回最终的文本，完全拿不到这些内部信息。他把这比作“只看到复杂曲面上的几个点，就想完整复刻整个曲面”，在数学上基本属于科幻。

其次，即便我们退一步，承认“黑盒蒸馏”（硬蒸馏）可行，其作用也极其有限。用API生成的文本数据来做SFT（比如Alpaca、Vicuna那类），确实能改善模型的回复风格、填补一些狭窄的知识盲区，或者让模型更擅长遵循特定格式。但仅靠这个，绝不可能创造所谓的“前沿通用能力”。那种级别的底层能力，完全来自海量的预训练，也就是万亿Token级别的数据和巨大的算力投入。他明确指出，没有思维链等内部信息，即便有Teacher生成的轨迹，充其量也只是“在风格上做调整，或填补非常小的知识空白”。

最后，退一万步讲，哪怕给了你完整的模型访问权限，想蒸馏出一个前沿模型也极其困难。现在很多前沿的中国模型已经是开源的了，但包括欧洲一些实验室在内，依然很难训练出能与之对标的模型。这本身就是最好的证明，蒸馏或复刻，远不是“有数据就能轻松复制”那么简单。

所以，antirez的结论是：中国模型与美国模型的真正差距，更多来自算力获取的限制，而不是单纯的技术抄袭或蒸馏。他不否认实际的能力差距，但他坚决反对将这种差距归因于“蒸馏了美国模型”。

当然，反对的声音也存在

有些人认为，“用原始LLM的响应做蒸馏是完全可行的，只需要API访问权限就行”，并举例说Alpaca和Vicuna就是这么训练出来的。

这里就引出了一个核心问题：“蒸馏”这个词在业界已经被严重滥用和误解了。大家嘴上说的“蒸馏”，常常把两种技术混为一谈：

• 硬蒸馏（黑盒）：只用Teacher生成的离散Token序列训练Student，用标准交叉熵损失。这就是Alpaca和Vicuna采用的方式。
• 软蒸馏（白盒）：需要Teacher的完整概率分布，通过KL散度让Student去模仿Teacher的软标签。这需要白盒访问或API暴露logits，目前主流商业API基本不提供。

一篇2026年的论文《Memorization Dynamics in Knowledge Distillation for Language Models》也明确区分了这两者，同时指出，在黑盒API场景下，硬蒸馏是可行的常用方法，但会比软蒸馏继承更多Teacher特有的记忆样本。

姚顺宇老师在访谈中也提到了“硬蒸”和“聪明的蒸”在实践策略上的差异。从工程视角看，两者高下立判：

• 简单粗暴的硬蒸：直接让Claude、GPT大量生成Token，然后一股脑塞进自己的模型里强制训练。在他看来，这既“不道德”，也“愚蠢”，说明公司没有想明白方向，只是把强模型当成了“数据打印机”。
• 聪明的蒸：把强模型当成辅助工具和评价者，有策略、有目的地融入自己的训练系统。比如，用它来筛选高质量的合成数据、做奖励模型或验证器、组织多智能体协作生成数据、混合真实数据与合成数据，甚至进行迭代式的自我改进。

简单说就是：粗暴硬蒸 = 低水平重复，聪明的蒸 = 高水平工程。

那么，分歧到底在哪里？

antirez认为不行的，主要是基于“白盒/软蒸馏”的理想情况。而他认为中国模型的真实进步，主要来自自身的算力投入、数据工程和研究工作，而不是通过API就能轻松“蒸馏”出前沿能力。如果把后者当成主要解释，既违反机器学习基本原理，也低估了真正构建强模型的难度。

很多人日常讨论中并不严格区分这两种蒸馏方式，这也是分歧的根源所在。用大白话来说：

• 软蒸馏：老师不仅写下答案，还说出思考过程和信心：“我算出来17，概率85%，因为……”，学生学到深层思考和暗知识，更聪明。
• 硬蒸馏：老师只在黑板上写最终答案：“10+7=17”。学生反复抄答案，学会了格式，但完全不知道老师是怎么算的。

所以说回这次争论，我个人的看法是，antirez在“纯硬蒸做不出DeepSeek”这一点上，毫无疑问是正确的。这是行业的技术共识。