Google开源高速文本扩散大模型DiffusionGemma
谷歌发布开源文本扩散模型DiffusionGemma,生成速度是传统大语言模型的四倍,内存占用更低,可在消费级显卡如RTX5090上运行。模型并行生成256个Token,采用混合专家架构(260亿参数仅激活38亿)及轻量数据格式,已在HuggingFace平台开源。
谷歌正式发布DiffusionGemma,一款基于文本扩散这一新兴机器学习方法构建的大语言模型。实际上,该方向的研究在业内已酝酿一段时间,但谷歌是首个将其真正产品化并开源的公司。

从数据来看,DiffusionGemma的文本生成速度是传统大语言模型的四倍,内存占用也更低。这意味着它不再只能运行在数据中心昂贵的高端服务器GPU上,而是可以在普通消费者能买到的显卡上运行——例如GeForce RTX 5090。这才是核心亮点。
那么,它是如何实现的?文本扩散,顾名思义,借鉴了AI图像生成的技术。图像生成的流程是:从一张充满噪点的图片开始,AI逐步去除噪点,分析图像并恢复像素,直至生成清晰图片。DiffusionGemma的思路类似,只是处理的是文字而非像素。
当用户给出提示词时,它不会像传统模型那样逐字生成。而是先生成一组随机词语作为占位符,然后逐步将这些随机词替换成真正构成答案的词语,每替换一轮就审查一次,再继续循环迭代,直到生成完整回复。这种方法本质上是先批量生成一批内容,再进行精修,而非逐Token线性推进。
这一差异直接体现在效率上:传统AI模型每次生成一个Token,DiffusionGemma一次就能并行生成256个Token。类似于流水线上单线程操作与批量生产的区别,速度提升自然显著。
在具体硬件表现上,谷歌提供的数据显示:服务器级的H100 GPU上,每秒可生成超过1000个Token;桌面级RTX 5090上,每秒也超过700个Token。对于需要频繁交互的场景,这一速度意味着体验上的质变。
那么,它为何能在消费级GPU上运行?这得益于混合专家架构。DiffusionGemma虽然总参数达到260亿,但每次推理时仅激活其中的38亿个参数。好比一家公司有260名员工,但每次接到任务只抽调38人执行,其他人无需参与。如此一来,内存和计算资源的占用大幅降低。此外,它还采用了名为NVFP4的轻量级数据格式,进一步减少显存消耗。
模型本身建立在今年4月发布的Gemma 4 26B A4B基础之上。为实现文本扩散,谷歌对其注意力机制做了关键改动。传统模型的注意力模块只依赖前面的内容来推断当前词语的含义,而DiffusionGemma的新注意力模块还会同时审阅给定词语之后的文本内容。换句话说,它学会了“回看”,使其在理解与生成上更接近人类的阅读方式。
谷歌研究科学家Brendan O'Donoghue与Sebastian Flennerhag在博客中写道:“尽管AI研究社区多年来一直在探索基于扩散的文本生成方法,但将其应用于大型模型始终面临挑战。DiffusionGemma通过改变模型对硬件的利用方式,突破了这一瓶颈。”这段话点明了该项工作的本质:并非发明新算法,而是让旧想法在硬件上真正跑通。
目前,DiffusionGemma已在Hugging Face平台以开源许可协议发布,公众可免费获取使用。这意味着,不仅是大型厂商,任何拥有相应显卡的开发者都能亲自尝试。
Q&A
Q1:DiffusionGemma是什么模型,有什么特别之处?
A:DiffusionGemma是谷歌发布的一款基于文本扩散架构的大语言模型。特别之处在于,它不再像传统模型那样每次只生成一个Token,而是可以一次并行生成256个Token,速度可达传统模型的四倍。同时,它的内存占用更低,可以在消费级高端显卡上运行,例如RTX 5090,每秒生成速度超过700个Token。
Q2:DiffusionGemma的文本扩散原理是怎么运作的?
A:简单来说,它借用了AI图像生成领域成熟的技术路线。收到提示词后,模型先产生一组随机词语作为占位内容,然后逐步将随机词替换为有意义的答案词语,每轮都会审查已有内容并补充新词,反复迭代,直到生成完整回复。这种方法本质上是“先生成,再精修”,与传统的逐Token生成逻辑截然不同。
Q3:DiffusionGemma采用了哪些技术来降低内存占用?
A:主要依靠两个关键技术:一是混合专家架构,模型虽有260亿个参数,但每次推理只激活38亿个,大幅减少了活跃参数数量;二是使用轻量级数据格式NVFP4存储信息,进一步压缩显存占用。两者结合,使得模型能在消费级GPU上顺畅运行。
