NVIDIA首日支持谷歌DiffusionGemma:150 tokens/s,RTX/DGX全系可用

作者:技术拾光时间:2026-06-11 12:48:04浏览:654

NVIDIA为谷歌DeepMind的DiffusionGemma模型提供首日支持,覆盖RTX、DGX全系硬件。该文本扩散模型基于Gemma4架构,激活3.8亿参数,支持256K上下文,并行去噪速度提升约4倍。单块H100可达每秒1000tokens,DGXSpark达150tokens/s。模型开源且支持本地运行,无需联网付费。

NVIDIA宣布为谷歌DeepMind最新发布的开放模型DiffusionGemma提供首日支持,覆盖GeForce RTX GPU、RTX PRO平台以及DGX系统全系列。这意味着从消费级显卡到专业工作站,再到数据中心级别的DGX集群,几乎全线NVIDIA硬件都能第一时间运行该模型。

DiffusionGemma模型特点与架构

DiffusionGemma基于Gemma 4架构,总参数25.2亿,推理时仅需激活3.8亿参数,支持256K上下文长度,并针对NVIDIA硬件做了深度优化。该模型并非传统自回归模型,而是一种文本扩散模型。传统自回归模型逐字生成,而DiffusionGemma每步可并行去噪256个tokens,借助NVIDIA GPU的并行计算能力,速度提升约4倍。

NVIDIA首日支持谷歌DiffusionGemma:150 tokens/s,RTX/DGX全系可用

性能表现:单块H100达1000 tokens/s

NVIDIA通过Tensor Core架构和CUDA软件栈的协同优化,实现了无需额外调优即可获得优异性能。具体数据显示,单块H100 GPU每秒可处理1000个token,而在DGX Spark上也能达到150 tokens/s的速度。对于文本生成任务而言,这个性能水平相当可观。

支持精度格式与主流部署框架

模型支持BF16和NVFP4两种精度格式,开发者可直接通过Hugging Face Transformers在RTX 5090或DGX Spark上快速进行原型验证。进入生产环境后,可使用vLLM进行部署。值得注意的是,DiffusionGemma采用Apache 2.0许可证开源,支持文本与图像多模态输入,且能完全运行于本地RTX或DGX平台——无需联网、无需按token付费,这对于注重数据隐私和成本控制的团队具有较大吸引力。

目前,该模型已在Hugging Face Transformers、vLLM、Unsloth等主流框架中获得初始支持。Windows开发者若手头有RTX 5090,现在即可下载体验;专业级用户则可选用RTX PRO 6000工作站或DGX Station完成更大规模的部署和微调任务。

NVIDIA首日支持谷歌DiffusionGemma:150 tokens/s,RTX/DGX全系可用