英伟达Cosmos 3问世：全开源全模态，为物理AI注入新动力

英伟达发布全球首款全开源全模态大模型Cosmos 3，推动物理AI发展

先说个值得关注的新动态：英伟达正式发布了全球首款全开源全模态大模型——Cosmos 3。这款模型专为物理人工智能（物理AI）设计，采用混合Transformer架构，将视觉推理、世界生成和动作预测三个环节融合在一起。它原生支持文本、图像、视频、环境音效以及动作轨迹等多模态数据，物理仿真精度达到行业领先水平。对于开发者而言，以往需要数月才能完成的物理AI系统训练与评估，现在周期可以压缩到几天。

解决数据泛化难题：双阶段处理机制

物理AI领域一直面临数据泛化的老大难问题。真实世界千变万化，有限的训练数据很难覆盖所有场景。Cosmos 3的解法是采用双阶段处理机制——先用推理Transformer解析物体交互规律、运动轨迹和时空关联，再通过生成类Transformer完成视频生成和动作预测。简单来说，就是让模型先理解物理世界的底层逻辑，再基于这个理解去“想象”和“推演”。这套架构使得模型即便只使用有限数据，也能在真实场景中高效迁移。整个模型基于数十亿级多模态数据集训练，涵盖文本、图像、动态视频、空间音效、机械动作轨迹等类型。对开发者而言，最大的优势是数据门槛和成本被大幅降低。

宇宙联盟推动生态建设，黄仁勋展望变革

为了完善技术生态，英伟达同步发起了“宇宙联盟”，联合Agile Robots、Black Forest Labs、Generalist等六家顶尖机构，共同推进世界模型的技术研发。联盟成员可共享预训练模型资源，并针对机器人控制、自动驾驶等垂直场景进行联合优化。英伟达CEO黄仁勋明确表示：“当多模态推理与世界模型实现突破，物理AI的变革浪潮已经不可阻挡。Cosmos 3的开源，就是要帮助开发者跨越技术鸿沟，打造出真正能感知和决策的智能系统。”

评测成绩领先，提供三个版本满足不同场景

Cosmos 3在评测中表现亮眼。在Artificial Analysis等四大基准测试中，其世界生成精度全部登顶；动作策略能力在RoboLab系列榜单上领先；视觉理解指标直接刷新了VANTAGE-Bench纪录。针对不同应用场景，英伟达贴心地提供了三个版本：追求极致精度的Super版，适合机器人和自动驾驶模型的二次训练；轻量化的Nano版，几秒内即可完成视频解析和动作推理；以及即将发布的Edge版，专为工业巡检、物流分拣等低延迟场景设计，可在边缘设备上实时推理。

灵活调用方式，Super和Nano版已开放下载

调用方式也相当灵活：开发者可以将其作为多模态图文大模型进行跨模态理解，也可作为世界模型搭建物理环境仿真系统，或者直接用作动作模型的主干网络，训练专项任务机器人。目前Super和Nano版本已经开放下载，配套开发工具包中包含数据预处理管道、模型微调指南以及200多个预置场景模板，基本实现“开箱即用”。