地瓜发布帧级闭环世界模型 通吃所有机器人

地瓜机器人算法团队于今日正式发布其世界模型——Uranus。该名称寓意开创性探索。Uranus是一款基于视频扩散模型、工作在帧级闭环模式下的交互式世界模型。

其核心能力可概括为：用户仅需提供几帧参考图像、机器人当前关节状态、相机参数，以及一句简短文本描述（如“抓取前方的物体”），模型即可自回归地生成多相机视角下连续、可控的未来视频流，完整模拟机器人与环境的交互过程。

▲Uranus模型架构：模型在参考帧和历史帧约束下，根据输入的动作通过flow matching生成下一帧

技术路线上，Uranus以预训练的Wan 2.1视频DiT骨干网络为基础，采用一阶段训练方案。这意味着它无需复杂的多阶段训练流程，即可直接产出分钟级的、可交互的视频内容。

▲Uranus训练过程使用的Causal Mask

为便于不同场景的研究与部署，Uranus提供1.3B和14B两个参数量级版本，前者适合快速实验验证，后者对标高保真闭环生成任务。

以下两个演示视频展示了Uranus在帧级闭环模式下，对两种不同机器人在不同轨迹下的交互仿真效果：

G1人形机器人，在多个不同场景中执行不同操作轨迹，Uranus可实时生成多相机视角下的连贯交互画面：

▲G1机器人完成商品条码扫描，三路相机视角同步输出，帧级闭环连续rollout。

Franka协作机械臂同样展现了Uranus的能力。它在不同环境和轨迹下执行操作，模型具备跨具身泛化能力，并能对复杂的末端执行器轨迹做出精确响应：

▲Franka机械臂完成物品抓放，展示闭环模式下对末端执行器姿态、夹爪开合的精确控制。

一、首创逐帧闭环仿真，可随时改指令、即时出反馈

开发自主完成复杂任务的机器人，需要大量测试与验证。但真机测试成本高昂、耗时巨大，且许多场景和失败难以复现。一台机械臂在真实世界中试错成千上万次，难度极大。

传统仿真器如Isaac Sim、MuJoCo等，提供了在虚拟环境中验证算法、再迁移到真实世界的方案。但手工构建仿真场景本身工程浩大：3D建模、材质设定、物理参数调校，每个新环境需数天甚至数周搭建，换场景则需从头再来。

核心问题在于：能否像生成图片和视频一样，直接“生成”仿真环境？更进一步，能否像真正仿真器那样逐帧交互、逐帧闭环，而非一次性输出固定视频？

Uranus的答案：摒弃传统开环生成方案“提前录入完整动作序列、一次性输出全部视频”的老路，采用仿真器式的逐帧运行架构。这一交互逻辑升级具有根本性意义。

系统工作流程：模型结合参考图像、历史画面以及用户实时给出的动作指令，推算出机器人下一时刻、多机位相机对应的视觉画面。每帧生成完成后，画面会即时存入历史上下文窗口，作为后续帧推理的输入依据，形成完整闭环反馈。

逐帧推理的底层设计带来实用能力：用户可随时更改动作指令，模型即时做出对应视觉反馈，实现真正动态操控。指令变化，画面随即变化。

对使用者而言，流程大幅简化：只需上传初始场景画面与机器人模型文件，即可在虚拟视觉环境中像操控实体机器人一样完成各类调试操作，全程无需人工搭建三维模型，这构成了真正意义上的仿真测试新范式。

二、四大技术亮点，破解长时序闭环难题

Uranus实现上述能力依赖四大技术亮点，每项针对实际痛点。

1、跨具身零样本泛化

传统方案换机器人需重新训练专属模型。Uranus通过统一骨架渲染管线，实现机器人本体结构与模型输入的彻底解耦。用户只需上传URDF或MJCF格式的机器人描述文件，输入关节位置数据，系统通过前向运动学算法算出三维关节坐标，再投射到相机平面生成骨架图像。单一模型可同时适配G1人形机器人、Franka协作机械臂、双臂机器人，乃至移动机器人平台，实现“一套模型，全家通用”。

该能力对闭环交互流程至关重要：闭环运行中，模型持续将上一帧输出预测作为下一帧输入。若模型只能适配单一机器人，切换设备需重新训练，闭环体系无法通用。Uranus的管线将各类机器人的运动转化为统一图像表征，实现了真正跨机型泛化。

2、分钟级闭环稳定生成

帧级闭环运行的最大技术难题是误差累积。模型每生成一帧产生微小预测偏差，作为前置数据输入下一阶段，持续迭代后画面“滚雪球”般失真崩坏。多数模型只能生成几秒开环画面，根源在此。

Uranus通过三项核心设计打通长时序闭环推演瓶颈：

• 因果注意力掩码（Causal Mask）：限定了单帧只能读取过往时序信息，严格匹配自回归闭环因果逻辑，即“只看过去，不看未来”。
• 帧相对位置编码（Frame-Relative RoPE）：模型只用短片段完成训练，推理阶段却能适配任意时长闭环连续推演，如同短跑运动员经训练后也能跑马拉松。
• 参考帧注意力汇（Reference Sink）：利用Transformer原生注意力汇聚特性，将初始基准帧长期保留在上下文窗口中充当视觉参照。即使闭环持续数百上千步，模型仍保有清晰原始画面作参照，极大缓解画面偏移和失真。

3、多视图空间一致

真实机器人通常搭载多套摄像设备，如手部相机和环境外置相机，对多视角画面空间一致性要求极高。Uranus可同步渲染三路及以上相机画面，并让多视角画面维持统一空间几何关系——同一物体在不同相机视角下的位置、大小、遮挡关系逻辑自洽。

算法团队设计了交替时空注意力架构：空间计算模式让同步帧下各相机视图互通特征信息，保证多视角空间逻辑统一；时间计算模式则让单台相机沿时间维度建模运动变化。闭环推演阶段，仅时间模块需生成KVCache缓存，大大降低算力开销。两种计算模式在模型的DiT网络层级中交替运行，巧妙平衡图像生成效果与运算效率。

4、精确的相机轨迹控制

仿真测试中常需灵活调整相机视角。Uranus借助普吕克射线嵌入技术，将每帧相机的内参、外参转化为逐像素的稠密几何特征。关键的是，该表征完全依托相机标定参数生成，无需模型额外学习。

对闭环交互场景而言，用户可像操作常规仿真工具一样随时调整相机位姿，模型会依据更新后的相机参数在下一帧同步输出匹配新机位的画面，为精细化调试提供极大便利。

三、引入KV-Cache缓存，算力开销恒定可控

帧级闭环推演除算法挑战外，工程层面性能压力巨大。模型每生成一帧画面需完成一轮完整的去噪扩散流程。若每一步都从头计算注意力特征，计算开销随序列长度呈平方级暴涨，长时序闭环运行几乎不可能。

针对此瓶颈，算法团队为Uranus引入KV-Cache缓存与滑动窗口机制。在预填充阶段，系统提前计算并缓存关键特征；同时通过滑动窗口淘汰机制动态管理时序数据——当历史帧数量超出窗口阈值时，系统自动舍弃最早帧数据，始终保持单步推理开销稳定可控。

训练层面，团队融合HSDP、序列并行与VAE分块并行的混合训练策略，使模型能支撑64卡大规模集群训练，高效完成长时序模型的迭代优化。

推理阶段，模型依托KV-Cache、滑动窗口淘汰与序列并行三重优化，实现恒定层级的单步延迟与显存占用。这意味着无论闭环生成多少帧画面，模型的算力开销始终保持稳定水平，可稳定支撑多个环境并行的实时推演。

结语：地瓜机器人让机器人自主学习环境交互

总体而言，帧级闭环是Uranus相较于普通视频生成模型最核心、最独特的差异化能力。它构建的框架能逐帧接收操控指令、逐帧输出视觉画面，并将生成画面回输作为下一帧输入条件。正是这套完整闭环逻辑，使其从“演示级”视频生成长成为具备实操价值的“交互式仿真工具”。

地瓜机器人算法团队的整体方案走数据驱动路线，核心目标是让机器人依托虚拟视觉推演，完成与环境交互的自主学习。这无疑为机器人仿真与泛化打开了新的大门。