英伟达发布Cosmos 3:四个开源世界模型来了

11月5日,英伟达发布了Cosmos 3家族的四个开源权重检查点(checkpoint),全部基于Cosmos 3 Nano底座后训练而成,每个模型拥有160亿可训练参数,面向自动驾驶与机器人等物理AI场景的交互式世界仿真。这是英伟达在世界模型赛道上一次明确的“开放”表态:权重与后训练配方一起交出,许可还允许商业使用。

四个模型,分工各不相同

四个检查点按用途分为离线生成与实时流式两大家族,覆盖驾驶数据合成、实时仿真与机器人操控三类场景。

  • Transfer-Auto(离线生成):批量生成合成驾驶数据的主力模型,可同步生成多视角视频与激光雷达点云,覆盖最多11个摄像头视角,包括鱼眼镜头。开发者通过World Scenario Map参数定义道路布局与交通行为,用文本提示控制场景外观,还能调节天气、光照与时间,或输入起始RGB帧固定场景的初始外观。
  • Sim-Auto(实时流式):Transfer-Auto的因果蒸馏变体,逐小块生成同步的摄像头视频与激光雷达数据,只需数步去噪即可出帧,面向需要实时交互的仿真循环:每一帧都以前一帧为条件作出反应。
  • Sim-Transfer:把物理仿真器的控制信号与文本提示结合,转换成逼真的视频观测,连接传统仿真器与生成式世界模型。
  • Sim-Bimanual:根据机器人或相机的动作预测后续视频,面向双臂操作等机器人操控任务,让机器人提前“看到”自己动作的视觉后果。

两大家族的分工很清晰:Transfer-Auto负责离线批量生产训练数据,Sim系列负责跑起来的实时仿真;Sim-Transfer与Sim-Bimanual则把能力从驾驶场景延伸到了机器人领域。

开源许可:能商用,但先读清条款

四个模型均采用OpenMDW1.1许可发布,英伟达称该许可允许商业与非商业使用。这对有意把模型接入生产管线的团队是个关键信号:无需再为闭源仿真器谈判授权,下载权重、写后训练脚本,就能开始搭建自己的合成数据流程。

不过需要注意,发布中并未附上完整许可文本。英伟达技术博客的表述是“允许商业使用”,但具体条款细节仍需团队在生产部署前阅读实际许可全文,不能只凭发布摘要作合规判断。

背景:世界模型赛道正在升温

Cosmos 3的发布落在世界模型集中爆发的时间窗口。英伟达在11月2日的技术博客中,把Cosmos平台定位为服务自动驾驶、机器人与智慧基建等物理AI场景的基础设施,博客作者包括Pranjali Joshi、Aditya Mahajan等英伟达研究人员。

就在不到两周前,谷歌DeepMind于10月27日发布了世界模型Genie 4,能发声、可实时操控,本站当时已有报道。两家巨头几乎同时押注“仿真层”,说明世界模型正在从研究演示走向产业基础设施:谁能提供最便宜、最可控的仿真数据,谁就能影响自动驾驶与机器人训练的成本结构。

英伟达的打法与谷歌不同。Genie 4走的是能力展示路线,而Cosmos选择开放权重与后训练配方。Cosmos平台的GitHub仓库自2024年12月创建以来已积累12182个星标,社区基础已成规模,这次发布相当于把原本只在英伟达内部的仿真能力,交到了开发者手里。

影响与展望:开放模型,卖的是GPU

对中型自动驾驶团队而言,Cosmos 3的实际价值在于降低合成数据的门槛。过去,搭建多摄像头加激光雷达的仿真管线往往意味着购买闭源仿真器或自研渲染系统;现在,团队可以拉取Transfer-Auto,用自己的多摄像头驾驶日志做后训练,验证生成数据能否复现自家传感器的几何关系与视差效果。如果这一步跑通,仿真数据的生产成本将大幅下降。

但“开源”不等于“开箱即用”。目前尚无独立第三方评测验证这四个检查点的生成质量,发布中“照片级真实”的描述属于厂商自己的表述,Hugging Face上的发布博文也是合作内容,能力描述可能偏正面。真正关键的验证点在于:后训练后的模型能否准确复现特定相机布局的视差,以及生成的激光雷达点云能否与真实传感器几何对齐——这两项若不达标,流式变体建立在同一配方之上,也会继承同样的短板。

对英伟达来说,这笔账算得很清楚:开放模型,卖的是运行推理的GPU。与把前沿模型放在共享云基础设施上的打法不同,英伟达赌的是开发者拿到权重后,会在自家GPU上完成训练与推理。世界模型赛道的竞争才刚刚开始,接下来要看的,是有多少团队真正把Cosmos 3用进自己的数据管线,而不是停留在下载与试玩。

发表评论